FactLink: A Cross-Domain Benchmark for Link Role Classification for Fact-Checking

कल्पना कीजिए कि इंटरनेट एक विशाल, अराजक पुस्तकालय है जहाँ कोई भी किताब लिख सकता है, दीवार पर एक नोट चिपका सकता है, या छत से अफवाह चिल्ला सकता है। कभी-कभी, ये नोट्स सच होते हैं; अन्य समय में, वे आपको धोखा देने के लिए बनाई गई विस्तृत झूठ होते हैं। यहाँ प्रवेश करते हैं "फैक्ट-चेकर्स" (तथ्य की जाँच करने वाले), डिजिटल पुस्तकालयाध्यक्षों और पत्रकारों का एक समूह जो इस गड़बड़ी को ठीक करने के लिए दौड़ पड़ते हैं। वे ऐसे लेख लिखते हैं जो कहते हैं, "हे, दीवार पर लगा वह नोट नकली है!" और फिर वे दो बहुत अलग चीजों की ओर इशारा करते हैं: वह नकली नोट खुद (ताकि आप देख सकें कि झूठ कैसा दिखता है) और विश्वसनीय साक्ष्य (जैसे कि पुलिस रिपोर्ट या वैज्ञानिक अध्ययन) जो यह साबित करता है कि झूठ गलत है।

समस्या यह है कि डिजिटल दुनिया में, ये फैक्ट-चेकर्स अक्सर अपने लेखों में बिना यह बताए बहुत सारे लिंक डाल देते हैं कि कौन सा लिंक "नकली नोट" है और कौन सा "प्रमाण" है। यह एक जासूस की तरह है जो अपराध स्थल की तस्वीर और फिंगरप्रिंट किट की ओर इशारा करता है और कहता है, "इन दो चीजों को देखो," बिना यह समझाए कि कौन सा अपराधी है और कौन सा समाधान। यह कंप्यूटरों के लिए स्वचालित रूप से झूठ पकड़ना सीखने के लिए कठिन बनाता है। यदि एक कंप्यूटर यह नहीं बता सकता कि झूठ फैलाने वाले के लिंक और सच बोलने वाले के लिंक के बीच क्या अंतर है, तो वह पुस्तकालय को छाँटने में मदद नहीं कर सकता। यहीं पर "लिंक रोल क्लासिफिकेशन" (लिंक भूमिका वर्गीकरण) का विज्ञान आता है: यह मशीनों को एक लिंक को देखने और पूछने के लिए सिखाने की कला है कि, "क्या तुम विलेन हो, या तुम हीरो हो?"

यह शोध पत्र इस पहेली को सुलझाने के लिए FactLink नामक एक नया टूल पेश करता है। शोधकर्ताओं ने, जो शेफ़ील्ड विश्वविद्यालय और एक बुल्गारियाई कंपनी की एक टीम है, महसूस किया कि हालांकि हमारे पास बहुत सारे फैक्ट-चेकिंग लेख हैं, लेकिन हमारे पास कंप्यूटरों को यह समझने के लिए प्रशिक्षित करने का एक अच्छा तरीका नहीं है कि लिंक का उद्देश्य क्या है। इसलिए, उन्होंने दो बहुत अलग डेटा सेटों का उपयोग करके कंप्यूटरों के लिए एक "ट्रेनिंग जिम" बनाया।

सबसे पहले, उन्होंने एक गोल्ड स्टैंडर्ड (स्वर्ण मानक) डेटासेट बनाया। इसे एक सख्त, उच्च-दांव वाली परीक्षा के रूप में समझें। उन्होंने अंग्रेजी और बुल्गरियाई में फैक्ट-चेकिंग लेखों से 1,782 लिंक लिए और मानव स्वयंसेवकों से प्रत्येक को सावधानीपूर्वक लेबल करवाया। ये स्वयंसेवक विशेषज्ञ न्यायाधीशों की तरह थे, जो यह तय कर रहे थे कि एक लिंक डिसइन्फॉर्मेशन (झूठ) की ओर इशारा कर रहा है, सपोर्टिंग एविडेंस (सहायक साक्ष्य/प्रमाण) की ओर, या अदर (अन्य/पृष्ठभूमि शोर) की ओर। यह डेटासेट छोटा है लेकिन अविश्वसनीय रूप से सटीक है, जिसमें न्यायाधीशों के बीच सहमति का उच्च स्तर है, जो यह देखने के लिए एक आदर्श परीक्षण है कि क्या एक कंप्यूटर वास्तव में स्मार्ट है।

दूसक, उन्होंने एक विशाल जर्नलिस्ट-टैग्ड (पत्रकार-चिह्नित) डेटासेट एकत्र किया। यह एक विशाल, वास्तविक दुनिया के खेल के मैदान की तरह है। उन्होंने AFP (एक प्रमुख समाचार एजेंसी) के पेशेवर पत्रकारों द्वारा लिखे गए लेखों से 49,000 से अधिक लिंक एकत्र किए। इन पत्रकारों ने अपने दैनिक काम के दौरान अपने लिंक को पहले से ही टैग किया था। यह डेटासेट बहुत बड़ा है और 30+ भाषाओं को कवर करता है, लेकिन यह थोड़ा अव्यवस्थित है क्योंकि यह वास्तविक दुनिया में काम करने के तरीके को दर्शाता है, न कि उस तरह से जैसे वे एक आदर्श परीक्षा में काम करते हैं।

शोधकर्ताओं ने दो प्रकार के कंप्यूटर मस्तिष्क को परीक्षण के लिए रखा: फाइन-ट्यून्ड ट्रांसफॉर्मर्स (ऐसे मॉडल जो उन छात्रों की तरह हैं जिन्होंने एक विशिष्ट पाठ्यपुस्तक का बहुत कठिन अध्ययन किया है) और लार्ज लैंग्वेज मॉडल्स (LLMs) (सामान्य ज्ञान के सुपर-स्मार्ट, सामान्य-ज्ञान वाले जीनियस की तरह जिन्होंने इस विशिष्ट पाठ्यपुस्तक का अध्ययन नहीं किया है लेकिन वे कुछ उदाहरणों से चीजें समझ सकते हैं)।

यहाँ उन्हें क्या मिला, और यह थोड़ा दिलचस्प मोड़ है:

• जब बहुत सारा डेटा हो: यदि आप "छात्र" मॉडलों (फाइन-ट्यून किए गए ट्रांसफॉर्मर्स) को अध्ययन करने के लिए उदाहरणों का एक बड़ा ढेर देते हैं, जैसे कि पत्रकारों से प्राप्त 49,000 लिंक, तो वे पूर्ण चैंपियन बन जाते हैं। उन्होंने 0.866 का मैक्रो-एफ1 (Macro-F1) स्कोर किया, जो कि एक बहुत उच्च स्कोर है, जिसका अर्थ है कि वे झूठ और साक्ष्य के बीच अंतर पहचानने में बहुत अच्छे हो गए।
• जब बहुत कम डेटा हो: लेकिन जब शोधकर्ताओं ने उन्हें छोटे, सख्त "गोल्ड स्टैंडर्ड" सेट (केवल 1,782 लिंक) पर परखा, तो "छात्र" मॉडल थोड़ा लड़खड़ा गए, और उन्होंने 0.745 स्कोर किया।
• अंधेरे में चमकते जीनियस: यहीं पर LLMs (सामान्य ज्ञान के जीनियस) ने सबको चौंका दिया। जब उन्हें केवल कुछ उदाहरणों (एक "फ्यू-शॉट" दृष्टिकोण) से सीखने के लिए दिया गया, तो उन्होंने छोटे डेटासेट पर छात्र मॉडलों की तुलना में वास्तव में बेहतर प्रदर्शन किया, और 0.76 स्कोर किया। वे क्रॉस-डोमेन टेस्टिंग (जब नियम थोड़े बदल जाते हैं) के दौरान भी बहुत स्थिर रहे।

शोध पत्र सुझाव देता है कि इस काम के लिए कोई एक "सर्वश्रेष्ठ" कंप्यूटर मस्तिष्क नहीं है। यदि आपके पास लेबल किए गए डेटा का एक विशाल भंडार है और आपको एक विश्वसनीय, सुसंगत कार्यकर्ता चाहिए, तो फाइन-ट्यून्ड ट्रांसफॉर्मर आपका सबसे अच्छा विकल्प है। लेकिन यदि आप एक नई स्थिति में हैं, कम डेटा के साथ काम कर रहे हैं, या आपको बिना पुन: प्रशिक्षण के विभिन्न भाषाओं और शैलियों के अनुकूल होने की आवश्यकता है, तो LLM अधिक मजबूत विकल्प है।

लेखकों ने यह भी नोट किया कि इंसान भी इस कार्य में संघर्ष करते हैं। जब उन्होंने देखा कि मानव न्यायाधीश कहाँ असहमत थे, तो उन्होंने पाया कि "सपोर्टिंग एविडेंस" और "अदर" (पृष्ठभूमि जानकारी) के बीच की रेखा अक्सर धुंधली होती है। यह बताना कठिन है कि एक लिंक एक महत्वपूर्ण प्रमाण का हिस्सा है या केवल एक सहायक नोट है। इसका मतलब है कि सबसे अच्छे कंप्यूटर मॉडल भी एक ऐसी चुनौती का सामना करेंगे जो कंप्यूटिंग शक्ति की कमी के कारण नहीं, बल्कि मानवीय भाषा की स्वाभाविक अस्पष्टता के कारण है।

संक्षेप में, इस शोध पत्र ने न केवल एक डेटासेट बनाया; इसने हमें दिखाया कि ऑनलाइन झूठ से लड़ने के लिए AI का सबसे अच्छा तरीका इस बात पर निर्भर करता है कि आपके पास कितना डेटा है। कभी-कभी आपको एक विशेषज्ञ की आवश्यकता होती है जिसने पाठ्यपुस्तक का अध्ययन किया है, और कभी-कभी आपको एक सामान्यज्ञ की आवश्यकता होती है जो मौके पर ही चीजों को समझ सके। इन दो नए डेटासेट प्रदान करके, शोधकर्ताओं ने वैज्ञानिक समुदाय को प्रशिक्षित और परीक्षण करने का एक नया तरीका दिया है, जिससे उम्मीद है कि इंटरनेट थोड़ा कम भ्रमित करने वाला और बहुत अधिक सत्यनिष्ठ बनेगा।