SourceMinds at CheckThat! 2026: NLI-Grounded Citation Auditing in a Multi-Agent Pipeline for Full Fact-Checking Article Generation
यह शोध पत्र SourceMinds प्रस्तुत करता है, जो CLEF 2026 CheckThat! Lab Task 3 के लिए एक मल्टी-एजेंट पाइपलाइन है जो सघन साक्ष्य पुनर्प्राप्ति (dense evidence retrieval), संरचित योजना (structured planning), गेटेड सेल्फ-क्रिटीक (gated self-critique), और NLI-आधारित उद्धरण ऑडिटिंग (NLI-based citation auditing) को एकीकृत करके स्रोत-आधारित तथ्य-जांच लेख उत्पन्न करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जासूस की दुविधा: हमें बेहतर फैक्ट-चेकिंग रोबोट्स की आवश्यकता क्यों है
कल्पना कीजिए कि इंटरनेट एक विशाल, अराजक पुस्तकालय है जहाँ कोई भी स्टैक्स से एक "तथ्य" चिल्लाकर बोल सकता है। कभी-कभी ये चिल्लाहटें सच होती हैं, लेकिन अक्सर वे जंगली अनुमान, आधे-अधूरे सच या सरासर झूठ होते हैं। लंबे समय से, कंप्यूटर इन चिल्लाहटों के साथ "सही या गलत" का एक सरल खेल खेलने में अच्छे रहे हैं। वे एक रेफरी की तरह कार्य करते हैं, जो सच के लिए हरा झंडा और झूठ के लिए लाल झंडा उठाते हैं। लेकिन वास्तविक दुनिया में, एक साधारण "गलत" पर्याप्त नहीं है। यदि कोई अफवाह फैलाता है, तो हमें केवल रेफरी की सीटी नहीं चाहिए; हमें एक पूरी जासूसी कहानी चाहिए। हमें जानना है कि यह क्यों गलत है, सबूत वास्तव में क्या कहते हैं, और वास्तव में किस समाचार पत्र के किस पृष्ठ ने झूठे व्यक्ति को गलत साबित किया। यह "फैक्ट-चेकिंग आर्टिकल जनरेशन" (तथ्य-जांच लेख निर्माण) की चुनौती है। यह केवल उत्तर खोजने के बारे में नहीं है; यह एक स्पष्ट, भरोसेमंद कहानी लिखने के बारे में है जो एक दावे और उसके प्रमाण के बीच के कड़ियों को जोड़ती है, और हर एक स्रोत का हवाला देती है ताकि कोई यह न कह सके, "आपको यह कहाँ से मिला?"
यहीं पर पेपर "SourceMinds at CheckThat! 2026" आता है। इसके लेखक, यूनिवर्सिटी ऑफ नॉर्थ टेक्सास की एक टीम ने महसूस किया कि एक सुपर-स्मार्ट कंप्यूटर से एक ही बड़ी छलांग में पूरा फैक्ट-चेकिंग लेख लिखने के लिए कहना अक्सर अव्यवस्थित परिणामों की ओर ले जाता है। कंप्यूटर मनगढ़ंत बातें बना सकता है या अपने स्रोतों का हवाला देना भूल सकता है। इसलिए, उन्होंने इस काम को चरण-दर-चरण करने के लिए डिजिटल विशेषज्ञों की एक टीम—एक "मल्टी-एजेंट पाइपलाइन"—बनाई। एक अकेले रोबोट द्वारा सब कुछ एक साथ करने के बजाय, उन्होंने एक ऐसा वर्कफ़्लो बनाया जहाँ एक रोबोट सुराग ढूँढता है, दूसरा योजना व्यवस्थित करता है, तीसरा ड्राफ्ट लिखता है, और एक अंतिम "ऑडिटर" हर साइटेशन (उद्धरण) की जाँच करता है ताकि यह सुनिश्चित हो सके कि कहानी कायम रहे। उनका लक्ष्य केवल तेज़ी से लिखना नहीं था, बल्कि बेहतर लिखना था, यह सुनिश्चित करना कि अंतिम लेख का प्रत्येक वाक्य एक वास्तविक, सत्यापन योग्य स्रोत द्वारा समर्थित हो।
डिजिटल जासूसों की टीम
यह पेपर SourceMinds नामक एक सिस्टम का वर्णन करता है, जिसे एक बहुत ही विशिष्ट समस्या को हल करने के लिए डिज़ाइन किया गया है: कैसे एक बिखरे हुए दावे, एक निर्णय (जैसे "गलत"), और साक्ष्य दस्तावेजों के ढेर को एक साफ, पेशेवर फैक्ट-चेकिंग लेख में बदला जाए। लेखक सुझाव देते हैं कि इसे करने का सबसे अच्छा तरीका एक रिले रेस की तरह है, जहाँ विभिन्न "एजेंट्स" (विशेषज्ञ कंप्यूटर प्रोग्राम) एक-दूसरे को बैटन सौंपते हैं।
चरण 1: साक्ष्य शिकारी (The Evidence Hunter)
सबसे पहले, सिस्टम को सही सुराग खोजने होते हैं। कल्पना करें कि आप हजारों किताबों वाले पुस्तकालय में एक विशिष्ट उद्धरण खोज रहे हैं। यदि आप केवल उन पहली कुछ किताबों को उठा लेते हैं जो समान दिखती हैं, तो आप सबसे अच्छी किताब को मिस कर सकते हैं। SourceMinds टीम एक "डेंस रिट्रीवल" (सघन पुनर्प्राप्ति) एजेंट का उपयोग करती है, जो एक ऐसे लाइब्रेरियन की तरह है जो शब्दों की स्पेलिंग के बजाय उनके अर्थ को समझता है। यह साक्ष्य दस्तावेजों को स्कैन करता है और सबसे प्रासंगिक वाक्यों को खोजता है। लेकिन यह वहीं नहीं रुकता। यह सबसे अच्छे मिलानों की दोबारा जाँच करने के लिए एक "रैंकर" का उपयोग करता है और यह सुनिश्चित करने के लिए एक "सोर्स-बैलेंस्ड सेलेक्टर" का उपयोग करता है कि यह केवल एक ही वेबसाइट के दस उद्धरण न चुन ले। यह स्रोतों की एक विविध टीम चाहता है, जिससे यह सुनिश्चित हो सके कि साक्ष्य केवल एक ही आवाज़ की ओर पक्षपाती न हो।
चरण 2: वास्तुकार (The Architect - Fact Planner)
एक बार सुराग एकत्र हो जाने के बाद, सिस्टम केवल लिखना शुरू नहीं करता है। यह बिना ब्लूप्रिंट के घर बनाने की कोशिश करने जैसा होगा। "फैक्ट प्लानर" एजेंट चयनित साक्ष्यों को लेता है और एक संरचित JSON योजना बनाता है। इसे एक वास्तुकार द्वारा फ्लोर प्लान बनाने के रूप में सोचें। यह तय करता है कि मुख्य तर्क क्या है, सहायक बिंदुओं को सूचीबद्ध करता है, और किसी भी "कैवेट्स" (चेतावनी) को नोट करता है यदि साक्ष्य निर्णय से पूरी तरह मेल नहीं खाते हैं। महत्वपूर्ण रूप से, यदि साक्ष्य कमजोर हैं, तो प्लानर को कहानी को फिट करने के लिए कोई फर्जी कारण बनाने के बजाय इसे स्वीकार करने के लिए प्रोग्राम किया गया है।
चरण 3: पत्रकार (The Journalist - Article Writer)
हाथ में ब्लूप्रिंट लेकर, "आर्टिकल राइटर" एजेंट काम संभालता है। यह एजेंट एक पेशेवर पत्रकार की तरह कार्य करता है। इसका काम 250-से-450 शब्दों का एक लेख लिखना है जो दावे को समझाए, निर्णय बताए और पाठक को साक्ष्यों के माध्यम से ले जाए। यहाँ नियम सख्त है: प्रत्येक तथ्यात्मक वाक्य में एक "साइटेशन" होना चाहिए, जो (source: URL) जैसा दिखता है। यह एक छात्र द्वारा शोध पत्र लिखने जैसा है जहाँ हर दावे के साथ फुटनोट होना चाहिए। लेखक को केवल साक्ष्य इंडेक्स में दिए गए URL का उपयोग करने के लिए कहा जाता है, जिससे वह फर्जी स्रोत नहीं बना पाता।
चरण 4: संपादक (The Editor - Self-Critique)
छप जाने से पहले, लेख एक "गेटेड सेल्फ-क्रिटिक" (गेटेड आत्म-आलोचना) से गुजरता है। यह एक स्मार्ट संपादक है जो केवल तभी जागता है जब ड्राफ्ट संदिग्ध दिखता है। सिस्टम ड्राफ्ट की जाँच करता है: क्या इसमें कम से कम तीन साइटेशन हैं? क्या यह कम से कम दो अलग-अलग स्रोतों का उपयोग करता है? यदि ड्राफ्ट "कमजोर रूप से ग्राउंडेड" (अर्थात प्रमाण की कमी) दिखता है, तो संपादक काम पर लग जाता है। यह लेख को वाक्य-दर-वाक्य पढ़ता है। यदि कोई वाक्य दावा करता है लेकिन साइटेशन वास्तव में उसका समर्थन नहीं करता है, तो संपादक वाक्य को फिर से लिखता है या बेहतर साइटेशन के साथ बदल देता है। यदि ड्राफ्ट पहले से ही अच्छा है, तो संपादक समय बचाने के लिए काम छोड़ देता है। यह चरण सुनिश्चित करता है कि लेख केवल ऐसा न लगे कि इसमें स्रोत हैं, बल्कि स्रोत वास्तव में शब्दों का समर्थन भी करें।
चरण 5: ऑडिटर (The Auditor - NLI Citation Auditor)
अंत में, "NLI साइटेशन ऑडिटर" एक कठोर, स्वचालित बैकग्राउंड चेक करता है। यह एजेंट "नेचुरल लैंग्वेज इन्फरेंस" (NLI) नामक तकनीक का उपयोग करता है। एक तर्क परीक्षण की कल्पना करें जहाँ कंप्यूटर पूछता है, "यदि यह साक्ष्य सत्य है, तो क्या इसका अनिवार्य रूप से अर्थ यह है कि यह वाक्य सत्य है?" ऑडिटर तीन दौर चलाता है:
- सफाई (The Cleanup): यह उन साइटेशन को हटा देता है जो मूल साक्ष्य सूची में मौजूद URL की ओर इशारा करते हैं।
- मरम्मत (The Repair): यदि किसी वाक्य में कोई साइटेशन नहीं है, तो ऑडिटर सबसे अच्छा मिलान करने वाला साक्ष्य खोजता है और केवल तभी साइटेशन जोड़ता है जब साक्ष्य तार्किक रूप से वाक्य को सिद्ध करता हो।
- छंटाई (The Prune): यदि किसी वाक्य में बहुत अधिक साइटेशन हैं, तो ऑडिटर अनावश्यक साइटेशन को हटा देता है, केवल आवश्यक स्रोतों को रखता है।
उन्हें क्या मिला
टीम ने अपने सिस्टम का परीक्षण आधिकारिक CLEF 2026 CheckThat! Lab टेस्ट सेट पर किया, जिसमें 1,158 दावे और प्रति दावा औसतन 7.8 साक्ष्य लेख शामिल थे। उन्होंने अपने मल्टी-एजेंट पाइपलाइन की तुलना एक मानक बेसलाइन सिस्टम से की।
परिणाम सफलता और भविष्य के लिए एक स्पष्ट सबक का मिश्रण थे। SourceMinds सिस्टम ने 0.329 का औसत स्कोर प्राप्त किया, जिसने बेसलाइन स्कोर 0.272 को पीछे छोड़ दिया। लेखक सुझाव देते हैं कि कार्य को विशिष्ट चरणों में तोड़ने से वास्तव में मदद मिली। विशेष रूप से:
- साक्ष्य कवरेज (Evidence Coverage): सिस्टम ने 0.394 का स्कोर प्राप्त किया, जो सभी मेट्रिक्स में सबसे अधिक था। इसका अर्थ है कि सिस्टम प्रासंगिक साक्ष्य खोजने और विभिन्न स्रोतों में साइटेशन फैलाने में बहुत अच्छा था, न कि केवल एक दस्तावेज़ पर निर्भर रहा।
- साइटेशन की गुणवत्ता (Citation Quality): सिस्टम ने बेसलाइन (0.223 और 0.240) की तुलना में साइटेशन प्रिसिजन (0.337) और साइटेशन रिकॉल (0.339) में महत्वपूर्ण सुधार किया। यह बताता है कि "राइटर" और "ऑडिटर" एजेंटों ने यह सुनिश्चित करने के लिए मिलकर काम किया कि साइटेशन मौजूद हों और वास्तव में आवश्यक हों।
हालाँकि, पेपर एक महत्वपूर्ण बाधा की ओर भी इशारा करता है। एंटेलमेंट स्कोर (Entailment Score)—जो यह मापता है कि उत्पन्न लेख वास्तव में ग्राउंड-ट्रुथ संदर्भ के तर्क और तर्क से मेल खाता है या नहीं—सबसे कम स्कोर 0.245 था। वास्तव में, यह एकमात्र मीट्रिक था जहाँ उनका सिस्टम बेसलाइन (0.298) से कम स्कोर कर पाया।
लेखक इस अंतर को यह बताते हुए स्पष्ट करते हैं कि साइटेशन होने का मतलब यह गारंटी नहीं है कि कहानी सही है। एक वाक्य में एक आदर्श दिखने वाला साइटेशन (source: example.com) हो सकता है, लेकिन फिर भी वह उस वेबसाइट के वास्तविक अर्थ को गलत तरीके से प्रस्तुत कर सकता है। सिस्टम वाक्यों पर टैग लगाने में अच्छा था, लेकिन वह उस गहरे, तार्किक तर्क के निर्माण में संघर्ष कर रहा था जो साक्ष्यों को अंतिम निर्णय से जोड़ता है, जैसा कि एक मानव विशेषज्ञ करता है। पेपर सुझाव देता है कि जबकि उनका "वाक्य-दर-वाक्य" सत्यापन सहायक है, अगला बड़ा लक्ष्य "साक्ष्य-से-दावे का संरेखण" (evidence-to-claim alignment) में सुधार करना है—यह सुनिश्चित करना कि पूरी कहानी समझ में आए, न कि केवल उसके व्यक्तिगत भाग।
निष्कर्ष
SourceMinds टीम निष्कर्ष निकालती है कि उनका मल्टी-एजेंट पाइपलाइन फैक्ट-चेकिंग लेख उत्पन्न करने का एक आशाजनक, मॉड्यूलर तरीका है। यह सिद्ध करता है कि आपको शून्य से एक विशाल, विशिष्ट रोबोट प्रशिक्षित करने की आवश्यकता नहीं है; इसके बजाय, आप बेहतर परिणाम प्राप्त करने के लिए विशिष्ट एजेंटों की एक हल्की टीम का उपयोग कर सकते हैं। सिस्टम सही साक्ष्य चुनने और अच्छी तरह से साइटेड और पता लगाने योग्य लेखों को तैयार करने में प्रभावी है। हालाँकि, कम एंटेलमेंट स्कोर यह सुझाव देता है कि फैक्ट-चेकिंग का "जादू" केवल स्रोत खोजने के बारे में नहीं है; यह उन्हें एक सुसंगत, तार्किक कथा में बुनने के बारे में है। लेखक सुझाव देते हैं कि भविष्य के कार्य को "साइटेशन रखने" और "पूरा सच बताने" के बीच के अंतर को पाटने के लिए बेहतर तर्क चरणों (reasoning stages) पर ध्यान केंद्रित करना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।