DS@GT ARC at CheckThat! 2026: LLM-Based Trace Ranking and Grouped Reward Modeling for Multilingual Numerical Claim Verification
यह शोध पत्र CheckThat! 2026 के लिए DS@GT ARC सिस्टम प्रस्तुत करता है, जो यह प्रदर्शित करता है कि एक LLM-आधारित वेरीफायर (verifier) जिसमें Best-of-N चयन शामिल है, बहुभाषी संख्यात्मक दावा सत्यापन (numerical claim verification) में एक हल्के TF-IDF रिवॉर्ड मॉडल से बेहतर प्रदर्शन करता है, साथ ही यह भी दिखाता है कि AraBERT अरबी के लिए बहुभाषी बेसलाइनों से बेहतर है और सब-क्लेम डिकंपोजिशन (sub-claim decomposition) प्रदर्शन सुधारने में विफल रहता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटरनेट की कल्पना एक विशाल, अराजक पुस्तकालय के रूप में करें जहाँ कोई भी किताब लिख सकता है, और कभी-कभी वे किताबें झूठ से भरी होती हैं। इस डिजिटल युग में, झूठी कहानियाँ हाई स्कूल के गलियारे में फैलने वाली अफवाह की तरह तेजी से फैलती हैं, जो अक्सर संख्याओं और तारीखों की एक दीवार के पीछे छिपी होती हैं ताकि वे बहुत गंभीर लग सकें। यह "फैक्ट-चेकिंग" (तथ्य-जांच) की दुनिया है, जहाँ वैज्ञानिक सच और कल्पना के बीच अंतर करने के लिए रोबोटिक जासूस बनाने की कोशिश कर रहे हैं। लेकिन पेचीदा हिस्सा यह है: जब किसी झूठ में एक विशिष्ट संख्या शामिल होती है—जैसे "50% लोगों ने यह किया"—तो यह हमारे दिमाग को अधिक वास्तविक लगती है, भले ही वह मनगढ़ंत हो। इसे "न्यूमेरिक ट्रुथ इफेक्ट" (संख्यात्मक सत्य प्रभाव) कहा जाता है। इन चालाक झूठों को पकड़ने के लिए, हमें ऐसे कंप्यूटर चाहिए जो न केवल शब्दों को पढ़ें, बल्कि गणित भी करें और तारीखों की जांच भी करें, एक ऐसा कौशल जिसे मशीनों के लिए महारत हासिल करना बेहद कठिन रहा है।
अब, जॉर्जिया टेक के शोधकर्ताओं की एक टीम की कल्पना करें जो "चेक दैट!" (CheckThat!) नामक एक उच्च-दांव वाली प्रतियोगिता में उतर रही है ताकि परम तथ्य-जांच करने वाला रोबोट बनाया जा सके। उनका मिशन क्या है? एक ऐसा सिस्टम बनाना जो अंग्रेजी और अरबी दोनों में संख्याओं और तारीखों के बारे में दावों को सत्यापित कर सके। लेकिन वे केवल एक ऐसा रोबोट नहीं चाहते थे जो "सच" या "झूठ" का अनुमान लगाए। वे चाहते थे कि एक रोबोट विभिन्न तर्क पथों (जैसे अलग-अलग जासूसों द्वारा अपनी केस फाइलें लिखना) के ढेर को देख सके और निर्णय देने के लिए सबसे बेहतर पथ को चुन सके। इसे एक न्यायाधीश की तरह समझें जो केवल एक निर्णय नहीं चाहता, बल्कि यह सुनिश्चित करने के लिए कि निर्णय ठोस हो, सबसे अच्छी तरह से लिखा गया कानूनी तर्क देखना चाहता है।
DS@GT नामक टीम ने इस पहेली को सुलझाने के लिए दो बहुत अलग रणनीतियाँ आजमाईं। पहला दृष्टिकोण एक अत्यंत बुद्धिमान, सुशिक्षित जासूस (एक लार्ज लैंग्वेज मॉडल) को काम पर रखने जैसा था और उसे अन्य जासूसों के काम को ग्रेड करने का तरीका सीखने के लिए एक विशेष प्रशिक्षण सत्र देना था। उन्होंने "LoRA" नामक तकनीक का उपयोग किया, जो एक जासूस को विशेष हाइलाइटर्स का एक सेट देने जैसा है ताकि वे अपने पूरे मस्तिष्क को फिर से लिखे बिना मामले के सबसे महत्वपूर्ण हिस्सों पर ध्यान केंद्रित कर सकें। उन्होंने बड़े, जटिल दावों को पहले छोटे, आसान टुकड़ों में तोड़ने की भी कोशिश की, इस उम्मीद में कि इससे काम आसान हो जाएगा।
दूसरा दृष्टिकोण एक त्वरित, चतुर लाइब्रेरियन (पुस्तकालयाध्यक्ष) की तरह था। एक सुपर-इंटेलिजेंट जासूस के बजाय, उन्होंने एक हल्का उपकरण बनाया जो विशिष्ट पैटर्न की तलाश करता था, जैसे कि दावे, साक्ष्य और तर्क के बीच कितनी संख्याएं या तारीखें मेल खाती हैं। यह एक "रिवॉर्ड मॉडल" था जो संख्याओं के मिलान के लिए अंक देता था और बेमेल होने पर दंड देता था, फिर परिणामों को समूहबद्ध करता था ताकि देखा जा सके कि किस निर्णय को सबसे अधिक समर्थन प्राप्त है।
तो, उन्हें क्या मिला? "सुपर-स्मार्ट डिटेक्टिव" (LLM दृष्टिकोण) समग्र विजेता साबित हुआ, विशेष रूप से तेजी से सही तर्क पथ खोजने में। यह अधिकांश स्थितियों में सही उत्तर पहचानने में बेहतर था। हालांकि, "त्वरित लाइब्रेरियन" (रिवॉर्ड मॉडल) के पास एक गुप्त शक्ति थी: यह उन अव्यवभूत और भ्रमित करने वाले मामलों को संभालने में आश्चर्यजनक रूप से अच्छा था जहाँ साक्ष्य "सच" और "झूठ" के बीच बंटे हुए थे, एक ऐसी श्रेणी जिसे शोधकर्ताओं ने "कॉन्फ्लिक्टिंग" (परस्पर विरोधी) कहा है।
दिलचस्प बात यह है कि टीम के बड़े दावों को छोटे टुकड़ों में तोड़ने के विचार ने उम्मीद के मुताबिक काम नहीं किया। काम को आसान बनाने के बजाय, इसने शोर पैदा कर दिया, जैसे कि किसी पहेली के टुकड़ों को और भी छोटे, भ्रमित करने वाले अंशों में काटकर हल करने की कोशिश करना। अरबी भाषा के हिस्से के लिए, उन्होंने पाया कि अरबी पर विशेष रूप से प्रशिक्षित मॉडल (AraBERT) का उपयोग करना कई भाषाओं में बोलने वाले सामान्य मॉडल की तुलना में बहुत बेहतर था, जो यह साबित करता है कि कभी-कभी एक विशेषज्ञ, एक सामान्यज्ञ से बेहतर होता है।
अंत में, यह पेपर सुझाव देता है कि जबकि बड़े, स्मार्ट AI मॉडल वर्तमान में सबसे अच्छे ऑल-राउंड फैक्ट-चेकर हैं, हमें सबसे अस्पष्ट और पेचीदा दावों से निपटने के लिए सरल, पैटर्न-मैचिंग टूल्स के मूल्य को नजरअंदाज नहीं करना चाहिए। उन्होंने गलत सूचना की समस्या को हमेशा के लिए हल नहीं किया, लेकिन उन्होंने हमें एक स्पष्ट मानचित्र दिया कि कौन से उपकरण किस प्रकार के झूठ के लिए सबसे अच्छा काम करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।