Novel Claim or Déjà Vu? Rethinking "Contamination-Free'' Dynamic Evaluation for Multimodal Automated Fact-Checking
यह शोध पत्र इस धारणा को चुनौती देता है कि गतिशील बेंचमार्क स्वाभाविक रूप से संदूषण-मुक्त होते हैं, यह प्रदर्शित करते हुए कि कट-ऑफ के बाद के दावों का एक महत्वपूर्ण हिस्सा पूर्व-मौजूद ज्ञान के माध्यम से सत्यापन योग्य बना रहता है, जो मल्टीमॉडल तथ्य-जांच प्रदर्शन को कृत्रिम रूप से बढ़ा सकता है और सिस्टम रैंकिंग को विकृत कर सकता है, जिससे सख्त मूल्यांकन प्रोटोकॉल की आवश्यकता उत्पन्न होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को जासूस बनने के लिए प्रशिक्षित कर रहे हैं। इसका काम इंटरनेट पर सुराग ढूंढना, उन्हें पढ़ना और यह तय करना है कि कोई कहानी सच है या झूठ। इसे "ऑटोमेटेड फैक्ट-चेकिंग" (स्वचालित तथ्य-जांच) कहा जाता है। लेकिन यहाँ एक पेचीदा बात है: यह सुनिश्चित करने के लिए कि रोबोट वास्तव में सुराग खोजने में माहिर हो रहा है या केवल रटने में, हमें इसे उन नए रहस्यों के साथ टेस्ट करना होगा जिन्हें इसने पहले कभी नहीं देखा है। यदि हम इसे ऐसा रहस्य देते हैं जिसका उत्तर इसे पहले से पता है क्योंकि इसने अपने प्रशिक्षण की किताबों में इसे पढ़ा था, तो हम यह नहीं बता पाएंगे कि यह सुराग खोजने में अच्छा है या केवल याद रखने में। यह शोध पत्र कंप्यूटर विज्ञान के एक विशिष्ट कोने में उतरता है जहाँ हम ऐसी कहानियों के लिए इन जासूसी रोबोटों को बनाने की कोशिश करते हैं जिनमें टेक्स्ट और चित्र दोनों का मिश्रण होता है (जैसे कि कोई वायरल मीम या समाचार वीडियो)। बड़ा सवाल यह है: क्या हम इन रोबोटों का परीक्षण निष्पक्ष रूप से कर रहे हैं, या हम अनजाने में उन्हें टेस्ट शुरू होने से पहले ही उत्तर दे रहे हैं?
इस शोध पत्र के पीछे के शोधकर्ताओं ने, जो हांगकांग और बीजिंग की एक टीम है, तकनीकी दुनिया के एक लोकप्रिय विचार की जांच करने का निर्णय लिया। कई वैज्ञानिकों का मानना था कि यदि वे "डायनेमिक" (गतिशील) टेस्ट बनाते हैं—यानी उन समाचार कहानियों का उपयोग करते हैं जो रोबोट के प्रशिक्षण रुकने के बाद प्रकाशित हुई थीं—तो वे धोखाधड़ी से सुरक्षित रहेंगे। उन्होंने मान लिया था कि यदि कोई कहानी नई है, तो रोबोट को उसका उत्तर पता नहीं हो सकता। लेकिन लेखकों को संदेह था कि यह एक जाल हो सकता है। उन्होंने पूछा: क्या होगा अगर रोबोट को नए सुराग खोजने की आवश्यकता ही न पड़े क्योंकि उत्तर उसकी स्मृति में पहले से ही छिपा हुआ है, भले ही वे कहानियाँ "नई" हों?
यह पता लगाने के लिए, उन्होंने एक विशेष टेस्ट लैब बनाई। उन्होंने 2025 के अंत की कहानियों के एक बिल्कुल नए सेट को लिया (जो रोबोट के प्रशिक्षण कट-ऑफ के बाद की थीं) और इसकी तुलना पुरानी कहानियों के सेट से की। उन्होंने एक चतुर विधि का उपयोग किया यह देखने के लिए कि क्या रोबोट केवल अपनी आंतरिक स्मृति का उपयोग करके एक तथ्य-जांच लेख लिख सकता है, बिना कुछ भी नया खोजे। यदि रोबोट का स्मृति-आधारित लेख वास्तविक, मानव-लिखित तथ्य-जांच लेख जैसा दिखता था, तो उन्होंने इसे "कंटैमिनेटेड" (दूषित) के रूप में चिह्नित किया—जिसका अर्थ था कि रोबोट नया ज्ञान खोजने के बजाय पुराने ज्ञान का उपयोग करके धोखाधड़ी कर रहा था।
उनकी जांच ने कुछ आश्चर्यजनक और थोड़े निराशाजनक समाचार प्रकट किए। सबसे पहले, उन्होंने पाया कि इन "ताज़ा" डायनेमिक टेस्ट के साथ भी, लगभग 17% से 29% कहानियाँ अभी भी दूषित थीं। यह एक छात्र को नए विषय पर टेस्ट देने जैसा है, लेकिन छात्र को एहसास होता है कि उत्तर केवल तीन पुराने तथ्यों का संयोजन है जिन्हें उसने पहले से ही याद कर लिया है। उदाहरण के लिए, एक कहानी किसी प्रसिद्ध व्यक्ति की आयु के बारे में एक नए अफवाह के बारे में हो सकती है; रोबोट को वेब पर खोजने की आवश्यकता नहीं है क्योंकि वह पहले से ही उस व्यक्ति के जन्म वर्ष और नौकरी के लिए कानूनी आयु को जानता है, इसलिए वह पहेली को तुरंत हल कर सकता है।
टीम ने यह भी पाया कि यह "धोखाधड़ी" रोबोटों को वास्तव में जितना वे हैं, उससे कहीं अधिक स्मार्ट दिखाती है। जब उन्होंने दूषित कहानियों पर रोबोट का परीक्षण किया, तो रोबोटों ने उच्च स्कोर प्राप्त किया। लेकिन जब उन्होंने वास्तव में ताज़ा कहानियों पर परीक्षण किया जिन्हें रोबोट स्मृति से हल नहीं कर सके, तो स्कोर काफी गिर गया—कभी-कभी 11 अंक तक। यह एक ऐसे धावक के बीच का अंतर है जो इसलिए तेज़ दिखता है क्योंकि वह उस ट्रेडमिल पर अभ्यास कर रहा है जिस पर वह दौड़ रहा है, बनाम एक नए, ऊबड़-खाबड़ रास्ते पर दौड़ना। संदूषण इतना मजबूत था कि इसने यह भी बदल दिया कि कौन सा रोबोट "सर्वश्रेष्ठ" है। वह रोबोट जो पुराने टेस्ट पर चैंपियन की तरह दिख रहा था, वह निष्पक्ष, स्वच्छ टेस्ट पर शीर्ष प्रदर्शन करने वाला नहीं था।
अंत में, लेखकों ने एक सख्त नियम के साथ परीक्षण दोबारा किया: केवल उन्हीं कहानियों का उपयोग करें जिन्हें कोई भी रोबोट अपनी स्मृति से हल नहीं कर सकता। इस निष्पक्ष खेल के मैदान के साथ भी, सर्वश्रेष्ठ रोबोट केवल लगभग 56% उत्तर सही दे पाए। यह सुझाव देता है कि जबकि हमारे जासूसी रोबोट बेहतर हो रहे हैं, उन्हें वास्तविक समय की खबरों की अस्त-व्यस्त, तेज़ी से बदलती दुनिया को बिना भ्रमित हुए या पुरानी यादों पर निर्भर हुए संभालने के लिए अभी लंबा रास्ता तय करना है। शोध पत्र निष्कर्ष निकालता है कि केवल "नई" तारीखों का उपयोग करना धोखाधड़ी को रोकने के लिए पर्याप्त नहीं है; हमें यह सुनिश्चित करने के लिए स्मार्ट तरीकों की आवश्यकता है कि रोबोट वास्तव में जासूसी का काम कर रहे हैं, न कि केवल अतीत को याद कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।