ReFACT: A Benchmark for Scientific Confabulation Detection with Positional Error Annotations
यह शोध पत्र ReFACT को प्रस्तुत करता है, जो Reddit के r/AskScience से प्राप्त एक बेंचमार्क है जो यह प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) एक मौलिक सिमेंटिक ग्राउंडिंग घाटे (semantic grounding deficit) से ग्रस्त हैं जिसके कारण "सैलियंट डिस्ट्रैक्टर" (salient distractor) त्रुटियां होती हैं और वे तुलनात्मक निर्णय लेने में संघर्ष करते हैं, जिससे वैज्ञानिक तथ्यात्मकता के लिए LLM-as-Judge प्रतिमानों की विश्वसनीयता को चुनौती मिलती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट लाइब्रेरियन है जिसका नाम "LLM" (लार्ज लैंग्वेज मॉडल) है। इस रोबोट ने इंटरनेट पर लगभग सब कुछ पढ़ लिया है और यह कहानियाँ लिख सकता है, विज्ञान समझा सकता है और अविश्वसनीय प्रवाह के साथ सवालों के जवाब दे सकता है। यह एक जीनियस की तरह लगता है।
लेकिन यहाँ एक पेंच है: रोबोट एक आत्मविश्वासी झूठा है।
जब इसे उत्तर नहीं पता होता, तो यह यह नहीं कहता कि "मुझे नहीं पता।" इसके बजाय, यह एक ऐसी कहानी बनाता है जो एक सामान्य व्यक्ति को पूरी तरह से तर्कसंगत लगती है, लेकिन वास्तव में पूरी तरह से गलत होती है। वैज्ञानिक दुनिया में, हम इसे "कॉन्फैबुलेशन" (confabulation) कहते हैं। यह ऐसा है जैसे रोबोट बोलते समय दिवास्वप्न देख रहा हो, तथ्यों को कल्पना के साथ इतनी सहजता से मिला रहा हो कि आप अंतर नहीं कर सकें।
जिस पेपर के बारे में आप पूछ रहे हैं, वह ReFACT है, जो एक नया "परीक्षा" (exam) है जिसे यह देखने के लिए डिज़ाइन किया गया है कि क्या ये रोबोट अपनी खुद की झूठ (या अन्य रोबोटों के झूठ) को पकड़ सकते हैं जब बात विज्ञान की आती है।
यहाँ बताया गया है कि उन्होंने क्या पाया, सरल उपमाओं (analogies) का उपयोग करते हुए:
1. परीक्षण: "नकली को पहचानो"
शोधकर्ताओं ने एक लोकप्रिय ऑनलाइन साइंस फोरम (r/AskScience) का रुख किया जहाँ वास्तविक विशेषज्ञ सवालों के जवाब देते हैं। उन्होंने इन 1,001 वास्तविक, सही जवाबों में से कुछ को गुप्त रूप से "जहरीला" (poisoned) बनाया।
- जहरीला बनाना (The Poisoning): उन्होंने एक छोटा सा शब्द बदल दिया या एक वाक्य को उलट दिया।
- असली: "आपका DNA कॉपी होता है।"
- जहरीला: "आपका RNA कॉपी होता है।" (यह एक बहुत बड़ी वैज्ञानिक त्रुटि है, लेकिन सुनने में बहुत समान लगता है)।
- लक्ष्य: उन्होंने विभिन्न AI मॉडलों से पूछा कि क्या वे इस जहरीले उत्तर को देख सकते हैं और कह सकते हैं: "क्या यह नकली है? झूठ ठीक कहाँ है? और क्या आप इसे ठीक कर सकते हैं?"
2. बड़ा आश्चर्य: "डिस्ट्रैक्टर" (Distractor) की समस्या
शोधकर्ता उम्मीद कर रहे थे कि रोबोट इसलिए विफल होंगे क्योंकि विज्ञान कठिन है। लेकिन उन्हें कुछ और ही अजीब मिला।
उपमा: कल्पना कीजिए कि आप "नकली नोट पहचानो" का खेल खेल रहे हैं। आपको $100 के नोटों का एक ढेर दिया जाता है। उनमें से एक नकली है।
- आप क्या उम्मीद करते हैं कि रोबोट करेगा: असली नोट से नकली को खोजने के लिए स्याही, कागज की बनावट और सीरियल नंबरों को ध्यान से देखेगा।
- रोबोट वास्तव में क्या करता है: वह उस नकली नोट को पूरी तरह से अनदेखा कर देता है। इसके बजाय, वह ढेर में से एक असली नोट की ओर इशारा करता है और कहता है, "यह नकली है!" क्यों? क्योंकि उस असली नोट में कोई चमक या विशिष्ट रंग है जो उसका ध्यान खींच लेता है।
निष्कर्ष:
61% बार, जब AI ने त्रुटि खोजने की कोशिश की, तो उसने एक ऐसे शब्द की ओर इशारा किया जिसका वास्तविक गलती से कोई लेना-देना नहीं था।
- यदि त्रुटि "DNA" को "RNA" में बदलने की थी, तो AI "cells" या "replicate" जैसे शब्द की ओर इशारा कर सकता है क्योंकि वे शब्द "विज्ञान-संबंधी" (science-y) लगते हैं।
- यह उस छात्र की तरह है जो गणित की परीक्षा देता है जिसे उत्तर नहीं पता, इसलिए वह बस पेज पर सबसे लंबी संख्या को घेर देता है क्योंकि वह उत्तर जैसा दिखता है।
डरावनी बात: यह बड़े, सबसे शक्तिशाली रोबोटों (70 बिलियन "मस्तिष्क कोशिकाओं" या पैरामीटर्स) के साथ भी हुआ। रोबोट को बड़ा बनाने से यह ठीक नहीं हुआ। इसने केवल रोबोट को अलग-अलग चमकदार, विज्ञान-ध्वनि वाले शब्दों की ओर इशारा करने में बेहतर बना दिया।
3. "साइड-बाय-साइड" विरोधाभास (The Side-by-Side Paradox)
आमतौर पर, हम सोचते हैं कि एक चीज़ को अकेले आंकने की तुलना में दो चीजों की तुलना करना आसान होता है।
- उदाहरण: यदि आप अंधेरे में केवल एक सेब को देखते हैं, तो इसकी तुलना में दो सेबों को अगल-बगल रखने पर यह पहचानना आसान है कि कौन सा सड़ा हुआ है।
निष्कर्ष:
शोधकर्ताओं ने इसे AI के साथ परखा। उन्होंने AI को दो उत्तर दिए (एक असली, एक नकली) और पूछा, "इनमें से कौन सा झूठ है?"
- परिणाम: AI इसमें और भी खराब हो गया!
- जब AI को एक एकल उत्तर का निर्णय लेना होता था, तो वह ठीक था। लेकिन जब उसे दो की तुलना करनी थी, तो वह भ्रमित हो गया। ऐसा लगा जैसे वह सोच रहा हो, "खैर, ये दोनों इतने स्मार्ट और आत्मविश्वासी लग रहे हैं, मैं कैसे बता सकता हूँ कि कौन झूठ बोल रहा है!"
- यह एक बहुत बड़ी समस्या है क्योंकि वर्तमान में कई लोग AI का उपयोग दूसरे AI के काम को परखने के लिए कर रहे हैं। यदि जज (judge) अगल-बगल की तुलना में भ्रमित हो जाता है, तो पूरी प्रणाली अविश्वसनीय है।
4. "ठीक करने" की विफलता (The Fix-It Failure)
अंत में, उन्होंने रोबोटों को झूठ को वास्तव में ठीक करने के लिए कहा।
- परिणाम: यहाँ तक कि सबसे अच्छे रोबोट (GPT-4o) भी त्रुटि को केवल 28% बार सही ढंग से ठीक कर सके।
- यह एक मैकेनिक से पूछने जैसा है जो टूटे हुए हिस्से की पहचान भी नहीं कर सकता और उससे उसे बदलने के लिए भी कह रहा है। वह बस अनुमान लगाता है, और ज्यादातर मामलों में, उसका अनुमान गलत होता है।
निचोड़ (The Bottom Line)
यह पेपर एक चेतावनी है।
- स्केलिंग (Scaling) समाधान नहीं है: AI मॉडलों को बड़ा और अधिक महंगा बनाने मात्र से वे सत्य को नहीं समझ पाते। वे अभी भी "हैलुसिनेट" (भ्रमित होना) कर रहे हैं और चमकदार शब्दों से विचलित हो रहे हैं।
- AI जज दोषपूर्ण हैं: हम AI को दूसरे AI के तथ्यों की जांच करने के लिए अंधाधुंध भरोसा नहीं कर सकते, विशेष रूप से विज्ञान में। वे अपने ही आत्मविश्वास से आसानी से धोखा खा जाते हैं।
- हमें एक नए दृष्टिकोण की आवश्यकता है: शोधकर्ता सुझाव देते हैं कि हमें इन रोबोटों को "चमकदार शब्दों" को देखना बंद करने और वास्तव में जो वे पढ़ रहे हैं उसके अर्थ को समझना शुरू करने की आवश्यकता है।
संक्षेप में: हमारे वर्तमान AI रोबोट उन आत्मविश्वासी टूर गाइडों की तरह हैं जो इतिहास के बारे में कहानियाँ गढ़ते हैं। वे शानदार सुनाई देते हैं, उन्हें सही शब्दावली का ज्ञान है, लेकिन यदि आप उन्हें अपनी कहानी में झूठ की ओर इशारा करने के लिए कहते हैं, तो वे संभवतः गलत चीज़ की ओर इशारा करेंगे और इस बात पर जोर देंगे कि वे सही हैं। हमें उन्हें वैज्ञानिक तथ्यों के लिए भरोसेमंद मानने में बहुत सावधान रहने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।