← नवीनतम पेपर
🤖 AI

The Knowing-Saying Gap: When Probes See Errors that Confidence Misses

यह शोध पत्र प्रकट करता है कि जबकि लीनियर प्रोब्स (linear probes) भाषा मॉडलों में दूषित संदर्भ (corrupted context) का सटीक पता लगा सकते हैं, वे अंतिम उत्तर की शुद्धता की विश्वसनीय भविष्यवाणी करने या प्रभावी वास्तविक समय के हस्तक्षेपों का मार्गदर्शन करने में विफल रहते हैं, जो एक-आकार-सभी-के-लिए-उपयुक्त (one-size-fits-all) निगरानी समाधान के बजाय मॉडल-जागरूक और त्रुटि-प्रकार-जागरूक रूटिंग रणनीतियों को आवश्यक बनाता है।

मूल लेखक: Jyotin Goel, Ipshita Bandyopadhyay, Justin Shenk

प्रकाशित 2026-08-11
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Jyotin Goel, Ipshita Bandyopadhyay, Justin Shenk

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जादूगर को कार्ड का करतब दिखाते हुए देख रहे हैं। जादूगर इतना सहज, इतना आत्मविश्वासी और इतना तेज़ है कि आपको कभी भी संदेह नहीं होता। लेकिन क्या होगा अगर जादूगर के मस्तिष्क के भीतर, एक छोटा सा अलार्म चिल्ला रहा हो, "रुको! मैंने गलत कार्ड बदल दिया!"? आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (वे सुपर-स्मार्ट चैटबॉट्स जो कोड लिखते हैं, यात्रा की योजना बनाते हैं और गणित की समस्याओं को हल करते हैं), बिल्कुल ऐसा ही होता है। ये मॉडल जादूगर की तरह हैं: वे पूरी तरह से आत्मविश्वास के साथ बात कर सकते हैं, भले ही वे एक भयानक गलती कर रहे हों।

वैज्ञानिक लंबे समय से उम्मीद कर रहे थे कि यदि कोई मॉडल भ्रमित या गलत है, तो वह "हकलाएगा" या कहेगा, "मुझे इसके बारे में यकीन नहीं है।" इस विचार को "वर्बलाइज्ड कॉन्फिडेंस" (verbalized confidence) कहा जाता है। यह एक जादूगर से पूछने जैसा है, "क्या आप सुनिश्चित हैं कि वह सही कार्ड है?" और यह उम्मीद करना कि वे अपनी गलती स्वीकार कर लेंगे। लेकिन जांच करने का एक और तरीका है: मॉडल के आंतरिक "मस्तिष्क तरंगों" (कंप्यूटर के अंदर गणितीय संकेत) को देखना कि क्या वह जानता है कि वह गड़बबड़ कर रहा है, भले ही वह इसे बोलकर न बताए। यह शोध पत्र एक डरावने लेकिन दिलचस्प अंतर की जांच करता है: मॉडल जो अपने डिजिटल मस्तिष्क के अंदर जानता है और जो वह ज़ोर से कहता है, उसके बीच का अंतर।


द साइलेंट अलार्म एंड द कॉन्फिडेंट लाई (खामोश अलार्म और आत्मविश्वासी झूठ)

शोधकर्ताओं ने इस परीक्षण के लिए एक डिजिटल खेल का मैदान तैयार किया। उन्होंने 1,400 गणितीय समस्याएं बनाईं जिनमें मॉडल को एक चरण-दर-चरण पहेली सुलझाने की आवश्यकता थी, जैसे कि एक चेन रिएक्शन। उदाहरण के लिए, "यदि मेरे पास 5 सेब हैं, और मैं 3 और खरीदता हूँ, फिर मैं आधा खो देता हूँ..." ट्रिक यह थी कि उन्होंने गुप्त रूप से श्रृंखला के पहले ही चरण में एक गलती डाल दी थी। वे दो चीजें देखना चाहते थे:

  1. अलार्म: क्या एक विशेष डिटेक्टर (जिसे "लीनियर प्रोब" कहा जाता है) मॉडल की आंतरिक मस्तिष्क गतिविधि को देखकर यह पहचान सकता था कि पहला चरण गलत था?
  2. भविदन (Prediction): क्या वही डिटेक्टर यह अनुमान लगा सकता था कि अंतिम उत्तर गलत होगा?

उन्होंने Llama-3.1-8B और Qwen3-4B जैसे आज के सबसे स्मार्ट मॉडल्स सहित पांच अलग-अलग मॉडल्स का परीक्षण किया।

द बिग डिस्कवरी: जानने के बावजूद न कहना

परिणाम चौंकाने वाले थे। "अलार्म" पूरी तरह से काम कर गया। जब मॉडल ने गलती की, तो डिटेक्टर ने मॉडल की आंतरिक मस्तिष्क तरंगों में त्रुटि को लगभग 100% सटीकता के साथ (विशेष रूप से, एक मॉडल के लिए 0.997 का AUROC स्कोर) पकड़ लिया। ऐसा लग रहा था जैसे मॉडल का मस्तिष्क चिल्ला रहा हो, "ERROR! ERROR!"

लेकिन यहाँ एक मोड़ है: मॉडल ने अपने ही अलार्म को नहीं सुना।

भले ही आंतरिक अलार्म बज रहा था, मॉडल का अंतिम उत्तर उतना ही आत्मविश्वासी था जितना कि तब होता जब वह सही होता। वह डिटेक्टर जो त्रुटि को पूरी तरह से देख सकता था, वह यह भविष्यवाणी करने में पूरी तरह से बेकार था कि अंतिम उत्तर गलत होगा या नहीं। यह एक ऐसे स्मोक डिटेक्टर की तरह है जो टोस्ट जलने पर "आग!" चिल्लाता है, लेकिन फायर डिपार्टमेंट (मॉडल का अंतिम उत्तर) अभी भी आता है और कहता है, "सब ठीक है, यहाँ कोई आग नहीं है।"

शोध पत्र स्पष्ट रूप से कुछ चीजों को खारिज करता है जिनकी लोग उम्मीद कर सकते थे:

  • आत्मविश्वास कोई सुराग नहीं है: जब उनसे पूछा गया कि वे कितने आश्वस्त हैं, तो मॉडल्स ने केवल एक बाइनरी "हाँ" या "नहीं" दिया, जिसमें कोई वास्तविक सूक्ष्मता नहीं थी। एक मॉडल जो 99% निश्चित था, वह भी उतना ही गलत होने की संभावना रखता था जितना कि एक मॉडल जो 50% निश्चित था।
  • ज़्यादा सोचने से मदद नहीं मिलती: उन्होंने एक "सोचने का मोड" (thinking mode) आजमाया जहाँ मॉडल को चरण-दर-चरण अपना तर्क लिखने के लिए मजबूर किया गया (Chain-of-Thought)। आप सोच सकते हैं कि इससे मॉडल को अपनी गलतियों को पकड़ने में मदद मिलेगी। इसके विपरीत, इसने मॉडल को सही उत्तर पाने में और भी खराब बना दिया (सटीकता 27.9% से गिरकर 1.2% हो गई) बिना इस तथ्य को बदले कि आंतरिक अलार्म अभी भी बज रहा था। मॉडल जानता था कि वह गलत है, लेकिन उस पर बात करने से वह ठीक नहीं हुआ।

क्या हम इसे ठीक कर सकते हैं? "ब्रांच-एंड-पिक" रणनीति

चूंकि मॉडल यह स्वीकार नहीं करेंगे कि वे गलत हैं, इसलिए शोधकर्ताओं ने उनके लिए एक "सुरक्षा जाल" (safety net) के रूप में कार्य करने की कोशिश की। उन्होंने एक प्रणाली बनाई जो आंतरिक अलार्म को सुनती है और मॉडल के उत्तर पूरा करने से पहले गलती को सुधारने की कोशिश करती है। उन्होंने हस्तक्षेप करने के तीन अलग-अलग तरीकों का परीक्षण किया:

  1. रीप्रॉम्प्ट (Reprompt): बस मॉडल को कहना, "हे, अपना काम चेक करो!" (यह अच्छी तरह से काम नहीं किया)।
  2. रिप्लेस-प्रायर (Replace-Prior): गलत चरण को मिटाना और मॉडल को शून्य से फिर से प्रयास करने के लिए मजबूर करना। यह मिला-जुला रहा; इसने कुछ गलत उत्तरों को बचाया लेकिन अनजाने में कुछ सही उत्तरों को भी बिगाड़ दिया।
  3. ब्रांच-एंड-पिक (Branch-and-Pick): यह विजेता रहा। जब अलार्म बजा, तो सिस्टम ने केवल अनुमान नहीं लगाया; बल्कि उसने मॉडल को अगला चरण चार अलग-अलग तरीकों से (विभिन्न स्तर की यादृच्छिकता/randomness का उपयोग करके) आज़माने के लिए कहा। फिर, इसने उस पथ को चुनने के लिए आंतरिक अलार्म का उपयोग किया जो सबसे "साफ" (कम दूषित होने की संभावना वाला) दिखता था।

यह "ब्रांच-एंड-पिक" विधि एकमात्र ऐसी थी जिसने सही उत्तरों को खराब किए बिना लगातार गलत उत्तरों को बचाया। एक विशिष्ट मॉडल (Llama-3.1-8B) पर, इसने 4 गलत उत्तरों को बचाया और 0 सही उत्तरों को बिगाड़ा। हालाँकि, शोध पत्र नोट करता है कि यह हर स्थिति के लिए जादुई समाधान नहीं है। सफलता इस बात पर बहुत अधिक निर्भर थी कि किस प्रकार की गलती हुई थी। उदाहरण के लिए, "गलत यूनिट" वाली त्रुटि को ठीक करना बहुत अच्छा रहा, लेकिन "गलत प्रतिशत" वाली त्रुटि को ठीक करने से चीजें वास्तव में और खराब हो गईं।

निष्कर्ष

शोध पत्र निष्कर्ष निकालता है कि हम यह बताने के लिए मॉडल के शब्दों पर भरोसा नहीं कर सकते कि वह सही है या नहीं। एक मॉडल आपदा के प्रति आंतरिक रूप से जागरूक होते हुए भी आत्मविश्वास के साथ गलत उत्तर दे सकता है। "जानने-कहने का अंतर" (Knowing-Saying Gap) वास्तविक और खतरनाक है।

समाधान मॉडल से अधिक ईमानदार होने के लिए पूछना नहीं है; बल्कि एक "मॉडल-जागरूक" सुरक्षा प्रणाली बनाना है। हमें आंतरिक अलार्म (प्रोब्स) को सुनने और गलतियों को पकड़ने के लिए "ब्रांच-एंड-पिक" जैसी स्मार्ट रणनीतियों का उपयोग करने की आवश्यकता है। लेकिन हमें सावधान भी रहना होगा: ऐसी कोई एक चीज़ नहीं है जो हर प्रकार की गलती या हर मॉडल के लिए काम करे। सुरक्षित AI का भविष्य चैटबॉट के आत्मविश्वास पर भरोसा करने के बारे में नहीं है; यह एक ऐसा गार्डरेल बनाने के बारे में है जो जानता है कि चैटबॉट खुद से कब झूठ बोल रहा है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →