How do LLMs Compute Verbal Confidence
यह शोध पत्र यह प्रदर्शित करता है कि जेम्मा 3 (Gemma 3) और क्वेन 2.5 (Qwen 2.5) जैसे बड़े भाषा मॉडल जनरेशन के दौरान आत्मविश्वास के जटिल, उत्तर-गुणवत्ता-आधारित निरूपणों की गणना करने के बजाय उन्हें स्वतः ही कंप्यूट और कैश करते हैं, जो यह प्रकट करता है कि मौखिक आत्मविश्वास टोकन संभावनाओं के सरल पश्चात-निर्माण (post-hoc reconstruction) के बजाय वास्तविक मेटाकॉग्निटिव आत्म-मूल्यांकन को दर्शाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत बुद्धिमान, लेकिन थोड़े रहस्यमयी एआई (AI) असिस्टेंट से एक कठिन सवाल पूछते हैं। वह एक पल के लिए सोचता है, आपको जवाब देता है, और फिर आप पूछते हैं, "आप उस बारे में कितने आश्वस्त हैं?"
एआई जवाब देता है, "मैं 95% आश्वस्त हूँ।"
लंबे समय तक, शोधकर्ता यह सोचते रहे: क्या एआई वास्तव में जवाब देने के दौरान ही इस बात के बारे में सोच रहा होता है कि वह कितना आश्वस्त है? या क्या वह जवाब खत्म करने के बाद बस मौके पर ही वह कॉन्फिडेंस नंबर बना लेता है?
"How do LLMs Compute Verbal Confidence?" नामक यह शोध पत्र ठीक इसी बात की जांच करता है। शोधकर्ताओं ने यह पता लगाने के लिए कि वह "95%" कैसे उत्पन्न करता है, एआई के मस्तिष्क के भीतर एक जासूस की तरह काम किया।
यहाँ उनकी खोज की कहानी है, जिसे कुछ रोजमर्रा के उपमाओं (analogies) के माध्यम से समझाया गया है।
दो संदिग्ध: "जस्ट-इन-टाइम" बनाम "फाइलिंग कैबिनेट"
शोधकर्ताओं के पास एआई के काम करने के दो मुख्य सिद्धांत थे:
"जस्ट-इन-टाइम" शेफ (JIT परिकल्पना): कल्पना कीजिए कि एक शेफ खाना बनाता है। जब आप प्लेट सजाने के बाद उससे पूछते हैं, "यह व्यंजन कैसा है?" तो शेफ उसे चखता है, एक पल के लिए सोचता है, और फिर आपको बताता है। इस सिद्धांत में, एआई पहले उत्तर उत्पन्न करता है, और केवल पूछने पर ही वह रुकता है, जो उसने कहा उसे वापस देखता है, और शून्य से कॉन्फिडेंस स्कोर की गणना करता है।
"फाइलिंग कैबिनेट" क्लर्क (कैश्ड रिट्रीवल परिकल्पना): कल्पना कीजिए कि एक क्लर्क, रिपोर्ट लिखते समय, गुप्त रूप से हर पैराग्राफ के बगल में एक छोटा स्टिकी नोट लिखता है जिसमें लिखा होता है, "यह हिस्सा ठोस है" या "यह हिस्सा संदिग्ध है।" जब आप बाद में कॉन्फिडेंस स्कोर मांगते हैं, तो क्लर्क पूरी रिपोर्ट को दोबारा नहीं पढ़ता; वह बस पहले से लिखे गए स्टिकी नोट को उठा लेता है। इस सिद्धांत में, एआई उत्तर उत्पन्न करते समय स्वचालित रूप से अपने कॉन्फिडेंस की गणना करता है और उसे बाद के लिए सुरक्षित रख देता है।
फैसला: शोधकर्ताओं ने पाया कि एआई निश्चित रूप से "फाइलिंग कैबिनेट क्लर्क" है। वह उत्तर देते समय ही अपना कॉन्फिडेंस कैलकुलेट करता है, उस भावना को स्टोर करता है, और पूछे जाने पर उसे बस निकाल कर दे देता है।
उन्होंने इसे कैसे साबित किया? (जासूसी का काम)
शोधकर्ताओं ने एआई के मस्तिष्क पर कुछ उच्च-तकनीकी "सर्जरी" (जो वास्तव में एक विशाल कंप्यूटर प्रोग्राम है जिसे ट्रांसफॉर्मर कहा जाता है) का उपयोग किया। यहाँ उनके द्वारा उपयोग किए गए उपकरण हैं, जिन्हें सरल शब्दों में अनुवादित किया गया है:
1. "रिमोट कंट्रोल" (एक्टिवेशन स्टीयरिंग)
कल्पना कीजिए कि एआई के मस्तिष्क में "कॉन्फिडेंस" के लिए एक विशिष्ट वॉल्यूम नॉब (volume knob) है। शोधकर्ताओं ने उस नॉब को ऊपर या नीचे करने का तरीका खोज लिया।
- परीक्षण: उन्होंने एआई के उत्तर समाप्त करने के ठीक बाद और कॉन्फिडेंस बताने के लिए कहे जाने से पहले "कॉन्फिडेंस नॉब" को ऊपर घुमाया।
- परिणाम: एआई की अंतिम कॉन्फिडेंस रेटिंग बढ़ गई! इसने साबित कर दिया कि कॉन्फिडेंस की जानकारी पहले से ही वहां मौजूद थी, जिसका उपयोग किया जा सकता था, ठीक वैसे ही जैसे आपसे पूछने से पहले मेज पर रखी एक फाइल। यदि एआई "जस्ट-इन-टाइम" गणित कर रहा होता, तो उस क्षण नॉब घुमाने से कोई फर्क नहीं पड़ता।
2. "भूलने की दवा" (एक्टिवेशन पैचिंग)
कल्पना कीजिए कि आप एआई को ऐसी गोली देते हैं जिससे वह अपने अभी लिखे गए उत्तर को भूल जाए, लेकिन आप गुप्त रूप से उसके मस्तिष्क के एक विशिष्ट स्थान में उत्तर की एक "साफ" स्मृति वापस डाल देते हैं।
- परीक्षण: उन्होंने एआई की उत्तर की स्मृति को मिटा दिया, जिससे वह भ्रमित हो गया। फिर, उन्होंने स्मृति को केवल उस विशिष्ट स्थान पर "पैच" (पुनर्स्थापित) किया जहाँ "फाइलिंग कैबिनेट" (उत्तर के बाद का न्यूलाइन कैरेक्टर) स्थित था।
- परिणाम: एआई को अचानक याद आ गया कि उसे कितना आश्वस्त होना चाहिए! इसने साबित कर दिया कि "फाइलिंग कैबिनेट" वाला स्थान महत्वपूर्ण कॉन्फिडेंस डेटा रखता है।
3. "स्वैप मीट" (एक्टिवेशन स्वैप)
यह सबसे चतुर चाल थी। उन्होंने एक "बहुत आश्वस्त" एआई की मस्तिष्क अवस्था को, जो उत्तर देने के तुरंत बाद थी, एक "बहुत अनिश्चित" एआई के मस्तिष्क में बदल दिया।
- परीक्षण: हमने एक सही उत्तर से "कॉन्फिडेंस की भावना" ली और उसे एक ऐसे परीक्षण में पेस्ट कर दिया जहाँ एआई वास्तव में अनिश्चित था।
- परिणाम: अनिश्चित एआई अचानक आश्वस्त व्यवहार करने लगा! इसने साबित कर दिया कि कॉन्फिडेंस सिग्नल मस्तिष्क में संग्रहीत एक अलग, हस्तांतरणीय "भावना" है, न कि केवल शब्दों का एक उपोत्पाद (byproduct)।
बड़ा आश्चर्य: यह केवल एक "अंतर्मन की भावना" नहीं है
एक दूसरा रहस्य भी था: यह कॉन्फिडेंस नंबर वास्तव में क्या है?
कुछ लोगों का मानना था कि एआई केवल यह देख रहा है कि उसका उत्तर कितना "स्मूथ" या "प्रवाहपूर्ण" (fluent) लग रहा है। यदि शब्द आसानी से बह रहे थे, तो वह आश्वस्त महसूस कर रहा था। यदि शब्द अटपटे थे, तो वह अनिश्चित महसूस कर रहा था। यह एक छात्र की तरह है जो केवल इसलिए आश्वस्त महसूस करता है क्योंकि उसने एक लंबा निबंध लिखा है, भले ही निबंध निरर्थक हो।
शोधकर्ताओं ने पाया कि यह सच नहीं था।
- उन्होंने पाया कि एआई के कॉन्फिडेंस सिग्नल में शब्दों के प्रवाह से कहीं अधिक जानकारी होती है।
- यह एक शिक्षक द्वारा टेस्ट ग्रेड करने जैसा है। एक "जस्ट-इन-टाइम" फ्लुएंसी चेक यह कहना है कि, "लिखावट साफ है, इसलिए मैं सही होऊँगा।" लेकिन एआई वास्तव में एक सेकंड-ऑर्डर चेक कर रहा है: वह उत्तर को देख रहा है और पूछ रहा है, "क्या यह तथ्य वास्तव में उस जानकारी से मेल खाता है जो मैं दुनिया के बारे में जानता हूँ?"
इसका मतलब है कि एआई में मेटाकॉग्निशन (सोचने के बारे में सोचना) का एक रूप है। वह केवल शब्दों को दोहराने वाला तोता नहीं है; उसके पास एक आंतरिक "क्वालिटी कंट्रोल" सिस्टम है जो काम करते समय अपने स्वयं के काम का मूल्यांकन करता है।
सूचना का राजमार्ग (Information Highway)
अंत में, उन्होंने इस कॉन्फिडेंस सिग्नल के मार्ग का पता लगाया:
- उत्तर: एआई उत्तर उत्पन्न करता है।
- फाइलिंग कैबिनेट (PANL): उत्तर के अंतिम शब्द के तुरंत बाद, एआई पूरे उत्तर को पढ़ता है, गणना करता है कि वह कितना अच्छा है, और उस "कॉन्फिडेंस स्कोर" को एक विशिष्ट स्थान (न्यूलाइन कैरेक्टर) में सुरक्षित करता है।
- रिट्रीवल (CC): जब प्रॉम्प्ट कॉन्फिडेंस रेटिंग मांगता है, तो एआई उस संग्रहीत स्कोर को देखता है और उसे बोलकर बताता है।
यह क्यों मायने रखता है?
यह दो कारणों से बहुत बड़ी बात है:
- विश्वास: इसका मतलब है कि हम एआई को केवल आत्मविश्वास से भरा दिखने के लिए धोखा नहीं दे सकते। यदि वह कहता है कि वह 95% आश्वस्त है, तो वह वास्तव में एक परिष्कृत आंतरिक जांच कर रहा है, न कि केवल यह अनुमान लगा रहा है कि वाक्य कितना सहज है।
- सुरक्षा: यदि हम समझते हैं कि एआई को कैसे पता चलता है कि वह अनिश्चित है, तो हम बेहतर सुरक्षा प्रणाली बना सकते हैं। हम एआई को अपने "फाइलिंग कैबिनेट" पर भरोसा करना सिखा सकते हैं और उसे गलत तथ्य गढ़ने (hallucinate करने) से पहले "मुझे नहीं पता" कहने के लिए प्रशिक्षित कर सकते हैं।
संक्षेप में: एआई आत्मविश्वास का दिखावा नहीं कर रहा है। वह वास्तविक समय में गणित कर रहा है, परिणाम को फाइल कर रहा है, और पूछे जाने पर उसे आपको सौंप रहा है। यह एक परिष्कृत, स्वचालित आत्म-जांच है जो आपके पूछने से पहले ही हो जाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।