Wired for Overconfidence: A Mechanistic Perspective on Inflated Verbalized Confidence in LLMs
यह शोध पत्र एक सर्किट-स्तरीय यांत्रिक विश्लेषण प्रस्तुत करता है जो यह प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स में अत्यधिक मौखिक आत्मविश्वास (verbalized confidence) मध्य-से-विलंब परतों (middle-to-late layers) में स्थित एमएलपी ब्लॉक्स (MLP blocks) और अटेंशन हेड्स (attention heads) के एक संक्षिप्त सेट द्वारा संचालित होता है, जिन्हें इनफ्रेंस-टाइम पुनर्मानकन (inference-time recalibration) के लिए कारण-संबंधी रूप से पहचाना और लक्षित किया जा सकता है ताकि अंशांकन (calibration) में महत्वपूर्ण सुधार किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान रोबोट सहायक है। आप उससे एक सवाल पूछते हैं, और वह आपको जवाब देता है। लेकिन यहाँ एक समस्या है: कभी-कभी वह पूरी तरह से गलत होता है, फिर भी वह इतनी पूर्ण निश्चितता के साथ बोलता है कि आप उस पर विश्वास कर लेते हैं। यह बिल्कुल वैसा ही है जैसे कोई छात्र ऑस्ट्रेलिया की राजधानी के रूप में "पेरिस" का अनुमान लगाए लेकिन हाथ उठाकर कहे, "मुझे 99% यकीन है!"
यह शोध पत्र इस बारे में है कि यह पता लगाया जाए कि यह रोबोट इतना आत्मविश्वासी होकर गलत क्यों है, इसके मस्तिष्क के भीतर उन विशिष्ट "तारों" (wires) को खोजा जाए जो इस व्यवहार का कारण बनते हैं, और फिर उन तारों को काट दिया जाए या उन्हें फिर से जोड़ा जाए ताकि यह अधिक ईमानदार बन सके।
उनकी खोज का विवरण, सरल उपमाओं का उपयोग करते हुए, यहाँ दिया गया है:
1. समस्या: "आत्मविश्वासी झूठा" (The Confident Liar)
लार्ज लैंग्वेज मॉडल्स (LLMs) बातें करने में माहिर होते हैं, लेकिन वे अक्सर मौखिक अति-आत्मविश्वास (verbalized overconfidence) से ग्रस्त होते हैं। जब वे कोई गलती करते हैं, तो वे यह नहीं कहते, "मुझे यकीन नहीं है।" इसके बजाय, वे एक उच्च आत्मविश्वास स्कोर (जैसे "95% निश्चित") उत्पन्न करते हैं, भले ही वे गलत हों। यह खतरनाक है क्योंकि यह इंसानों को गलत जानकारी पर भरोसा करने के लिए बहका देता है।
2. जासूसी कार्य: "कॉन्फिडेंस स्विच" की खोज
शोधकर्ताओं ने केवल रोबोट के अंतिम उत्तर को नहीं देखा; उन्होंने इसके सोचने के दौरान इसके "मस्तिष्क" (इसके आंतरिक कोड) के अंदर झाँका।
- सेटअप: उन्होंने रोबोट से एक सवाल पूछा। यदि रोबोट गलत था, तो उन्होंने बातचीत का एक "नकली" संस्करण बनाया जहाँ उन्होंने गुप्त रूप से गलत उत्तर को सही उत्तर से बदल दिया, लेकिन बाकी सब कुछ समान रखा।
- सुराग: उन्होंने गौर किया कि जब उत्तर सही था, तो रोबोट का आंतरिक "आत्मविश्वास मीटर" गिर गया। जब उत्तर गलत था, तो मीटर ऊँचा बना रहा।
- मेट्रिक: उन्होंने TSLD (Target-Set Logit Difference) नामक एक उपकरण का आविष्कार किया। इसे एक थर्मामीटर की तरह समझें जो यह मापता है कि रोबोट उच्च आत्मविश्वास बनाम निम्न आत्मविश्वास के बारे में कितना "गर्म" महसूस करता है। इस थर्मामीटर को देखकर, वे देख सकते थे कि मशीन के भीतर से गर्मी कहाँ से आ रही थी।
3. खोज: "ओवरकॉन्फिडेंस सर्किट" (The Overconfidence Circuit)
मैकेनिस्टिक इंटरप्रिटेबिलिटी (जो एक घड़ी को खोलने जैसा है ताकि देखा जा सके कि कौन सा गियर सुइयों को घुमाता है) नामक तकनीक का उपयोग करते हुए, उन्होंने पाया कि रोब की अति-आत्मविश्वासता यादृच्छिक (random) नहीं है। यह उसके मस्तिष्क के एक बहुत ही विशिष्ट, छोटे समूह से आती है।
- स्थान: ये हिस्से मॉडल के मध्य-से-अंतिम परतों (middle-to-late layers) में स्थित हैं। कल्पना कीजिए कि रोबोट का मस्तिष्क एक फैक्ट्री असेंबली लाइन है। शुरुआती कर्मचारी तथ्य इकट्ठा करते हैं, लेकिन "कॉन्फिडेंस लेखक" (confidence writers) लाइन के अंत में बैठे मैनेजर हैं जो अंतिम रिपोर्ट पर मुहर लगाते हैं।
- दोषी: उन्होंने लगभग 10 विशिष्ट "श्रमिकों" (न्यूरल घटकों) की एक संक्षिप्त टीम को पाया।
- कुछ MLP ब्लॉक्स हैं (इन्हें फैक्ट्री के मेमो लेखक के रूप में सोचें जो अंतिम आत्मविश्वास विवरण का मसौदा तैयार करते हैं)।
- कुछ अटेंशन हेड्स (Attention Heads) हैं (इन्हें वे मैनेजर समझें जो तय करते हैं कि कौन सा मेमो भेजा जाएगा)।
- आश्चर्य: यह "ओवरकॉन्फिडेंस लेखकों" की टीम वही है चाहे रोबोट इतिहास, विज्ञान या पॉप संस्कृति के बारे में सवाल का जवाब दे रहा हो। यह एक अंतर्निहित आदत है, न कि किसी एक विषय से जुड़ी गलती। रोबोट का एक "डिफ़ॉल्ट सेटिंग" है जो कहता है, "उच्च आत्मविश्वास स्कोर लिखें," चाहे तथ्य वास्तव में कितने भी अच्छे क्यों न हों।
4. समाधान: मस्तिष्क को फिर से जोड़ना (Rewiring the Brain)
एक बार जब उन्होंने उन विशिष्ट तारोंों की पहचान कर ली जो समस्या पैदा कर रहे थे, तो उन्होंने वास्तविक समय में (रोबोट के सोचते समय) इसे ठीक करने की कोशिश की। उन्होंने दो विधियाँ आजमाईं:
- मीन एब्लेशन (Mean Ablation - "म्यूट" बटन): उन्होंने बस उन विशिष्ट "कॉन्फिडेंस लेखकों" को चुप करा दिया और उनके आउटपुट को एक तटस्थ, औसत सिग्नल से बदल दिया।
- परिणाम: रोबोट बहुत अधिक ईमानदार हो गया। इसने तब "मैं निश्चित हूँ!" चिल्लाना बंद कर दिया जब वह केवल अनुमान लगा रहा था।
- एक्टिवेशन स्टीयरिंग (Activation Steering - "डिमर स्विच"): लेखकों को चुप कराने के बजाय, उन्होंने उनके आउटपुट को अति-आत्मविश्वास की विपरीत दिशा में धीरे से धकेला।
- परिणाम: यह और भी बेहतर था। इसने उन्हें आत्मविश्वास को ऊपर या नीचे करने की अनुमति दी। एक आदर्श सेटिंग पर, रोबोट के आत्मविश्वास स्कोर उसकी वास्तविक सटीकता के साथ लगभग पूरी तरह से मेल खा गए।
बड़ी तस्वीर की उपमा (The Big Picture Analogy)
रोबोट को एक न्यूज़ एंकर के रूप में सोचें।
- पुराना तरीका: एंकर समाचार पढ़ता है। यदि वे किसी कहानी के बारे में अनिश्चित हैं, तो भी वे कहते हैं, "ब्रेकिंग न्यूज़! यह 100% पुष्ट है!" क्योंकि उनका आंतरिक स्क्रिप्ट (सर्किट) अधिकारपूर्ण लगने के लिए प्रोग्राम किया गया है।
- शोध पत्र का समाधान: शोधकर्ताओं ने स्क्रिप्ट राइटर के मस्तिष्क के उस विशिष्ट हिस्से को खोज निकाला जो "100% पुष्ट" वाक्यांश जोड़ता है। उन्होंने महसूस किया कि यह स्क्रिप्ट राइटर वास्तविक तथ्यों को अनदेखा करता है और बस निश्चितता की आवाज़ को पसंद करता है।
- समाधान: वे स्टूडियो में गए और उस विशिष्ट स्क्रिप्ट राइटर को बताया, "जब तक तुम्हारे पास सबूत न हो, तब तक '100% पुष्ट' वाली लाइन जोड़ना बंद करो।" अचानक, एंकर कहने लगा, "हम 50% सुनिश्चित हैं," या "हम अभी भी जाँच कर रहे हैं," जो दर्शकों के लिए बहुत अधिक सहायक है।
यह क्यों महत्वपूर्ण है
यह एक बहुत बड़ा कदम है क्योंकि:
- यह जादू नहीं है: उन्होंने केवल अनुमान नहीं लगाया; उन्होंने उन भौतिक "तारों" को खोज लिया जो झूठ बोल रहे थे।
- यह ठीक करने योग्य है: आपको पूरे रोबोट को शुरू से फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आपको बस उस क्षण में कुछ विशिष्ट हिस्सों को ट्यून करने की आवश्यकता है जब वह उत्तर दे रहा हो।
- यह सुरक्षित है: रोबोटों को यह स्वीकार करने में सक्षम बनाकर कि वे अनिश्चित हैं, हम उन्हें आत्मविश्वास के साथ हमें गलत रास्ते पर ले जाने से रोक सकते हैं।
संक्षेप में: रोबोट अति-आत्मविश्वासी होने के लिए वायर किए गए हैं, लेकिन हमने उस स्विच को खोज लिया है जो उस वायरिंग को नियंत्रित करता है, और हम उन्हें अधिक ईमानदार बनाने के लिए उस स्विच को बदल सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।