Closing the Confidence-Faithfulness Gap in Large Language Models
यह शोध पत्र प्रकट करता है कि मौखिक रूप से व्यक्त किया गया आत्मविश्वास और वास्तविक सटीकता LLMs में ऑर्थोगोनल रैखिक संकेतों के रूप में एनकोड किए जाते हैं, जो एक ऐसा संबंध है जिसे तर्क प्रक्रियाओं द्वारा बाधित किया जाता है, और एक दो-चरणीय अनुकूली स्टीयरिंग पाइपलाइन का प्रस्ताव करता है ताकि आत्मविश्वास आउटपुट को आंतरिक सटीकता अनुमानों के साथ संरेखित किया जा सके, जिससे मॉडल अंशांकन (कैलिब्रेशन) में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ी समस्या: अति-आत्मविश्वासी विशेषज्ञ (The Overconfident Expert)
कल्पना कीजिए कि आपके पास एक बेहद प्रतिभाशाली लेकिन थोड़ा अहंकारी विशेषज्ञ सलाहकार है। यह सलाहकार लगभग किसी भी समस्या को सही ढंग से हल कर सकता है। हालाँकि, जब आप उससे पूछते हैं, "आप कितने आश्वस्त हैं कि आपने इसे सही किया है?" तो वह लगभग हमेशा कहता है, "मैं 99% आश्वस्त हूँ!"
डरावनी बात क्या है? वह केवल 40% बार ही सही होता है।
यह लार्ज लैंग्वेज मॉडेल्स (LLMs) की वर्तमान स्थिति है। वे व्यवस्थित रूप से अति-आत्मविश्वासी (systematically overconfident) हैं। वे केवल गलतियाँ नहीं करते; वे इस बात के बारे में झूठ भी बोलते हैं कि वे कितने आश्वस्त हैं। यह खतरनाक है। यदि कोई मेडिकल AI किसी डॉक्टर से कहता है, "मुझे 95% विश्वास है कि यह एक दुर्लभ बीमारी है," लेकिन वह वास्तव में गलत है, तो इसके परिणाम जीवन के लिए घातक हो सकते हैं।
इस शोध पत्र के लेखक तर्क देते हैं कि AI वास्तव में "अनजान" नहीं है। वह जानता है कि वह कब गलत है। समस्या यह है कि वह जो जानता है, उसे बोलने (speak up) में विफल हो रहा है।
खोज: मस्तिष्क के अंदर दो अलग-अलग "डायल" (Two Different "Dials" Inside the Brain)
यह समझने के लिए कि ऐसा क्यों होता है, शोधकर्ताओं ने मैकेनिस्टिक इंटरप्रिटेबिलिटी (Mechanistic Interpretability) नामक तकनीक का उपयोग करके AI के "मस्तिष्क" (इसके आंतरिक गणित) के भीतर झाँका। AI के मस्तिष्क को हजारों डायल और लीवरों वाले एक विशाल कंट्रोल रूम के रूप में सोचें।
उन्होंने दो विशिष्ट डायल पाए:
- "सत्य डायल" (सटीकता/Truth Dial - Accuracy): यह डायल इस आधार पर ऊपर-नीचे होता है कि AI वास्तव में सही है या गलत। यदि AI गणित की समस्या को सही ढंग से हल कर रहा है, तो यह डायल ऊपर जाता है। यदि वह गलत है, तो यह नीचे जाता है। महत्वपूर्ण बात यह है कि यह डायल पूरी तरह से काम करता है। AI उत्तर जानता है।
- "आत्मविश्वास डायल" (मौखिक आत्मविश्वास/Confidence Dial - Verbalized Confidence): यह वह डायल है जो यह नियंत्रित करता है कि AI ज़ोर से क्या कहता है ("मैं 90% आश्वस्त हूँ!")।
चौंकाने वाली खोज: ये दोनों डायल पूरी तरह से अलग (disconnected) हैं।
एक कार की कल्पना करें जहाँ स्पीडोमीटर (सत्य डायल) दिखाता है कि आप 100 मील प्रति घंटे की रफ्तार से चल रहे हैं, लेकिन रेडियो (आत्मविश्वास डायल) "मैं 10 मील प्रति घंटे की रफ्तार से चल रहा हूँ" पर अटका हुआ है। या इससे भी बदतर, वे डैशबोर्ड के विपरीत दिशाओं में हैं और आपस में बात ही नहीं करते।
शोधकर्ताओं ने पाया कि "सत्य डायल" और "आत्मविश्वास डायल" पूरी तरह से अलग दिशाओं में (वे "ऑर्थोगोनल" या orthogonal हैं) इशारा करते हैं। AI के पास विनम्र होने के लिए आवश्यक डेटा है, लेकिन जो हिस्सा भाषण उत्पन्न करता है, वह उस डेटा को नज़रअंदाज़ कर देता है।
"रीज़निंग कंटैमिनेशन" प्रभाव (The "Reasoning Contamination" Effect)
इसके बाद शोधकर्ताओं ने AI को एक साथ दो काम करने की कोशिश की: समस्या को हल करना AND यह बताना कि वह कितना आश्वस्त है।
उन्होंने "रीज़निंग कंटैमिनेशन इफेक्ट" की खोज की।
इसे एक संगीतकार की तरह समझें जो एक जटिल वायलिन सोलो बजाने के साथ-साथ एक गाना गाने की कोशिश कर रहा है। वायलिन बजाने का प्रयास गायन को बिगाड़ देता है।
जब AI एक कठिन समस्या को हल करने और साथ ही अपने आत्मविश्वास को रेट करने की कोशिश करता है, तो "आत्मविश्वास डायल" जाम हो जाता है। "सत्य डायल" को सुनने के बजाय, AI उस प्रयास को सुनने लगता है जो वह कर रहा है।
- AI सोचता है: "वाह, यह समस्या मेरे लिए बहुत कठिन है! मैं कितनी मेहनत कर रहा हूँ! मैं कितना स्मार्ट हूँ कि इतनी मेहनत कर रहा हूँ!"
- परिणाम: यह उन सवालों पर अधिक आत्मविश्वासी हो जाता है जिन्हें वह वास्तव में गलत कर रहा होता है। समस्या जितनी कठिन होती है, यह अपने आत्मविश्वास के बारे में उतना ही अधिक झूठ बोलता है।
समाधान: "रिमोट कंट्रोल" फिक्स (The "Remote Control" Fix)
चूंकि AI के पास पहले से ही "सत्य डायल" सही ढंग से काम कर रहा है, इसलिए शोधकर्ताओं को AI को फिर से प्रशिक्षित करने या उसे नया गणित सिखाने की आवश्यकता नहीं थी। उन्हें बस डायल और स्पीकर के बीच के कनेक्शन को ठीक करने की आवश्यकता थी।
उन्होंने एक दो-चरणीय पाइपलाइन (Two-Stage Pipeline) (एक रिमोट कंट्रोल सिस्टम) बनाई:
चरण 1: फुसफुसाहट (सत्य को पढ़ना/The Whisper): AI के बोलने से पहले, एक छोटा टूल (एक "लीनियर प्रोब") आंतरिक "सत्य डायल" की जांच करता है कि AI के सही होने की कितनी संभावना है। यह एक लक्षित आत्मविश्वास स्कोर की गणना करता है।
- उदाहरण: टूल देखता है कि AI के सही होने की संभावना केवल 40% है। यह कहता है, "ठीक है, लक्षित आत्मविश्वास 40% होना चाहिए।"
चरण 2: धकेलना (आउटपुट को निर्देशित करना/The Nudge): वे कॉन्ट्रास्टिव एक्टिवेशन एडिशन (CAA) नामक तकनीक का उपयोग करते हैं। कल्पना कीजिए कि यह AI के मस्तिष्क को एक हल्का सा धक्का है। वे "आत्मविश्वास डायल" पर एक छोटा सा विद्युत दबाव डालते हैं ताकि वह "सत्य डायल" से मेल खा सके।
- यदि AI कहना चाहता है "95% आश्वस्त हूँ," लेकिन टूल जानता है कि वह केवल 40% आश्वस्त है, तो वह 'धक्का' (nudge) AI को "40% आश्वस्त हूँ" कहने के लिए मजबूर करता है।
परिणाम:
इस "धक्के" का उपयोग करके, उन्होंने अंशांकन (calibration) को ठीक कर दिया।
- पहले: AI "95% आश्वस्त" कहता था लेकिन केवल 40% बार सही होता था।
- बाद में: AI "40% आश्वस्त" कहता है और 40% बार सही होता है।
उन्होंने त्रुटि दर (error rate) को 4 से 7 गुना कम कर दिया।
यह क्यों महत्वपूर्ण है?
यह शोध पत्र बातचीत को बदल देता है।
- पुराना दृष्टिकोण: "हमें AI को कम अहंकारी बनाना चाहिए।" (पुनः प्रशिक्षण, नए प्रॉम्प्ट्स)।
- नया दृष्टिकोण: "AI के अंदर पहले से ही विनम्रता है; हमें बस इसे अपनी भावनाओं को नज़रअंदाज़ करने से रोकना है।"
शोधकर्ताओं ने साबित किया कि ईमानदारी का "सिग्नल" पहले से ही मौजूद है, जो AI के मस्तिष्क में छिपा हुआ है। उन्होंने बस उस सिग्नल की आवाज़ बढ़ाने और अहंकार की आवाज़ को कम करने का एक उपकरण बनाया है।
संक्षेप में: AI टूटा हुआ नहीं है; यह बस खुद को सुनने में बुरा है। यह शोध पत्र इसे सुनने की मशीन (hearing aid) देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।