Reported Confidence in LLMs Tracks Commitment More Than Correctness
यह शोध पत्र प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) में मौखिक आत्मविश्वास रिपोर्ट मुख्य रूप से उत्तर देने के निर्णय को प्रेरित करने वाली एक आंतरिक "कमिट-रेडीनेस" (प्रतिबद्धता-तत्परता) अवस्था को दर्शाती हैं, न कि उत्तर की वास्तविक शुद्धता को, जो उन्हें लॉग-प्रोबेबिलिटीज़ (log-probabilities) से मौलिक रूप से अलग करती है जो उत्तर के साक्ष्य को ट्रैक करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े रहस्यमय रोबोट सहायक से एक पहेली सुलझाने के लिए कह रहे हैं। आप उससे पूछते हैं, "फ्रांस की राजधानी क्या है?" वह एक पल के लिए सोचता है और कहता है, "पेरिस।" फिर, आप उससे पूछते हैं, "आप कितने निश्चित हैं?"
रोबोट जवाब देता है, "मैं 100% निश्चित हूँ।"
आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, हम आमतौर पर यह मान लेते हैं कि जब रोबोट "100% निश्चित" कहता है, तो इसका मतलब है, "मैंने अपने आंतरिक डेटाबेस की जाँच की है, और मैं सांख्यिकीय रूप से आश्वस्त हूँ कि यह उत्तर सही है।"
हालाँकि, गूगल डीपमाइंड (Google DeepMind) के एक नए अध्ययन से पता चलता है कि हम रोबोट के आत्मविश्वास को समझने में गलती कर रहे हैं। शोधकर्ताओं ने पाया कि जब एक AI कहता है कि वह "आत्मविश्वासी" है, तो वह अनिवार्य रूप से यह नहीं कह रहा होता है कि "मेरा उत्तर सही है।" इसके बजाय, वह अक्सर यह कह रहा होता है कि, "मैं इस उत्तर के साथ डटे रहने के लिए तैयार हूँ, भले ही वह गलत हो।"
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है।
"आत्मविश्वास" के दो प्रकार
अध्ययन ने दो अलग-अलग तरीकों की तुलना की जिनसे रोबोट अपनी निश्चितता को मापता है:
"गणितीय आत्मविश्वास" (लॉग-प्रोबेबिलिटी - Log-Probability): यह एक कैलकुलेटर की तरह है। यह विकल्पों के कच्चे नंबरों और संभावनाओं को देखता है। यदि गणित कहता है कि "पेरिस" होने की संभावना 99% है, तो कैलकुलेटर आत्मविश्वासी है।
- निष्कर्ष: यह प्रकार के आत्मविश्वास सत्य का एक अच्छा निर्णायक है। यदि गणित कहता है कि वह आत्मविश्वासी है, तो उत्तर आमतौर पर सही होता है। यदि गणित कहता है कि वह अनिश्चित है, तो उत्तर आमतौर पर गलत होता है।
"मौखिक आत्मविश्वास" (रोबोट के शब्द): यह तब होता है जब आप सीधे रोबोट से पूछते हैं, "आप कितने आत्मविश्वासी हैं?" और वह शब्दों में या संख्या पैमाने (जैसे "बहुत पक्का") में उत्तर देता है।
- निष्कर्ष: यह प्रकार का आत्मविश्वास सत्य का एक बुरा निर्णायक है, लेकिन प्रतिबद्धता (commitment) का एक शानदार निर्णायक है। जब रोबोट कहता है, "मैं बहुत पक्का हूँ," तो इसका मतलब यह नहीं है कि उत्तर निश्चित रूप से सही है। इसका मतलब है कि रोबोट ने अपना मन बना लिया है और वह उपयोगकर्ता के सामने उस उत्तर के साथ डटे रहने के लिए तैयार है।
"कमिट या क्विट" (Commit or Quit) खेल
यह जानने के लिए कि यह क्या है, शोधकर्ताओं ने एक दो-चरणीय खेल तैयार किया, जो जानवरों के निर्णय लेने के तरीके का अध्ययन करने वाले वैज्ञानिकों से प्रेरित है:
- चरण 1: रोबोट एक प्रश्न का उत्तर देता है और एक आत्मविश्वास रेटिंग देता है (जैसे, "मुझे 90% यकीन है")।
- चरण 2: रोबोट को अपना ही उत्तर दिखाया जाता है और पूछा जाता है: "क्या आप कमिट (Commit) करना चाहते हैं (यह उत्तर किसी इंसान को दिखाना) या अब्स्टेन (Abstain) करना चाहते हैं (यह कहना कि 'मुझे नहीं पता')?"
चौंकाने वाला परिणाम:
रोबोट का चरण 1 में मौखिक आत्मविश्वास, चरण 2 में उसके द्वारा किए जाने वाले कार्य का एक बहुत बेहतर भविष्यवक्ता था, बजाय इसके कि वह उत्तर वास्तव में सही था या नहीं।
- यदि रोबro ने कहा, "मुझे पूरा यकीन है," तो उसने चरण 2 में लगभग हमेशा कमिट (Commit) करना चुना, भले ही उत्तर वास्तव में गलत था।
- यदि रोबोट ने कहा, "मुझे यकीन नहीं है," तो उसने लगभग हमेशा अब्स्टेन (Abstain) करना चुना।
उपमा (Analogy):
एक कैसीनो में जुआरी की कल्पना करें।
- गणितीय आत्मविश्वास एक जुआरी द्वारा कागज पर संभावनाओं (odds) की जाँच करने जैसा है। यदि संभावनाएँ अच्छी हैं, तो जुआरी जानता है कि वह शायद जीतेगा।
- मौखिक आत्मविश्वास एक जुआरी के "मैं सब कुछ दांव पर लगा रहा हूँ!" चिल्लाने जैसा है। अध्ययन ने पाया कि जुआरी का "मैं सब कुछ दांव पर लगा रहा हूँ!" चिल्लाना अक्सर केवल यह संकेत देने के लिए है कि वह दांव लगाने के लिए तैयार है, न कि इस बात की गारंटी कि उसके पास जीतने वाला हाथ है। वह ब्लफ भी कर सकता है या बस साहसी महसूस कर रहा हो सकता है। "गणितीय आत्मविश्वास" (संभावनाएँ) ही एकमात्र चीज़ है जो वास्तव में आपको बताती है कि वह जीतेगा या नहीं।
"कमिट-रेडीनेस" स्विच (The "Commit-Readiness" Switch)
शोधकर्ताओं ने रोबोट के "मस्तिष्क" (इसके आंतरिक कोड) की गहराई से जांच की ताकि देखा जा सके कि क्या हो रहा है। उन्होंने पाया कि एक विशिष्ट क्षण होता है जो रोबोट द्वारा उत्तर देने के ठीक बाद आता है, लेकिन उसे यह तय करने से पहले कि क्या उसे कमिट करना है।
इस सटीक क्षण में, रोबोट की आंतरिक स्थिति एक प्रश्न के इर्द-गिर्द व्यवस्थित होती है: "क्या मैं इसके साथ डटे रहने के लिए तैयार हूँ?"
- रोबोट के पास एक "कमिट/अब्स्टेन" स्विच है जो बहुत स्पष्ट और तेज़ है।
- रोबोट के पास एक "सही/गलत" स्विच है जो बहुत शांत और धुंधला है।
जब रोबोट एक मौखिक आत्मविश्वास रिपोर्ट उत्पन्न करता है, तो वह अनिवार्य रूप से शांत "सही/गलत" स्विच को नहीं, बल्कि शोर वाले "कमिट" स्विच को पढ़ रहा होता है। यह एक ऐसे व्यक्ति की तरह है जिसे बोलने की तीव्र इच्छा महसूस होती है; वे बोलने में बहुत आत्मविश्वासी महसूस कर सकते हैं, भले ही जो वे कह रहे हैं वह तथ्यात्मक रूप से गलत हो।
यह क्यों महत्वपूर्ण है
लंबे समय तक, लोगों ने AI के मौखिक आत्मविश्वास ("मुझे 95% यकीन है") को सटीकता के प्रत्यक्ष माप के रूप में माना है। हमने माना कि यदि AI कहता है कि वह सुनिश्चित है, तो हम उत्तर पर भरोसा कर सकते हैं।
यह शोध प्रबंध तर्क देता है कि यह एक गलती है।
- मौखिक आत्मविश्वास एक व्यवहार संबंधी संकेत (behavioral signal) है। यह आपको बताता है: "मैं यह उत्तर किसी इंसान को दिखाने के लिए तैयार हूँ।"
- गणितीय आत्मविश्वास एक सत्य का संकेत (truth signal) है। यह आपको बताता है: "यह उत्तर सही होने की संभावना है।"
यदि आप यह तय करने के लिए रोबोट के शब्दों पर भरोसा करते हैं कि कोई उत्तर सत्य है, तो आप मूर्ख बन सकते हैं। रोबोट एक गलत उत्तर के प्रति प्रतिबद्ध होने के लिए बहुत उत्सुक हो सकता है क्योंकि उसका आंतरिक "कमिटमेंट स्विच" चालू है, भले ही उसका "ट्रुथ स्विच" टिमटिमा रहा हो।
निष्कर्ष
अध्ययन यह निष्कर्ष निकालता है कि हमें AI के मौखिक आत्मविश्वास को एक साधारण "सत्य मीटर" के रूप में मानना बंद करने की आवश्यकता है। इसके बजाय, हमें इसे एक "प्रतिबद्धता मीटर" के रूप में समझना चाहिए। यह हमें बताता है कि AI कब अपना पक्ष लेने के लिए तैयार है, लेकिन यह आवश्यक रूप से यह नहीं बताता कि उसका पक्ष ठोस जमीन पर है या नहीं। यह जानने के लिए कि उत्तर वास्तव में सही है या नहीं, हमें केवल रोबोट के उत्साही शब्दों को नहीं, बल्कि अंतर्निहित गणित (लॉग-प्रोबेबिलिटीज) को देखने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।