Confidence Calibration in Large Language Models
यह शोध पत्र एक पूर्व-पंजीकृत अध्ययन प्रस्तुत करता है जो यह प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) में समग्र रूप से अति-आत्मविश्वास की प्रवृत्ति होती है, जो एक 'हार्ड-ईज़ी' प्रभाव द्वारा नियंत्रित होती है जहाँ कठिन कार्यों पर अति-आत्मविश्वास चरम पर होता है जबकि सरल कार्यों पर अल्प-आत्मविश्वास होता है, जिससे विभिन्न कठिनाई स्तरों पर अंशांकन (कैलिब्रेशन) के आकलन के लिए लाइफइवल (LifeEval) बेंचमार्क का विकास होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "कॉन्फिडेंस कैलिब्रेशन इन लार्ज लैंग्वेज मॉडल्स" (Large Language Models में आत्मविश्वास का अंशांकन) पेपर का सरल, रोज़मर्रा की भाषा और रचनात्मक उपमाओं के साथ हिंदी अनुवाद दिया गया है।
मुख्य समस्या: अति-आत्मविश्वासी छात्र
कल्पना कीजिए कि एक छात्र कई क्विज़ दे रहा है। कभी-कभी, यह छात्र एक प्रश्न का सही उत्तर देता है और कहता है, "मुझे 100% यकीन है!" (जो कि अच्छा है)। लेकिन अक्सर, वह एक प्रश्न का गलत उत्तर देता है और फिर भी कहता है, "मुझे 100% यकीन है!" (जो कि बुरा है)।
यह शोध पत्र इस बात की जांच करता है कि क्या लार्ज लैंग्वेज मॉडल्स (LLMs)—जो AI चैटबॉट्स के पीछे के मस्तिष्क हैं—उस अति-आत्मविश्वासी छात्र की तरह व्यवहार करते हैं। शोधकर्ताओं ने पाया कि, औसतन, AI मॉडल अपने सही होने को लेकर बहुत अधिक आश्वस्त होते हैं। वे वास्तव में जितने बार सही होते हैं, उससे कहीं अधिक बार दावा करते हैं कि वे सही हैं। यह खतरनाक है क्योंकि यदि आप एक ऐसे मॉडल पर भरोसा करते हैं जो आत्मविश्वास के साथ गलत है, तो आप एक बुरा निर्णय ले सकते हैं।
"हार्ड-ईजी" (कठिन-सरल) मोड़
इस पेपर की सबसे दिलचस्प खोज एक घटना है जिसे "हार्ड-ईजी इफेक्ट" (Hard-Easy Effect) कहा जाता है। इसे आत्मविश्वास के सी-सॉ (seesaw) की तरह समझें:
- आसान कार्यों पर (On Easy Tasks): जब प्रश्न सरल होते हैं (जैसे "2+2 क्या है?"), तो मॉडल वास्तव में अल्प-आत्मविश्वासी (underconfident) होते हैं। वे उत्तर तो सही देते हैं, लेकिन कहते हैं, "मैं केवल 60% सुनिश्चित हूँ," जबकि उन्हें 100% सुनिश्चित होना चाहिए था। वे बहुत अधिक विनम्र बन रहे होते हैं।
- कठिन कार्यों पर (On Hard Tasks): जब प्रश्न बहुत कठिन हो जाते हैं (जैसे जटिल तर्क पहेलियाँ), तो मॉडल दूसरी दिशा में झुक जाते हैं। वे उत्तर तो गलत देते हैं, लेकिन कहते हैं, "मुझे 95% यकीन है!" यह अति-आत्मविश्वास (overconfidence) है।
पेपर दिखाता है कि जैसे-जैसे कार्य कठिन होते जाते हैं, मॉडल्स का आत्मविश्वास उनकी घटती सटीकता (accuracy) के अनुरूप पर्याप्त रूप से नहीं गिरता है। वे चिल्लाते रहते हैं "मुझे यह पता है!" भले ही वे संघर्ष कर रहे हों।
नया परीक्षण: "लाइफ-इवैल" (LifeEval)
इसका अध्ययन करने के लिए, शोधकर्ताओं ने "लाइफ-इवैल" (LifeEval) नामक एक नया परीक्षण बनाया।
उपमा: कल्पना कीजिए कि आप अनुमान लगाने की कोशिश कर रहे हैं कि एक व्यक्ति कब तक जीवित रहेगा।
- आसान संस्करण: आपको बताया जाता है, "यह व्यक्ति 80 वर्ष का है।" आप अनुमान लगाते हैं कि वह 85 वर्ष तक जीवित रहेगा। इसकी बहुत अधिक संभावना है कि वह कम से कम 5 और साल जीवित रहेगा। यहाँ मॉडल को विश्वास महसूस होता है।
- कठिन संस्करण: आपको बताया जाता है, "यह व्यक्ति 25 वर्ष का है।" आप अनुमान लगाते हैं कि वह 80 वर्ष तक जीवित रहेगा। लेकिन आपको यह अनुमान लगाना है कि वह ठीक कितने साल तक जीवित रहेगा (सिर्फ 1 वर्ष के अंतर के भीतर)। यह अविश्वसनीय रूप से कठिन है।
शोधकर्ताओं ने वास्तविक सरकारी डेटा (सोशल सिक्योरिटी लाइफ टेबल्स) का उपयोग किया ताकि यह जाना जा सके कि एक व्यक्ति एक निश्चित आयु तक जीवित रहने की वास्तविक संभावना क्या है। फिर उन्होंने AI से आयु का अनुमान लगाने और यह बताने के लिए कहा कि वह कितना आश्वस्त है।
परिणाम: AI ने ऊपर वर्णित "हार्ड-ईजी" पैटर्न की तरह ही व्यवहार किया।
- जब अनुमान लगाना आसान था (एक 80 वर्षीय के लिए लंबी उम्र की भविष्यवाणी करना), तो AI अल्प-आत्मविश्वासी (underconfident) था।
- जब अनुमान लगाना कठिन था (एक 25 वर्षीय के लिए एक विशिष्ट आयु की भविष्यवाणी करना), तो AI अति-आत्मविश्वासी (overconfident) था।
"रीज़निंग" (तर्क) बनाम "चैट" मॉडल्स
पेपर ने दो प्रकार के AI मॉडल्स का परीक्षण किया:
- "चैट" मॉडल्स (Chat Models): ये मानक, त्वरित प्रतिक्रिया देने वाले मॉडल्स हैं।
- "रीज़निंग" मॉडल्स (Reasoning Models): ये नए मॉडल्स हैं जिन्हें उत्तर देने से पहले चरण-दर-चरण "सोचने" के लिए डिज़ाइन किया गया है (जैसे एक छात्र गणित की समस्या हल करने के लिए समय लेता है)।
निष्कर्ष: "रीज़निंग" मॉडल्स इस मामले में बहुत बेहतर थे। वे केवल अनुमान नहीं लगा रहे थे; उन्होंने वास्तव में कार्य की कठिनाई के आधार पर अपने आत्मविश्वास के स्तर को अधिक सटीक रूप से समायोजित किया। वे मानक "चैट" मॉडल्स की तुलना में कठिन प्रश्नों पर बेतहाशा अति-आत्मविश्वासी होने की कम संभावना रखते थे।
वे अपने नंबरों को राउंड (Round) क्यों करते हैं?
शोधकर्ताओं ने मॉडल्स द्वारा अपना आत्मविश्वास रिपोर्ट करने के तरीके के बारे में कुछ अजीब बात देखी।
- इंसान अक्सर अपने आत्मविश्वास को "80%" या "90%" जैसे अच्छे, गोल नंबरों में राउंड करते हैं।
- AI ने भी ऐसा ही किया! मानक "चैट" मॉडल्स लगभग 100% मामलों में अपने आत्मविश्वास को निकटतम 5% तक राउंड कर देते थे।
यह सुझाव देता है कि AI मानव व्यवहार, जिसमें सटीक अनिश्चितता से बचने की हमारी मानवीय आदत शामिल है, की नकल कर रहा है। यह एक छात्र की तरह है जो एक विशिष्ट संख्या देने के बजाय "मुझे काफी यकीन है" कहता है, क्योंकि सटीक होना जोखिम भरा महसूस होता है।
"कंटैमिनेशन" (संदूषण) की जाँच
शोधकर्ताओं को डर था कि AI ने उनके नए "लाइफ-इवैल" टेस्ट के उत्तरों को केवल रट लिया होगा क्योंकि डेटा (लाइफ टेबल्स) सार्वजनिक है और संभवतः AI के प्रशिक्षण डेटा में भी शामिल है।
उन्होंने AI के उत्तरों पर एक "पॉलीग्राफ" (झूठ पकड़ने वाला) टेस्ट चलाया। उन्होंने पाया कि कुछ उन्नत मॉडल्स (जैसे DeepSeek-R1 और Gemini 2.5 Pro) ने डेटा को रट लिया था, जो "चीटिंग" के मजबूत प्रमाण के रूप में सामने आया। हालाँकि, भले ही उन्होंने उन मॉडल्स को हटा दिया जिन्होंने उत्तर रटे हुए लग रहे थे, अति-आत्मविश्वास की समस्या बनी रही। मॉडल्स अभी भी कठिन कार्यों पर खुद के बारे में बहुत अधिक आश्वस्त थे।
सारांश
- मुख्य मुद्दा: AI मॉडल्स आम तौर पर अपने उत्तरों में बहुत अधिक आत्मविश्वासी होते हैं, विशेष रूप से तब जब कार्य कठिन हो।
- पैटर्न: वे आसान कार्यों पर बहुत विनम्र होते हैं और कठिन कार्यों पर बहुत अहंकारी होते हैं।
- समाधान (आंशिक): "रीज़निंग" मॉडल्स (वे जो बोलने से पहले सोचते हैं) मानक चैट मॉडल्स की तुलना में अपने आत्मविश्वास को बेहतर ढंग से संतुलित (calibrate) करने में सक्षम हैं।
- सीख: हम केवल इसलिए किसी AI पर अंधाधुंध भरोसा नहीं कर सकते क्योंकि वह बहुत निश्चित होकर बोल रहा है। यदि कार्य कठिन है, तो AI आत्मविश्वास के साथ गलत हो सकता है, और हमें सावधान रहने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।