Evaluation Pitfalls and Sparsity Limitations in LLM-based Confidence Estimates for Classification
यह शोध पत्र यह प्रकट करता है कि LLMs में मौखिक रूप से व्यक्त किए गए आत्मविश्वास अनुमानों (confidence estimates) की अत्यधिक विरलता (sparsity), इंटरपोलेशन विधियों के आधार पर AUARC जैसे मूल्यांकन मेट्रिक्स को गंभीर रूप से पक्षपाती बनाती है, और एक लागत-मुक्त "वर्बलाइजेशन लॉगप्रोब्स" (verbalization logprobs) दृष्टिकोण का प्रस्ताव करता है जो इस विरलता को कम करने के लिए बेहतर और अधिक निष्पक्ष प्रदर्शन रैंकिंग प्राप्त करने हेतु प्रभावी है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप मेल (डाक) के एक पहाड़ को "अच्छे" और "बुरे" ढेरों में छांटने के लिए सुपर-स्मार्ट, बातूनी रोबोटों की एक टीम रख रहे हैं। आप नहीं चाहते कि वे केवल मेल को छांटें ही; आप चाहते हैं कि वे आपको यह भी बताएं कि वे प्रत्येक टुकड़े के बारे में कितने आश्वस्त हैं। यदि कोई रोबोट केवल 50% आश्वस्त है, तो आप शायद उस पत्र को अलग रख देंगे और किसी इंसान से उसकी दोबारा जांच करवाएंगे। यह लार्ज लैंग्वेज मॉडल्स (LLMs) के क्लासिफायर के रूप में काम करने की दुनिया है। ये AI सिस्टम प्रतिभाशाली लेकिन कभी-कभी अति-आत्मविश्वासी छात्रों की तरह हैं; वे निबंध लिख सकते हैं और पहेलियाँ हल कर सकते हैं, लेकिन जब उन्हें चीजों को वर्गीकृत करने के लिए कहा जाता है, तो उन्हें यह कहने में सक्षम होना चाहिए कि, "मैं काफी आश्वस्त हूँ," या "मैं बस अंदाजा लगा रहा हूँ।"
बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: हमें कैसे पता चलेगा कि ये रोबोट वास्तव में अपने आत्मविश्वास के बारे में सच बोल रहे हैं? यदि एक रोबोट कहता है, "मैं 95% आश्वस्त हूँ," तो क्या यह एक वास्तविक, गणना किया गया अहसास है, या यह केवल एक भाग्यशाली अनुमान है? इसे परखने के लिए, शोधकर्ता एक विशेष स्कोरबोर्ड का उपयोग करते हैं जिसे एक्यूरेसी-रिजेक्शन कर्व (Accuracy-Rejection Curve) कहा जाता है। एक स्लाइडिंग स्केल की कल्पना करें: जैसे-जैसे आप रोबोट को सख्त होने के लिए कहते हैं (केवल उन उत्तरों को स्वीकार करना जहाँ वह 99% आश्वस्त कहता है), स्वीकृत पत्रों का ढेर छोटा होता जाता है, लेकिन ढेर में बचे हुए पत्र लगभग हमेशा सही होते हैं। लक्ष्य वह "स्वीट स्पॉट" (सही संतुलन) खोजना है जहाँ आप सबसे अधिक पत्रों को बनाए रखते हुए अभी भी बेहद सटीक रहते हैं। समस्या यह है कि इस स्कोरबोर्ड को मापना मुश्किल है यदि रोब位数 के उत्तर गुच्छों में और दोहराव वाले हों।
रोबोट की "95%" की आदत
इस शोध पत्र में, लेखिका एलेना मर्जनोव्स्का और उनकी टीम ने यह खोजा कि ये AI रोबोट अपने आत्मविश्वास को व्यक्त करने के तरीके में एक अजीब सी खामी रखते हैं। जब आप एक रोबोट से कोई संख्या ज़ोर से बोलने के लिए कहते हैं (जैसे "मैं 95% आश्वस्त हूँ"), तो वह इंसानों की तरह पासे फेंकने जैसा यादृच्छिक (रैंडम) चुनाव नहीं करता। इसके बजाय, वह एक ही ढर्रे में फंस जाता है।
इसे एक ऐसे छात्र के रूप में सोचें जो बहुविकल्पीय परीक्षा दे रहा है, जो सोचने के बजाय, हर उत्तर पुस्तिका पर बस "95" लिख देता है क्योंकि उसे लगता है कि यह एक सुरक्षित, गोल संख्या है। शोधकर्ताओं ने पाया कि एक लोकप्रिय AI मॉडल (Qwen3-32B) हजारों सवालों में अपने आत्मविश्वास का वर्णन करने के लिए केवल आठ अद्वितीय संख्याओं (0.6, 0.65, 0.7, 0.75, 0.85, 0.9, 0.95, और 0.98) का उपयोग करता था। यहाँ तक कि अधिक आश्चर्यजनक बात यह है कि आधे से अधिक समय में, इसने केवल 95% ही कहा।
यह एक समस्या है क्योंकि यह ऐसा है जैसे आप एक रेडियो ट्यून करने की कोशिश कर रहे हों लेकिन डायल केवल आठ विशिष्ट स्थानों पर ही 'क्लिक' करता है। यदि आप 98% सटीकता प्राप्त करने के लिए "बुरे" पत्रों को बाहर निकालना चाहते हैं, तो आपको शायद अपना 40% मेल फेंकना पड़ेगा। लेकिन यदि रोबोट आपको अधिक सटीक संख्या दे पाता, जैसे कि 96.3%, तो आपको शायद केवल 28% मेल फेंकने की आवश्यकता होती। क्योंकि रोबोट इतना "स्पार्स" (कम विविध) है, वह बहुत सारा अच्छा डेटा बर्बाद कर देता है।
"स्मूथ लाइन" का जाल
यहाँ कहानी में मोड़ आता है। शोधकर्ताओं ने पाया कि जिस तरह से वैज्ञानिक रोबोट के प्रदर्शन को माप रहे थे, वह वास्तव में उन्हें धोखा दे रहा था।
स्कोरबोर्ड (जिसे AUARC कहा जाता है) की गणना करने के लिए, शोधकर्ता आमतौर पर ग्राफ पर बिंदुओं को जोड़ने वाली एक रेखा खींचते हैं। अधिकांश लोग लीनियर इंटरपोलेशन (Linear Interpolation) का उपयोग करते हैं, जो बिंदुओं के बीच एक चिकनी, सीधी रेखा खींचता है, यह मानकर कि रोबोट का आत्मविश्वास धीरे-धीरे बदलता है। लेकिन यदि रोबोट के पास केवल आठ संख्याएँ हैं, तो उन बिंदुओं के बीच बड़े अंतराल हैं! उन अंतरालों के माध्यम से एक चिकनी रेखा खींचना एक ऊबड़-खाबड़ पर्वत श्रृंखला के बिंदुओं को एक सीधे रूलर से जोड़ने जैसा है—यह एक नकली, चिकनी पहाड़ी बना देता है जो वास्तव में मौजूद ही नहीं है।
लेखकों ने दिखाया कि इस "स्मूथ लाइन" विधि का उपयोग करने से रोबोट वास्तव में जितना अच्छा था, उससे कहीं अधिक बेहतर दिख रहा था। वास्तव में, जब उन्होंने सही विधि—स्टेपवाइज़ इंटरपोलेशन (Stepwise Interpolation)—पर स्विच किया, जो तब तक एक सपाट रेखा खींचती है जब तक कि अगली वास्तविक संख्या दिखाई न दे—तो रैंकिंग पूरी तरह से पलट गई। एक विधि जो "स्मूथ लाइन" के साथ चैंपियन दिख रही थी, वह "स्टेपवाज़ लाइन" के साथ आखिरी स्थान पर आ गई। वास्तव में, स्मूथ लाइन केवल एक दृष्टि भ्रम था जिसने स्पार्स (कम विविध) रोबोट्स को वास्तव में जितना लचीला था, उससे कहीं अधिक लचीला दिखाया।
जादुई "लॉगप्रोब्स" (Logprobs) ट्रिक
तो, हम उस रोबोट को कैसे ठीक करें जो केवल आठ नंबरों में बोलता है? टीम ने वर्बलाइजेशन लॉगप्रोब्स (Verbalization Logprobs) नामक एक चतुर हैक प्रस्तावित किया।
आमतौर पर, जब एक रोबट "95%" कहता है, तो वह बस "9" और "5" शब्द उगल देता है। इस शब्द का उपयोग करने का मानक तरीका केवल संख्या 95 को लेना है। लेकिन रोबोट वास्तव में कुछ और जानता है: वह जानता है कि "9" चुनने की उसकी संभावना कितनी थी बनाम "8", और "5" चुनने की उसकी संभावना कितनी थी बनाम "6"। ये छिपी हुई संभावनाएँ लॉगप्रोब्स (Logprobs) कहलाती हैं।
लेखकों की नई विधि केवल संख्या माँगने के बजाय, संख्या के पीछे के एहसास को पूछने के समान है। केवल "95" लेने के बजाय, वे इस आधार पर एक भारित औसत (weighted average) की गणना करते हैं कि प्रत्येक अंक के बारे में रोबोट कितना आश्वस्त था। यह रोबोट के गुच्छेदार, आठ-संख्या वाले उत्तर को आत्मविश्वास के एक चिकने, निरंतर प्रवाह में बदल देता है।
परिणाम प्रभावशाली थे। इस ट्रिक का उपयोग करके, रोबोट के आत्मविश्वास स्कोर बहुत अधिक विस्तृत हो गए (केवल 8 अद्वितीय मानों से बढ़कर 600 से अधिक अद्वितीय मानों तक पहुँच गए!)। इसके लिए किसी अतिरिक्त कंप्यूटर पावर या समय की आवश्यकता नहीं थी; इसने केवल उस जानकारी का उपयोग किया जो रोबोट के पास पहले से ही थी। इस नई विधि के साथ, रोबोट उस "स्वीट स्पॉट" को बहुत बेहतर तरीके से खोज सका, जिससे उसके प्रदर्शन स्कोर में पुराने तरीके की तुलना में 2.3 अंक का सुधार हुआ। यह रोबोट को एक टूटे हुए, क्लिक करने वाले डायल के बजाय एक हाई-डेफिनिशन डायल देने जैसा था, जिससे वह बहुत कम बर्बादी के साथ मेल को छांटने में सक्षम हुआ।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हमें यह मानना बंद कर देना चाहिए कि ये रोबोट सुचारू (smooth) ऑपरेटर हैं जबकि वे वास्तव में काफी कठोर (rigid) हैं। यदि हम उन्हें आंकने के लिए "स्मूथ लाइन" विधि का उपयोग करना जारी रखते हैं, तो हमें सुरक्षा का एक झूठा अहसास मिल रहा है। उन्हें मापने के लिए "स्टेपवाइज़" तरीके पर स्विच करके और अधिक विस्तृत उत्तर प्राप्त करने के लिए "लॉगप्रोब्स" ट्रिक का उपयोग करके, हम अंततः इन AI क्लासिफायर्स पर भरोसा कर सकते हैं कि वे कब वास्तव में आश्वस्त हैं और कब वे केवल अंदाजा लगा रहे हैं। यह हमें सुनने के तरीके में एक छोटा सा बदलाव है, लेकिन यह हमारे डिजिटल सहायकों का उपयोग करने के तरीके में बहुत बड़ा अंतर पैदा करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।