Calibration Is Not Enough: Evaluating Confidence Estimation Under Language Variations
यह शोध पत्र भाषा मॉडल आत्मविश्वास अनुमान (language model confidence estimation) के लिए एक नवीन मूल्यांकन ढांचा प्रस्तुत करता है जो मजबूती, स्थिरता और भाषाई विविधताओं के प्रति संवेदनशीलता का आकलन करता है, जिससे यह पता चलता है कि मौजूदा विधियाँ अक्सर अर्थपूर्ण रूप से भिन्न उत्तरों के बीच अंतर करने में विफल रहती हैं, भले ही वे शुद्धता के अनुरूप हों।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन कभी-कभी अति-आत्मविश्वासी रोबोटिक सहायक से एक प्रश्न पूछ रहे हैं। आप पूछते हैं, "फ्रांस की राजधानी क्या है?" और वह कहता है, "पेरिस," जिसका कॉन्फिडेंस स्कोर 99% है। यह बहुत अच्छा लगता है। लेकिन क्या होता है अगर आप उसी सवाल को थोड़ा अलग तरीके से पूछते हैं, जैसे "कृपया मुझे फ्रांस की राजधानी बताएं"? क्या रोबोट अभी भी "99%" कहेगा? या क्या यह अचानक गिरकर "45%" हो जाएगा?
यह पेपर इस बारे में है कि क्या उस रोबोट का "कॉन्फिडेंस मीटर" वास्तव में विश्वसनीय है जब बात करने का तरीका बदल जाता है। लेखक तर्क देते हैं कि केवल यह जांचना कि रोबोट सही है (कैलिब्रेशन) पर्याप्त नहीं है। हमें यह भी जांचने की आवश्यकता है कि भाषा बदलने पर उसका आत्मविश्वास स्थिर रहता है या नहीं, और क्या उसे पता है कि जब अर्थ बदल गया हो तो वह वास्तव में गलत क्यों है।
यहाँ सरल उपमाओं का उपयोग करके उनके निष्कर्षों का विवरण दिया गया है:
समस्या: "डगमगाता हुआ दिशा-सूचक" (The "Shaky Compass")
लेखक कहते हैं कि वर्तमान AI कॉन्फिडेंस चेक करने के तरीके ऐसे हैं जैसे केवल तब दिशा-सूचक (कंपास) की जांच करना जब जहाज पूरी तरह से स्थिर हो। वे चेक करते हैं कि जब जहाज स्थिर हो तो कंपास उत्तर की ओर इशारा करता है या नहीं। लेकिन वास्तविक दुनिया में, जहाज डगमगाता है (प्रॉम्प्ट बदलता है), और कंपास पागलों की तरह घूम सकता है, भले ही वह उत्तर की ओर ही इशारा कर रहा हो।
उन्होंने पाया कि कई AI कॉन्फिडेंस चेकर्स वेल-कैलिब्रेटेड (वे औसतन सही होते हैं) हैं लेकिन डगमगाते हुए (वे एक ही उत्तर के लिए अलग-अलग कॉन्फिडेंस स्कोर देते हैं सिर्फ इसलिए क्योंकि आपने सवाल पूछने का तरीका बदल दिया है)।
तीन नए परीक्षण
इसे ठीक करने के लिए, लेखकों ने इन कॉन्फिडेंस मीटरों के लिए तीन नए परीक्षण पेश किए:
रोबस्टनेस (Robustness) - ("एक ही उत्तर, अलग शब्दावली" वाला परीक्षण)
- उपमा: कल्पना कीजिए कि आप एक मौसम विज्ञानी से पूछते हैं, "क्या बारिश होगी?" और वे कहते हैं "80% संभावना है।" फिर आप पूछते हैं, "क्या आपको लगता है कि बारिश होने वाली है?" यदि मौसम विज्ञानी केवल शब्दों को बदलने के कारण अचानक कहता है "20% संभावना है," तो उनका मीटर खराब है।
- निष्कर्ष: अधिकांश AI कॉन्फिडेंस तरीके इस परीक्षण में पास हुए। वे आपके सवाल को कहने के तरीके में मामूली बदलावों को अनदेखा करने में अच्छे हैं।
स्टेबिलिटी (Stability) - ("एक ही अर्थ, अलग शब्द" वाला परीक्षण)
- उपमा: कल्पना कीजिए कि रोबोट "पेरिस" उत्तर देता है और फिर, एक सेकंड बाद, "द सिटी ऑफ लाइट" उत्तर देता है। दोनों का अर्थ एक ही है। यदि रोबंड पहले के लिए "99% कॉन्फिडेंट" कहता है और दूसरे के लिए "10% कॉन्फिडेंट," तो वह असंगत है।
- निष्कर्ष: अधिकांश तरीके इसमें भी पास हुए। वे सुसंगत स्कोर देते हैं जब उत्तर का अर्थ वही होता है, भले ही शब्द अलग हों।
सेंसिटिविटी (Sensitivity) - ("अलग अर्थ, अलग स्कोर" वाला परीक्षण)
- उपमा: यह सबसे बड़ी विफलता है। कल्पना कीजिए कि रोबोट "पेरिस" कहता है (99% कॉन्फिडेंट) और फिर "लंदन" कहता है (99% कॉन्फिडेंट)। दोनों को समान उच्च कॉन्फिडेंस स्कोर दिया जाता है, भले ही एक सही हो और दूसरा गलत। रोबोट का कॉन्फिडेंस मीटर सुन्न (numb) है। यह अंतर महसूस नहीं कर पाता कि सही उत्तर और गलत उत्तर के बीच क्या अंतर है, यदि शब्द दिखने में समान हैं।
- निष्कर्ष: लगभग सभी तरीके यहीं विफल रहे। वे यह पहचानने में बहुत खराब हैं कि उत्तर का अर्थ कब बदल गया है। वे उच्च कॉन्फिडेंस स्कोर देते रहते हैं भले ही उत्तर निरर्थक हो, जब तक कि वह वाक्य सामान्य दिखता है।
यह क्यों होता है?
लेखकों ने पाया कि जो तरीके सवाल को देखते हैं लेकिन जवाब को अनदेखा करते हैं, वे सबसे अधिक "सुन्न" होते हैं।
- "अंधा" तरीका (The "Blind" Method): कुछ तरीके केवल सवाल को देखते हैं (जैसे एक छात्र जो अपना उत्तर ग्रेड करने से पहले टेस्ट प्रश्न तो पढ़ता है लेकिन अपने उत्तर को नहीं देखता)। वे यह नहीं बता सकते कि उत्तर गलत क्यों है क्योंकि वे उसे देख ही नहीं रहे हैं।
- "सतर्क" तरीका (The "Attentive" Method): वे तरीके जो उत्पन्न उत्तर को वास्तव में पढ़ते हैं, अंतर पकड़ने में थोड़े बेहतर हैं, लेकिन फिर भी पर्याप्त अच्छे नहीं हैं।
"बड़ा ही बेहतर है" का मिथक (The "Bigger is Better" Myth)
एक आम धारणा है कि बड़े AI मॉडल हमेशा अधिक स्मार्ट और विश्वसनीय होते हैं। लेखकों ने इसकी जांच की।
- निष्कर्ष: मॉडल को बड़ा बनाना (स्केलिंग अप) थोड़ा मददगार रहा, लेकिन इसने "सुन्नता" की समस्या को ठीक नहीं किया। एक विशाल मॉडल भी एक छोटे मॉडल की तरह ही किसी अलग उत्तर के बारे में आत्मविश्वास से गलत होने की उतनी ही संभावना रखता है।
मुख्य निष्कर्ष (The Bottom Line)
लेखक निष्कर्ष निकालते हैं कि हम हर काम के लिए सबसे अच्छा कॉन्फिडेंस चेकर नहीं चुन सकते। यह इस पर निर्भर करता है कि आपको क्या चाहिए:
- यदि आपको एक ऐसा सिस्टम चाहिए जो सवाल को फिर से लिखने पर घबराए नहीं, तो आपको रोबस्टनेस (Robustness) चाहिए।
- यदि आपको दस अलग-अलग विकल्पों में से सर्वश्रेष्ठ उत्तर चुनने के लिए एक सिस्टम चाहिए (जैसे एक जज), तो आपको जबरदस्त सेंसिटिविटी (Sensitivity) की आवश्यकता है (सही और गलत उत्तरों के बीच अंतर बताने की क्षमता)।
वर्तमान में, अधिकांश सिस्टम पहले दो में बहुत अच्छे हैं लेकिन तीसरे में बहुत खराब हैं। लेखक चेतावनी देते हैं कि यदि हम इस "सुन्नता" को ठीक किए बिना उच्च-जोखिम वाले निर्णयों (जैसे चिकित्सा सलाह या कानूनी निर्णय) के लिए इन प्रणालियों का उपयोग करते हैं, तो हम एक आत्मविश्वास से भरे गलत उत्तर पर भी उतना ही भरोसा कर सकते हैं जितना कि एक सही उत्तर पर।
संक्षेप में: AI का कॉन्फिडेंस मीटर आपकी टाइपिंग की गलतियों को अनदेखा करने में अच्छा है, लेकिन यह यह समझने में बहुत बुरा है कि वह कब बकवास कर रहा है। हमें इसे अपने सवालों को सुनने के बजाय अपने जवाबों को सुनना सिखाने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।