Confident in a Confidence Score: Investigating the Sensitivity of Confidence Scores to Supervised Fine-Tuning
यह शोध पत्र इस बात की जांच करता है कि कैसे सुपरवाइज्ड फाइन-ट्यूनिंग (supervised fine-tuning) भाषा मॉडलों में कॉन्फिडेंस स्कोर और आउटपुट गुणवत्ता के बीच के सहसंबंध को कम करती है, यह प्रदर्शित करते हुए कि प्रशिक्षण वितरण की समानता जैसे कारकों के कारण ये मेट्रिक्स 'ऑफ-द-शेल्फ' (off-the-shelf) अविश्वसनीय हो जाते हैं और अधिक मजबूत अनिश्चितता परिमाणीकरण (uncertainty quantification) विधियों की तत्काल आवश्यकता पर प्रकाश डालते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान रोबोट सहायक है। किसी विशिष्ट कार्य के लिए उसे निर्देश देने से पहले, आप उससे एक वाक्य का अनुवाद करने, गणित की समस्या हल करने, या सामान्य ज्ञान का प्रश्न पूछने के लिए कह सकते हैं।
अब, कल्पना कीजिए कि इस रोबोट के डैशबोर्ड पर एक छोटा सा "कॉन्फिडेंस मीटर" (आत्मविश्वास मापने वाला यंत्र) है। जब वह आपको कोई उत्तर देता है, तो मीटर की लाइट जल उठती है।
- हरा (उच्च आत्मविश्वास): "मुझे 99% यकीन है कि यह सही है!"
- लाल (कम आत्मविश्वास): "मैं इस बारे में वास्तव में पक्का नहीं हूँ, आपको इसकी दोबारा जाँच कर लेनी चाहिए।"
यह "कॉन्फिडेंस मीटर" अविश्वसनीय रूप से उपयोगी है। यह आपको यह तय करने में मदद करता है कि आपको रोबोट पर कब भरोसा करना है और कब हस्तक्षेप करना है। लेकिन यहाँ एक समस्या है जिसकी यह शोध पत्र जांच करता है: क्या होता है जब आप रोबोट को एक नया कौशल सिखाते हैं?
"ट्रेनिंग कैंप" का प्रभाव
AI की दुनिया में, रोबोट को एक नया कौशल सिखाना सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) कहलाता है। यह ऐसा है जैसे आप अपने रोबोट को एक विशेष प्रशिक्षण शिविर (स्पेशलाइज्ड ट्रेनिंग कैंप) में भेज रहे हों।
- कैंप से पहले: रोबोट सामान्य है। वह हर चीज़ के बारे में थोड़ा-बहुत जानता है। उसका कॉन्फिडेंस मीटर आमतौर पर काफी ईमानदार होता है।
- कैंप के बाद: रोबोट एक विशिष्ट क्षेत्र (जैसे गणित या अनुवाद) में विशेषज्ञ बन जाता है। उसने हजारों उदाहरणों का अभ्यास किया है।
शोधकर्ताओं ने पूछा: "क्या इस प्रशिक्षण के बाद रोबोट का कॉन्फिडेंस मीटर ईमानदार रहता है?"
बड़ी खोज: मीटर टूट गया
उत्तर है: हमेशा नहीं। वास्तव में, प्रशिक्षण अक्सर मीटर को दो बहुत ही विशिष्ट, मजेदार तरीकों से तोड़ देता है।
1. "सब कुछ जानने वाला अति-आत्मविश्वासी" (प्रोबेबिलिटी-आधारित मेट्रिक्स)
कुछ कॉन्फिडेंस मीटर इस बात पर नज़र रखते हैं कि रोबोट के शब्द कितने "स्मूथ" (सुचारू) महसूस होते हैं। यदि शब्द आसानी से बहते हैं, तो रोबोट सोचता है, "मैं इसमें बहुत अच्छा हूँ!"
- उपमा: एक ऐसे छात्र की कल्पना करें जिसने एक विशिष्ट परीक्षा के लिए उत्तर कुंजी (आंसर की) रट ली है। जब वह ऐसे प्रश्न देखता है जो उन प्रश्नों जैसा दिखता है जिनका उसने अभ्यास किया था, तो वह चिल्लाता है, "मुझे पता है!" भले ही वह वास्तव में गलत हो।
- अध्ययन में क्या हुआ: प्रशिक्षण के बाद, ये रोबोट अति-आत्मविश्वासी (overconfident) हो गए। वे एक गलत उत्तर देंगे और साथ में चमकीला हरा "99% निश्चित" वाला प्रकाश भी दिखाएंगे। वे प्रशिक्षण डेटा की शैली के इतने आदी हो गए कि वे यह जांचना भूल गए कि उत्तर वास्तव में सही था या नहीं। उन्होंने "परिचितता" को "सत्यता" समझ लिया।
2. "विनम्रता दिखाने वाला घमंडी" (सेल्फ-कंसिस्टेंसी मेट्रिक्स)
अन्य कॉन्फिडेंस मीटर एक ही उत्तर को पांच अलग-अलग तरीकों से सोचने के लिए रोबोट से पूछकर काम करते हैं। यदि पाँचों उत्तर एक जैसे हैं, तो वह आत्मविश्वासी है। यदि वे सभी अलग-अलग हैं, तो वह अनिश्चित है।
- उपमा: एक ऐसे छात्र की कल्पना करें जो पढ़ाई के बाद इतना घबराया हुआ है कि वह खुद पर संदेह करने लगता है। भले ही उसे पता हो कि उत्तर सही है, वह सोचता है, "हम्म, शायद मैं गलत हूँ? शायद मुझे इसे बदलना चाहिए?"
- अध्ययन में क्या हुआ: ये रोबोट कम आत्मविश्वासी (underconfident) हो गए। वे एक सही उत्तर देंगे लेकिन लाल चेतावनी लाइट जला देंगे, यह कहते हुए, "मुझे यकीन नहीं है," भले ही वे सही थे।
"ट्रेनिंग डेटा" का जाल
ऐसा क्यों होता है? शोध पत्र ने पाया कि रोबोट इस बात के प्रति संवेदनशील हैं कि प्रश्न उनके प्रशिक्षण डेटा से कितना मिलता-जुलता है, न कि इस बात से कि उत्तर वास्तव में सही है या नहीं।
- रूपक: एक ऐसे शेफ की कल्पना करें जिसने केवल टमाटरों के साथ खाना पकाने का अभ्यास किया है। यदि आप उनसे टमाटर का व्यंजन बनाने के लिए कहते हैं, तो वे बहुत आत्मविश्वासी होते हैं। लेकिन यदि आप उनसे आलू का व्यंजन बनाने के लिए कहते हैं जो टमाटर के व्यंजन जैसा दिखता है (शायद वह लाल है), तो वे भ्रमित हो सकते हैं।
- वास्तविकता: रोबोट के कॉन्फिडेंस स्कोर इस बात पर प्रतिक्रिया दे रहे थे कि प्रश्न उनके प्रशिक्षण के प्रति कितना "परिचित" था, न कि उत्तर की वास्तविक गुणवत्ता पर। यही कारण है कि मीटर टूट जाता है: यह परिचितता को माप रहा है, सत्यता को नहीं।
आपको इसकी परवाह क्यों करनी चाहिए?
शोधकर्ताओं ने एक वास्तविक दुनिया के कार्य पर इसका परीक्षण किया: प्रश्न उत्तर देना (Question Answering)।
उन्होंने यह तय करने के लिए रोबोट का उपयोग किया कि कौन से उत्तर मनुष्यों को दिखाने के लिए पर्याप्त अच्छे हैं।
- प्रशिक्षण से पहले: रोबोट खराब उत्तरों को छानने में अच्छा था।
- प्रशिक्षण के बाद: रोबोट ने खराब उत्तरों को अंदर आने दिया (क्योंकि वह अति-आत्मविश्वासी था) या अच्छे उत्तरों को रोकने लगा (क्योंकि वह कम आत्मविश्वासी था)।
परिणाम: रोबोट कम उपयोगी हो गया। वह प्रशिक्षण के बाद अपनी गलतियों को पकड़ने में 47% बार विफल रहा।
मुख्य निष्कर्ष (The Takeaway)
आप केवल एक रोबोट ले नहीं सकते, उसे एक नया काम सिखा सकते हैं, और यह मान नहीं सकते कि उसका "कॉन्फिडेंस मीटर" अभी भी काम कर रहा है।
- डैशबोर्ड पर आँख मूंदकर भरोसा न करें: सिर्फ इसलिए कि रोबोट कहता है "मुझे यकीन है!", इसका मतलब यह नहीं है कि वह सही है, खासकर यदि उसने अभी-अभी एक प्रशिक्षण कोर्स पूरा किया है।
- भरोसा करने से पहले परीक्षण करें: यदि आप किसी महत्वपूर्ण चीज़ के लिए AI का उपयोग करना चाहते हैं, तो आपको अपने विशिष्ट कार्य के लिए उसे सिखाने के बाद उसके कॉन्फिडेंस मीटर की जाँच करनी होगी।
- नए उपकरणों की आवश्यकता है: हमें नए प्रकार के कॉन्फिडेंस मीटर आविष्कार करने की आवश्यकता है जो प्रशिक्षण प्रक्रिया से भ्रमित न हों। उन्हें केवल "परिचितता" के बजाय "सत्यता" को मापना चाहिए।
संक्षेप में: रोबोट को नया कौशल सिखाना उसे या तो एक ढोंगी झूठ बोलने वाला या एक शर्मीला जीनियस बना सकता है। आपको हर बार उसे ट्रेनिंग कैंप भेजने के बाद उसके कॉन्फिडेंस मीटर को फिर से कैलिब्रेट (recalibrate) करने की आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।