Stable Miscalibration in Large Language Models: A Practical View of High-Confidence Errors
यह शोध पत्र इस धारणा को चुनौती देता है कि लार्ज लैंग्वेज मॉडल्स में उच्च-विश्वास वाली त्रुटियाँ केवल नाजुक अनुमान (fragile inference) से उत्पन्न होती हैं, बल्कि यह प्रदर्शित करता है कि वे अक्सर स्थिर गलत अंशांकन (stable miscalibration) से उत्पन्न होती हैं जहाँ गलत उत्तर विचलनों (perturbations) के तहत स्थानीय रूप से सुदृढ़ बने रहते हैं, एक ऐसी घटना जिसे प्रॉम्प्ट-आधारित स्व-आलोचना (self-critique) अंशांकन में सुधार किए बिना आंतरिक संवेदनशीलता को कम करके कम कर सकती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आत्मविश्वास का जाल: जब AI निश्चित होता है, पर गलत होता है
कल्पना कीजिए कि आप एक गणित की परीक्षा दे रहे हैं। आप एक प्रश्न देखते हैं, आपका मस्तिष्क निश्चितता से भर जाता है, और आप उसके बगल में बड़े, गहरे अक्षरों में "100% पक्का!" लिखकर उत्तर लिख देते हैं। अब, कल्पना कीजिए कि एक मित्र धीरे से एक छोटा सा संकेत देता है या प्रश्न में एक शब्द बदल देता है, और अचानक, आपका उत्तर पूरी तरह से बदलकर कुछ और हो जाता है। यह एक कमजोर नींव का संकेत होगा, है ना? आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) में, यह "कमजोरी" ही वह चीज़ है जिसके बारे में वैज्ञानिक आमतौर पर चिंतित रहते हैं। उन्हें लगता है कि यदि कोई कंप्यूटर एक आत्मविश्वासी गलती करता है, तो इसका कारण यह है कि उसका आंतरिक तर्क नाजुक है और छोटे बदलावों से आसानी से टूट सकता है।
लेकिन एक और संभावना भी है। क्या होगा अगर कंप्यूटर बस जिद्दी है? क्या होगा अगर वह गलत उत्तर देता है, लेकिन जब आप उसे थोड़ा बदलने के लिए कहते हैं, तब भी वह उसी गलत उत्तर पर अड़ा रहता है? इसे "स्थिर गलत अंशांकन" (stable miscalibration) कहा जाता है। यह एक ऐसे GPS की तरह है जो पूरे आत्मविश्वास के साथ आपको झील में गाड़ी चलाने के लिए कहता है, और भले ही आप उससे दोबारा जांच करने या रास्ता थोड़ा बदलने के लिए कहें, वह फिर भी झील में ही गाड़ी चलाने पर अड़ा रहता है। मशीन भ्रमित नहीं है; वह बस आत्मविश्वास के साथ गलत है। "कांपती हुई" गलती और "जिद्दी" गलती के बीच के अंतर को समझना महत्वपूर्ण है क्योंकि यह बदल देता है कि हमें इन मशीनों पर कितना भरोसा करना चाहिए। यदि वे केवल नाजुक हैं, तो हम उन्हें अधिक स्थिर बनाकर ठीक कर सकते हैं। लेकिन यदि वे जिद्दी रूप से गलत हैं, तो हमें एक अलग रणनीति की आवश्यकता है, जैसे कि यह जानना कि कब रुकना है और मानव से मदद मांगनी है।
जासूसी कार्य: जिद्दी गलतियों को पकड़ना
यह शोध पत्र एक जासूसी कहानी की तरह है जहाँ अन्वेषक यह पता लगाने की कोशिश कर रहे हैं कि AI मॉडल आत्मविश्वासी गलतियाँ क्यों करते हैं। लेखक, अकीरा ओकुतोमी के नेतृत्व में, "नाजुक" सिद्धांत का "स्थिर" सिद्धांत के विरुद्ध परीक्षण करने के लिए आगे बढ़ते हैं। उन्होंने केवल अंतिम उत्तरों को नहीं देखा; उन्होंने पर्दे के पीछे झांकने के लिए दो विशेष उपकरण बनाए।
सबसे पहले, उन्होंने एक "कॉन्फिडेंस वेरिएशन स्कोर" (Confidence Variation Score) बनाया। कल्पना कीजिए कि आपके पास एक रोबोट है जो सवालों के जवाब देता है। आप उससे एक ही सवाल तीन बार पूछते हैं: एक बार सामान्य रूप से, एक बार उसे बहुत सावधान रहने के लिए कहकर, और एक बार उसे बोलने से पहले अपने उत्तर की आलोचना करने के लिए कहकर। यदि रोब�रल के आत्मविश्वास का स्तर इन तीन संस्करणों के बीच बहुत अधिक ऊपर-नीचे होता है, तो यह अस्थिरता का संकेत है। लेकिन यदि रोबोट अपने गलत उत्तर पर अडिग रहता है, तो यह "स्थिर गलत अंशांकन" का संकेत है। उन्होंने इसका परीक्षण 11 विभिन्न विषयों, जैसे चिकित्सा तथ्यों, खेल और इतिहास को कवर करने वाले 532 संक्षिप्त, सत्य-असत्य प्रश्नों पर किया। उन्होंने पाया कि यह स्कोर यह पहचानने में बहुत अच्छा था कि कौन से विषय सबसे खतरनाक हैं। उदाहरण के लिए, चिकित्सा महामारी विज्ञान (medical epidemiology) और सामाजिक सांख्यिकी जैसे क्षेत्रों में, AI का "स्व-आलोचना" वाला संस्करण (जहाँ वह अपने काम की जाँच करता है) गलतियों को सुधारने में बहुत प्रभावी रहा। लेकिन मनोरंजन समाचार जैसे विषयों में, AI में वास्तव में कोई सुधार नहीं हुआ, जिससे पता चलता कि समस्या केवल जाँच की कमी नहीं थी।
दूसित, लेखक ने रोबोट के "मस्तिष्क" (इसके छिपे हुए अवस्थाओं/hidden states) के अंदर देखा कि क्या "नाजुक" सिद्धांत कायम रहता है। उन्होंने उन प्रश्नों को लिया जहाँ AI आत्मविश्वासी रूप से गलत था और उन प्रश्नों को जहाँ वह आत्मविश्वासी रूप से सही था, और उन्होंने AI के आंतरिक डेटा को सूक्ष्म, अदृश्य धक्के (nudges) दिए। पुराने सिद्धांत ने सुझाव दिया था कि गलत उत्तर सही उत्तरों की तुलना में अधिक डगमगाएंगे और हिलेंगे। लेकिन यहाँ एक मोड़ आया: इन धक्कों ने गलत उत्तरों को सही उत्तरों की तुलना में अधिक नहीं हिलाया। "जिद्दी" गलतियाँ भी सही उत्तरों जितनी ही स्थिर थीं। वास्तव में, जब उन्होंने AI को "स्व-आलोचनात्मक" प्रॉम्प्ट (उसे अपना काम दोबारा जांचने के लिए कहना) का उपयोग करने के लिए कहा, तो AI का आंतरिक मस्तिष्क सभी क्षेत्रों में धक्कों के प्रति कम संवेदनशील हो गया। वह अधिक शांत और स्थिर हो गया, लेकिन इसका मतलब यह नहीं था कि वह अचानक सही हो गया; इसका मतलब केवल यह था कि वह अपने तरीकों में अधिक मजबूती से स्थापित हो गया था।
मुख्य निष्कर्ष
तो, इस सब का क्या अर्थ है? यह शोध पत्र सुझाव देता है कि AI में उच्च-आत्मविश्वास वाली त्रुटियां हमेशा एक नाजुक, टूटते हुए मस्तिष्क का संकेत नहीं होती हैं। कभी-कभी, AI पूरी तरह से स्थिर होता है, लेकिन वह बस आत्मविश्वास के साथ गलत होता है। यह एक जटिल स्थिति है क्योंकि एक स्थिर गलती को पकड़ना एक कांपती हुई गलती की तुलना में कठिन होता है। यदि AI केवल "नाजुक" है, तो हमें लग सकता है कि हम इसे अधिक मजबूत बनाकर ठीक कर सकते हैं। लेकिन यदि यह "स्थिर रूप से गलत अंशांकित" है, तो समाधान अलग है: हमें यह जानने की आवश्यकता है कि कब AI पर भरोसा करना है और कब हस्तक्षेप करना है।
लेखक ने पाया कि उनका नया "कॉन्फिडेंस वेरिएशन स्कोर" यह रैंक करने के लिए एक उपयोगी उपकरण है कि कौन से विषय सबसे जोखिम भरे हैं। यह हमें यह देखने में मदद करता है कि कहाँ AI को "फिर से सोचने" या "परहेज करने" (कहने कि "मुझे नहीं पता") के लिए कहना वास्तव में मददगार होता है। हालाँकि, उन्होंने यह भी पाया कि AI के आंतरिक मस्तिष्क को देखने से सही और गलत उत्तरों के बीच स्पष्ट अंतर नहीं होता है। "नाजुक" स्पष्टीकरण पूरी कहानी नहीं लगता है। इसके बजाय, यह शोध पत्र तर्क देता है कि हमें इन आत्मविश्वासी त्रुटियों को एक विशिष्ट प्रकार के जोखिम के रूप में देखना चाहिए: AI ठोस और विश्वसनीय दिख सकता है क्योंकि वह आसानी से अपना मन नहीं बदलता, लेकिन वह फिर भी हमें गलत दिशा में ले जा सकता है। लेखक का सुझाव है कि सबसे अच्छा दृष्टिकोण यह है कि इन उपकरणों का उपयोग AI के नियमित ऑडिट के लिए किया जाए, जिद्दी विषयों की पहचान की जाए, और समस्याओं के पैदा होने से पहले मानवीय समीक्षा के लिए हस्तक्षेप किया जाए। यह रोबोट के मस्तिष्क को कांपने से रोकने के लिए ठीक करने के बारे में नहीं है; यह यह जानने के बारे में है कि कब उसका हाथ थामना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।