From token probabilities to calibrated confidence: An empirical study of mathematical question answering
यह अनुभवजन्य अध्ययन गणितीय प्रश्नोत्तर के लिए बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) में विश्वास को कैलिब्रेट करने की विधियों की जांच करता है, जिसमें यह पाया गया है कि जबकि सिंगल-पास टोकन प्रोबेबिलिटीज सीमित संकेत प्रदान करती हैं, उन्हें एकत्रित करने और सेल्फ-वेरिफिकेशन या मोंटे कार्लो ड्रॉपआउट जैसी मल्टी-पास रणनीतियों को अपनाने के बाद पोस्ट-हॉक कैलिब्रेशन तकनीकों का उपयोग करने से, अनुमानित विश्वास और वास्तविक सटीकता के बीच संरेखण में महत्वपूर्ण सुधार हो सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट दोस्त के साथ ट्रिविया का एक हाई-स्टेक्स खेल खेल रहे हैं। आप उससे एक पेचीदा सवाल पूछते हैं, और रोबोट एक जवाब के साथ गूँज उठता है। लेकिन यहाँ एक पेंच है: रोबोट खुश करने के लिए इतना उत्सुक है कि वह अक्सर तब भी पूरी तरह से निश्चित लगता है जब वह पूरी तरह गलत होता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "ओवरकॉन्फिडेंस" (अति-आत्मविश्वास) कहा जाता है। वैज्ञानिक इन रोबोटों को यह सिखाने की कोशिश कर रहे हैं कि वे कैसे कहें, "मुझे काफी यकीन है," या "मुझे इतना यकीन नहीं है," ताकि हम जान सकें कि उन पर कब भरोसा किया जा सकता है। यह कॉन्फिडेंस एस्टीमेशन (विश्वास अनुमान) की चुनौती है: यह पता लगाना कि रोबोट का उत्तर सही होने की कितनी संभावना है। इसे करने के लिए, शोधकर्ता रोबोट की आंतरिक "फुसफुसाहटों" पर नज़र रखते हैं—टोकन प्रोबेबिलिटीज (टोकन संभावनाओं) नामक छोटे नंबर जो यह दिखाते हैं कि वाक्य में अगला शब्द चुनने की कितनी संभावना है। बड़ा सवाल यह है: क्या हम इन शोर भरी फुसफुसाहटों को एक विश्वसनीय "सत्य मीटर" (truth meter) में बदल सकते हैं जो हमें सटीक रूप से बता सके कि हमें रोबोट पर कितना भरोसा करना चाहिए?
एक टीम के शोधकर्ताओं ने इस विचार को परखने का फैसला किया, विशेष रूप से गणित की समस्याओं के साथ। उन्होंने AI के साथ ऐसा व्यवहार किया जैसे वह एक छात्र हो जो परीक्षा दे रहा है और उनसे पूछा: "यदि हम छात्र की विचार प्रक्रिया को ध्यान से सुनें, तो क्या हम उसका उत्तर पूरा लिखने से पहले ही बता सकते हैं कि उसने सही उत्तर दिया है या नहीं?" उन्होंने दो मुख्य तरीकों की तुलना की। पहला एक "सिंगल-पास" (एकल-पास) सुनना था, जहाँ उन्होंने केवल गणित की समस्या और रोबित द्वारा दिए गए अंतिम उत्तर का एक बार में विश्लेषण किया। दूसरा एक "मल्टी-पास" (बहु-पास) सुनना था, जहाँ उन्होंने रोबोट को अपने काम की दोबारा जाँच करने या एक ही समस्या को थोड़े बदलावों के साथ अपने दिमाग में कई बार चलाने के लिए कहा ताकि यह देखा जा सके कि क्या उसे वही परिणाम मिलता है।
उन्होंने क्या खोजा। सबसे पहले, उन्होंने पाया कि यदि आप केवल उत्तर के बिल्कुल अंतिम शब्दों (अंतिम संख्या) को सुनते हैं, तो रोबोट अविश्वसनीय रूप से आत्मविश्वासी लगता है, भले ही वह गलत हो। यह एक ऐसे छात्र की तरह है जो परीक्षा के अंत में "42" लिखता है लेकिन वहाँ तक पहुँचने के लिए उसने केवल अंदाज़ा लगाया था। हालाँकि, यदि आप तर्क की पूरी श्रृंखला को सुनते हैं—वह चरण-दर-चरण गणित जो रोबोट ने वहाँ तक पहुँचने के लिए किया—तो आप सही और गलत उत्तरों के बीच सूक्ष्म, सुसंगत अंतर देख सकते हैं। पूरी विचार प्रक्रिया में इन सूक्ष्म संकेतों को औसत निकालकर, उन्होंने पाया कि बिना रोबोट से अतिरिक्त काम कराए एक बेहतर "सत्य मीटर" प्राप्त करने का एक तरीका है।
शोधकर्ताओं ने बेहतर संकेत प्राप्त करने के लिए कुछ शानदार तरकीबें भी आजमाईं। एक तरकीब यह थी कि रोबोट से पूछना, "क्या आपको यकीन है कि यह सही है?" (एक विधि जिसे सेल्फ-वेरिफिकेशन कहा जाता है)। उन्होंने पाया कि रोबोट को अपने उत्तर को बिल्कुल शुरुआत से फिर से पढ़ने के लिए कहना सटीक तो था लेकिन बहुत धीमा और महंगा था, जैसे किसी छात्र को एक लाइन की जाँच करने के लिए अपना पूरा निबंध फिर से लिखने के लिए कहना। लेकिन उन्होंने एक चतुर शॉर्टकट खोजा: पूरे चीज़ को फिर से लिखने के बजाय, वे बस मूल उत्तर के अंत में "क्या यह सही है?" प्रश्न जोड़ सकते थे। यह "इन-सीटू" (in-situ) विधि उतनी ही सटीक थी लेकिन इसने कंप्यूटर की मेहनत में 88% की बचत की, जो दक्षता के मामले में एक बड़ी जीत थी।
एक अन्य तरकीब "स्टोकेस्टिक पासेस" (stochastic passes) थी, जहाँ उन्होंने एक ही समस्या को थोड़ी सी रैंडमनेस (जैसे पासा फेंकना) के साथ कई बार हल करने के लिए कहा ताकि यह देखा जा सके कि क्या वह अपना मन बदलता है। यह विधि, जिसे MC Dropout कहा जाता है, अनिश्चितता को पकड़ने में अच्छी थी, लेकिन इसके लिए रोबोट को कई बार काम करना पड़ता था, जो कि कंप्यूटेशनल रूप से भारी था। शोधकर्ताओं ने पाया कि हालांकि यह विधि काम करती थी, लेकिन अक्सर यह सरल "पूरी कहानी सुनने" वाले तरीके की तुलना में अतिरिक्त लागत के लायक नहीं थी।
अंत में, उन्होंने एक "कैलिब्रेशन" (कैलिब्रेशन) चरण का परीक्षण किया, जो कि रोबोट को अपना आत्मविश्वास वाला डायल एडजस्ट करना सिखाने जैसा है। उन्होंने रोबोट के आत्मविश्वास स्कोर को वास्तविकता के साथ बेहतर ढंग से मिलाने के लिए दो क्लासिक गणितीय उपकरणों (प्लेट स्केलिंग और आइसोटोनिक रिग्रेशन) का उपयोग किया। उन्होंने पाया कि ये उपकरण अद्भुत काम करते हैं, विशेष रूप से जब उनके पास सीखने के लिए समस्याओं का एक छोटा सेट (50 उदाहरणों के रूप में कम से कम) हो। हालाँकि, उन्होंने यह भी देखा कि आसान गणित की समस्याओं पर सीखा गया कैलिब्रेशन हमेशा कठिन समस्याओं पर अच्छी तरह से काम नहीं करता है, और एक प्रकार के रोबोट पर सीखा गया कैलिब्रेशन दूसरे प्रकार के रोबोट पर हमेशा ट्रांसफर नहीं होता है।
संक्षेप में, पेपर सुझाव देता है कि हमें यह जानने के लिए रोबोट को दोगुना कठिन काम करने की आवश्यकता नहीं है कि वह सही है या नहीं। केवल उसके तर्क के पूरे पथ पर अधिक ध्यान देकर, बजाय केवल अंतिम उत्तर के, और खुद को दोबारा जाँचने के लिए पूछने के एक चतुर, कम लागत वाले तरीके का उपयोग करके, हम बहुत अधिक विश्वसनीय कॉन्फिडेंस मीटर बना सकते हैं। ये निष्कर्ष बताते हैं कि सही ट्यूनिंग के साथ, हम AI सिस्टम को इस बारे में बहुत अधिक ईमानदार बना सकते हैं कि वे क्या जानते हैं और वे क्या नहीं जानते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।