How Uncertainty Estimation Scales with Sampling in Reasoning Models
यह शोध पत्र यह प्रदर्शित करता है कि जबकि रीजनिंग मॉडल्स में सैंपलिंग के साथ सेल्फ-कंसिस्टेंसी (self-consistency) और वर्बलाइज्ड कॉन्फिडेंस (verbalized confidence) दोनों में सुधार होता है, इन संकेतों को संयोजित करने वाला एक हाइब्रिड एस्टिमेटर न्यूनतम सैंपल्स के साथ बेहतर अनसर्टेन्टी एस्टीमेशन (uncertainty estimation) प्राप्त करता है, जो विशेष रूप से STEM और ह्यूमैनिटीज डोमेन की तुलना में गणित में उत्कृष्ट प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बेहद प्रतिभाशाली लेकिन कभी-कभी अति-आत्मविश्वासी छात्र है जिसका नाम Reasoning-Robo है। जब आप रोबो से कोई कठिन प्रश्न पूछते हैं (जैसे कोई जटिल गणित की समस्या या इतिहास का पेचीदा सवाल), तो वह सीधे उत्तर नहीं देता। इसके बजाय, वह बैठता है, ज़ोर-ज़ोर से सोचता है, अपने विचार की प्रक्रिया पर एक लंबा निबंध लिखता है, और फिर आपको अंतिम उत्तर देता है।
यह शोध पत्र इस बारे में है कि यह कैसे पता लगाया जाए कि रोबो अपने उत्तर को लेकर वास्तव में आश्वस्त है, और कब वह केवल अनुमान लगा रहा है।
यहाँ अध्ययन का विवरण एक सरल उपमा का उपयोग करके दिया गया है: "ग्रुप स्टडी" बनाम "सेल्फ-रिफ्लेक्शन" टेस्ट।
समस्या: हम संदेह को कैसे मापते हैं?
जब आप एक स्मार्ट AI को काम पर रखते हैं, तो आप नहीं चाहते कि वह आत्मविश्वास के साथ गलत उत्तर दे। आप चाहते हैं कि वह कहे, "मुझे इस बारे में यकीन नहीं है," ताकि आप उसकी दोबारा जाँच कर सकें। लेकिन बिना रोबो के दिमाग के अंदर झाँके (जो कि असंभव है) आप उस "अनिश्चितता" को कैसे माप सकते हैं?
शोधकर्ताओं ने रोबो से यह पूछने के दो मुख्य तरीके आजमाए कि वह कितना आश्वस्त है:
- "सेल्फ-रिफ्लेक्शन" विधि (मौखिक आत्मविश्वास): आप रोबो से पूछते हैं, "1 से 100 के पैमाने पर, आप इस बात के प्रति कितने आश्वस्त हैं कि आपका उत्तर सही है?"
- "ग्रुप स्टडी" विधि (स्व-संगति/Self-Consistency): आप रोबो से वही प्रश्न 5 या 10 बार पूछते हैं। यदि वह हर बार आपको वही उत्तर देता है, तो वह संभवतः आश्वस्त है। यदि वह आपको 10 अलग-अलग उत्तर देता है, तो वह भ्रमित है।
बड़ी खोज: "दो-सदस्यीय टीम" की जीत
शोधकर्ताओं ने इन तरीकों को अकेले और साथ मिलकर, अलग-अलग "प्रयासों" (सैंपल्स) की संख्या का उपयोग करके आज़माया। यहाँ उन्हें क्या मिला, जिसे रोज़मर्रा की भाषा में समझाया गया है:
1. "सेल्फ-रिफ्लेक्शन" एक अच्छी शुरुआत है, लेकिन यह जल्दी थक जाता है।
रोबो से एक बार पूछना, "तुम कितने आश्वस्त हो?" काफी अच्छा काम करता है। यह एक छात्र से पूछने जैसा है, "क्या तुम्हें यह पता है?" और उसका कहना, "हाँ, मुझे काफी यकीन है।"
- कमी: यदि आप रोबो को बेहतर औसत प्राप्त करने के लिए इसे 8 बार करने के लिए कहते हैं, तो सुधार बहुत कम होता है। यह एक ही छात्र से एक ही प्रश्न 8 बार पूछने जैसा है; वह बस वही भावना दोहराता रहेगा।
2. "ग्रुप स्टडी" शुरू में धीमी होती है।
रोबो को एक ही प्रश्न 8 बार देने के लिए कहना और यह देखना कि क्या वे सहमत हैं (Self-Consistency), 8 अलग-अलग छात्रों को एक समस्या हल करने के लिए कहने जैसा है।
- कमी: शुरुआत में (केवल 2 या 3 प्रयासों के साथ), यह तरीका वास्तव में रोबो से एक बार पूछने की तुलना में बदतर है। इसे बहुत सारे "प्रयासों" की आवश्यकता होती है इससे पहले कि समूह पर्याप्त रूप से सहमत होने लगे ताकि वह उपयोगी हो सके।
3. जादुई संयोजन: "दो-सदस्यीय टीम" (हाइब्रिड)
यह सबसे महत्वपूर्ण खोज है।
रोबो को अकेले 8 गहन विचार सत्र करने के बजाय, शोधकर्ताओं ने पाया कि इसे केवल दो बार पूछना और दोनों विधियों को मिलाना एक गेम-चेंजर है।
- रणनीति:
- रोबो से प्रश्न पूछें और पूछें, "आप कितने आश्वस्त हैं?" (सेल्फ-रिफ्लेक्शन)।
- रोबो से प्रश्न को दूसरी बार पूछें और देखें कि क्या उत्तर पहले वाले से मेल खाता है (ग्रुप स्टडी)।
- दोनों संकेतों को मिलाएं।
उपमा: कल्पना कीजिए कि आप घोड़े की दौड़ के विजेता का अनुमान लगाने की कोशिश कर रहे हैं।
- विधि A: आप एक विशेषज्ञ से पूछते हैं, "आप कितने आश्वस्त हैं?" (अच्छा है, लेकिन शायद पक्षपाती हो सकता है)।
- विधि B: आप 8 अलग-अलग विशेषज्ञों से एक घोड़ा चुनने के लिए कहते हैं, और देखते हैं कि क्या वे सहमत हैं (धीमी है, इसमें बहुत प्रयास लगता है)।
- विधि C (विजेता): आप एक विशेषज्ञ से पूछते हैं कि वह कितना आश्वस्त है, और फिर दूसरे विशेषज्ञ को एक घोड़ा चुनने के लिए कहते हैं। यदि दूसरा विशेषज्ञ उसी घोड़े को चुनता है जिसके लिए पहला वाला आश्वस्त था, तो आप अत्यधिक आश्वस्त हैं। यदि वे एक अलग घोड़ा चुनते हैं, तो आप जानते हैं कि आपको सावधान रहना है।
शोध में पाया गया कि यह "दो-सदस्यीय टीम" दृष्टिकोण रोबो को अकेले 8 बार गहराई से सोचने के बजाय काफी बेहतर था। इसने सबसे कम काम के साथ सबसे सटीक "संदेह मीटर" दिया।
"गणित बनाम इतिहास" का अंतर
अध्ययन ने यह भी देखा कि रोबो किस प्रकार के प्रश्नों के उत्तर दे रहा था।
- गणित की समस्याएँ: रोबो एक गणित के जादूगर की तरह है जिसे विशेष रूप से इसके लिए प्रशिक्षित किया गया है। गणित में, "दो-सदस्यीय टीम" अविश्वसनीय रूप से अच्छा काम करती है। संकेत (आत्मविश्वास + सहमति) एक-दूसरे के पूरक हैं।
- इतिहास/मानविकी: रोबो यहाँ एक सामान्य विशेषज्ञ की तरह है। "दो-सदस्यीय टीम" अभी भी काम करती है, लेकिन सुधार गणित जितना नाटकीय नहीं था। यह एक गणित के जादूगर से किसी फिल्म की कहानी का अनुमान लगाने के लिए कहने जैसा है; वह अच्छा हो सकता है, लेकिन वह विशेष रूप से इसके लिए नहीं है।
वास्तविक जीवन के लिए सीख
यदि आप ऐसे AI सिस्टम बना रहे हैं या उपयोग कर रहे हैं जिन्हें सुरक्षित और विश्वसनीय होने की आवश्यकता है (जैसे चिकित्सा निदान या कानूनी सलाह):
- केवल एक गहन विचार पर भरोसा न करें। AI को एक बार गहराई से सोचने के लिए कहना यह जानने के लिए पर्याप्त नहीं है कि वह सही है या नहीं।
- केवल इसे 100 बार सोचने के लिए न कहें। यह बहुत महंगा और धीमा है।
- "दो-चरणीय नृत्य" (Two-Step Dance) करें: AI को समस्या को दो बार हल करने के लिए कहें।
- जाँचें कि क्या उत्तर मेल खाते हैं।
- जाँचें कि AI ने कितना आत्मविश्वास व्यक्त किया था।
- इन दोनों जानकारियों को मिलाएं।
यह सरल ट्रिक आपको AI की अनिश्चितता के लिए सबसे अच्छा "झूठ पकड़ने वाला यंत्र" (lie detector) देती है, जिससे बहुत कम अतिरिक्त प्रयास के साथ आपका समय और पैसा बचता है और AI बहुत अधिक भरोसेमंद बन जाता है। यह एक "शायद" को बहुत कम मेहनत के साथ "संभवतः" या "निश्चित रूप से नहीं" में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।