CALIBER: Calibrating Confidence Before and After Reasoning in Language Models
यह शोध पत्र CALIBER को प्रस्तुत करता है, जो एक ऐसी विधि है जो प्री-रीज़निंग (तर्क-पूर्व) और पोस्ट-रीज़निंग (तर्क-पश्चात) कॉन्फिडेंस अवस्थाओं के बीच अंतर करके और प्रत्येक को उसके विशिष्ट सूचना संदर्भ के अनुरूप एक लक्ष्य के साथ निर्देशित करके रीजनिंग लैंग्वेज मॉडल्स के कैलिब्रेशन में सुधार करती है, जिससे विभिन्न बेंचमार्क और मॉडल आकारों में कैलिब्रेशन त्रुटि को काफी कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत कठिन गणित की परीक्षा दे रहे हैं। आपके पास दो ऐसे क्षण होंगे जब आप खुद से पूछना चाह सकते हैं, "मुझे कितना यकीन है कि मैं इसे सही कर पाऊँगा?"
- सोचना शुरू करने से पहले: आप प्रश्न को देखते हैं और अनुमान लगाते हैं, "हूँ, यह कठिन लग रहा है। शायद मैं इसे सही कर लूँ, या शायद न कर पाऊँ।"
- इसे हल करने के बाद: आपने अपना उत्तर लिख दिया है और अपने काम की जाँच कर ली है। अब आप पूछते हैं, "ठीक है, अभी मैंने जो विशिष्ट उत्तर लिखा है, उसे देखते हुए, क्या वह वास्तव में सही है?"
कागज CALIBER तर्क देता है कि अधिकांश वर्तमान AI मॉडल एक गलती करते हैं क्योंकि वे इन दोनों क्षणों को एक ही चीज़ मान लेते हैं। वे एक एकल "कॉन्फिडेंस स्कोर" (आत्मविश्वास स्कोर) देने की कोशिश करते हैं जो इन दोनों कामों को एक साथ करने के लिए बनाया गया है। लेखक कहते हैं कि यह एक मौसम भविष्यवक्ता से यह पूछने जैसा है कि "क्या आज बारिश होगी?" (आसमान देखने से पहले) और "क्या आज दोपहर में बारिश हुई थी?" (तूफान गुजर जाने के बाद) का उपयोग एक ही संख्या से करने जैसा है। यह भ्रमित करने वाला है और गलत अनुमानों की ओर ले जाता है।
समस्या: "पहले" और "बाद" को मिला देना
AI मॉडल को एक रहस्य सुलझाने वाले जासूस की तरह समझें।
- "पहले" का आत्मविश्वास (The "Before" Confidence): यह वह जासूस है जो अपराध स्थल को देखकर कहता है, "इस मामले की अव्यवस्था को देखते हुए, इस केस को सुलझाने की मेरी 60% संभावना है।" यह पहेली की कठिनाई के बारे में है।
- "बाद" का आत्मविश्वास (The "After" Confidence): यह वह जासूस है जो अपने अंतिम निष्कर्ष और एकत्र किए गए सबूतों को देखकर कहता है, "जो सुराग मुझे मिले हैं, उनके आधार पर, मुझे अपने निष्कर्ष पर 95% यकीन है।" यह विशिष्ट उत्तर की गुणवत्ता के बारे में है।
मौजूदा तरीके अक्सर AI को केवल एक संख्या देने के लिए मजबूर करते हैं। यदि AI कहता है "मैं 80% आश्वस्त हूँ," तो क्या वह इसलिए है क्योंकि पहेली आसान थी, या इसलिए कि AI को बेहतरीन सुराग मिले? पेपर का तर्क है कि आप यह नहीं जान सकते, और इसीलिए AI का आत्मविश्वास अक्सर "मिसकैलिब्रेटेड" (miscalibrated) होता है (यानी वह कहता है कि वह आश्वस्त है जबकि वह गलत होता है, या वह अनिश्चित होता है जबकि वह सही होता है)।
समाधान: CALIBER (तर्क करने से पहले और बाद का अंशांकन/Calibration)
लेखकों ने CALIBER नामक एक नई प्रणाली बनाई है। एक ही बार में एक अनुमान लगाने के बजाय, वे AI से अलग-अलग समय पर दो अनुमान मांगते हैं:
- प्री-थिंक गेस (सोचने से पहले का अनुमान): AI अपनी "सोचने" की प्रक्रिया शुरू करने से पहले, एक आत्मविश्वास स्कोर देता है। यह स्कोर यह अनुमान लगाने के लिए प्रशिक्षित है: "इस प्रकार की समस्या को मैं हल कर ही पाऊँगा, इसकी क्या संभावना है?"
- पोस्ट-थिंक गेस (सोचने के बाद का अनुमान): AI ने अपनी सोच पूरी करने और उत्तर लिखने के बाद, दूसरा आत्मविश्वास स्कोर देता है। यह स्कोर यह अनुमान लगाने के लिए प्रशिक्षित है: "जो विशिष्ट उत्तर मैंने अभी लिखा है, क्या वह वास्तव में सही है?"
सीक्रेट सॉस (Secret Sauce): पेपर में पाया गया कि इन दो अनुमानों को अलग-अलग तरीके से "सिखाया" जाना चाहिए।
- प्री-थिंक (सोचने से पहले का) अनुमान को प्रयासों के एक समूह को देखकर सिखाया जाता है। यदि AI समान प्रश्नों पर 10 में से 7 बार उत्तर सही देता है, तो उसे शुरू करने से पहले "70%" कहना सीखना चाहिए।
- पोस्ट-थिंक (सोचने के बाद का) अनुमान को विशिष्ट उत्तर को देखकर सिखाया जाता है। यदि AI ने यह विशिष्ट उत्तर सही दिया, तो उसे "100% सुनिश्चित" कहना सीखना चाहिए। यदि उसने गलत दिया, तो उसे "0% सुनिश्चित" कहना सीखना चाहिए।
इन दो कामों को अलग करने और उन्हें सही "होमवर्क" (डेटा) के साथ सिखाने से, AI यह बेहतर ढंग से समझने लगता है कि वह क्या जानता है।
जब उन्होंने इसका परीक्षण किया तो क्या हुआ?
शोधकर्ताओं ने गणित की समस्याओं और सामान्य ज्ञान के प्रश्नों (जैसे ट्रिविया) पर इसका परीक्षण किया। उन्होंने CALIBER की तुलना अन्य तरीकों से की जो केवल एक आत्मविश्वास स्कोर मांगते हैं।
- परिणाम: CALIBER ईमानदार होने में बहुत बेहतर था।
- जब CALIBER ने कहा कि वह "90% आश्वस्त" है, तो वह वास्तव में 90% बार सही था।
- अन्य तरीके अक्सर कहते थे कि वे "90% आश्वत" हैं लेकिन वे केवल 60% बार ही सही होते थे (अति-आत्मविश्वासी) या कहते थे कि वे "50% आश्वस्त" हैं जबकि वे वास्तव में 90% बार सही होते थे (कम-आत्मविश्वासी)।
- "आउट-ऑफ-डिस्ट्रीब्यूशन" टेस्ट: उन्होंने AI का परीक्षण उन प्रश्नों पर भी किया जो उसने पहले कभी नहीं देखे थे (जैसे गणित की पहेलियों से ट्रिविया की ओर स्विच करना)। इन नई, कठिन задачों पर भी, CALIBER अन्य तरीकों की तुलना में अपने आत्मविश्वास के बारे में बहुत अधिक ईमानदार रहा।
"गैप" (अंतर) उपयोगी है
एक दिलचस्प बात जिसका पेपर उल्लेख करता है, वह है दोनों संख्याओं के बीच का गैप (अंतर)।
- यदि AI कम आत्मविश्वास से शुरू करता है (जैसे, "मुझे यकीन नहीं है कि मैं इसे हल कर सकता हूँ") लेकिन उच्च आत्मविश्वास के साथ समाप्त करता है (जैसे, "लेकिन अब जब मैंने इसे हल कर लिया है, तो मुझे यकीन है!"), तो वह गैप बताता है कि सोचने की प्रक्रिया ने मदद की।
- यदि AI उच्च आत्मविश्वास से शुरू होता है लेकिन निम्न पर समाप्त होता है, तो इसका मतलब है कि सोचने की प्रक्रिया ने एक गलती को उजागर कर दिया।
सारांश
सरल शब्दों में, CALIBER AI के आत्मविश्वास को यह समझकर ठीक करता है कि "यह अनुमान लगाना कि समस्या हल करने योग्य है" और "यह अनुमान लगाना कि एक विशिष्ट उत्तर सही है" दो अलग-अलग कौशल हैं। इन दोनों चीजों को अलग-अलग और सही ढंग से करने के लिए AI को सिखाकर, AI एक बहुत अधिक विश्वसनीय साथी बन जाता है जो जानता है कि उसे खुद पर कब भरोसा करना है और कब सावधान रहना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।