A Calibrated Reflection Approach for Enhancing Confidence Estimation in LLMs

आर्टिफिशियल इंटेलिजेंस के तेजी से विकसित होते परिदृश्य में, लार्ज लैंग्वेज मॉडल्स (LLMs) शक्तिशाली उपकरण बन गए हैं जो मानव के समान टेक्स्ट उत्पन्न करने, जटिल प्रश्नों के उत्तर देने और यहाँ तक कि बातचीत करने में भी सक्षम हैं। फिर भी, इन प्रणालियों पर भरोसा करने में एक बड़ी बाधा बनी हुई है: यह जानना कि वे कब सही हैं और कब गलत। ये मॉडल अक्सर ऐसे उत्तर देते हैं जो सुनने में प्रवाहपूर्ण और आत्मविश्वासी लगते हैं, भले ही तथ्य गलत हों। यह अंशांकन (कैलिब्रेशन) की समस्या है। एक अच्छी तरह से कैलिब्रेटेड सिस्टम में, यदि मॉडल किसी उत्तर के बारे में नब्बे प्रतिशत आश्वस्त होने का दावा करता है, तो उसे नब्बे प्रतिशत बार सही होना चाहिए। इस विश्वसनीयता के बिना, उपयोगकर्ता एक भरोसेमंद अंतर्दृष्टि और एक आत्मविश्वासी मतिभ्रम (hallucination) के बीच अंतर नहीं कर सकते। यह अनिश्चितता विशेष रूप से ऑर्डिनल डेटा (क्रमिक डेटा) के मामले में जटिल हो जाती है, जहाँ उत्तर एक पैमाने पर मौजूद होते हैं, जैसे कि किसी सेवा को एक से पांच स्टार तक रेट करना। इन मामलों में, सत्य के करीब की गलती, सत्य से बहुत दूर की गलती की तुलना में कम गंभीर होती है, लेकिन मानक तरीके अक्सर इस सूक्ष्मता को पहचानने में विफल रहते हैं, और सभी त्रुटियों को समान रूप से बुरा मानते हैं।

अमेज़न के शोधकर्ताओं ने इस ब्लाइंड स्पॉट को ठीक करने के लिए एक नया ढांचा विकसित किया है, जो एक ऐसी प्रणाली बनाता है जो भाषा मॉडलों को अपनी स्वयं की निश्चितता को बेहतर ढंग से समझने में मदद करती है। उनका दृष्टिकोण, जिसे 'कैलिब्रेटेड रिफ्लेक्शन' (Calibrated Reflection) कहा जाता है, मॉडल को उसके अपने काम का मूल्यांकन करने में सुधार करने के लिए दो मुख्य रणनीतियों को जोड़ता है। सबसे पहले, उन्होंने एक ऐसी विधि पेश की जहाँ मॉडल केवल सबसे संभावित विकल्पों का ही नहीं, बल्कि प्रत्येक संभावित उत्तर विकल्प का मूल्यांकन करता है, और फिर अंतिम निर्णय लेने से पहले अपने तर्क पर विचार (reflect) करने के लिए रुकता है। यह प्रक्रिया मॉडल को अपने तर्क की जाँच करने और संभावित चूक की पहचान करने के लिए मजबूर करती है, ठीक वैसे ही जैसे कोई इंसान रिपोर्ट जमा करने से पहले अपने काम की दोबारा जाँच करता है। दूसरा, उन्होंने समायोजन की एक परत जोड़ी जो उत्तरों के बीच की दूरी को ध्यान में रखती है। यदि एक मॉडल पांच-बिंदु पैमाने पर चार की रेटिंग का अनुमान लगाता है, लेकिन प्रायिकता द्रव्यमान (probability mass) निकटवर्ती रेटिंग तीन पर केंद्रित है, तो सिस्टम इसे एक रेटिंग एक की ओर फैले होने की तुलना में एक छोटी, अधिक प्रबंधनीय त्रुटि के रूप में पहचानता है। यह "दूरी-जागरूक" (distance-aware) अंशांकन सुनिश्चित करता है कि अंतिम आत्मविश्वास स्कोर अनिश्चितता की वास्तविक प्रकृति को दर्शाता है।

इस ढांचे का परीक्षण करने के लिए, शोधकर्ताओं ने इसे उपयोगकर्ताओं और चैटबॉट्स के बीच होने वाली बातचीत और तथ्य-आधारित वर्गीकरण कार्यों सहित विभिन्न वास्तविक दुनिया के परिदृश्यों पर लागू किया। उन्होंने स्थापित डेटासेट्स का उपयोग किया जिनमें हजारों उदाहरण शामिल थे, जैसे कि हेल्पफुलनेस (उपयोगिता) और करेक्टनेस (सटीकता) जैसे आयामों पर रेट किए गए संवादात्मक इंटरैक्शन का एक संग्रह, और एक बड़ा मूल्यांकन डेटासेट जो 6.8K सत्य कथनों को उनके संबंधित असत्य समकक्षों के साथ जोड़कर बनाया गया था। उन्होंने अपने नए तरीके की तुलना कई मौजूदा तकनीकों से की, जिसमें सरल प्रायिकता जाँच, वे विधियाँ जो मॉडल को कई उत्तर उत्पन्न करने के लिए कहती हैं ताकि वे एक-दूसरे से सहमत हों, और वे दृष्टिकोण जो मॉडल के आंतरिक गणितीय संकेतों पर निर्भर करते हैं। परिणामों ने दिखाया कि उनका संयुक्त दृष्टिकोण लगातार अन्यों से बेहतर रहा। कैलिब्रेटेड रिफ्लेक्शन का उपयोग करने वाले मॉडलों ने आत्मविश्वास स्कोर उत्पन्न किए जो उनकी वास्तविक सटीकता के साथ बहुत अधिक मेल खाते थे। विशेष रूप से, सिस्टम ने अंशांकन में काफी कम त्रुटियां दिखाईं, जिसका अर्थ है कि घोषित आत्मविश्वास स्तर सत्य के अधिक विश्वसनीय संकेतक थे। इसने सही और गलत उत्तरों के बीच अंतर करने की मॉडल की क्षमता में भी सुधार किया, जो सुरक्षा और विश्वास के लिए एक महत्वपूर्ण मीट्रिक है।

अध्ययन इस बात पर प्रकाश डालता है कि यह सुधार मॉडलों को पुन: प्रशिक्षित किए बिना या भारी कम्प्यूटेशनल संसाधनों की आवश्यकता के बिना प्राप्त किया गया था। शोधकर्ताओं ने अपने तरीके का परीक्षण क्लोज्ड-सोर्स और ओपन-सोर्स दोनों मॉडलों पर किया, और अपने प्रयोगों को सिस्टम के माध्यम से एक सिंगल पास (एकल दौर) के साथ चलाया, जो इस तकनीक को तत्काल उपयोग के लिए व्यावहारिक बनाता है। संरचित तर्क को सूक्ष्म समझ के साथ एकीकृत करके, कैलिब्रेटेड रिफ्लेक्शन दृष्टिकोण अधिक भरोसेमंद आर्टिफिशियल इंटेलिजेंस की ओर एक मार्ग प्रदान करता है। यह उस महत्वपूर्ण अंतर को संबोधित करता है जहाँ मॉडल पहले एक मामूली चूक और एक बड़ी विफलता के बीच अंतर करने में विफल रहे थे, जिससे निश्चितता का अधिक ईमानदार और उपयोगी माप मिलता है। यह कार्य सुझाव देता है कि केवल मॉडलों से उनके अपने उत्तरों के बारे में सोचने का तरीका बदलकर, हम उन्हें निर्णय लेने में काफी अधिक विश्वसनीय भागीदार बना सकते हैं।