Aligning Language Models with Selective Prediction
यह शोध पत्र 'रिनफोर्समेंट लर्निंग फॉर सिलेक्शन रिवॉर्ड' (RLSR) का प्रस्ताव करता है, जो एक नवीन पोस्ट-ट्रेनिंग अलाइनमेंट फ्रेमवर्क है जो रिस्क-कवरेज कर्व के नीचे के क्षेत्र (AURC) को सीधे लक्षित करके बड़े भाषा मॉडलों को चयनात्मक भविष्यवाणी (selective prediction) के लिए अनुकूलित करता है, जिससे रिस्क-कवरेज ट्रेड-ऑफ में महत्वपूर्ण सुधार होता है और उच्च-जोखिम वाले निर्णय लेने की स्थितियों में विश्वसनीयता बढ़ती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ी समस्या: अति-आत्मविश्वासी AI
कल्पना कीजिए कि आपने किसी महत्वपूर्ण निर्णय को लेने में मदद करने के लिए एक बहुत ही बुद्धिमान लेकिन अति-आत्मविश्वासी सहायक को काम पर रखा है, जैसे कि किसी मरीज का निदान करना या शेयर बाजार का विश्लेषण करना। यह सहायक (AI) सवालों के जवाब देने में तो बहुत अच्छा है, लेकिन इसमें एक बुरी आदत है: इसे कभी नहीं पता चलता कि इसे नहीं पता। जब यह केवल अनुमान भी लगा रहा होता है, तब भी यह 100% निश्चितता के साथ बोलता है।
उच्च-जोखिम वाली स्थितियों (जैसे कानून या चिकित्सा) में, एक आत्मविश्वासी गलती खतरनाक होती है। आप चाहेंगे कि सहायक कहे, "मुझे यकीन नहीं है, इसे एक इंसान से जांच लें," बजाय इसके कि वह आपको गलत उत्तर पूरे आत्मविश्वास के साथ दे। यही वह मुख्य समस्या है जिसे यह शोध पत्र संबोधित करता है: हम AI को यह कैसे सिखाएं कि उसे कब चुप रहना है?
समाधान: "चयनात्मक भविष्यवाणी" (Selective Prediction)
यह शोध पत्र "चयनात्मक भविष्यवाणी" (Selective Prediction) नामक एक रणनीति प्रस्तावित करता है। इसे एक "चयनात्मक फिल्टर" के रूप में सिखाने के रूप में समझें।
हर सवाल का जवाब देने के बजाय, AI को प्रशिक्षित किया जाता है कि वह:
- केवल उन सवालों के जवाब दे जिनके बारे में वह बहुत आश्वस्त है।
- उन सवालों पर चुप रहे (यानी "मुझे नहीं पता" कहे) जिनके बारे में वह अनिश्चित है।
अपने जोखिम भरे अनुमानों को फ़िल्टर करके, उन सवालों पर AI की समग्र सटीकता काफी बढ़ जाती है जिनका उत्तर वह वास्तव में देता है।
पिछले तरीके क्यों काम नहीं आए
लेखक बताते हैं कि इसे ठीक करने के पिछले प्रयास कैलिब्रेशन (Calibration) पर निर्भर थे।
- कैलिब्रेशन का उदाहरण: कल्पना कीजिए कि एक मौसम विज्ञानी कहता है, "बारिश होने की 70% संभावना है।" यदि 10 में से 7 बार बारिश होती है जब उसने ऐसा कहा था, तो वह "कैलिब्रेटेड" है।
- खामी: शोध पत्र का तर्क है कि केवल "कैलिब्रेटेड" होना पर्याप्त नहीं है। आपके पास एक ऐसा मौसम विज्ञानी हो सकता है जो पूरी तरह से कैलिब्रेटेड है, लेकिन फिर भी वह एक "शायद" वाले उत्तर को "निश्चित" वाले उत्तर से ऊपर रैंक करता है।
- शोध पत्र का अंतर्दृष्टि: आपको वास्तव में केवल एक ऐसे मौसम विज्ञानी की आवश्यकता नहीं है जो अपनी संभावनाओं के बारे में ईमानदार हो; आपको एक ऐसे न्यायाधीश की आवश्यकता है जो उत्तरों को "सबसे अधिक सही होने की संभावना" से "सबसे कम सही होने की संभावना" के क्रम में पूरी तरह से छाँट सके। शोध पत्र इसे "चयनात्मक भविष्यवाणी" (Selective Prediction) कहता है, और यह केवल "कैलिब्रेशन" से एक अलग लक्ष्य है।
नई विधि: RLSR (चयन पुरस्कार के लिए सुदृढीकरण शिक्षण - Reinforcement Learning for Selection Reward)
लेखकों ने RLSR नामक एक नई प्रशिक्षण विधि बनाई है। यह कैसे काम करती है, इसे एक सरल रूपक से समझते हैं:
"सॉर्टिंग हैट" (Sorting Hat) का उदाहरण:
कल्पना कीजिए कि AI एक परीक्षा दे रहा छात्र है।
- पुरानी विधि (RLVR): शिक्षक केवल सही उत्तर देने पर अंक देता है। यदि छात्र सही अनुमान लगाता है, तो उसे एक अंक मिलता है। यदि वह गलत अनुमान लगाता है, तो उसे कुछ नहीं मिलता। छात्र सब कुछ बताने के लिए सीखता है, भले ही वह केवल अनुमान लगा रहा हो।
- नई विधि (RLSR): शिक्षक नियम बदल देता है। शिक्षक को केवल इस बात से फर्क नहीं पड़ता कि उत्तर सही है या गलत; उन्हें रैंकिंग (क्रम) से फर्क पड़ता है।
- शिक्षक छात्र के सभी उत्तरों को देखता है और कहता है: "मैं चाहता हूँ कि जिन उत्तरों के बारे में आप सबसे अधिक आश्वस्त हैं, वे सही हों, और जिन उत्तरों के बारे में आप सबसे कम आश्वस्त हैं, वे गलत हों।"
- यदि छात्र एक कठिन प्रश्न का सही उत्तर देता है लेकिन कहता है कि वह केवल "50% सुनिश्चित" है, तो उसे छोटा पुरस्कार मिलता है।
- यदि छात्र एक आसान प्रश्न का गलत उत्तर देता है लेकिन कहता है कि वह "99% सुनिश्चित" है, तो उसे भारी दंड मिलता है।
- यदि छात्र एक कठिन प्रश्न का सही उत्तर देता है और कहता है कि वह "99% सुनिश्चित" है, तो उसे बहुत बड़ा पुरस्कार मिलता है।
यह विधि, जिसे RLSR कहा जाता है, एक विशेष स्कोरिंग सिस्टम (जो AURC नामक मीट्रिक पर आधारित है) का उपयोग करती है जो AI को अपने "निश्चित" उत्तरों और "अनिश्चित" उत्तरों के बीच एक स्पष्ट अंतर बनाने के लिए पुरस्कृत करती है।
परिणाम: एक बेहतर फिल्टर
शोध पत्र ने विभिन्न कठिन कार्यों (जैसे गणित की समस्याएं और जटिल सामान्य ज्ञान) पर इस नई विधि का परीक्षण किया और पुराने तरीकों के साथ इसकी तुलना की।
- परिणाम: RLSR के साथ प्रशिक्षित AI यह समझने में बहुत बेहतर हो गया कि कब बोलना है और कब चुप रहना है।
- प्रमाण: जब शोधकर्ताओं ने एक नियम सेट किया जैसे "केवल तभी उत्तर दें जब आप 90% आश्वस्त हों," तो RLSR-प्रशिक्षित AI अन्य मॉडलों की तुलना में काफी अधिक सटीक था। इसने सफलतापूर्वक उन "आत्मविश्वासी गलतियों" को फ़िल्टर कर दिया जो अन्य मॉडल करते रह जाते थे।
- वास्तविक दुनिया का परीक्षण: उन्होंने इसका परीक्षण एक मेडिकल डेटासेट (MedQA) पर भी किया। जब उन्होंने AI को केवल उन प्रश्नों को उत्तर देने के लिए मजबूर किया जहाँ वह उच्च स्तर की सटीकता की गारंटी दे सकता था, तो RLRL मॉडल ही एकमात्र था जो लगातार उस उच्च सुरक्षा मानक को पूरा कर सका।
सारांश
संक्षेप में, यह शोध पत्र AI मॉडल्स को "आत्मविश्वासी अनुमान लगाने वाले" बनने से रोकने की शिक्षा देता है। हर चीज़ के बारे में सही होने की कोशिश करने के बजाय, AI एक स्मार्ट गेटकीपर (द्वारपाल) बनना सीखता है। यह सीखता है कि "मैं यह जानता हूँ" और "मैं वह नहीं जानता," जिससे यह सुनिश्चित होता है कि जब यह बोलता है, तो इसके सही होने की अत्यधिक संभावना होती है। यह AI को महत्वपूर्ण वास्तविक दुनिया के कार्यों के लिए बहुत अधिक सुरक्षित और विश्वसनीय बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।