Calibrating LLMs with Semantic-level Reward
यह शोध पत्र कैलिब्रेशन विद सिमेंटिक रिवॉर्ड (CSR) का प्रस्ताव करता है, जो एक ऐसा ढांचा है जो असंगत मौखिक रूप से व्यक्त किए गए आत्मविश्वास स्कोर के स्थान पर एक अर्थगत-स्तर (semantic-level) के रिवॉर्ड का उपयोग करके लार्ज लैंग्वेज मॉडल्स के अनिश्चितता कैलिब्रेशन में सुधार करता है, जो सही आउटपुट्स के बीच सहमति को प्रोत्साहित करता है और गलत आउटपुट्स के बीच बना हुआ बनावटी सामंजस्य को हतोत्साहित करता है, जिससे विभिन्न बेंचमार्क पर काफी कम त्रुटि दर और उच्च विश्वसनीयता प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Calibrating LLMs with Semantic-Level Reward" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
समस्या: अति-आत्मविश्वासी अनुमान लगाने का खेल (The Overconfident Guessing Game)
कल्पना कीजिए कि आप एक बहुत महत्वपूर्ण परीक्षा दे रहे हैं, जैसे कि मेडिकल लाइसेंसिंग परीक्षा। आपके पास एक स्टडी बडी (AI) है जो आपको सवालों के जवाब देने में मदद करता है।
वर्तमान में, अधिकांश AI प्रशिक्षण विधियाँ एक ऐसे शिक्षक की तरह हैं जिसे केवल इस बात से मतलब है कि अंतिम उत्तर सही (Right) है या गलत (Wrong)।
- यदि आपका स्टडी बडी 100% आत्मविश्वास के साथ कहता है "आकाश हरा है" और गलत साबित होता है, तो शिक्षक उसे शून्य देता है।
- यदि आपका स्टडी बडी 100% आत्मविश्वास के साथ कहता है "आकाश नीला है" और सही साबित होता है, तो शिक्षक उसे गोल्ड स्टार देता है।
समस्या क्या है? शिक्षक "आत्मविश्वासी गलत अनुमान" और "आत्मविश्वासी सही अनुमान" दोनों को "सही/गलत" के संकेत के मामले में एक समान मानता है। यह AI को एक "आत्मविश्वासी जुआरी" बनने की शिक्षा देता है। यह सीख जाता है कि शोर मचाना और निश्चित होना अच्छा है, भले ही वह गलत हो। उच्च-दांव वाली स्थितियों (जैसे कानून या चिकित्सा) में, एक आत्मविश्वासी गलत उत्तर खतरनाक होता है क्योंकि आप उस पर बहुत अधिक भरोसा कर सकते हैं।
पुराना समाधान: AI से पूछना कि "वह कितना आश्वस्त है"
शोधकर्ताओं ने AI को यह कहना सिखाकर इसे ठीक करने की कोशिश की कि, "मैं 80% सुनिश्चित हूँ।" वे AI को तब पुरस्कृत करते थे जब उसका आत्मविश्वास का नंबर इस बात से मेल खाता था कि वह वास्तव में कितनी बार सही था।
खामी: पेपर का तर्क है कि यह किसी व्यक्ति से कागज के एक टुकड़े पर अपना आत्मविश्वास लिखने के लिए कहने जैसा है। लेकिन यदि आप उसी व्यक्ति से वही सवाल थोड़े अलग तरीके से पूछते हैं (जैसे, "आकाश का रंग क्या है?" बनाम "मुझे आकाश का रंग बताओ"), तो वे एक के लिए "80%" और दूसरे के लिए "90%" लिख सकते हैं, भले ही वे एक जैसा महसूस कर रहे हों।
पेपर दिखाता है कि ये "मौखिक आत्मविश्वास" (verbalized confidence) स्कोर अस्थिर होते हैं। वे इस आधार पर बदलते हैं कि आपने सवाल कैसे पूछा, न कि वास्तविक सत्य के आधार पर। यह एक मौसम भविष्यवक्ता की तरह है जो अपना अनुमान बदल देता है क्योंकि आपने उसे लाल शर्ट के बजाय नीली शर्ट पहनने के लिए कहा।
नया समाधान: CSR (सेमेंटिक रिवॉर्ड के साथ कैलिब्रेशन)
लेखक एक नई विधि प्रस्तावित करते हैं जिसे CSR कहा जाता है। AI से यह कहने के बजाय कि वह कितना आश्वस्त है, वे AI के व्यवहार को उसकी आत्मीश्वस्तता दिखाने देते हैं।
उपमा: "अन्वेषकों की भीड़" (The "Crowd of Explorers")
कल्पना कीजिए कि आप 8 अलग-अलग अन्वेषकों (जिन्हें "रोलआउट्स" कहा जाता है) को एक छिपे हुए खजाने (सही उत्तर) को खोजने के लिए एक जंगल में भेजते हैं।
यदि खजाना ढूंढना आसान है (सही उत्तर):
- CSR के साथ: सभी 8 अन्वेषक वापस आते हैं और कहते हैं, "हमें यह बड़े ओक के पेड़ के पास मिला!" वे सभी सहमत हैं। क्योंकि वे स्थान के अर्थ पर सहमत हैं, सिस्टम जानता है: "वाह, AI बहुत आश्वस्त है और संभवतः सही है।"
- रिवॉर्ड (पुरस्कार): इस सहमति के लिए AI को बोनस मिलता है।
यदि खजाना ढूंढना कठिन है (गलत उत्तर):
- CSR के साथ: अन्वेषक अलग-अलग कहानियों के साथ वापस आते हैं। एक कहता है, "यह नदी के पास है।" दूसरा कहता है, "यह एक गुफा में है।" तीसरा कहता है, "यह एक चट्टान के नीचे है।" वे सभी अलग-अलग चीजों के बारे में बात कर रहे हैं।
- रिवॉर्ड (पुरस्कार): सिस्टम इस अराजकता को देखता है और कहता है, "यह AI भ्रमित है और संभवतः गलत है।" यह इस सहमति की कमी के लिए AI को दंडित करता है।
जादुई तत्व:
पेपर एक विशेष "सेमेंटिक रिवॉर्ड" पेश करता है। इसे इस बात से फर्क नहीं पड़ता कि अन्वेषक सटीक शब्दों का उपयोग करते हैं या नहीं (जैसे, "ओक का पेड़" बनाम "बड़ा ओक")। यह यह देखने के लिए एक जज का उपयोग करता है कि क्या उनका मतलब एक ही है।
- यदि AI सही है, तो रिवॉर्ड AI के 8 अन्वेषकों को एक समूह में इकट्ठा होने (उच्च सहमति) के लिए प्रोत्साहित करता है।
- यदि AI गलत है, तो रिवॉर्ड उन्हें अलग-अलग दिशाओं में बिखर जाने (कम सहमति) के लिए प्रोत्साहित करता है।
यह बेहतर क्यों है
"कॉन्फिडेंस टोकन" की आवश्यकता नहीं: AI को यह रुककर कहने की ज़रूरत नहीं है कि, "मैं 90% आश्वस्त हूँ।" वह बस सवाल का जवाब देता है। सिस्टम यह पता लगा लेता है कि आत्मविश्वास क्या है यह देखकर कि 8 अलग-अलग उत्तर आपस में कितने सहमत हैं।
स्थिर परिणाम: क्योंकि यह उत्तरों के विशिष्ट शब्दों के बजाय उनके अर्थ को देखता है, इसलिए यह इस बात से भ्रमित नहीं होता कि आपने सवाल कैसे पूछा।
बेहतर सुरक्षा: पेपर ने तीन अलग-अलग AI मॉडल (Llama, Qwen, Mistral) और चार अलग-अलग प्रकार के सवालों पर इसका परीक्षण किया। उन्होंने पाया कि CSR ने AI को यह जानने में बहुत बेहतर बनाया कि वह कब सही है और कब गलत है।
- इसने "एक्सपेक्टेड कैलिब्रेशन एरर" (एक माप कि AI कितना भ्रमित है) को 40% तक कम कर दिया।
- इसने सही उत्तरों को गलत उत्तरों की तुलना में उच्च रैंक देने की क्षमता में 31% तक सुधार किया।
सारांश
पेपर कहता है: AI को यह बताने के लिए कहना बंद करें कि वह कितना आश्वस्त है। इसके बजाय, उससे 8 अलग-अलग उत्तर देने के लिए कहें। यदि 8 उत्तरों का अर्थ एक ही है, तो AI आश्वस्त है और संभवतः सही है। यदि 8 उत्तर इधर-उधर बिखरे हुए हैं, तो AI भ्रमित है और संभवतः गलत है।
यह विधि AI को उसकी भावनाओं के बारे में अतिरिक्त वाक्य लिखे बिना अधिक सुरक्षित और विश्वसनीय बनाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।