💬 NLP

Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty

यह शोध पत्र RLCR (कैलिब्रेशन रिवॉर्ड्स के साथ सुदृढीकरण सीखना) प्रस्तुत करता है, जो एक नवीन प्रशिक्षण दृष्टिकोण है जो बाइनरी शुद्धता पुरस्कारों को ब्रियर स्कोर (Brier score) के साथ जोड़कर भाषा मॉडलों की सटीकता और कैलिब्रेटेड आत्मविश्वास दोनों में सुधार करता है, जिससे मानक सुदृढीकरण सीखने के कारण होने वाले मतिभ्रम (hallucination) और कैलिब्रेशन क्षरण को कम किया जा सके।

मूल लेखक: Mehul Damani, Isha Puri, Stewart Slocum, Idan Shenfeld, Leshem Choshen, Yoon Kim, Jacob Andreas

प्रकाशित 2026-05-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mehul Damani, Isha Puri, Stewart Slocum, Idan Shenfeld, Leshem Choshen, Yoon Kim, Jacob Andreas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान छात्र को एक कठिन परीक्षा देने के लिए प्रशिक्षित कर रहे हैं। लक्ष्य केवल उन्हें सही उत्तर प्राप्त करने के लिए तैयार करना नहीं है, बल्कि यह भी सिखाना है कि उन्हें कब अनुमान लगाना है और कब वे निश्चित हैं।

यह शोध पत्र, जिसका शीर्षक "बियॉन्ड बाइनरी रिवॉर्ड्स" (Beyond Binary Rewards) है, इन AI "छात्रों" (लेंग्वेज मॉडल्स) को प्रशिक्षित करने का एक नया तरीका पेश करता है ताकि वे न केवल अधिक स्मार्ट बनें, बल्कि अपने आत्मविश्वास के बारे में भी ईमानदार रहें।

समस्या: "अनुमान लगाने का खेल" वाला जाल

वर्तमान में, जब हम AI को कठिन समस्याओं (जैसे गणित या सामान्य ज्ञान) को हल करने के लिए प्रशिक्षित करते हैं, तो हम एक सरल स्कोरिंग सिस्टम का उपयोग करते हैं जिसे बाइनरी रिवॉर्ड्स (Binary Rewards) कहा जाता है।

नियम: यदि उत्तर सही है, तो आपको एक अंक मिलता है। यदि गलत है, तो आपको शून्य मिलता है।
खामी: इस सिस्टम को इस बात से कोई फर्क नहीं पड़ता कि AI ने उत्तर कैसे प्राप्त किया। यह तब भी समान अंक देता है जब AI ने गहरी तर्कशक्ति से उत्तर निकाला हो या बस तुक्का लगाकर भाग्यशाली रहा हो।
परिणाम: AI एक "आत्मविश्वासी जुआरी" बनना सीख जाता है। यह उन उत्तरों के साथ 100% आत्मविश्वास के साथ अनुमान लगाने लगता है जिनके बारे में उसे पता भी नहीं होता कि वह क्या कह रहा है। वास्तविक दुनिया में यह खतरनाक है क्योंकि AI "भ्रमित" (hallucinate) हो सकता है (यानी मनगढ़ंत बातें बना सकता है) और बहुत विश्वास के साथ झूठ बोल सकता है।

समाधान: RLCR (द "ऑनेस्टी कोच")

लेखक एक नई प्रशिक्षण पद्धति प्रस्तावित करते हैं जिसे RLCR (रीइन्फोर्समेंट लर्निंग विद कैलिब्रेशन रिवॉर्ड्स) कहा जाता है। इसे एक ऐसे कोच के रूप में सोचें जो छात्र को दो चीजों पर एक साथ ग्रेड देता है:

क्या आपका उत्तर सही था? (सटीकता/Accuracy)
क्या आपका आत्मविश्वास स्तर सटीक था? (कैलिब्रेशन/Calibration)

यह कैसे काम करता है:
केवल "सही" या "गलत" कहने के बजाय, अब AI को यह कहने के लिए मजबूर किया जाता है: "यह मेरा उत्तर है, और यह 0 से 1 के बीच का एक नंबर है जो दर्शाता है कि मैं कितना आश्वस्त हूँ।"

कोच आत्मविश्वास को ग्रेड करने के लिए एक विशेष स्कोरिंग नियम (जिसे ब्रायर स्कोर कहा जाता है) का उपयोग करता है:

यदि AI कहता है "मुझे 90% यकीन है" और वह सही है, तो उसे बहुत अच्छा स्कोर मिलता है।
यदि AI कहता है "मुझे 90% यकीन है" और वह गलत है, तो उसे बहुत भारी दंड (penalty) मिलता है।
यदि AI कहता है "मुझे 50% यकीन है" (अनिश्चित) और वह गलत है, तो उसे छोटा दंड मिलता है।

यह AI को एक महत्वपूर्ण सबक सिखाता है: अनिश्चित होकर गलत होना, आत्मविश्वास के साथ गलत होने से बेहतर है।

उपमा: मौसम विज्ञानी (The Weather Forecaster)

कल्पना कीजिए कि दो मौसम विज्ञानी हैं:

मौसम विज्ञानी A (पुरानी पद्धति): हमेशा कहता है, "कल निश्चित रूप से बारिश होगी!" यदि बारिश होती है, तो वह जीनियस है। यदि धूप निकल आती है, तो वह गलत है, लेकिन वह कभी यह स्वीकार नहीं करता कि वह केवल अनुमान लगा रहा था। वह "अति-आत्मविश्वासी" है।
मौसम विज्ञानी B (RLCR पद्धति): कहता है, "बारिश की 60% संभावना है।" यदि बारिश होती है, तो वह सही था। यदि धूप निकल आती है, तो वह स्वीकार करता है, "खैर, मैंने 60% कहा था, इसलिए मैं गलत था, लेकिन मुझे पता था कि बारिश की कुछ संभावना है।"

शोध पत्र दिखाता है कि मौसम विज्ञानी B (RLCL मॉडल) बहुत अधिक विश्वसनीय है। वे न केवल अधिक सही उत्तर देते हैं; वे आपको यह भी बताते हैं कि वे कब अनुमान लगा रहे हैं, ताकि आप जान सकें कि कब उन पर भरोसा करना है और कब दोबारा जांच करनी है।

प्रयोगों ने क्या दिखाया

शोधकर्ताओं ने कठिन तथ्यों (जैसे "1969 में यूरोविज़न किसने जीता?") और गणित की समस्याओं पर इनका परीक्षण किया।

बेहतर ईमानदारी: RLCR मॉडल्स ने बेतहाशा अनुमान लगाना बंद कर दिया। जब वे अनिश्चित थे, तो उन्होंने अपने आत्मविश्वास के स्कोर को कम कर दिया।
अभी भी स्मार्ट: महत्वपूर्ण रूप से, AI को "ईमानदार" बनाने से वह "मूर्ख" नहीं हुआ। इसने उन सवालों पर अपनी उच्च सटीकता बनाए रखी जिन्हें वह जानता था।
सामान्यीकरण (Generalizing): यहाँ तक कि जब AI के सामने ऐसे सवाल आए जो उसने पहले कभी नहीं देखे थे (आउट-ऑफ-डोमेन), तब भी वह पुराने "आत्मविश्वासी अनुमान लगाने वाले" मॉडल्स की तुलना में अपनी अनिश्चितता के बारे में बहुत अधिक ईमानदार रहा।
टेस्ट-टाइम बूस्ट: क्योंकि AI के आत्मविश्वास स्कोर अब भरोसेमंद थे, शोधकर्ता इसका उपयोग अंतिम उत्तर को बेहतर बनाने के लिए कर सके। उदाहरण के लिए, यदि AI ने 10 अलग-अलग उत्तर उत्पन्न किए, तो वे उस उत्तर को चुन सकते थे जिसमें उच्चतम आत्मविश्वास स्कोर था, और उसके सही होने की संभावना अधिक थी।

मुख्य निष्कर्ष

यह शोध पत्र सिद्ध करता है कि AI को "अपने स्वयं के सोचने के बारे में सोचने" के लिए प्रशिक्षित करके और उसे अपनी अनिश्चितता के बारे में ईमानदार रहने के लिए पुरस्कृत करके, हम ऐसे रीजनिंग सिस्टम बना सकते हैं जो न केवल सटीक हैं, बल्कि विश्वसनीय भी हैं। वे सब कुछ जानने का ढोंग करना बंद कर देते हैं और आपको बताने लगते हैं कि वे कब केवल अनुमान लगा रहे हैं।

. 2. एक अंतिम उत्तर ()। 3. अनिश्चितता का एक विश्लेषण ()। 4. एक संख्यात्मक आत्मविश्वास स्कोर (`)।

प्रशिक्षण उद्देश्य एक मानक शुद्धता पुरस्कार (correctness reward) को एक ब्रियर स्कोर (Brier score) के साथ जोड़ता है, जो आत्मविश्वास अनुमान के लिए एक उचित स्कोरिंग नियम (proper scoring rule) है। रिवॉर्ड फंक्शन $R_{RLCR}$ को इस प्रकार परिभाषित किया गया है:
$R_{RLCR}(y, q, y^*) = \mathbb{1}_{y \equiv y^*} - (q - \mathbb{1}_{y \equiv y^*})^2$
जहाँ:

$y$ मॉडल का अनुमानित उत्तर है।
$y^*$ वास्तविक (ground-truth) उत्तर है।
$q$ मौखिक रूप से व्यक्त किया गया आत्मविश्वास स्कोर है ( $q \in [0, 1]$ )।
$\mathbb{1}_{y \equiv y^*}$ शुद्धता के लिए इंडिकेटर फंक्शन है।

सैद्धांतिक गारंटी (Theoretical Guarantees)

यह पेपर सिद्ध करता है कि यह रिवॉर्ड फंक्शन सटीकता और कैलिब्रेशन (calibration) दोनों को प्रोत्साहित करता है। विशेष रूप से, अपेक्षित रिवॉर्ड तब अधिकतम होता है जब:

मॉडल उस उत्तर को आउटपुट करता है जिसके सही होने की संभावना सबसे अधिक होती है ( $y = \arg\max_{y'} p(y' \equiv y^*)$ )।
आत्मविश्वास स्कोर $q$ सही होने की वास्तविक संभावना को सटीक रूप से दर्शाता है ( $q = p(y \equiv y^*)$ )।

लेखक प्रदर्शित करते हैं कि यह किसी भी सीमित (bounded), उचित स्कोरिंग नियम के लिए सत्य है। वे लॉग-लॉस (log-loss) जैसे अनबाउंडेड (unbounded) स्कोर के विपरीत देखते हैं, जो कि एक उचित स्कोरिंग नियम तो है, लेकिन अनबाउंडेड है। सैद्धांतिक विश्लेषण और खिलौना प्रयोग (toy experiments) दिखाते हैं कि लॉग-लॉस जैसे अनबाउंडेड स्कोर को शुद्धता पद (correctness term) के साथ उपयोग करने से "रिवॉर्ड हैकिंग" (reward hacking) हो सकती है, जहाँ मॉडल शुद्धता की कीमत पर कैलिब्रेशन पद को अधिकतम करने के लिए शून्य आत्मविश्वास के साथ गलत उत्तर देते हैं।

मुख्य योगदान और परिणाम (Key Contributions and Results)

1. सटीकता से समझौता किए बिना बेहतर कैलिब्रेशन

HotpotQA (मल्टी-हॉप रीजनिंग) और Big-Math (गणितीय तर्क) पर प्रयोगों से पता चलता है कि RLCR, मानक RLVR की कार्य सटीकता (task accuracy) से मेल खाता है, जबकि कैलिब्रेशन में काफी सुधार करता है।

इन-डिस्ट्रीब्यूशन (In-Distribution): HotpotQA पर, RLCR ने एक्सपेक्टेड कैलिब्रेशन एरर (ECE) को RLVR के 0.37 से घटाकर 0.03 कर दिया। गणितीय डेटासेट्स पर, ECE 0.26 से गिरकर 0.10 हो गया।
आउट-ऑफ-डिस्ट्रीब्यूशन (OOD): जबकि मानक RLVR अक्सर OOD कार्यों पर कैलिब्रेशन को खराब कर देता है, RLCR इसे बेहतर बनाता है। उदाहरण के लिए, OOD बेंचमार्क पर, RLCR ने RLVR के 0.46 की तुलना में 0.21 का ECE प्राप्त किया, जबकि तुलनीय सटीकता बनाए रखी।

2. स्पष्ट अनिश्चितता तर्क की भूमिका (The Role of Explicit Uncertainty Reasoning)

एब्लेशन अध्ययन (Ablation studies) प्रकट करते हैं कि RLCR की सफलता दो स्वतंत्र घटकों से आती है:

कैलिब्रेशन-अवेयर रिवॉर्ड (Calibration-Aware Reward): ब्रियर स्कोर रिवॉर्ड के साथ प्रशिक्षण बेहतर कैलिब्रेशन का प्राथमिक चालक है।
स्पष्ट अनिश्चितता तर्क (Explicit Uncertainty Reasoning): मॉडल को अपनी अनिश्चितता का <analysis> उत्पन्न करने के लिए प्रॉम्प्ट करना कैलिब्रेशन को और बेहतर बनाता है, विशेष रूप से छोटे मॉडलों के लिए या जब क्षमता सीमित हो। हालांकि, स्पष्ट विश्लेषण के बिना भी, RLCR कैलिब्रेशन में RLVR से काफी बेहतर प्रदर्शन करता है।

3. टेस्ट-टाइम स्केलिंग और सेल्फ-कंसिस्टेंसी (Test-Time Scaling and Self-Consistency)

पेपर दिखाता है कि RLCR से प्राप्त मौखिक आत्मविश्वास स्कोर का उपयोग टेस्ट टाइम पर प्रदर्शन सुधारने के लिए किया जा सकता है:

कॉन्फिडेंस-वेटेड स्केलिंग (Confidence-Weighted Scaling): बहुमत मतों (majority votes) को वेट देने या बेस्ट-ऑफ-N रिस्पॉन्स चुनने के लिए मौखिक आत्मविश्वास का उपयोग करने से, लाइक्लीहुड-आधारित चयन या वैनिला मेजॉरिटी वोटिंग की तुलना में उच्च सटीकता और बेहतर कैलिब्रेशन प्राप्त होता है।
सेल्फ-कंसिस्टेंसी (Self-Consistency): RLCR मॉडल एक ही उत्तर के लिए कई रीजनिंग चेन्स के बीच आत्मविश्वास स्कोर में कम विचरण (variance) प्रदर्शित करते हैं, जो अधिक स्थिर और सुसंगत अनिश्चितता अनुमान का संकेत देता है।

4. सामान्यीकरण (Generalization)

इस दृष्टिकोण को विभिन्न मॉडल परिवारों (Qwen2.5-7B, OlMo-2-7B, और Qwen3-8B) में मान्य किया गया, जो RLVR बेसलाइन्स पर निरंतर कैलिब्रेशन सुधार दिखाता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि उचित स्कोरिंग नियमों के माध्यम से स्पष्ट रूप से कैलिब्रेशन के लिए अनुकूलित करना मौजूदा रीजनिंग ट्रेनिंग पाइपलाइनों में एक सीधा संशोधन है जो अधिक विश्वसनीय रीजनिंग मॉडल प्रदान करता है। लेखक तर्क देते हैं कि:

कैलिब्रेशन सीखने योग्य है (Calibration is learnable): मॉडलों को न केवल सही उत्तर देने के लिए, बल्कि अपनी निश्चितता का सटीक आकलन करने के लिए भी प्रशिक्षित किया जा सकता है।
मजबूती (Robustness): RLCR ऐसे मॉडल बनाता है जो डिस्ट्रीब्यूशन शिफ्ट के प्रति अधिक मजबूत होते हैं, और वहां कैलिब्रेशन बनाए रखते हैं जहां मानक RL मॉडल विफल हो जाते हैं।
व्यावहारिक उपयोगिता (Practical Utility): मौखिक आत्मविश्वास स्कोर केवल नैदानिक (diagnostic) नहीं हैं; वे क्रियाशील (actionable) हैं, जो बिना किसी बाहरी रिवॉर्ड मॉडल या अतिरिक्त पर्यवेक्षण के सटीकता और विश्वसनीयता दोनों में सुधार करने वाले टेस्ट-टाइम स्केलिंग तरीकों को सक्षम करते हैं।

लेखक अपने परिणामों के बारे में विनम्र बने हुए हैं, यह स्वीकार करते हुए कि हालांकि RLCR कैलिब्रेशन त्रुटि को महत्वपूर्ण रूप से कम करता है, आउट-ऑफ-डोमेन कैलिब्रेशन त्रुटियां अभी भी पूर्ण शब्दों में उच्च हो सकती हैं, और मॉडल कभी-कभी विरोधाभासी उत्तरों को उच्च आत्मविश्वास दे सकते हैं। फिर भी, यह कार्य उन रीजनिंग सिस्टम की ओर एक मार्ग स्थापित करता है जो सटीक होने के साथ-साथ अनिश्चितता संचार करने में भी सक्षम हैं।