🤖 machine learning

Reaching Beyond the Mode: RL for Distributional Reasoning in Language Models

यह शोध पत्र एक मल्टी-आंसर रीइन्फोर्समेंट लर्निंग दृष्टिकोण प्रस्तुत करता है जो भाषा मॉडलों को एक ही फॉरवर्ड पास में आत्मविश्वास अनुमानों के साथ कई संभावित परिकल्पनाओं को उत्पन्न करने के लिए प्रशिक्षित करता है, जो विविध बेंचमार्क में विविधता, अंशांकन (कैलिब्रेशन) और सटीकता में सुधार करते हुए इन्फरेंस-टाइम स्केलिंग विधियों के लिए एक कंप्यूट-कुशल विकल्प प्रदान करता है।

मूल लेखक: Isha Puri, Mehul Damani, Idan Shenfeld, Marzyeh Ghassemi, Jacob Andreas, Yoon Kim

प्रकाशित 2026-03-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Isha Puri, Mehul Damani, Idan Shenfeld, Marzyeh Ghassemi, Jacob Andreas, Yoon Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो किसी रहस्य को सुलझाने की कोशिश कर रहे हैं। पुराने दिनों में, आपको एक संदिग्ध को खोजने के लिए प्रशिक्षित किया जाता था, वह व्यक्ति जो सबसे अधिक दोषी दिखता था, और आपको तुरंत उसकी ओर उंगली उठानी होती थी। यदि आप गलत होते, तो आप असफल हो जाते। यह अधिकांश वर्तमान AI मॉडल (लार्ज लैंग्वेज मॉडल्स) के काम करने का तरीका है। उन्हें आपको वह एक "सर्वश्रेष्ठ" उत्तर देने के लिए प्रशिक्षित किया जाता है जो वे सोच सकते हैं।

लेकिन वास्तविक जीवन एक सरल रहस्य नहीं है जिसमें केवल एक ही अपराधी हो। कभी-कभी, एक मरीज के लक्षण तीन अलग-अलग बीमारियों के संकेत हो सकते हैं। कभी-कभी, एक कोडिंग समस्या को पांच अलग-अलग तरीकों से हल किया जा सकता है। कभी-कभी, जानकारी गायब होती है, और आप निश्चित रूप से नहीं जानते।

यह शोध पत्र AI को प्रशिक्षित करने का एक नया तरीका पेश करता है जिसे मल्टी-आंसर रीइन्फोर्समेंट लर्निंग (Multi-Answer Reinforcement Learning) कहा जाता है। AI को केवल एक संदिग्ध चुनने के बजाय, उसे एक बुद्धिमान सलाहकार की तरह कार्य करने के लिए प्रशिक्षित करता है जो कहता है, "यहाँ शीर्ष तीन संदिग्ध हैं, और मुझे प्रत्येक के बारे में कितनी संभावना लगती है।"

यहाँ शोध पत्र के विचारों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: "एकल-उत्तर" का जाल (The "Single-Answer" Trap)

कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। शिक्षक उससे कहते हैं, "मुझे केवल एक उत्तर दो, अन्यथा तुम्हें शून्य अंक मिलेंगे।"

परिणाम: छात्र घबरा जाता है। वह अन्य संभावनाओं के बारे में सोचना बंद कर देता है। वह जो पहला उत्तर उसके दिमाग में आता है उसे चुन लेता है और उसी पर टिका रहता है, भले ही उसे 50% यकीन हो कि वह गलत है।
AI में: इसे "मोड कोलैप्स" (mode collapse) कहा जाता है। AI एक सही उत्तर देने में इतना कुशल हो जाता है कि वह अन्य वैध उत्तरों को खोजना भूल जाता है। यदि एक डॉक्टर पूछता है, "इस मरीज को क्या हो सकता है?", तो AI केवल कह सकता है "फ्लू," यह नजरअंदाज करते हुए कि यह निमोनिया या एलर्जी भी हो सकता है।

2. समाधान: "ब्रेनस्टॉर्मिंग सत्र" (The "Brainstorming Session")

लेखक AI को बोलने से पहले अपने स्वयं के मस्तिष्क के भीतर एक ब्रेनस्टॉर्मिंग सत्र आयोजित करने के लिए प्रस्तावित करते हैं।

पुराना तरीका: AI सोचता है, "मुझे लगता है कि यह X है," और कहता है "X।"
नया तरीका (Multi-Answer RL): AI सोचता है, "यह X हो सकता है (50% संभावना), Y (30% संभावना), या Z (20% संभावना)।" इसके बाद वह एक ही बार में अपने आत्मविश्वास के स्तर के साथ तीनों को लिख देता है।

इसे एक मौसम पूर्वानुमानकर्ता की तरह समझें।

पुराना AI: "कल बारिश होगी।" (यदि नहीं हुई, तो AI मूर्ख दिखता है)।
नया AI: "बारिश की 60% संभावना है, बादलों की 30% संभावना है, और धूप की 10% संभावना है।" यह आपके दिन की योजना बनाने के लिए बहुत अधिक उपयोगी है, भले ही बारिश हो जाए।

3. उन्होंने इसे कैसे किया: "समूह पुरस्कार" (The "Group Reward")

AI को इस नए कौशल को सिखाने के लिए, शोधकर्ताओं ने उस "स्कोरकार्ड" (पुरस्कार प्रणाली) को बदल दिया जिसका उपयोग वे मॉडल को प्रशिक्षित करने के लिए करते हैं।

पुराना स्कोरकार्ड: "यदि आपका एकल उत्तर सही है तो आपको 1 अंक मिलता है। यदि गलत है तो 0 अंक।"
नया स्कोरकार्ड: "आप अपने द्वारा सूचीबद्ध किए गए प्रत्येक सही उत्तर के लिए अंक प्राप्त करते हैं। यदि आप 3 संभावनाएं सूचीबद्ध करते हैं और 2 सही हैं, तो आपको 2 अंक मिलते हैं!"
बोनस: उन्होंने AI को अनिश्चितता के बारे में ईमानदार होने के लिए भी अंक दिए। यदि AI कहता है "मैं इस बारे में 50% आश्वस्त हूँ," और यह वास्तव में एक सिक्के के उछाल (coin flip) जैसा निकलता है, तो उसे अपने स्वयं के आत्मविश्वास के बारे में सटीक होने के लिए बोनस मिलता है।

4. यह एक बड़ी बात क्यों है (The "Magic" Benefits)

अ. यह संदिग्ध स्थितियों में स्मार्ट है

चिकित्सा जैसे क्षेत्रों में, एक मरीज के लक्षण तीन अलग-अलग बीमारियों के हो सकते हैं। एक मानक AI एक का अनुमान लगा सकता है और दूसरों को छोड़ सकता है। नया AI तीनों को सूचीबद्ध करता है।

उपमा: यदि आप एक डॉक्टर हैं, तो आप एक ऐसे रोबोट नहीं चाहते जो कहता है, "यह निश्चित रूप से फ्लू है।" आप एक ऐसा रोबोट चाहते हैं जो कहता है, "यह फ्लू होने की संभावना है, लेकिन यह निमोनिया भी हो सकता है, इसलिए सुनिश्चित करने के लिए आइए एक परीक्षण करें।"

ब. यह समय और पैसा बचाता है (दक्षता)

आमतौर पर, AI से आपको 3 अलग-अलग उत्तर प्राप्त करने के लिए, आपको उससे एक ही प्रश्न 3 बार पूछना पड़ता है (जैसे किसी मित्र से सलाह के लिए तीन बार पूछना और उम्मीद करना कि वे आपको अलग-अलग विचार दें)। यह धीमा और महंगा है।

नया तरीका: AI एक ही एकल वाक्य में सभी 3 उत्तर उत्पन्न करता है।
उपमा: तीन अलग-अलग विशेषज्ञों को कॉल करने और तीन अलग-अलग फोन कॉल का इंतजार करने के बजाय, आप एक कमरे में प्रवेश करते हैं जहाँ तीन विशेषज्ञ एक मेज पर बैठे हैं, और वे सभी एक साथ बोलते हैं। आप आधे समय में समान मात्रा में जानकारी प्राप्त करते हैं।

स. यह अधिक ईमानदार है

नया AI यह जानने में बेहतर है कि वह क्या नहीं जानता। यह आत्मविश्वास से गलत अनुमान लगाने के बजाय यह कहना सीखता है, "मैं इस बारे में बहुत आश्वस्त नहीं हूँ।" यह कानून या चिकित्सा जैसे उच्च-दांव वाले कार्यों के लिए अत्यंत महत्वपूर्ण है।

सारांश

यह शोध पत्र AI को एक सब कुछ जानने वाले की तरह व्यवहार करने के बजाय—जो एक उत्तर चुनता है और एक विचारशील विशेषज्ञ की तरह व्यवहार करने के लिए है—जो कई संभावनाओं पर विचार करता है, उन्हें संभावना के आधार पर रैंक करता है, और जब वह अनिश्चित होता है तो स्वीकार करता है।

ऐसा करके, AI एक ही चरण में:

अधिक विविध (यह अधिक समाधान खोजता है) बनता है।
अधिक सटीक (यह अधिक आधारों को कवर करता है) बनता है।
अधिक कुशल (यह इसे तेजी से करता है) बनता है।
अधिक विश्वसनीय (यह आपको बताता है कि वह कितना आश्वस्त है) बनता है।

यह "उत्तर क्या है?" से बदलकर "संभावित उत्तर क्या हैं, और उनकी संभावना कितनी है?" की ओर एक बदलाव है।

यहाँ शोध पत्र "Reaching Beyond the Mode: RL for Distributional Reasoning in Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान लार्ज लैंग्वेज मॉडल्स (LLMs), विशेष रूप से जो 'वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग' (RLVR) के माध्यम से प्रशिक्षित किए गए हैं, किसी दिए गए प्रश्न के लिए एक एकल प्रमुख उत्तर (जिसे "मोड" कहा जाता है) उत्पन्न करने के लिए अनुकूलित होते हैं। हालांकि यह अद्वितीय ग्राउंड-ट्रुथ उत्तरों वाले बेंचमार्क के लिए प्रभावी है, लेकिन यह उन वास्तविक दुनिया के परिदृश्यों में विफल रहता है जो निम्नलिखित विशेषताओं से युक्त हैं:

अंतर्निहित अस्पष्टता (Inherent Ambiguity): मेडिकल डायग्नोसिस या अस्पष्ट प्रश्नोत्तर जैसे कार्यों में अक्सर एक साथ कई वैध उत्तर हो सकते हैं।
एपिस्टेमिक अनिश्चितता (Epistemic Uncertainty): अपूर्ण जानकारी के कारण किसी एक "सही" उत्तर को निश्चितता के साथ निर्धारित करना असंभव हो सकता है।
एंट्रॉपी कोलैप्स (Entropy Collapse): मानक RL प्रशिक्षण मॉडल के आउटपुट डिस्ट्रीब्यूशन को संकुचित (collapse) करने की प्रवृत्ति रखता है, जिससे संभावित वैकल्पिक परिकल्पनाएं दब जाती हैं और अत्यधिक आत्मविश्वास (overconfidence) पैदा होता है।
इन्फरेंस-टाइम स्केलिंग की अक्षमता (Inefficiency of Inference-Time Scaling): वर्तमान जुगाड़ (जैसे, $K$ बार स्वतंत्र रूप से सैंपलिंग करना ताकि उत्तरों का एक सेट प्राप्त हो सके) कम्प्यूटेशनल रूप से महंगा है और अक्सर रेडंडेंट (redundant) रीजनिंग चेन (उच्च टोकन ओवरलैप) और डुप्लिकेट उत्तरों का परिणाम देता है।

यह शोध पत्र तर्क देता है कि मॉडल्स को केवल एक मोड के बजाय संभावित उत्तरों के वितरण (विश्वास अनुमानों के साथ उम्मीदवारों के सेट) को स्पष्ट रूप से प्रदर्शित करने और उत्पन्न करने के लिए प्रशिक्षित किया जाना चाहिए।

2. कार्यप्रणाली: मल्टी-आंसर रीइन्फोर्समेंट लर्निंग (Methodology: Multi-Answer Reinforcement Learning)

लेखक मल्टी-आंसर RL का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जो मानक RL ऑब्जेक्टिव को संशोधित करता है ताकि मॉडल को एक ही फॉरवर्ड पास में $K$ विशिष्ट उम्मीदवार उत्तरों और संबंधित कॉन्फिडेंस स्कोर का एक संरचित सेट उत्पन्न करने के लिए प्रशिक्षित किया जा सके।

2.1 मल्टी-आंसर RLVR (Reinforcement Learning with Verifiable Rewards)

उद्देश्य: एक एकल सही उत्तर के लिए अनुकूलित होने के बजाय, मॉडल को एक सेट $A = \{a_1, ..., a_K\}$ आउटपुट करने के लिए प्रशिक्षित किया जाता है।
रिवॉर्ड फंक्शन: रिवॉर्ड को सेट स्तर पर परिभाषित किया गया है:
$R_{multi}^{RLVR}(A, Y^*) = \sum_{i=1}^{K} \mathbb{I}[a_i \in Y^*]$
जहाँ $Y^*$ ग्राउंड-ट्रुथ वैध उत्तरों का सेट है। यह मॉडल को उत्पन्न सेट के भीतर सही उत्तरों के कवरेज (coverage) को अधिकतम करने के लिए प्रोत्साहित करता है।
बाधाएं (Constraints): एक फॉर्मेट रिवॉर्ड यह सुनिश्चित करता है कि सभी $K$ उत्तर अलग-अलग हों (यूनिकनेस कंस्ट्रेंट)।

2.2 मल्टी-आंसर RLCR (Reinforcement Learning with Calibration Rewards)

उद्देश्य: यह कैलिब्रेटेड कॉन्फिडेंस अनुमानों को शामिल करने के लिए RLVR का विस्तार करता है। मॉडल उत्तरों का एक सेट $A$ और कॉन्फिडेंस स्कोर का एक सेट $Q = \{q_1, ..., q_K\}$ आउटपुट करता है।
रिवॉर्ड फंक्शन: यह करेक्टनेस रिवॉर्ड को मल्टी-ब्रायर स्कोर (एक प्रॉपर स्कोरिंग रूल) के साथ जोड़ता है जो मिसकैलिब्रेशन को दंडित करता है:
$R_{multi}^{RLCR} = R_{multi}^{RLVR} - \frac{1}{K} \sum_{i=1}^{K} (q_i - \mathbb{I}[a_i \in Y^*])^2$
व्याख्या: यह मॉडल को एक ऐसे वितरण को आउटपुट करने के लिए प्रशिक्षित करता है जहाँ $q_i$ , इस संभावना का प्रतिनिधित्व करता है कि उत्तर $a_i$ सही है। सिंगल-आंसर सेटिंग्स ( $N=1$ ) में, कॉन्फिडेंस को $\le 1$ तक सीमित किया जाता है; मल्टी-आंसर सेटिंग्स ( $N>1$ ) में, वे स्वतंत्र संभावनाओं का प्रतिनिधित्व करते हैं।

2.3 ट्रेनिंग सेटअप

बेस मॉडल: Qwen3-8B।
एल्गोरिदम: सेट-लेवल रिवॉर्ड्स के लिए संशोधनों के साथ GRPO (Group Relative Policy Optimization)।
डेटासेट्स:
- DDXPlus: मेडिकल डायग्नोसिस (एक केस के लिए कई सही निदान)।
  ि * HotPotQA-Modified: अस्पष्ट QA (एक सिंगल गोल्ड आंसर लेकिन अपूर्ण संदर्भ)।
- MBPP: कोडिंग (एक ही कार्य के लिए कई अलग-अलग एल्गोरिथमिक कार्यान्वयन)।

3. मुख्य योगदान (Key Contributions)

नया ट्रेनिंग ऑब्जेक्टिव: एक सिद्धांत आधारित RL फ्रेमवर्क पेश करता है जो प्रशिक्षण लक्ष्य को "सर्वश्रेष्ठ उत्तर खोजने" से बदलकर "संभावित उत्तरों के वितरण को पुनः प्राप्त करने" में बदल देता है।
इन्फरेंस-टाइम दक्षता: यह प्रदर्शित करता है कि एक ही पास में उत्तरों का सेट उत्पन्न करना, बार-बार सैंपलिंग (इन्फरेंस-टाइम स्केलिंग) की तुलना में काफी अधिक टोकन-कुशल है, क्योंकि यह रेडंडेंट रीजनिंग चेन (उच्च टोकन ओवरलैप) से बचता है।
प्रॉपर स्कोरिंग रूल्स के माध्यम से कैलिब्रेशन: मल्टी-आंसर सेटिंग्स के लिए प्रॉपर स्कोरिंग रूल्स (ब्रायर स्कोर) के उपयोग को विस्तारित करता है, जिससे मॉडल प्रत्येक परिकल्पना के लिए कैलिब्रेटेड कॉन्फिडेंस स्कोर आउटपुट कर पाता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक बेंचमार्क प्रदान करता है जो दिखाता है कि मल्टी-आंसर RL, टॉप-1 सटीकता से समझौता किए बिना, कवरेज, विविधता और कैलिब्रेशन में सिंगल-आंसर बेसलाइन्स से बेहतर प्रदर्शन करता है।

4. मुख्य परिणाम (Key Results)

शोध पत्र $K=3$ उम्मीदवारों के साथ मेडिकल, QA और कोडिंग कार्यों पर दृष्टिकोण का मूल्यांकन करता है:

कवरेज और विविधता (Coverage & Diversity):
- DDXPlus (मेडिकल): मल्टी-आंसर RLVR ने प्रति सेट 0.79 औसत सही उत्तर प्राप्त किए, जबकि सिंगल-आंसर बेसलाइन्स के लिए यह 0.62 था। विविधता (यूनिक उत्तर) 1.00 (परफेक्ट) तक पहुँच गई, जबकि बेसलाइन के लिए यह 0.62 थी।
- MBPP (कोडिंग): टॉप-1 सटीकता में >50% का सुधार हुआ (0.49 बनाम RLVR Single के लिए 0.29), और मॉडल ने काफी अधिक यूनिक एल्गोरिथमिक समाधान उत्पन्न किए।
- HotPotQA: बेहतर Pass@K प्रदर्शन दिखाया, यह दर्शाते हुए कि मॉडल सही उत्तर को पुनः प्राप्त कर सकता है भले ही जानकारी अधूरी हो, जबकि सिंगल-आंसर मॉडल एक ही (अक्सर गलत) मोड पर सिमट जाते थे।
टोकन दक्षता (Token Efficiency):
- मल्टी-आंसर मॉडल्स को 3 उत्तर उत्पन्न करने के लिए सिंगल-आंसर मॉडल को 3 बार सैंपल करने की तुलना में ~44% कम टोकन की आवश्यकता पड़ी।
- विश्लेषण से पता चला कि सिंगल-आंसर सैंपलिंग अक्सर एक ही रीजनिंग स्कैफोल्डिंग को दोहराती है (उच्च n-gram ओवरलैप), जबकि मल्टी-आंसर RL एक ही जनरेशन के भीतर रीजनिंग प्रक्रिया को विविध बनाता है।
कैलिब्रेशन (Calibration):
- RLCR Multi ने कैलिब्रेशन मेट्रिक्स (Brier Score और ECE) में RLVR Multi की तुलना में काफी बेहतर प्रदर्शन किया।
- DDXPlus पर, RLCR Multi ने 0.02 का Set ECE प्राप्त किया, जबकि RLVR Multi के लिए यह 0.13 था, जो प्रेडिक्टेड कॉन्फिडेंस और वास्तविक शुद्धता के बीच बहुत बेहतर तालमेल को दर्शाता है।
- मॉडल ने अनिश्चितता के समय (जैसे, अस्पष्ट HotPotQA सेटिंग्स में) कम कॉन्फिडेंस असाइन करना सफलतापूर्वक सीखा, हालांकि यह अत्यंत कठिन सिंगल-लेबल सेटिंग्स में "सम-टू-वन" (sum-to-one) प्रायर के साथ कभी-कभी संघर्ष करता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह कार्य इस बात में एक पैराडाइम शिफ्ट (paradigm shift) का प्रतिनिधित्व करता है कि रीजनिंग कार्यों के लिए LMs को कैसे प्रशिक्षित किया जाता है। "सिंगल बेस्ट आंसर" ऑब्जेक्टिव से आगे बढ़कर, मल्टी-आंसर RL:

वास्तविक दुनिया की जरूरतों के अनुरूप है: यह उच्च-जोखिम वाले डोमेन (चिकित्सा, कानून, कोडिंग) के लिए बेहतर है जहाँ कई परिकल्पनाओं का अन्वेषण करना महत्वपूर्ण है।
दक्षता की बाधा को हल करता है: यह "बेस्ट-ऑफ- $K$ " इन्फरेंस स्केलिंग के लिए एक कम्प्यूट-कुशल विकल्प प्रदान करता है, जिससे टोकन का उपयोग लगभग आधा हो जाता है और सटीकता में सुधार होता है।
विश्वसनीयता में सुधार करता है: कैलिब्रेटेड अनिश्चितता अनुमान उत्पन्न करता है, जिससे उपयोगकर्ता प्रत्येक परिकल्पना में मॉडल के विश्वास को समझ सकते हैं।

लेखक निष्कर्ष निकालते हैं कि डिस्ट्रिब्यूशनल रीजनिंग के लिए स्पष्ट रूप से अनुकूलित करने से मॉडल्स को "मोड से परे पहुँचने" (reach beyond the mode) की अनुमति मिलती है, जिससे वे वैध विकल्पों को पुनः प्राप्त कर पाते हैं जिन्हें मानक RL दबा देता है, और साथ ही जनरेशन प्रक्रिया की दक्षता और विश्वसनीयता में सुधार करते हैं।