💬 NLP

Reinforced Efficient Reasoning via Semantically Diverse Exploration

यह शोध पत्र ROSE का प्रस्ताव करता है, जो बड़े भाषा मॉडलों (large language models) के लिए एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है, जो मौजूदा MCTS-आधारित विधियों की सीमाओं को दूर करने के लिए सिमेंटिक-एन्ट्रॉपी-आधारित ब्रांचिंग, $\varepsilon$ -एक्सप्लोरेशन और एक लेंथ-अवेयर सेगमेंट-लेवल एडवांटेज एस्टिमेटर को एकीकृत करके तर्क दक्षता और विविधता को बढ़ाता है।

मूल लेखक: Ziqi Zhao, Zhaochun Ren, Jiahong Zou, Liu Yang, Zhiwei Xu, Xuri Ge, Zhumin Chen, Xinyu Ma, Daiting Shi, Shuaiqiang Wang, Dawei Yin, Xin Xin

प्रकाशित 2026-04-21

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ziqi Zhao, Zhaochun Ren, Jiahong Zou, Liu Yang, Zhiwei Xu, Xuri Ge, Zhumin Chen, Xinyu Ma, Daiting Shi, Shuaiqiang Wang, Dawei Yin, Xin Xin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन थोड़े चिंतित छात्र (AI) को एक कठिन गणितीय समस्या हल करना सिखा रहे हैं। लक्ष्य उसे सही उत्तर तक पहुँचाना है, लेकिन साथ ही उसे यह भी सिखाना है कि कैसे सोचना है, बिना समय बर्बाद किए या उलझनों के चक्रव्यूह में फंसे बिना।

यह शोध पत्र ROSE (Reinforced Efficient Reasoning via Semantically Diverse Exploration) नामक एक नई प्रशिक्षण पद्धति पेश करता है। ROSE को एक "सुपर-ट्यूटर" के रूप में समझें जो छात्र के अभ्यास करने का तरीका बदल देता है।

यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "ज़्यादा सोचने वाला" (Overthinking) छात्र

पहले, AI मॉडल को GRPO नामक एक विधि का उपयोग करके प्रशिक्षित किया जाता था। यह ऐसा है जैसे छात्र को एक बहुविकल्पीय परीक्षा देना जहाँ वह एक साथ 8 अलग-अलग उत्तरों का अनुमान लगाता है।

दोष: यदि छात्र उत्तर सही देता है, तो शिक्षक कहता है, "बहुत अच्छा!" उस संपूर्ण विचार प्रक्रिया को, भले ही छात्र वहां तक पहुँचने के लिए 50 चरणों तक विषय से भटकता रहा हो।
परिणाम: छात्र "ज़्यादा सोचने" (overthink करने) लगता है। सुरक्षित रहने के लिए वे लंबे, भ्रामक निबंध लिखते हैं, जिससे समय और ऊर्जा बर्बाद होती है। साथ ही, वे बार-बार एक ही प्रकार के उत्तरों का अनुमान लगाने लगते हैं, जिससे रचनात्मक समाधान छूट जाते हैं।

2. समाधान: "शाखा-विस्तार करने वाला" ट्यूटर (MCTS)

यह शोध पत्र मोंटे कार्लो ट्री सर्च (MCTS) का सुझाव देता है। कल्पना करें कि छात्र की सोचने की प्रक्रिया एक सीधी रेखा नहीं, बल्कि एक पेड़ (tree) की तरह है।

केवल 8 अलग-अलग उत्तरों का अनुमान लगाने के बजाय, छात्र मूल (root/प्रश्न) से शुरू करता है।
कुछ निश्चित बिंदुओं पर, छात्र अलग-अलग रास्ते आज़माने के लिए "शाखाएँ" (branch out) निकालता है।
इससे शिक्षक को यह देखने की अनुमति मिलती है कि छात्र कहाँ गलत हुआ या कहाँ सही हुआ, न कि केवल अंतिम उत्तर के आधार पर निर्णय लेना।

3. नवाचार: ROSE पेड़ (Tree) में कैसे सुधार करता है

A. "सिमेंटिक एंट्रॉपी" दिशा-सूचक (सही मोड़ खोजना)

पुराने तरीके जेनरेशन एंट्रॉपी (Generation Entropy) के आधार पर तय करते थे कि पेड़ की शाखाएँ कहाँ बनानी हैं।

पुराना तरीका: शिक्षक छात्र के भ्रम को देखता था। यदि छात्र "can" या "need" लिखने के बीच अनिश्चित था, तो शिक्षक वहाँ पेड़ की शाखा बनाता था।
समस्या: इस संदर्भ में "can" और "need" लगभग एक ही अर्थ रखते हैं। वहाँ शाखा बनाना बेकार है; यह केवल दो समान पथ बनाता है।
ROSE का तरीका (सिमेंटिक एंट्रॉपी): अब शिक्षक शब्दों के अर्थ (semantics) को देखता है। वे पेड़ की शाखा तभी बनाते हैं जब छात्र दो पूरी तरह से अलग विचारों के बीच अनिश्चित हो (जैसे, "संख्या जोड़ना" बनाम "संख्या गुणा करना")।
उपमा: कल्पना करें कि एक यात्री सड़क के मोड़ पर खड़ा है। पुराना तरीका तब शाखा बनाता था जब यात्री लाल टोपी पहनने या नीली टोपी पहनने के बारे में अनिश्चित होता (जो अप्रासंगिक है)। ROSE केवल तभी शाखा बनाता है जब यात्री उत्तर या दक्षिण जाने के बीच अनिश्चित हो (जो एक महत्वपूर्ण निर्णय है)। यह सुनिश्चित करता है कि AI वास्तव में अलग-अलग समाधानों का पता लगाए।

B. "ε-एक्सप्लोरेशन" सुरक्षा जाल (स्थानीय जाल से बचना)

कभी-कभी छात्र एक छोटे लूप में फंस जाता है, एक ही चीज़ को बार-बार सोचता रहता है।

समाधान: ROSE एक नियम जोड़ता है: "समय-समय पर, पेड़ को भूल जाओ और पूरी समस्या को फिर से शुरू करो।"
उपमा: यदि आप अपने घर में खोई हुई चाबी ढूँढने की कोशिश कर रहे हैं, तो आप शायद एक ही दराज को बार-बार चेक करते रहेंगे। ROSE कहता है, "ठीक है, उस दराज को चेक करना बंद करो। बाहर जाओ और बगीचे में ढूँढना शुरू करो।" यह AI को एक "स्थानीय" डेड-एंड (गतिरोध) में फंसने से रोकता है।

4. दक्षता वृद्धि: "सबसे छोटा रास्ता" पुरस्कार

भले ही छात्र सही उत्तर खोज ले, हम नहीं चाहते कि वह इसे करने के लिए 100 कदम उठाए।

समाधान: ROSE एक लेंथ-अवेयर रिवॉर्ड (Length-Aware Reward) पेश करता है।
उपमा: कल्पना करें कि दो छात्र एक ही पहेली को हल करते हैं।
- छात्र A 10 चरणों में हल करता है।
- छात्र B 50 चरणों में हल करता है।
- दोनों सही उत्तर प्राप्त करते हैं।
- ROSE छात्र A को 'गोल्ड स्टार' देता है और छात्र B को केवल 'भागीदारी का स्टार' देता है। यह सक्रिय रूप से लंबे, अनावश्यक तर्क वाले चरणों को दंडित करता है। यह AI को संक्षिप्त और कुशल बनना सिखाता है।

5. परिणाम: स्मार्ट और तेज़

शोधकर्ताओं ने कठिन गणितीय समस्याओं (जैसे हाई स्कूल प्रतियोगिताओं में पाई जाने वाली) पर इसका परीक्षण किया।

बेहतर सटीकता: AI ने पिछले तरीकों की तुलना में अधिक समस्याओं को सही ढंग से हल किया।
तेज़ सोच: AI ने उत्तर तक पहुँचने के लिए कम शब्दों और चरणों का उपयोग किया।
अधिक रचनात्मकता: "सिमेंटिक एंट्रॉपी" दिशा-सूचक के कारण, AI ने पुराने तरीकों को दोहराने के बजाय समस्याओं को हल करने के अधिक अद्वितीय और विविध तरीके आज़माए।

सारांश

ROSE को एक छात्र के प्रशिक्षण को "अनुमान और जाँच" (guess and check) से बदलकर "रणनीतिक अन्वेषण" (strategic exploration) में अपग्रेड करने जैसा माना जा सकता है।

यह केवल तभी शाखाएँ निकालता है जब पथ का अर्थ बदलता है (न कि केवल शब्द)।
यह फंसने से बचने के लिए बीच-बीच में नई शुरुआत करने के लिए मजबूर करता है।
यह लंबे, भ्रामक विचारों के बजाय संक्षिप्त और कुशल सोच को पुरस्कृत करता है।

परिणामस्वरूप, AI न केवल कठिन समस्याओं को हल करने में स्मार्ट है, बल्कि यह एक मानव विशेषज्ञ की तरह सोचता है: कुशल, विविध और आत्मविश्वासी।

यहाँ पेपर "Reinforced Efficient Reasoning via Semantically Diverse Exploration" (ROSE) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह पेपर वर्तमान में बड़े भाषा मॉडलों (LLMs) के लिए 'वेरिफिएबल रिवॉर्ड्स के साथ रिइन्फोर्समेंट लर्निंग' (RLVR) में दो महत्वपूर्ण सीमाओं को संबोधित करता है, विशेष रूप से गणितीय तर्क (mathematical reasoning) के क्षेत्र में:

सीमित अन्वेषण विविधता (Limited Exploration Diversity): मोंटे कार्लो ट्री सर्च (MCTS) का उपयोग करने वाले मौजूदा तरीकों में, अक्सर ब्रांचिंग पॉइंट्स निर्धारित करने के लिए जनरेशन एंट्रॉपी (generation entropy) पर भरोसा किया जाता है। लेखक तर्क देते हैं कि उच्च जनरेशन एंट्रॉपी (टोकन चयन में अनिश्चितता) आवश्यक रूप से सिमेंटिक विविधता (semantic diversity) के बराबर नहीं होती है। मॉडल उन बिंदुओं पर ब्रांच हो सकते हैं जहाँ टोकन सिंटैक्टिक रूप से भिन्न होते हैं लेकिन अर्थ संबंधी (semantically) रूप से समान होते हैं (जैसे, "can" बनाम "need"), जिससे रेडंडेंट (redundant) तर्क पथ बन जाते हैं जो समाधान स्थान (solution space) को प्रभावी ढंग से खोजने में विफल रहते हैं।
अकुशल तर्क (Inefficient Reasoning - Overthinking): वर्तमान RLVR दृष्टिकोण अक्सर "ओवरथिंकिंग" से ग्रस्त होते हैं, जहाँ मॉडल सही उत्तर तक पहुँचने के लिए अनावश्यक रूप से लंबे तर्क श्रृंखला (reasoning chains) उत्पन्न करते हैं। मौजूदा क्रेडिट असाइनमेंट विधियाँ (जैसे वैनिला GRPO) सभी टोकनों में रिवॉर्ड को समान रूप से प्रसारित करती हैं, जिससे वे रेडंडेंट स्टेप्स को दंडित करने या संक्षिप्त तर्क को पुरस्कृत करने में विफल रहती हैं।

2. कार्यप्रणाली: ROSE फ्रेमवर्क (Methodology: The ROSE Framework)

लेखक ROSE (Reinforced Efficient Efficient Reasoning via Semantically Diverse Exploration) प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो सिमेंटिक-अवेयर एक्सप्लोरेशन को लेंथ-अवेयर क्रेडिट असाइनमेंट के साथ एकीकृत करता है।

A. सिमेंटिक-एंट्रॉपी गाइडेड एक्सप्लोरेशन (Semantic-Entropy Guided Exploration)

विविधता की समस्या को हल करने के लिए, ROSE एक नई ब्रांचिंग रणनीति पेश करता है:

सिमेंटिक डाइवर्जेंस ( $SD_k$ ): केवल टोकन संभाव्यता अनिश्चितता को मापने के बजाय, ROSE उच्च-संभाव्यता वाले संभावित टोकनों के बीच सिमेंटिक दूरी की गणना करता है। यह शीर्ष-20 टोकनों का चयन करता है, उनके एम्बेडिंग्स प्राप्त करता है, और पेयरवाइज कोसाइन समानता (pairwise cosine similarities) का भारित योग (weighted sum) निकालता है। उच्च डाइवर्जेंस इंगित करता है कि मॉडल सिमेंटिक रूप से भिन्न अवधारणाओं के बीच चयन कर रहा है।
सिमेंटिक एंट्रॉपी ( $SE_k$ ): ब्रांचिंग मेट्रिक को जनरेशन एंट्रॉपी ( $H_k$ ) और सिमेंटिक डाइवर्जेंस ( $SD_k$ ) के गुणनफल के रूप में परिभाषित किया गया है:
$SE_k = SD_k \cdot H_k$
यह सुनिश्चित करता है कि ब्रांचिंग तभी हो जब उच्च अनिश्चितता और उच्च सिमेंटिक अंतर दोनों हों, जिससे वास्तव में विविध तर्क पथों को बढ़ावा मिलता है।
$\epsilon$ -एक्सप्लोरेशन मैकेनिज्म: सर्च को लोकल ऑप्टिमा में फंसने से रोकने के लिए, ROSE एक $\epsilon$ -greedy रणनीति शामिल करता है। $\epsilon$ की संभावना के साथ, मॉडल मौजूदा ट्री नोड से ब्रांच करने के बजाय, शून्य से (स्वतंत्र रोलआउट के माध्यम से) प्रतिक्रिया को पुन: उत्पन्न करता है। यह डेप्थ (ट्री एक्सप्लोरेशन) और ब्रेड्थ (ग्लोबल एक्सप्लोरेशन) के बीच संतुलन बनाता है।

B. लेंथ-अवेयर सेगमेंट-लेवल एडवांटेज एस्टीमेशन (Length-Aware Segment-Level Advantage Estimation)

दक्षता की समस्या को हल करने के लिए, ROSE ग्रेन्युलर क्रेडिट असाइनमेंट के लिए ट्री संरचना का लाभ उठाता है:

नोड वैल्यू असाइनमेंट: ट्री को ब्रांचिंग नोड्स के आधार पर सेगमेंट में विभाजित किया जाता है। एक नोड का मान उन सभी प्रतिक्रियाओं का औसत रिवॉर्ड है जो उसके माध्यम से गुजरती हैं।
सेगमेंट एडवांटेज: एक टोकन का एडवांटेज वर्तमान नोड और पैरेंट नोड के बीच मूल्य के अंतर के रूप में गणना किया जाता है ( $\hat{A}_{i,t} = \hat{V}(b_j) - \hat{V}(b_{j-1})$ )।
लेंथ-अवेयर कैलिब्रेशन: ओवरथिंकिंग को दंडित करने के लिए, सही लेकिन लंबी तर्क श्रृंखलाओं के एडवांटेज को सबसे छोटी सही श्रृंखला के सापेक्ष दंडित किया जाता है। यदि एक प्रतिक्रिया $o_c$ सबसे छोटी सही प्रतिक्रिया $o_s$ से लंबी है, तो उनके विचलन बिंदु (divergence point) के बाद के टोकनों के लिए एडवांटेज को लंबाई अनुपात पर निर्भर कारक द्वारा कम किया जाता है:
$\hat{A}_{i,t} \leftarrow \hat{A}_{i,t} - |\hat{A}_{i,t}| \cdot \left(1 - \left(\frac{|o_s| - b_c}{|o_c| - b_c}\right)^\alpha\right)$
यहाँ, $\alpha$ एक हाइपरपैरामीटर है जो दंड की गंभीरता को नियंत्रित करता है।

3. मुख्य योगदान (Key Contributions)

सिमेंटिक-एंट्रॉपी ब्रांचिंग: एक नया मेट्रिक जो MCTS ब्रांचिंग को निर्देशित करने के लिए संभाव्यता अनिश्चितता और सिमेंटिक एम्बेडिंग डाइवर्जेंस को जोड़ता है, जिससे सिमेंटिक रूप से भिन्न तर्क पथों का अन्वेषण सुनिश्चित होता है।
$\epsilon$ -एक्सप्लोरेशन मैकेनिज्म: रूट से रोलआउट को फिर से शुरू करने के लिए एक स्टोकेस्टिक मैकेनिज्म, जो सर्च प्रक्रिया को अत्यधिक लोकल होने से रोकता है।
लेंथ-अवेयर एडवांटेज एस्टीमेशन: एक सेगमेंट-लेवल क्रेडिट असाइनमेंट विधि जो स्पष्ट रूप से संक्षिप्त तर्क को पुरस्कृत करती है और रेडंडेंट स्टेप्स को दंडित करती है, जिससे "ओवरथिंकिंग" की समस्या का समाधान होता है।
व्यापक सत्यापन: विभिन्न मॉडल परिवारों (Qwen, Llama) और बेंचमार्क पर ROSE के प्रदर्शन को प्रदर्शित करने वाले व्यापक प्रयोग।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Qwen3 (4B/8B) और Llama-3.2 (3B) मॉडलों का उपयोग करके गणितीय तर्क बेंचमार्क (AIME2024, AIME2025, AMC2023, MATH500) पर ROSE का मूल्यांकन किया।

प्रदर्शन में वृद्धि: ROSE ने लगातार उच्चतम pass@8 स्कोर प्राप्त किए।
- Qwen3-8B पर, ROSE ने 55.75% का औसत स्कोर प्राप्त किया, जो सर्वश्रेष्ठ बेसलाइन (Dr.GRPO 51.02%) से 4.73 प्रतिशत अंक अधिक है।
- Llama-3.2-3B पर, ROSE ने औसत स्कोर को 28.35% (GRPO) से बढ़ाकर 31.67% कर दिया।
दक्षता: ROSE ने तर्क श्रृंखलाओं की औसत टोकन लंबाई को काफी कम कर दिया। उदाहरण के लिए, $\alpha=1$ के साथ, Qwen3-8B मॉडल ने सटीकता में सुधार करते हुए तर्क की लंबाई में 3.0% की कमी की, जबकि मानक GRPO वेरिएंट अक्सर लंबाई बढ़ाते हैं।
एब्लेशन स्टडीज (Ablation Studies):
- $\epsilon$ -एक्सप्लोरेशन को हटाने से प्रदर्शन में गिरावट आई, जिससे ग्लोबल एक्सप्लोरेशन की आवश्यकता की पुष्टि हुई।
- सिमेंटिक एंट्रॉपी को रैंडम ब्रांचिंग या मानक जनरेशन एंट्रॉपी से बदलने के परिणामस्वरूप कम स्कोर मिला, जो सिमेंटिक-अवेयर ब्रांचिंग के महत्व को प्रमाणित करता है।
- लेंथ-अवेयर कैलिब्रेशन को हटाने से लंबी, कम कुशल तर्क श्रृंखलाएं बनीं।

5. महत्व (Significance)

अन्वेषण में प्रतिमान परिवर्तन (Paradigm Shift in Exploration): ROSE सरल टोकन-स्तरीय अनिश्चितता (जनरेशन एंट्रॉपी) से आगे बढ़कर सिमेंटिक-स्तरीय अनिश्चितता की ओर बढ़ता है, जो जटिल कार्यों में LLM तर्क को बेहतर बनाने के लिए एक महत्वपूर्ण कदम है जहाँ सतही बदलाव तार्किक विविधता का संकेत नहीं देते हैं।
ओवरथिंकिंग का समाधान: MCTS फ्रेमवर्क के भीतर एडवांटेज एस्टीमेशन में लेंथ पेनल्टी को सीधे एकीकृत करके, ROSE मॉडलों को सटीक और संक्षिप्त दोनों होने के लिए प्रशिक्षित करने का एक सिद्धांतपूर्ण तरीका प्रदान करता है, जो वर्तमान RLHF/RLVR दृष्टिकोणों में एक सामान्य विफलता मोड है।
सामान्यीकरण (Generalizability): यह विधि मौजूदा GRPO-आधारित लॉस फंक्शन्स के साथ संगत है और इसके लिए अलग से क्रिटिक मॉडल को प्रशिक्षित करने की आवश्यकता नहीं है, जिससे यह वर्तमान LLM RL पाइपलाइनों में एकीकृत करने के लिए कम्प्यूटेशनल रूप से कुशल और आसान हो जाता है।

संक्षेप में, ROSE विविधता (सिमेंटिक एंट्रॉपी के माध्यम से) और दक्षता (लेंथ-अवेयर कैलिब्रेशन के माध्यम से) को एक साथ अनुकूलित करके LLM के लिए RL में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है, जिससे अधिक मजबूत और संक्षिप्त तर्क क्षमताएं प्राप्त होती हैं।