DeepSearch: Overcome the Bottleneck of Reinforcement Learning with Verifiable Rewards via Monte Carlo Tree Search

यहाँ शोध पत्र "DeepSearch: Tree-Based Search के माध्यम से Verifiable Rewards के साथ Reinforcement Learning की बाधा को दूर करना" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए Verifiable Rewards के साथ Reinforcement Learning (RLVR) में एक महत्वपूर्ण बाधा को संबोधित करता है। जबकि RLVR ने तर्क करने की क्षमताओं (reasoning capabilities) में सफलता प्राप्त की है, समकालीन अध्ययन दर्शाते हैं कि प्रदर्शन अक्सर हजारों अनुकूलन चरणों (optimization steps) के बाद स्थिर (plateau) हो जाता है।

• मुख्य मुद्दा: वर्तमान RLVR अभ्यास विरल अन्वेषण पैटर्न (sparse exploration patterns - सीमित प्रत्यक्ष रोलआउट) पर निर्भर करते हैं। मॉडल कुछ प्रक्षेपवक्र (trajectories) उत्पन्न करते हैं, और यदि वे सही तर्क पथ (reasoning path) को चूक जाते हैं, तो प्रशिक्षण संकेत (training signal) कमजोर या अस्तित्वहीन होता है।
• परिणाम: केवल प्रशिक्षण चरणों को बढ़ाना (ब्रूट-फोर्स कंप्यूटेशन) घटते प्रतिफल (diminishing returns) देता है। मॉडल समाधान स्थान (solution space) को व्यवस्थित रूप से कवर करने या अन्वेषण की प्रक्रिया से सीखने में विफल रहते हैं, जिससे प्रशिक्षण ठहराव (stagnation) की स्थिति उत्पन्न होती है।
• अंतराल (Gap): मौजूदा विधियाँ आमतौर पर अनुमान लगाने के समय (inference time) पर संरचित खोज (जैसे Tree Search) का उपयोग करती हैं, जिससे प्रशिक्षण लूप में व्यवस्थित अन्वेषण को सीधे एकीकृत करने की क्षमता का उपयोग नहीं हो पाता है।

2. कार्यप्रणाली: DeepSearch फ्रेमवर्क (Methodology: DeepSearch Framework)

DeepSearch सीधे RLVR प्रशिक्षण लूप में Monte Carlo Tree Search (MCTS) को एकीकृत करता है, जो प्रशिक्षण की गहराई (अधिक चरण) को बढ़ाने के बजाय प्रशिक्षण की चौड़ाई (व्यवस्थित अन्वेषण) को बढ़ाने की ओर दृष्टिकोण को बदल देता है। यह फ्रेमवर्क तीन मुख्य घटकों से बना है:

A. हाइब्रिड चयन रणनीति के साथ MCTS (MCTS with Hybrid Selection Strategy)

मानक MCTS के विपरीत, जो रूट-टू-लीफ ट्रैवर्सल (UCT) का उपयोग करता है, DeepSearch एक Global Frontier Selection रणनीति का उपयोग करता है:

1. एन्ट्रॉपी-आधारित मार्गदर्शन के साथ विस्तार (Expansion with Entropy-Based Guidance): पॉलिसी मॉडल कई संभावित तर्क चरणों (reasoning steps) को उत्पन्न करता है। टर्मिनल नोड्स का मूल्यांकन उनकी शुद्धता के लिए किया जाता है।
   • यदि एक सही समाधान मिल जाता है, तो इसका उपयोग बैकप्रोपैगेशन के लिए किया जाता है।
   • यदि कोई सही समाधान नहीं मिलता है, तो सिस्टम सबसे आत्मविश्वासी गलत प्रक्षेपवक्र (सबसे कम औसत एन्ट्रॉपी वाला पथ) का चयन करता है। यह उन क्षेत्रों को लक्षित करता है जहाँ मॉडल अत्यधिक आत्मविश्वासी लेकिन गलत है, जिससे उच्च-मूल्य वाला पर्यवेक्षण (supervision) प्राप्त होता है।
2. हाइब्रिड चयन (Hybrid Selection):
   • स्थानीय चयन (Local Selection - UCT): एक सब-ट्री के भीतर सिब्लिंग नोड्स की तुलना करने के लिए उपयोग किया जाता है ताकि शोषण (exploitation) और अन्वेषण (exploration) के बीच संतुलन बनाया जा सके।
   • ग्लोबल फ्रंटियर चयन (Global Frontier Selection): रूट से लीफ तक जाने के बजाय, एल्गोरिदम पूरे ट्री के सभी "फ्रंटियर" (लीफ) नोड्स का एक साथ मूल्यांकन करता है। यह अगले विस्तार के लिए नोड को प्राथमिकता स्कोर $F(s)$ के आधार पर चुनता है:
     $$F(s) = \lambda_1 \tanh(Q_{parent}) + \lambda_2 H(\pi_\theta) + \lambda_3 D(d(s))$$
     • गुणवत्ता क्षमता (Quality Potential): उच्च-मूल्य वाले पैरेंट नोड्स वाले नोड्स को प्रोत्साहित करता है।
     • अनिश्चितता बोनस (Uncertainty Bonus): अनिश्चित या आत्मविश्वासी क्षेत्रों की ओर अन्वेषण को निर्देशित करने के लिए पॉलिसी एन्ट्रॉपी का उपयोग करता है।
     • डेप्थ बोनस (Depth Bonus): गहरे तर्क श्रृंखलाओं (reasoning chains) को प्रोत्साहित करता है।

B. ह्यूरिस्टिक स्कोर बैकअप और Q-वैल्यू अपडेट (Heuristic Score Backup & Q-Value Update)

DeepSearch स्थिर क्रेडिट असाइनमेंट सुनिश्चित करने के लिए एक प्रतिबंधित Q-वैल्यू अपडेट नियम पेश करता है:

• असममित अपडेट (Asymmetric Updates): सही पथों पर स्थित नोड्स सकारात्मक Q-वैल्यू संचित करते हैं। यदि किसी नोड का Q-वैल्यू पहले नकारात्मक था (गलत पथों के कारण), लेकिन बाद में वह एक सही पथ पर पाया जाता है, तो नकारात्मक मान को हटा दिया जाता है और उसे सकारात्मक रिवॉर्ड से बदल दिया जाता है।
• प्रतिबंध (Constraint): सही समाधानों की ओर ले जाने वाले मध्यवर्ती नोड्स को गैर-ऋणात्मक (non-negative) Q-वैल्यू रखने के लिए मजबूर किया जाता है, जिससे शोर वाले गलत रोलआउट्स से होने वाले "विनाशकारी हस्तक्षेप" (destructive interference) को रोका जा सके।
• सॉफ्ट क्लिपिंग (Soft Clipping): ग्रेडिएंट्स को संरक्षित करते हुए विस्फोट (explosion) को रोकने के लिए Q-वैल्यू को हाइपरबोलिक टैनजेंट फंक्शन का उपयोग करके क्लिप किया जाता है।

C. रीप्ले बफर के साथ अनुकूली प्रशिक्षण (Adaptive Training with Replay Buffer)

कंप्यूटेशनल लागत को संभालने के लिए, DeepSearch एक पुनरावृत्त फ़िल्टरिंग रणनीति का उपयोग करता है:

1. प्रगतिशील फ़िल्टरिंग (Progressive Filtering): प्रशिक्षण सेट को गतिशील रूप से परिष्कृत किया जाता है। केवल वे समस्याएँ जहाँ मॉडल की सफलता दर ($Pass1@K$) एक थ्रेशोल्ड (जैसे 25%) से नीचे है, उन्हें MCTS के लिए चुना जाता है।
2. समाधान कैशिंग (Solution Caching): एक बार जब MCTS किसी कठिन समस्या के लिए सही समाधान ढूंढ लेता है, तो उस प्रक्षेपवक्र को Replay Buffer में कैश कर दिया जाता है।
3. हाइब्रिड रोलआउट (Hybrid Rollout): आगामी प्रशिक्षण चरणों में:
   • यदि किसी समस्या के लिए कैश किया गया समाधान मौजूद है, तो मॉडल कैश किए गए प्रक्षेपवत्र + कुछ प्रत्यक्ष रोलआउट का उपयोग करता है (MCTS के अनावश्यक उपयोग से बचता है)।
   • यदि कोई समाधान कैश नहीं किया गया है, तो पूर्ण MCTS किया जाता है।
   • यह सुनिश्चित करता है कि कंप्यूटेशनल संसाधन वास्तव में अनसुलझे, चुनौतीपूर्ण समस्याओं पर ध्यान केंद्रित करें।

D. Tree-GRPO ऑब्जेक्टिव (Tree-GRPO Objective)

प्रशिक्षण उद्देश्य एक संशोधित Grouped Relative Policy Optimization (GRPO) है। यह प्रत्येक टोकन के लिए एडवांटेज ($\hat{A}$) के रूप में केवल अंतिम परिणाम रिवॉर्ड के बजाय, ट्री संरचना से प्राप्त Q-वैल्यू का उपयोग करता है। यह प्रत्येक तर्क चरण पर सूक्ष्म-स्तरीय (fine-grained) लर्निंग की अनुमति देता है।

3. प्रमुख योगदान (Key Contributions)

1. प्रशिक्षण-समय खोज (Training-Time Search): MCTS को सीधे RLVR प्रशिक्षण लूप में शामिल करने वाला पहला फ्रेमवर्क, जो मॉडल्स को केवल अंतिम परिणाम से ही नहीं, बल्कि व्यवस्थित अन्वेषण प्रक्रिया से भी सीखने में सक्षम बनाता है।
2. ग्लोबल फ्रंटियर सिलेक्शन (Global Frontier Selection): एक नवीन चयन तंत्र जो पूरे सर्च ट्री में आशाजनक नोड्स को प्राथमिकता देता है, जिससे पारंपरिक रूट-टू-लीफ UCT की संकीर्ण दृष्टि (myopia) से बचा जा सकता है।
3. कॉन्फिडेंट नेगेटिव सिलेक्शन (Confident Negative Selection): मॉडल के "सबसे आत्मविश्वासी गलतियों" (कम-एन्ट्रॉपी वाले गलत पथों) को पहचानने और उन पर पर्यवेक्षण करने की रणनीति, जो यादृच्छिक त्रुटियों की तुलना में व्यवस्थित तर्क त्रुटियों को सुधारने के लिए अधिक सूचनात्मक हैं।
4. अनुकूली रीप्ले बफर (Adaptive Replay Buffer): एक कुशल तंत्र जो सत्यापित समाधानों को कैश करता है ताकि कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) को रोका जा सके और अनावश्यक गणना को समाप्त किया जा सके, जिससे MCTS कठिन मामलों पर केंद्रित रहता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने गणितीय तर्क बेंचमार्क पर एक 1.5B पैरामीटर मॉडल (Nemotron-Research-Reasoning-Qwen-1.5B v2 पर आधारित) का उपयोग करके DeepSearch का मूल्यांकन किया।

• प्रदर्शन (Performance):
  • छह बेंचमार्क (AIME 2024/2025, AMC2023, MATH500, Minerva, Olympiad) में औसतन 62.95% की सटीकता प्राप्त की।
  • पिछले स्टेट-ऑफ-द-आर्ट (Nemotron-Research-Reasoning-Qwen-1.5B v2, 61.70%) और अन्य मजबूत बेसलाइन जैसे DeepScaleR (55.64%) को पछाड़ दिया।
  • AIME 2024 (53.65% बनाम 51.77%) और AMC (90.39% बनाम 88.83%) पर उल्लेखनीय लाभ।
• दक्षता (Efficiency):
  • DeepSearch ने ब्रूट-फोर्स स्केलिंग पर आधारित विस्तारित प्रशिक्षण दृष्टिकोणों की तुलना में 5.7 गुना कम GPU घंटे के साथ ये परिणाम प्राप्त किए।
  • इसने केवल 330 GPU घंटों (50 अतिरिक्त चरणों) में 62.95% सटीकता प्राप्त की, जबकि विस्तारित प्रशिक्षण को केवल 62.02% तक पहुँचने के लिए ~1,883 GPU घंटों की आवश्यकता थी।
• एब्लेशन अध्ययन (Ablation Studies):
  • पुष्टि की कि Global Frontier Selection और Confident Negative Selection सबसे प्रभावशाली घटक थे।
  • प्रदर्शित किया कि सबसे आत्मविश्वासी गलत प्रक्षेपवक्र का चयन करना, यादृच्छिक या न्यूनतम-आत्मविश्वास चयन की तुलना में बेहतर था।

5. महत्व और निष्कर्ष (Significance and Conclusion)

DeepSearch LLMs के लिए तर्क क्षमताओं को स्केल करने के क्षेत्र में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है।

• कंप्यूट स्केलिंग के ऊपर एल्गोरिद्मिक नवाचार (Algorithmic Innovation over Compute Scaling): यह सिद्ध करता है कि प्रशिक्षण चरणों या मॉडल मापदंडों की संख्या बढ़ाने के बजाय, प्रशिक्षण के दौरान रणनीतिक, संरचित अन्वेषण अधिक प्रभावी है।
• प्रशिक्षण और अनुमान के बीच सेतु (Bridging Training and Inference): प्रशिक्षण में खोज को एकीकृत करके, मॉडल जटिल कार्यों के लिए आवश्यक "तर्क पैटर्न" सीखता है, न कि केवल परिणामों को याद करता है।
• व्यावहारिकता (Practicality): इसका अनुकूली रीप्ले बफर और कैशिंग तंत्र उन्नत ट्री-सर्च प्रशिक्षण को कम्प्यूटेशनल रूप से व्यवहार्य बनाता है, जो भविष्य के रीजनिंग मॉडल्स के लिए एक स्केलेबल मार्ग प्रदान करता है।

शोध पत्र निष्कर्ष निकालता है कि रीजनिंग मॉडल विकास का भविष्य केवल लंबे समय तक गणना (prolonged computation) पर निर्भर रहने के बजाय, सीखने की प्रक्रिया की संरचना को फिर से सोचने में निहित है ताकि वह परिष्कृत इन्फरेंस-टाइम रीजनिंग को प्रतिबिंबित कर सके।