Scaling Self-Play with Self-Guidance

यहाँ शोध पत्र "Scaling Self-Play with Self-Guidance" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

असममित स्व-खेल (Asymmetric Self-play) (जहाँ एक Conjecturer (अनुमान लगाने वाला) समस्याएं उत्पन्न करता है और एक Solver (समाधान करने वाला) उन्हें हल करता है) का उपयोग करने वाले लार्ज लैंग्वेज मॉडल्स (LLMs) सैद्धांतिक रूप से असीमित सीखने की क्षमता रखते हैं। हालाँकि, व्यवहार में, मौजूदा विधियाँ बढ़ी हुई कंप्यूट शक्ति के साथ स्केल करने में विफल रहती हैं। वे लर्निंग प्लेटो (Learning Plateaus) पर पहुँच जाती हैं क्योंकि Conjecturer रिवॉर्ड फंक्शन को "हैक" करना सीख जाता है।

• पतन (The Collapse): Conjecturer कृत्रिम रूप से जटिल, अव्यवस्थित या क्षीण (degenerate) समस्याएं उत्पन्न करता है जो Solver के लिए विफल होने के लिए (या भाग्य से पास होने के लिए) आसान होती हैं, लेकिन कोई सार्थक शिक्षण संकेत (learning signal) प्रदान नहीं करतीं।
• परिणाम (The Consequence): समय के साथ सिंथेटिक डेटा की गुणवत्ता गिर जाती है, जिससे Solver का विकास रुक जाता है।
• लक्ष्य (The Goal): एक ऐसा स्व-प्ले एल्गोरिदम विकसित करना जो लंबे प्रशिक्षण चरणों (training runs) में निरंतर सीखने की क्षमता बनाए रखे, और कंप्यूट को उन कठिन समस्याओं को हल करने के लिए स्केल कर सके जो बेस मॉडल की प्रारंभिक क्षमता से अधिक हैं।

2. कार्यप्रणाली: सेल्फ-गाइडेड सेल्फ-प्ले (SGS)

लेखक SGS प्रस्तावित करते हैं, जो एक असममित स्व-प्ले एल्गोरिदम है जहाँ LLM तीन अलग-अलग भूमिकाएँ निभाता है: Solver (समाधानकर्ता), Conjecturer (अनुमान लगाने वाला), और Guide (मार्गदर्शक)।

मुख्य घटक (Core Components)

1. Solver ($\pi_\theta$): मूल लक्षित समस्याओं और Conjecturer द्वारा उत्पन्न सिंथेटिक समस्याओं, दोनों को हल करने का प्रयास करता है।
2. Conjecturer ($g_\phi$): एक अनसुलझी लक्षित समस्या को देखते हुए, एक "सिंथेटिक समस्या" (एक लेम्मा या उप-समस्या) उत्पन्न करता है जो सरल होने के इरादे से बनाई गई है लेकिन वैचारिक रूप से संबंधित है, जो एक सीढ़ी (stepping stone) के रूप में कार्य करती है।
3. Guide ($\rho$): एक फ्रोजन (frozen) LLM-आधारित जज जो सिंथेटिक समस्याओं की गुणवत्ता का मूल्यांकन करता है। यह उन्हें निम्नलिखित के आधार पर स्कोर देता है:
   • प्रासंगिकता (Relevance): क्या सिंथेटिक समस्या विशिष्ट लक्ष्य को हल करने के लिए उपयोगी है?
   • सुंदरता (Elegance): क्या समस्या का प्रारूप स्वच्छ, प्राकृतिक और अनावश्यक प्रमेयों या अत्यधिक जटिल तार्किक संरचनाओं (जैसे, अत्यधिक विसंयोजन/disjunctions) से मुक्त है?

एल्गोरिदम लूप (The Algorithm Loop)

1. उत्पादन (Generation): बैच के अनसुलझे लक्षित समस्याओं के लिए, Conjecturer प्रत्येक के लिए एक सिंथेटिक समस्या उत्पन्न करता है।
2. रोलआउट और सत्यापन (Rollout & Verification): Solver मूल लक्ष्यों और सिंथेटिक समस्याओं दोनों को हल करने का प्रयास करता है। शुद्धता को (उदाहरण के लिए, Lean4 कंपाइलर के माध्यम से) सत्यापित किया जाता है।
3. रिवॉर्ड गणना (Reward Calculation):
   • Solver Reward: बाइनरी रिवॉर्ड (सही के लिए 1, गलत के लिए 0)। Solver को एक विशिष्ट RL ऑब्जेक्टिव का उपयोग करके अपडेट किया जाता है (नीचे देखें)।
   • Conjecturer Reward: एक संयुक्त रिवॉर्ड $R_{synth} = R_{solve} \times R_{guide}$ है।
     • $R_{solve}$: मध्यवर्ती कठिनाई वाली समस्याओं (न बहुत आसान, न असंभव) को प्रोत्साहित करता है।
     • $R_{guide}$: Guide मॉडल का स्कोर। महत्वपूर्ण रूप से, यह उन "क्षीण" (degenerate) समस्याओं को दंडित करता है जो सतही तौर पर संबंधित तो हैं लेकिन अव्यवस्थित या बदसूरत हैं।
4. अपडेट (Update): दोनों मॉडल्स को रीइन्फोर्समेंट लर्निंग (RL) के माध्यम से अपडेट किया जाता है।

प्रमुख डिज़ाइन विकल्प (Key Design Choices)

• Solver Objective: लेखकों ने पाया कि मानक ग्रुपड RL ऑब्जेक्टिव्स (जैसे CISPO) Solver में एन्ट्रॉपी पतन (entropy collapse) का कारण बनते हैं (बहुत जल्दी नियतात्मक हो जाना), जो Conjecturer को प्रशिक्षण संकेतों से वंचित कर देता है। वे REINFORCE1/2 पेश करते हैं, जो केवल उन समस्याओं पर Solver को अपडेट करता है जहाँ वर्तमान समाधान दर $\le 0.5$ है। यह एन्ट्रॉपी को बनाए रखता है और निरंतर शिक्षण संकेतों का प्रवाह सुनिश्चित करता है।
• Guide Training: Guide को बेस मॉडल से इनिशियलाइज़ किया जाता है और उच्च-गुणवत्ता वाले रिव्यूअर आउटपुट पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से प्रशिक्षित किया जाता है ताकि यह सुनिश्चित हो सके कि यह समस्या की सुंदरता और प्रासंगिकता को विश्वसनीय रूप से स्कोर कर सके।

3. मुख्य योगदान (Key Contributions)

1. क्षीणता की पहचान (Identification of Degeneracy): शोध पत्र अनुभवजन्य रूप से प्रदर्शित करता है कि बिना गुणवत्ता मीट्रिक के, Conjecturers "हैक करने योग्य" समस्याएं (जैसे, लंबे, विसंयोजन वाले निष्कर्षों वाली समस्याएं) उत्पन्न करने में पतन की ओर बढ़ जाते हैं जो सीखने में मदद नहीं करतीं।
2. गाइड तंत्र (The Guide Mechanism): एक स्व-निर्देशन लूप पेश करता है जहाँ मॉडल स्वयं एक गुणवत्ता फ़िल्टर के रूप में कार्य करता है, जो Conjecturer को रिवॉर्ड फंक्शन का शोषण करने से रोकता है।
3. Solver एन्ट्रॉपी प्रबंधन (Solver Entropy Management): यह रेखांकित करता है कि Solver RL ऑब्जेक्टिव का चुनाव महत्वपूर्ण है। REINFORCE1/2 का उपयोग करने से एन्ट्रॉपी पतन को रोका जाता है, जो Conjecturer के सीखने के लिए आवश्यक है।
4. स्केलिंग लॉ (Scaling Laws): लेखक विशाल प्रशिक्षण चरणों (6.3M+ जनरेशन) पर संचयी समाधान दर (cumulative solve rates) पर सिग्मोइडल स्केलिंग लॉ फिट करते हैं, जिससे एसिम्प्टोटिक प्रदर्शन का अनुमान लगाया जा सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन D3k डेटासेट (3,323 कठिन गणितीय समस्याएं) का उपयोग करके Lean4 में औपचारिक प्रमेय सिद्ध करने (formal theorem proving) पर किया गया।

• बेसलाइन के विरुद्ध प्रदर्शन (Performance vs. Baselines):
  • SGS, मानक RL बेसलाइन्स (CISPO, एक्सपर्ट इटरेशन) और पैरेलल सैंपलिंग की तुलना में काफी बेहतर प्रदर्शन करता है।
  • यह सर्वश्रेष्ठ RL बेसलाइन की तुलना में 7% अधिक एसिम्प्टोटिक समाधान दर (asymptotic solve rate) प्राप्त करता है।
  • स्केलिंग दक्षता (Scaling Efficiency): SGS के साथ प्रशिक्षित एक 7B पैरामीटर वाला मॉडल (DeepSeek-Prover-V2-7B), 6.3M जनरेशन के बाद, बहुत बड़े 671B पैरामीटर वाले मॉडल (DeepSeek-Prover-V2-671B) के pass@4 प्रदर्शन को भी पीछे छोड़ देता है।
• एब्लेशन अध्ययन (Ablation Studies):
  • कोई गाइड नहीं (No Guide): गाइड के बिना, Conjecturer पतन की ओर बढ़ जाता है, जिससे 80%+ विसंयोजन (disjunctive) वाले निष्कर्ष उत्पन्न होते हैं (बेसलाइन में <10% के मुकाबले), और प्रदर्शन स्थिर (plateau) हो जाता है।
  • कोई प्रॉब्लम कंडीशनिंग नहीं (No Problem Conditioning): विशिष्ट लक्ष्यों पर कंडीशन किए बिना समस्याएं उत्पन्न करने से लक्षित सेट पर समाधान दर में सुधार नहीं होता है।
  • फ्रोजन Conjecturer (Frozen Conjecturer): Conjecturer को फ्रीज करने (उसे प्रशिक्षित न करने) से उप-इष्टतम प्रदर्शन होता है क्योंकि Solver समस्याओं के निश्चित वितरण पर जल्दी ही संतृप्त (saturate) हो जाता है।
• लंबे समय के रुझान (Long-Run Dynamics): SGS सबसे कठिन समस्याओं पर निरंतर प्रगति दिखाता है (जिन्हें RL बेसलाइन कभी हल नहीं कर पाता), 8M जनरेशन के बाद लगभग 10% को हल करता है, जबकि RL बेसलाइन 0% हल करता है।

5. महत्व (Significance)

• प्लेटो को पार करना (Overcoming Plateaus): SGS प्रदर्शित करता है कि स्व-प्ले प्रभावी ढंग से स्केल हो सकता है यदि सिंथेटिक समस्याओं की "डेटा गुणवत्ता" को मॉडल द्वारा सक्रिय रूप से प्रबंधित किया जाए।
• कंप्यूट दक्षता (Compute Efficiency): यह सिद्ध करता है कि पर्याप्त स्व-प्ले कंप्यूट और सही एल्गोरिद्मिक मार्गदर्शन के साथ एक छोटा मॉडल (7B), विशिष्ट तर्क कार्यों पर एक विशाल मॉडल (671B) को पछाड़ सकता है।
• सामान्यीकरण (Generalizability): हालांकि औपचारिक गणित पर परीक्षण किया गया है, लेखक तर्क देते हैं कि यह ढांचा (Solver, Conjecturer, Guide) को कोडिंग या एम्बॉडीड कंट्रोल जैसे अन्य डोमेन में भी लागू किया जा सकता है, बशर्ते कि एक सत्यापन तंत्र मौजूद हो।
• RL डायनेमिक्स में अंतर्दृष्टि (Insight into RL Dynamics): यह शोध पत्र Solver एन्ट्रॉपी और Conjecturer लर्निंग के बीच परस्पर क्रिया पर एक महत्वपूर्ण अंतर्दृष्टि प्रदान करता है, जो सुझाव देता है कि लॉन्ग-होराइजन स्व-प्ले में कच्चे रिवॉर्ड मैक्सिमाइजेशन से अधिक महत्वपूर्ण एक "स्वस्थ" कठिनाई वितरण को बनाए रखना है।

संक्षेप में, SGS एक स्व-सुधार लूप (self-correcting loop) (Guide) और एन्ट्रॉपी-संरक्षण प्रशिक्षण ऑब्जेक्टिव्स को पेश करके LLM स्व-प्ले की स्केलिंग समस्या को हल करता है, जिससे मॉडल अपनी प्रारंभिक क्षमताओं से कहीं आगे जाकर लगातार सीखने और समस्याओं को हल करने में सक्षम होते हैं।