🤖 machine learning

Joint Training of Multi-Token Prediction in Reinforcement Learning via Optimal Coefficient Calibration

यह शोध पत्र ऑप्टिमल कोएफिशिएंट कैलिब्रेशन (OCC) का प्रस्ताव करता है, जो ग्रेडिएंट इंटरैक्शन के अनुकूलन विश्लेषण से व्युत्पन्न एक अनुकूली योजना है, ताकि मल्टी-टोकन प्रेडिक्शन और वेरीफिएबल रिवार्ड्स से सुदृढ़ीकरण लर्निंग (RLVR) के प्रभावी संयुक्त प्रशिक्षण को सक्षम बनाया जा सके, जिससे पिछले प्रदर्शन ह्रास को दूर किया जा सके और गणितीय तर्क संबंधी बेंचमार्क पर बेहतर परिणाम प्राप्त किए जा सकें।

मूल लेखक: Zili Wang, Jiajun Chai, Lin Chen, Xiaohan Wang, Shiming Xiang, Guojun Yin

प्रकाशित 2026-05-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zili Wang, Jiajun Chai, Lin Chen, Xiaohan Wang, Shiming Xiang, Guojun Yin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: दो कोच, एक एथलीट

कल्पना कीजिए कि आप एक विशाल, सुपर-स्मार्ट रोबोट (एक लार्ज लैंग्वेज मॉडल) को कठिन गणित के सवाल हल करने के लिए प्रशिक्षित कर रहे हैं।

मुख्य कोच (RL): यह कोच रोबोट को जीतना सिखाता है। वे रोबोट के उत्तरों को देखते हैं, सही समाधानों के लिए "थम्स अप" (शाबाशी) देते हैं और गलत समाधानों के लिए "थम्स डाउन" (नापसंदगी) देते हैं। रोबोट यह सीखता है कि जो काम करता है उसे दोहराना है और जो नहीं करता उसे छोड़ना है। इसे रीइन्फोर्समेंट लर्निंग (RL) कहा जाता है।
सहायक कोच (MTP): यह कोच एक विशेष मॉड्यूल है जो यह अनुमान लगाने की कोशिश करता है कि रोबोट अगले कुछ शब्द क्या कहेगा, न कि केवल अगला एक शब्द। इसे मल्टी-टोकन प्रेडिक्शन (MTP) कहा जाता है। यह एक ऐसे कोच की तरह है जो रोबोट को उसके वाक्यों की योजना पहले से बनाने में मदद करता है।

समस्या:
पहले, शोधकर्ताओं ने दोनों कोचों को एक साथ रोबोट को प्रशिक्षित करने की कोशिश की। लेकिन कुछ गलत हो गया। रोबोट का प्रदर्शन उस स्थिति से भी खराब हो गया जब उसके पास केवल मुख्य कोच था।

इस कारण से, अधिकांश टीमों ने "जीतने वाले" प्रशिक्षण चरण के दौरान सहायक कोच को हटा देने का फैसला किया। उन्होंने सहायक कोच को देखते तो रहने दिया, लेकिन सहायक कोच की सलाह को रोबोट के मस्तिष्क को बदलने की अनुमति नहीं दी। उन्होंने सहायक कोच को "डिटैच" (अलग) कर दिया।

प्रश्न:
इस पेपर के लेखकों ने पूछा: दोनों कोचों का होना रोबोट को नुकसान क्यों पहुँचाता है? क्या हम इसे ठीक कर सकते हैं ताकि दोनों कोच प्रशिक्षण को खराब किए बिना एक साथ काम कर सकें?

निदान: "धक्का और खिंचाव" की समस्या

लेखकों ने प्रशिक्षण के पीछे के गणित का अध्ययन किया और उत्तर खोज लिया। उन्होंने महसूस किया कि जब सहायक कोच सलाह देने की कोशिश करता है, तो वह रोबोट के मस्तिष्क पर दो विपरीत बल पैदा करता है:

मददगार धक्का (कोरिलेशन/सहसंबंध): कभी-कभी, सहायक कोच की सलाह मुख्य कोच की दिशा में ही होती है। यह अच्छा है! यह एक कार को एक ही दिशा में धकेलने वाले दो लोगों की तरह है।
परेशान करने वाला डगमगाना (पेनल्टी/दंड): कभी-कभी, सहायक कोच की सलाह केवल "शोर" (नॉइज़) होती है। यह रोबोट के मस्तिष्क को उन दिशाओं में धकेलता है जो जीतने में मदद नहीं करतीं। यह वैसा ही है जैसे आप कार चलाने की कोशिश कर रहे हों और कोई कार को हिला दे।

पुराने तरीके क्यों विफल रहे:

तरीका A (डिटैच): उन्होंने सहायक कोच के धक्के को बंद कर दिया। सुरक्षित, लेकिन हमने "मददगार धक्का" खो दिया।
तरीका B (क्रॉस-एंट्रॉपी): उन्होंने सहायक कोच को धक्का देने दिया, लेकिन सहायक कोच रोबोट को हर शब्द को समान रूप से अनुमान लगाने के लिए सिखा रहा था, यहाँ तक कि गलत शब्दों को भी। इसने बहुत अधिक "डगमगाना" पैदा किया और बहुत कम "धक्का"। रोबोट भ्रमित हो गया और प्रदर्शन गिर गया।
तरीका C (पॉलिसी लॉस): उन्होंने सहायक कोच को मुख्य कोच के समान "जीतने वाले" नियमों का उपयोग करने के लिए कहा। शुरू में, यह बहुत अच्छा काम कर रहा था! "धक्का" मजबूत था। लेकिन जैसे-जैसे रोबोट बेहतर हुआ, दोनों कोचों के बीच थोड़ा मतभेद होने लगा। "डगमगाना" स्थिर रहा, लेकिन "मददगार धक्का" कमजोर होता गया। अंततः, डगमगाना हावी हो गया और रोबोट का प्रदर्शन गिर गया।

उपमा (Analogy):
कल्पना कीजिए कि आप एक रस्सी पर चलने (RL प्रशिक्षण) का अभ्यास कर रहे हैं।

डिटैच अकेले चलना है। सुरक्षित, लेकिन धीमा।
पुराना संयुक्त प्रशिक्षण एक दोस्त का हाथ पकड़कर चलना है, लेकिन वह नशे में है। वह आपको रस्सी से नीचे खींच लेता है।
"उदय और पतन" की समस्या एक होश में रहने वाले दोस्त के साथ है जो शुरुआत में आपकी मदद करता है, लेकिन जैसे-जैसे आप थकते जाते हैं, वह गलत दिशा में खींचने लगता है, जिससे आप गिर जाते हैं।

समाधान: "स्मार्ट एडजस्टर" (OCC)

लेखकों ने महसूस किया कि समस्या यह नहीं थी कि सहायक कोच बुरा था; समस्या यह थी कि उनकी आवाज़ का वॉल्यूम (स्तर) एक निश्चित स्तर पर अटका हुआ था।

प्रशिक्षण के शुरुआती दौर में: सहायक कोच बहुत मददगार होता है। हमें उनका वॉल्यूम बढ़ा (UP) देना चाहिए।
प्रशिक्षण के अंतिम दौर में: सहायक कोच एक व्यवधान बनने लगता है। हमें उनका वॉल्यूम कम (DOWN) कर देना चाहिए।

उन्होंने एक नई प्रणाली बनाई जिसे ऑप्टिमल कोएफिशिएंट कैलिब्रेशन (OCC) कहा जाता है।

यह कैसे काम करता है (रचनात्मक रूपक):
OCC को प्रशिक्षण प्रक्रिया के लिए एक स्मार्ट थर्मोस्टेट के रूप में सोचें।

तापमान (प्रशिक्षण भार) को एक निश्चित संख्या पर सेट करने के बजाय, थर्मोस्टेट लगातार कमरे की जांच करता रहता है।
यह एक "प्रॉक्सी" (एक त्वरित, सस्ता सेंसर) का उपयोग करके यह जांचता है कि सहायक कोच वर्तमान में मदद कर रहा है या नुकसान पहुँचा रहा है।
यदि सहायक कोच सही दिशा में धक्का दे रहा है, तो थर्मोस्टेट वॉल्यूम को बढ़ा देता है।
यदि सहायक कोच भटकने लगता है और शोर पैदा करने लगता है, तो थर्मोस्टेट वॉल्यूम को कम कर देता है।

यह सब स्वचालित रूप से, स्टेप-दर-स्टेप होता है, बिना किसी जटिल गणित की गणना किए जो प्रक्रिया को धीमा कर सकती है।

परिणाम: एक सुखद अंत

लेखकों ने इस नए "स्मार्ट एडजस्टर" का परीक्षण छह कठिन गणित प्रतियोगिताओं (जैसे AIME और Olympiad) पर किया।

यह पुराने तरीकों को हरा गया: "स्मार्ट एडजस्टर" (OCC) के साथ प्रशिक्षित रोबोट ने केवल मुख्य कोच (Detach) के साथ प्रशिक्षित रोबोट की तुलना में अधिक समस्याओं को हल किया।
इसने क्रैश (गिरावट) को ठीक कर दिया: "पॉलिसी लॉस" पद्धति के विपरीत, जो मजबूती से शुरू हुई और फिर विफल हो गई, OCC विधि पहले कदम से लेकर अंतिम कदम तक मजबूत बनी रही।
यह तेज़ था: "स्मार्ट एडजस्टर" ने प्रशिक्षण को धीमा नहीं किया। यह पुराने "डिटैच" तरीके जितना ही तेज़ था क्योंकि इसने भारी गणनाओं के बजाय वॉल्यूम की जांच करने के लिए एक चतुर शॉर्टकट का उपयोग किया।

सारांश

यह पेपर साबित करता है कि आप एक रोबोट को मुख्य कोच और सहायक कोच दोनों के साथ प्रशिक्षित कर सकते हैं, लेकिन आप उन्हें एक निश्चित सेटिंग पर नहीं छोड़ सकते। आपको एक डायनामिक सिस्टम की आवश्यकता है जो प्रशिक्षण प्रक्रिया को सुनता है और वास्तविक समय में सहायक कोच के प्रभाव को समायोजित करता है। जब वे ऐसा करते हैं, तो रोबोट पहले से कहीं बेहतर और तेज़ी से सीखता है।

तकनीकी सारांश: अनुकूलतम गुणांक अंशांकन (Optimal Coefficient Calibration) के माध्यम से सुदृढीकरण शिक्षण में मल्टी-टोकन प्रेडिक्शन का संयुक्त प्रशिक्षण

समस्या विवरण

वेरिफिएबल रिवॉर्ड्स (Verifiable Rewards) के माध्यम से सुदृढीकरण शिक्षण (Reinforcement Learning from Verifiable Rewards - RLVR) बड़े भाषा मॉडलों (LLMs) की तर्क करने की क्षमताओं को बढ़ाने के लिए एक मानक प्रतिमान बन गया है। साथ ही, मल्टी-टोकन प्रेडिक्शन (MTP), जो प्री-ट्रेनिंग के दौरान भविष्य के कई टोकन की भविष्यवाणी करने के लिए एक सहायक उद्देश्य के रूप में प्रशिक्षित किया जाता है, ने सैंपल दक्षता (sample efficiency) में महत्वपूर्ण लाभ और स्पेक्युलेटिव डिकोडिंग के लिए एक ड्राफ्ट मॉडल के रूप में अपनी उपयोगिता सिद्ध की है।

सहज रूप से, पोस्ट-ट्रेनिंग के दौरान MTP और RL उद्देश्यों को संयुक्त रूप से अनुकूलित करने से मॉडल को मल्टी-टोकन पर्यवेक्षण (supervision) का लाभ उठाने के साथ-साथ तर्क क्षमताएं प्राप्त करने में मदद मिलनी चाहिए। हालांकि, अनुभवजन्य साक्ष्य (empirical evidence) दिखाते हैं कि संयुक्त MTP-RL प्रशिक्षण अक्सर मुख्य मॉडल के प्रदर्शन में महत्वपूर्ण गिरावट का कारण बनता है। फलस्वरूप, वर्तमान अभ्यास (जैसे veRL और slime जैसे फ्रेमवर्क में) RL प्रशिक्षण के दौरान मुख्य मॉडल से MTP ग्रेडिएंट्स को डिटैच (detach) कर देते हैं। यह डिटैचमेंट MTP मापदंडों को केवल स्वतंत्र पोस्ट-होक फाइन-ट्यूनिंग के माध्यम से अनुकूलित होने के लिए मजबूर करता है, जिससे निरंतर मल्टी-टोकन पर्यवेक्षण से होने वाले संभावित लाभों का त्याग हो जाता है। मुख्य समस्या जिसका समाधान किया जा रहा है वह है: संयुक्त MTP-RL प्रशिक्षण क्यों विफल होता है, और क्या एक प्रभावी संयुक्त प्रशिक्षण को सक्षम करने के लिए एक सिद्धांत-आधारित रणनीति डिजाइन की जा सकती है?

कार्यप्रणाली

सैद्धांतिक विश्लेषण

लेखक इस समस्या को एक अनुकूलन (optimization) परिप्रेक्ष्य से देखते हैं, जहाँ वे RL उद्देश्य $J(\theta)$ पर प्रति-चरण (per-step) MTP के प्रभाव का विश्लेषण करते हैं। एक $L$ -स्मूथ ऑब्जेक्टिव फंक्शन मानकर, वे प्रति-चरण सुधार के लिए एक निचला स्तर (lower bound) प्राप्त करते हैं। यह अपघटन (decomposition) प्रकट करता है कि MTP का प्रभाव दो प्रतिस्पर्धी पदों द्वारा नियंत्रित होता है:

प्रथम-क्रम सहसंबंध पद (First-order Correlation Term): यह RL ग्रेडिएंट ( $g_{RL}$ ) और MTP ग्रेडिएंट ( $g_{MTP}$ ) के बीच दिशात्मक सहमति (inner product) द्वारा निर्धारित होता है।
द्वितीय-क्रम विक्षोभ दंड (Second-order Perturbation Penalty): एक गैर-धनात्मक पद जो MTP ग्रेडिएंट के परिमाण (magnitude) द्वारा उत्पन्न विक्षोभ को दर्शाता है।

प्रदर्शन में सुधार तभी होता है जब सहसंबंध पद, दंड पद से अधिक हो।

मौजूदा व्यवस्थाओं का विश्लेषण

इस अपघटन का उपयोग करते हुए, शोध पत्र तीन मौजूदा प्रशिक्षण व्यवस्थाओं को एकीकृत और स्पष्ट करता है:

डिटैच (Detach): मुख्य मॉडल के संबंध में $g_{MTP} = 0$ है। $\Delta_{MTP} = 0$ है। यह सुरक्षित है लेकिन संभावित लाभों को खो देता है।
क्रॉस-एन्ट्रॉपी (CE) लॉस: अपेक्षित रूप से सहसंबंध पद शून्य के करीब होता क्योंकि RL उच्च-पुरस्कार वाले नमूनों को अधिक महत्व देता है जबकि CE सभी नमूनों के साथ समान व्यवहार करता है। इसके परिणामस्वरूप, नकारात्मक द्वितीय-क्रम दंड हावी हो जाता है, जिससे प्रदर्शन में गिरावट आती है।
पॉलिसी लॉस (Policy Loss): MTP के लिए समान RL उद्देश्य का उपयोग करता है। शुरुआत में, ग्रेडिएंट संरेखित होते हैं, और सहसंबंध पद हावी रहता है, जिससे लाभ होता है। हालांकि, जैसे-जैसे प्रशिक्षण आगे बढ़ता है और मॉडल लॉस लैंडस्केप के सपाट क्षेत्रों में प्रवेश करता है, सहसंबंध घटता जाता है जबकि ग्रेडिएंट नॉर्म (और इस प्रकार दंड) बना रहता है। इससे "उदय-फिर-पतन" (rise-then-fall) वाला प्रदर्शन वक्र मिलता है जहाँ एक निश्चित गुणांक चरण परिवर्तन (phase transition) का पीछा नहीं कर सकता।

प्रस्तावित समाधान: अनुकूलतम गुणांक अंशांकन (Optimal Coefficient Calibration - OCC)

इस चरण परिवर्तन को संबोधित करने के लिए, लेखक अनुकूलतम गुणांक अंशांकन (OCC) का प्रस्ताव करते हैं, जो एक अनुकूलित योजना है जो ऑनलाइन आधार पर इष्टतम MTP गुणांक ( $\lambda$ ) को ट्रैक करती है।

क्लोज्ड-फॉर्म ऑप्टिमम: विश्लेषण प्रत्येक चरण पर इष्टतम $\lambda^*$ के लिए एक क्लोज्ड-फॉर्म अभिव्यक्ति प्रदान करता है, जो ग्रेडिएंट सहसंबंध ( $c$ ) और वर्ग ग्रेडिएंट नॉर्म ( $v^2$ ) के अनुपात के समानुपाती है।
लॉग-प्रोबेबिलिटी प्रॉक्सी: बड़े पैमाने के वितरित सिस्टम में $c$ $c$ और $v^2$ $v^{2}$ के लिए पूर्ण-मॉडल ग्रेडिएंट की गणना करना अत्यधिक महंगा है। OCC एक लॉग-प्रोबेबिलिटी प्रॉक्सी का उपयोग करता है जो छोटे-चरण अपडेट के तहत लॉग-प्रोबेबिलिटी में परिवर्तन ( $\delta \approx \log \pi_\theta - \log \pi_{old}$ $δ \approx lo g π_{θ} - lo g π_{o l d}$ ) से प्राप्त होता है।
- अलाइनमेंट प्रॉक्सी ( $\hat{c}_t$ ): इनर प्रोडक्ट का अनुमान लगाता है।
- वैरिएंस प्रॉक्सी ( $\hat{v}^2_t$ ): वर्ग नॉर्म का अनुमान लगाता है।
अनुकूली अपडेट (Adaptive Update): गुणांक को $\lambda_t = \lambda_+ \cdot \frac{\hat{c}_t}{\hat{v}^2_t + \epsilon}$ के रूप में अपडेट किया जाता है। यह OCC को MTP के भार को गतिशील रूप से समायोजित करने की अनुमति देता है, जिससे पूर्ण ग्रेडिएंट की गणना किए बिना पूरे प्रशिक्षण के दौरान सकारात्मक लाभ बनाए रखना संभव होता है।

मुख्य योगदान

सैद्धांतिक एकीकरण: शोध पत्र एक ऐसा सैद्धांतिक विश्लेषण प्रदान करता है जो डिटैच, क्रॉस-एन्ट्रॉपी और पॉलिसी लॉस व्यवस्थाओं को एकीकृत करता है, और प्रथम-क्रम सहसंबंध और द्वितीय-क्रम विक्षोभ के बीच परस्पर क्रिया के आधार पर उनकी सफलता या विफलता की व्याख्या करता है।
OCC एल्गोरिदम: यह अनुकूलतम गुणांक अंशांकन (OCC) का प्रस्ताव करता है, जो एक अनुकूलित प्रक्रिया है जो लॉग-प्रोबेबिलिटी प्रॉक्सी का उपयोग करके ऑनलाइन MTP गुणांक को कैलिब्रेट करती है। इस पद्धति के लिए नगण्य कंप्यूटेशनल ओवरहेड की आवश्यकता होती है और यह पूर्ण-मॉडल ग्रेडिएंट गणना से बचती है।
अनुभवजन्य सत्यापन: प्रतिस्पर्धा-स्तर के गणितीय तर्क बेंचमार्क पर कई मॉडलों (MiMo-7B, GLM-4.5-Air) और एल्गोरिदम (DAPO, GSPO) पर व्यापक प्रयोग। OCC लगातार डिटैच बेसलाइन से मेल खाता है या उससे बेहतर प्रदर्शन करता है।

प्रयोगात्मक परिणाम

लेखकों ने छह बेंचमार्क: AIME24, AIME25, AMC, MATH, Minerva, और OlympiadBench पर OCC का मूल्यांकन किया।

प्रदर्शन: सभी बेंचमार्क और मॉडल स्केल (7B डेंस और 106B MoE) में, OCC ने लगातार डिटैच बेसलाइन और फिक्स्ड-कोएफिशिएंट पॉलिसी लॉस को पछाड़ दिया।
- DAPO के साथ MiMo-7B पर, OCC ने 61.7% की औसत सटीकता प्राप्त की, जो डिटैच (58.9%) और पॉलिसी लॉस (57.4%) से अधिक है।
- GLM-4.5-Air पर, OCC ने डिटैच (65.9%) के मुकाबले 67.6% औसत सटीकता प्राप्त की।
प्रशिक्षण गतिशीलता (Training Dynamics): जबकि पॉलिसी लॉस ने "उदय-फिर-पतन" का रुझान दिखाया (बाद के चरणों में गिरावट), OCC ने पूरे प्रशिक्षण के दौरान स्थिर सुधार बनाए रखा। CE लॉस लगातार डिटैच से कम प्रदर्शन करता रहा।
दक्षता: OCC ने नगण्य ओवरहेड पेश किया। OCC के लिए प्रति चरण वॉल-क्लॉक ट्रेनिंग टाइम (8.07s) डिटैच (8.11s) के तुल्य था, जबकि पूर्ण-मॉडल बैकप्रोपैगेशन के लिए 45.06s (5.6× धीमा) की आवश्यकता थी।
एब्लेशन (Ablation): संवेदनशीलता विश्लेषण ने दिखाया कि पूर्व-निर्धारित स्केलिंग फैक्टर $\lambda_+$ विभिन्न मानों की एक श्रृंखला में मजबूत है, जिसमें $\lambda_+ = 1.0$ सर्वोत्तम औसत प्रदर्शन देता है।

महत्व और दावे

शोध पत्र का दावा है कि संयुक्त MTP-RL प्रशिक्षण की विफलता अंतर्निहित नहीं है, बल्कि यह स्थिर गुणांकों और प्रशिक्षण के दौरान ग्रेडिएंट अलाइनमेंट के गतिशील ड्रिफ्ट के बीच बेमेल (mismatch) के कारण है। ग्रेडिएंट लैंडस्केप के सैद्धांतिक अपघटन प्रदान करके और OCC का प्रस्ताव देकर, लेखक यह प्रदर्शित करते हैं कि MTP को पोस्ट-ट्रेनिंग में सुरक्षित रूप से पुनः पेश किया जा सकता है।

इसका महत्व यह है कि यह मॉडलों को RL के माध्यम से तर्क क्षमताएं प्राप्त करने और प्रदर्शन से समझौता किए बिना या अत्यधिक कंप्यूटेशनल लागत के बिना मल्टी-टोकन प्रतिनिधित्व का लाभ उठाने में सक्षम बनाता है। यह कार्य सुझाव देता है कि नॉन-कॉन्वेक्स डीप लर्निंग लैंडस्केप में संयुक्त प्रशिक्षण के लिए अनुकूलित अंशांकन (adaptive calibration) आवश्यक है, जो वर्तमान उद्योग मानक के एक सिद्धांत-आधारित विकल्प के रूप में कार्य करता है।

सीमाएँ

लेखक नोट करते हैं कि उनका सैद्धांतिक विश्लेषण $L$ -स्मूथनेस धारणाओं पर निर्भर करता है जो नॉन-कॉन्वेक्स लैंडस्केप में सटीक रूप से लागू नहीं हो सकती हैं, जो गुणात्मक (qualitative) के बजाय मात्रात्मक मार्गदर्शन प्रदान करता है। लॉग-प्रोबेबिलिटी प्रॉक्सी एक प्रथम-क्रम सन्निकटन (approximation) है जो बड़े लर्निंग रेट के तहत सटीकता खो सकता है। इसके अलावा, प्रयोग वेरिफिएबल रिवॉर्ड्स के साथ गणितीय तर्क पर केंद्रित हैं; क्या यह सीखे गए रिवॉर्ड मॉडल्स वाले RLHF या ओपन-एंडेड जनरेशन जैसे सेटिंग्स में सामान्यीकृत हो सकता है, इसकी पुष्टि किया जाना शेष है।