🤖 machine learning

Complementing reinforcement learning with SFT through logit averaging in the post training of LLMs

यह शोध पत्र बड़े भाषा मॉडलों के लिए एक नवीन पोस्ट-ट्रेनिंग पद्धति प्रस्तुत करता है जो एक फ्रोजन SFT संदर्भ नीति और एक प्रशिक्षण योग्य नीति के लॉजिट्स (logits) का औसत निकालकर ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) को बेहतर बनाती है, जिससे KL रेगुलराइजेशन या क्रिटिक की आवश्यकता समाप्त हो जाती है और प्रभावी रूप से RL की तर्क क्षमताओं को SFT की फॉर्मेटिंग स्थिरता के साथ जोड़ा जाता है।

मूल लेखक: Xingwei Gan, Ying Zhu

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xingwei Gan, Ying Zhu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र (paper) का स्पष्टीकरण दिया गया है।

बड़ी तस्वीर: दो शिक्षक, एक छात्र

कल्प Imagine कीजिए कि आप एक बड़े लैंग्वेज मॉडल (एक AI) को गणित की समस्याएं हल करने के लिए प्रशिक्षित कर रहे हैं। आपके पास इसे सिखाने के लिए दो अलग-अलग "शिक्षक" हैं:

फॉर्मेटिंग टीचर (SFT): यह शिक्षक AI को यह सिखाने में उत्कृष्ट है कि उत्तरों को सफाई से कैसे लिखा जाए, सही प्रतीकों का उपयोग कैसे किया जाए, और सख्त नियमों का पालन कैसे किया जाए (जैसे अंतिम उत्तर को बॉक्स में रखना)। हालाँकि, यह शिक्षक वास्तविक गणितीय तर्क (math logic) में गलतियाँ कर सकता है।
रीज़निंग टीचर (RL): यह शिक्षक गणित का जीनियस है जो जटिल समीकरणों को पूरी तरह से हल कर सकता है। लेकिन, यह शिक्षक अव्यवस्थित है; यह अक्सर उत्तर को बॉक्स करना भूल जाता है, चरणों को छोड़ देता है, या एक अजीब फॉर्मेट में लिखता है जो परीक्षा की आवश्यकताओं से मेल नहीं खाता।

समस्या:
पारंपरिक रूप से, जब आप इन दोनों को मिलाने की कोशिश करते हैं, तो आप "KL रेगुलराइजेशन" नामक विधि का उपयोग करते हैं। इसे एक रबर बैंड के रूप में सोचें जो रीज़निंग टीचर को फॉर्मेटिंग टीचर से बांध देता है। रबर बैंड रीज़निंग टीचर को फॉर्मेटिंग टीचर की शैली के करीब रहने के लिए मजबूर करता है।

चुनौती: यदि फॉर्मेटिंग टीचर गणित में गलती करता है, तो रबर बैंड रीज़निंग टीचर को भी उसी गलती की ओर खींच लेता है। AI "साफ-सुथरा" बनने की कोशिश में फंस जाता है लेकिन "स्मार्ट" होने में विफल रहता है।

नया समाधान: लॉजिट एवरेजिंग (Logit Averaging)
इस पेपर के लेखक इन दोनों शिक्षकों को मिलाने का एक नया तरीका प्रस्तावित करते हैं। उन्हें एक साथ बांधने के बजाय, वे एक मिश्रित आवाज (Blended Voice) बनाते हैं।

कल्पना कीजिए कि AI एक गाना गाने वाला समूह (choir) है। उन्हें पूर्ण सामंजस्य में रहने के लिए मजबूर करने के बजाय (जो उनकी क्षमता को सीमित करता है), नया तरीका उनकी आवाजों को गाने से पहले मिला देता है।

यदि फॉर्मेटिंग टीचर कहता है, "उत्तर को बॉक्स करें," और रीज़निंग टीचर कहता है, "उत्तर 5 है," तो मिश्रित आवाज कहती है, "उत्तर को बॉक्स करें: 5।"
यदि फॉर्मेटिंग टीचर गणित में गलती करता है (यह कहते हुए कि उत्तर 6 है), लेकिन रीज़निंग टीचर जानता है कि यह 5 है, तो मिश्रित आवाज फॉर्मेटिंग टीचर के "बॉक्स करने" के निर्देश को बनाए रखते हुए रीज़निंग टीचर के गणित पर भारी झुकाव रखेगी।

यह कैसे काम करता है (लॉजिट का जादू)

AI के संदर्भ में, मॉडल की "आवाज" लॉजिट्स (logits) नामक संख्याओं से बनी होती है (जो यह दर्शाती है कि मॉडल के लिए किसी विशिष्ट शब्द या संख्या को चुनना कितना संभावित है)।

मिश्रण (The Mix): शोधकर्ता फॉर्मेटिंग टीचर और रीज़निंग टीचर से प्राप्त संख्याओं को गणितीय रूप से औसत (average) निकालते हैं।
परिणाम: यह एक नया, अस्थायी "मिश्रित पॉलिसी" (Blended Policy) बनाता है।
प्रशिक्षण (The Training): AI इस मिश्रित पॉलिसी पर अभ्यास करके सीखता है। उसे इनाम (पॉइंट्स) तब मिलता है जब अंतिम उत्तर सही होता है।
- क्योंकि फॉर्मेटिंग टीचर मिश्रण का हिस्सा है, इसलिए AI कभी यह नहीं भूलता कि सफाई से कैसे लिखना है।
- क्योंकि रीज़निंग टीचर मिश्रण का हिस्सा है, इसलिए AI फॉर्मेटिंग टीचर की गणितीय त्रुटियों को सुधारने के लिए स्वतंत्र है।

यह बेहतर क्यों है (प्रोडक्ट ऑफ एक्सपर्ट्स)

यह पेपर "प्रोडक्ट ऑफ एक्सपर्ट्स" की अवधारणा का उपयोग करता है। इसे एक समिति के निर्णय की तरह समझें:

यदि विशेषज्ञ A (फॉर्मेटिंग) शैली के बारे में आश्वस्त है, और विशेषज्ञ B (रीज़निंग) गणित के बारे में आश्वस्त है, तो अंतिम निर्णय दोनों पर मजबूत होता है।
यदि विशेषज्ञ A गणित के बारे में गलत है, तो विशेषज्ञ B का आत्मविश्वास उसे ओवरराइड कर देता है, लेकिन विशेषज्ञ A का शैली पर आत्मविश्वास बना रहता है।

पेपर ने पाया कि यह "मिश्रित आवाज" दृष्टिकोण पारंपरिक "रबर बैंड" विधि की तुलना में बेहतर काम करता है। AI ने गणित की समस्याओं को सही ढंग से हल करना सीखा और अपने साफ-सुथरे फॉर्मेट को भी बनाए रखा, जबकि पुरानी विधि में अक्सर AI या तो फॉर्मेटिंग भूल जाता था या फॉर्मेटिंग टीचर की गणितीय गलतियों में फंस जाता था।

प्रयोग (The Experiments)

शोधकर्ताओं ने तीन अलग-अलग "परीक्षाओं" (डेटासेट्स) पर इसका परीक्षण किया:

MATH: कठिन गणित की समस्याएं।
cn-k12: चीनी मिडिल/हाई स्कूल का गणित।
MMLU: सामान्य ज्ञान और तर्क।

उन्होंने AI मॉडल के तीन अलग-अलग आकारों (छोटे, मध्यम और बड़े) पर भी परीक्षण किया।

परिणाम:

लगभग हर मामले में, नया "मिश्रित आवाज" विधि पारंपरिक विधि की तुलना में उच्च स्कोर प्राप्त करती है।
यह एक विशिष्ट समस्या को ठीक करने में विशेष रूप से अच्छा था: पारंपरिक विधि अक्सर कठिन गणित सीखते समय AI को उत्तरों को फॉर्मेट करने के तरीके को "भुलने" के लिए मजबूर कर देती थी। नया तरीका गणित कौशल में सुधार करते हुए फॉर्मेटिंग कौशल को बरकरार रखता है।

पेपर से एक ठोस उदाहरण

पेपर एक ज्यामिति (geometry) की समस्या का विशिष्ट उदाहरण देता है:

फॉर्मेटिंग टीचर (SFT): समीकरण को सही ढंग से सेट करता है लेकिन गणित में गलती करता है, निष्कर्ष निकालता है कि त्रिज्या (radius) 6 है। वह उत्तर को सफाई से बॉक्स करता है।
रीज़निंग टीचर (RL): गणित की सही गणना करता है, त्रिज्या 5 पाता है, लेकिन बॉक्स करना या अंतिम फॉर्मेट में लिखना भूल जाता है।
मिश्रित आवाज (Blended Voice): यह रीज़निंग टीचर से सही गणित (5) और फॉर्मेटिंग टीचर से बॉक्स करने का निर्देश लेता है। अंतिम आउटपुट एक सफाई से बॉक्स किया गया 5 होता है।

सारांश

यह पेपर AI मॉडल को प्रशिक्षित करने का एक तरीका पेश करता है जो एक सख्त पदानुक्रम के बजाय एक सहयोगात्मक टीम की तरह कार्य करता है। एक साफ-सुथरे लेकिन अव्यवस्थित शिक्षक और एक स्मार्ट लेकिन अव्यवस्थित शिक्षक के "विचारों" (लॉजिट्स) को गणितीय रूप से औसत करके, AI स्मार्ट और साफ-सुथरा दोनों होना सीखता है, जिससे एक को दूसरे का सख्ती से पालन करने के दबाव से होने वाले नुकसान से बचा जा सके।

तकनीकी सारांश: लॉजिट एवरेजिंग के माध्यम से रिइन्फोर्समेंट लर्निंग को SFT के साथ पूरक बनाना

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) का पोस्ट-ट्रेनिंग आमतौर पर दो प्रतिमानों (paradigms) पर निर्भर करता है: सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) और सत्यापन योग्य पुरस्कारों (verifiable rewards) के साथ रिइन्फोर्समेंट लर्निंग (RLVR)। जहाँ SFT फॉर्मेटिंग और स्टाइल सीखने के लिए सघन प्रति-टोकन पर्यवेक्षण (dense per-token supervision) प्रदान करता है, वहीं यह ट्रेनिंग प्रदर्शनों (demonstrations) के वितरण तक सीमित है। इसके विपरीत, PPO और GRPO जैसे RL तरीके इन वितरण संबंधी सीमाओं को पार कर सकते हैं, लेकिन वे विरल (sparse) और शोर वाले रिवॉर्ड सिग्नल से प्रभावित होते हैं।

मानक दृष्टिकोण इन दोनों को क्रमिक रूप से जोड़ता है: पहले SFT लागू किया जाता है, जिसके बाद KL रेगुलराइजेशन टर्म, $\beta \text{KL}(\pi_\theta \| \pi_{\text{sft}})$ के साथ RL किया जाता है, ताकि ट्रेन होने वाली पॉलिसी $\pi_\theta$ को SFT रेफरेंस $\pi_{\text{sft}}$ के साथ बांधा जा सके। लेखक इस "KL-एंकरड" रेसिपी में एक मौलिक तनाव की पहचान करते हैं: KL पेनल्टी $\pi_\theta$ को $\pi_{\text{sft}}$ की ओर खींचती है, जो पॉलिसी को SFT चेकपॉइंट की सीमाओं (जैसे, बीजगणितीय त्रुटियां, पुनरावृत्ति लूप) तक सीमित कर सकती है और RL के दौरान विकसित होने वाली रीजनिंग क्षमताओं का पूर्ण लाभ उठाने से रोक सकती है। अभ्यासी अक्सर इसे एक छोटा $\beta$ चुनकर कम करने का प्रयास करते हैं, लेकिन लेखक रेगुलराइजेशन के स्थान पर एक संरचनात्मक विकल्प प्रस्तावित करते हैं।

2. कार्यप्रणाली (Methodology)

यह पेपर एक ऐसी विधि पेश करता है जो KL रेगुलराइजेशन को लॉजिट एवरेजिंग (logit averaging) से बदल देती है। विचलन (divergence) को दंडित करने के बजाय, ट्रेन होने वाली पॉलिसी $\pi_\theta$ और एक फ्रोजन रेफरेंस पॉलिसी $\pi_{\text{ref}}$ (जैसे, SFT) को एक मिश्रित पॉलिसी $\pi^{\text{mix}}_{\theta, \alpha}$ बनाने के लिए उनके लॉजिट्स को औसत (average) करके जोड़ा जाता है।

मुख्य तंत्र (Core Mechanism):
एक वेट $\alpha \in [0, 1]$ और स्टेट $s$ के दिए जाने पर, मिश्रित लॉजिट्स $z^{\text{mix}}_{\theta, \alpha}(s)$ को इस प्रकार परिभाषित किया गया है:
$z^{\text{mix}}_{\theta, \alpha}(s) = (1 - \alpha) z_\theta(s) + \alpha z_{\text{ref}}(s)$
इसके बाद मिश्रित पॉलिसी $\pi^{\text{mix}}_{\theta, \alpha}(a | s) = \text{softmax}(z^{\text{mix}}_{\theta, \alpha}(s))$ होती है।

ट्रेनिंग ऑब्जेक्टिव (Training Objective):
लेखक इस मिश्रित पॉलिसी के लिए GRPO ऑब्जेक्टिव को अनुकूलित करते हैं:

रोलआउट्स (Rollouts): शुद्ध ट्रेन होने वाली पॉलिसी $\pi_\theta$ के बजाय मिश्रित पॉलिसी $\pi^{\text{mix}}_{\theta, \alpha}$ से ट्राजेक्टरीज सैंपल की जाती हैं।
एडवांटेज एस्टीमेशन (Advantage Estimation): इन मिश्रित रोलआउट्स से प्राप्त रिवॉर्ड्स के आधार पर ग्रुप-रिलेटिव एडवांसेज की गणना की जाती है।
ऑप्टिमाइजेशन (Optimization): $\theta$ के ट्रेन होने वाले पैरामीटर्स को मिश्रित पॉलिसी के तहत रिवॉर्ड को अधिकतम करने के लिए अपडेट किया जाता है। रेफरेंस लॉजिट्स $z_{\text{ref}}$ पूरी ट्रेनिंग के दौरान फ्रोजन रहते हैं।
वेटिंग स्कीम्स (Weighting Schemes):
1. फिक्स्ड वेट्स (Fixed Weights): $\alpha$ को पूरी ट्रेनिंग के दौरान स्थिर (जैसे, $\alpha=0.5$ ) रखा जाता है।
2. एडेप्टिव वेट्स (Adaptive Weights): $\alpha$ को एक होल्ड-आउट वैलिडेशन सेट के आधार पर गतिशील रूप से अपडेट किया जाता है। अपडेट नियम एक "नेट-गेन" मेट्रिक का उपयोग करता है जो शुद्ध पॉलिसी बनाम मिश्रित पॉलिसी की शुद्धता की तुलना करता है, जिससे $\alpha$ को 1 की ओर धकेला जाता है यदि मिक्सिंग से शुद्ध लाभ होता है, और अन्यथा 0 की ओर।

RLVR के साथ तुलना:
क्रिटिक और KL रेगुलराइजेशन का उपयोग करने वाले मानक RLVR तरीकों (PPO, GRPO, DAPO) के विपरीत, इस दृष्टिकोण में कोई KL टर्म या क्रिटिक नहीं है। रेफरेंस पॉलिसी लॉजिट एवरेजिंग के माध्यम से एक्सप्लोरेशन में भाग लेती है, और लॉस फंक्शन में इम्पोर्टेंस रेश्यो वर्तमान और पुराने मिश्रित पॉलिसियों के बीच की गणना की जाती है।

3. मुख्य योगदान और निष्कर्ष (Key Contributions and Findings)

पूरक कौशल (Complementary Skills - Pattern 1 & 2):
MATH, cn-k12, और MMLU डेटासेट्स पर अनुभवजन्य विश्लेषण (Empirical analysis) से पता चलता है कि SFT और RL-ट्रेन्ड पॉलिसी के पास पूरक कौशल हैं:

SFT फॉर्मेटिंग (आउटपुट टेम्पलेट्स का पालन करने) में उत्कृष्ट है लेकिन जटिल रीजनिंग में विफल हो सकता है।
RL पॉलिसी ( $\pi_\theta$ ) रीजनिंग (सही संख्यात्मक उत्तर प्राप्त करने) में उत्कृष्ट है लेकिन अक्सर फॉर्मेटिंग अनुशासन खो देती है।
पूरकता (Complementarity): समस्याओं का एक महत्वपूर्ण हिस्सा (22%–38%) ठीक एक ही पॉलिसी द्वारा सही ढंग से हल किया जाता है। लॉजिट एवरेजिंग एक "प्रोडक्ट ऑफ एक्सपर्ट्स" (Product of Experts) के रूप में कार्य करती है, जो SFT की फॉर्मेटिंग स्ट्रेंथ को RL पॉलिसी की रीजनिंग स्ट्रेंथ के साथ जोड़ती है।

प्रदर्शन परिणाम (Performance Results):
Qwen2.5-Instruct मॉडल्स (1.5B, 3B, 7B) को तीन डेटासेट्स पर मूल्यांकित किया गया:

सटीकता (Accuracy): लॉजिट एवरेजिंग विधि सभी नौ (डेटासेट $\times$ मॉडल साइज) कॉन्फ़िगरेशन में कैनोनिकल KL-रेगुलराइज्ड GRPO के सापेक्ष उच्च या तुलनीय उत्तर सटीकता प्राप्त करती है।
एब्लेशन (Ablation): SFT एंकर को बेस इंस्ट्रक्ट मॉडल से बदलने पर प्रदर्शन में काफी कमी आती है, जो पुष्टि करता है कि लाभ फॉर्मेट-अवेयर रेफरेंस के साथ मिक्सिंग से आता है।
लॉजिट बनाम प्रोबेबिलिटी एवरेजिंग: लॉजिट एवरेजिंग (डिस्ट्रीब्यूशन का ज्योमेट्रिक मीन) प्रोबेबिलिटी एवरेजिंग (डिस्ट्रीब्यूशन का अरिथमेटिक मीन) से बेहतर प्रदर्शन करती है। लॉजिट एवरेजिंग छोटे मिक्सिंग वेट्स के साथ उच्च सॉल्व रेट प्राप्त करती है और $\alpha=0.5$ पर पीक करती है, जबकि प्रोबेबिलिटी एवरेजिंग के लिए उच्च वेट्स की आवश्यकता होती है और यह $\alpha=0.6$ पर पीक करती है।

सैद्धांतिक संबंध (Theoretical Connection):
पेपर यह स्थापित करता है कि लॉजिट एवरेजिंग गणितीय रूप से एक प्रोडक्ट ऑफ एक्सपर्ट्स (POE) के समान है। परिणामी पॉलिसी RL और रेफरेंस पॉलिसियों के भारित KL डाइवर्जेंस के योग को कम करती है। यह संरचना पॉलिसी को उन टोकन्स पर संभाव्यता केंद्रित करने की अनुमति देती है जिन्हें दोनों एक्सपर्ट्स द्वारा पसंद किया जाता है, जिससे प्रभावी रूप से SFT की बीजगणितीय त्रुटियों को ठीक करते हुए उसके फॉर्मेटिंग बाधाओं को बनाए रखा जाता है।

4. महत्व और दावे (Significance and Claims)

लेखक दावा करते हैं कि यह विधि "फॉर्मेटिंग एंकर" को "ग्रेडिएंट कंस्ट्रेंट" से अलग करके मानक KL-रेगुलराइजेशन वाले रेसिपी की तुलना में एक विशिष्ट लाभ प्रदान करती है।

सीमाओं को पार करना: जबकि KL रेगुलराइजेशन $\pi_\theta$ को $\pi_{\text{sft}}$ के करीब रहने के लिए मजबूर करता है (संभावित रूप से इसकी रीजनिंग खामियों को विरासत में लेना), लॉजिट एवरेजिंग $\pi_\theta$ को मिश्रित पॉलिसी के संरचनात्मक जुड़ाव के माध्यम से फॉर्मेटिंग लाभों को बनाए रखते हुए $\pi_{\text{sft}}$ की सीमाओं को पार करने की अनुमति देती है।
इम्प्लिसिट ट्रस्ट रीजन (Implicit Trust Region): मिक्सिंग एक इमप्लिसिट ट्रस्ट रीजन के रूप में कार्य करती है, जो बड़े पैमाने पर शुद्ध RL के कारण होने वाले फॉर्मेटिंग स्टाइल्स से वितरण विचलन (distributional drift) को रोकती है।
डेंस प्रायर्स (Dense Priors): RL के विपरीत, जो केवल अंतिम रिवॉर्ड टोकन से सिग्नल प्रसारित करता है, लॉजिट एवरेजिंग हर डिकोडिंग स्टेप पर SFT एंकर से एक सघन (dense), टोकन-लेवल प्रायर शामिल करती है।
स्केलेबिलिटी (Scalability): यह दृष्टिकोण स्मॉल लैंग्वेज मॉडल्स (SLMs) के एन्सेम्बल्स तक स्वाभाविक रूप से विस्तारित होता है, जिससे एक सिस्टम को एक विशाल सिंगल पॉलिसी को प्रशिक्षित करने की लागत के बिना विशेषज्ञ मॉडल्स (जैसे, कोड, सुरक्षा, या डोमेन शब्दावली के लिए) का लाभ उठाने की अनुमति मिलती है।

पेपर निष्कर्ष निकालता है कि लॉजिट एवरेजिंग KL रेगुलराइजेशन के एक मजबूत विकल्प के रूप में कार्य करती है, जो फॉर्मेटिंग गुणवत्ता से समझौता किए बिना रीजनिंग सटीकता में सुधार करने के लिए SFT और RL के बीच की पूरकता का सफलतापूर्वक लाभ उठाती है।