🤖 machine learning

GAC: Noise-Aware Adaptive Mixing for Hybrid SFT-RL Post-Training

यह शोधपत्र GAC का प्रस्ताव करता है, जो एक शोर-जागरूक अनुकूलन मिश्रण नियंत्रक (noise-aware adaptive mixing controller) है, जो ग्रेडिएंट विचरण (gradient variance) और सिग्नल असहमति (signal disagreement) के वास्तविक समय के अनुमानों के आधार पर सुपरवाइज्ड फाइन-ट्यूनिंग और सुदृढीकरण शिक्षण (reinforcement learning) के बीच संतुलन को गतिशील रूप से समायोजित करता है, जिससे न्यूनतम ओवरहेड के साथ विभिन्न डोमेन में हाइब्रिड पोस्ट-ट्रेनिंग प्रदर्शन में सुधार होता है।

मूल लेखक: Yuelin Hu, Zhenbo Yu, Zhengxue Cheng, Wei Liu, Li Song

प्रकाशित 2026-05-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuelin Hu, Zhenbo Yu, Zhengxue Cheng, Wei Liu, Li Song

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट सहायक (एक लार्ज लैंग्वेज मॉडल) को मददगार, ईमानदार और समस्याओं को हल करने में कुशल बनाने के लिए प्रशिक्षित कर रहे हैं। इसे करने के लिए, आप आमतौर पर इसे दो अलग-अलग तरीकों से सिखाते हैं:

"पाठ्यपुस्तक" विधि (SFT): आप इसे सवालों के जवाब देने के हजारों आदर्श उदाहरण दिखाते हैं। यह एक छात्र द्वारा पाठ्यपुस्तक रटने जैसा है। यह सुरक्षित और स्थिर है, लेकिन रोबोट खुद सोचना सीखने के बजाय केवल किताब की नकल करना शुरू कर सकता है।
"प्रयास और त्रुटि" विधि (RL): आप रोबोट को खुद समस्याओं को हल करने देते हैं और जब वह सही करता है तो उसे एक "गोल्ड स्टार" (पुरस्कार) देते हैं। यह उसे रचनात्मक होने और नए समाधान खोजने में मदद करता है, लेकिन यह जोखिम भरा है। रोबोट भ्रमित हो सकता है, बेतरतीब ढंग से अनुमान लगाना शुरू कर सकता है, या अधिक गोल्ड स्टार पाने के लिए सिस्टम को "धोखा" देने की कोशिश कर सकता है।

समस्या:
आमतौर पर, शोधकर्ता इन दोनों तरीकों को एक निश्चित रेसिपी (नियम) का उपयोग करके मिलाते हैं। वे कह सकते हैं, "पहले 100 दिनों के लिए, 50% पाठ्यपुस्तक और 50% प्रयास-और-त्रुटि का उपयोग करें।" यह तर्क देता है कि यह एक कार चलाने जैसा है जिसका क्रूज कंट्रोल एक ही गति पर अटक गया है। कभी-कभी सड़क चिकनी होती है (पाठ्यपुस्तक अच्छी तरह काम कर रही होती है), और कभी-कभी रास्ता बर्फीला होता है (प्रयास-और-त्रुटि शोर भरा और अराजक होता है)। एक निश्चित रेसिपी इन बदलावों के अनुकूल नहीं हो सकती है, जिससे रोबोट या तो किताब की नकल करने में फंस सकता है या भ्रम की दीवार से टकरा सकता है।

समाधान: GAC (एक "स्मार्ट को-पायलट")
लेखकों ने एक नया सिस्टम बनाया है जिसे GAC (गाइडेड एडेप्टिव कंट्रोलर) कहा जाता है। इसे एक स्मार्ट को-पायलट के रूप में समझें जो रोबोट शिक्षक के बगल में बैठा है। एक निश्चित रेसिपी के बजाय, यह को-पायलट लगातार कक्षा में "शोर" या "अराजकता" की जांच करता है।

यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. शोर को सुनना (एक "स्टैटिक" मीटर)

कल्पना कीजिए कि आप एक रेडियो स्टेशन सुनने की कोशिश कर रहे हैं।

SFT (पाठ्यपुस्तक) एक स्पष्ट, मजबूत सिग्नल की तरह है।
RL (प्रयास और त्रुटि) बहुत अधिक स्टैटिक (शोर) और हस्तक्षेप वाले स्टेशन की तरह है।

GAC के पास एक विशेष मीटर है जो किसी भी समय प्रयास-और-त्रुटि विधि से आने वाले "स्टैटिक" (शोर) को मापता है।

यदि स्टैटिक कम है: को-पायलट कहता है, "ठीक है, चलो रोबोट को नए करतब सीखने के लिए अधिक प्रयास-और-त्रुटि करने देते हैं!"
यदि स्टैटिक अधिक है: को-पायलट कहता, "ओह, बहुत अधिक अराजकता! चलो वापस पाठ्यपुस्तक पर चलते हैं ताकि रोबोट को जमीन से जुड़ा रखा जा सके।"

2. "मिक्सिंग नॉब" (अनुकूली भारण)

पेपर एक गणितीय सूत्र (समीकरण 3) पेश करता है जो एक स्मार्ट मिक्सिंग नॉब की तरह काम करता है।

पुराने तरीके केवल एक टाइमर के आधार पर नॉब घुमाते थे (जैसे, "1 घंटे के बाद इसे कम करें")।
GAC नॉब को वास्तव में अभी क्या हो रहा है उसके आधार पर घुमाता है। यदि रोबط पुरस्कारों से भ्रमित हो रहा है, तो नॉब स्वचालित रूप से "पाठ्यपुस्तक" की आवाज़ बढ़ा देता है ताकि उसे शांत किया जा सके। यदि रोबोट बहुत अच्छा कर रहा है, तो नॉब "प्रयास-और-त्रुटि" की आवाज़ बढ़ा देता है ताकि वह अन्वेषण कर सके।

3. "शॉक एब्जॉर्बर" (स्थिरता)

पेपर नोट करता है कि यदि आप केवल शोर में हर छोटे बदलाव पर तुरंत प्रतिक्रिया करते हैं, तो रोबोट को 'व्हिपलैश' (झटका) लग सकता है (बहुत तेज़ी से आगे-पीछे बदलना)। इसलिए, GAC शॉक एब्जॉर्बर जोड़ता है:

स्मूथिंग (सुगमता): यह अचानक उछाल नहीं बनाता; यह समय के साथ नॉब के बदलावों को सहजता से चलाता है।
स्पीड लिमिट (गति सीमा): यह नॉब के घूमने की गति पर एक सीमा लगाता है, जिससे यह रोका जा सके कि यदि शोर एक सेकंड के लिए बढ़ जाता है तो रोबोट घबरा न जाए।
एक सुरक्षा जाल: यह एक "बैकअप प्लान" (एक शेड्यूल) रखता है ताकि यदि शोर मीटर भ्रमित हो जाए, तो भी रोबोट कभी खो न जाए।

जब उन्होंने इसे आज़माया तो क्या हुआ?

शोधकर्ताओं ने विभिन्न आकार के रोबोटों (1.5B से 14B मॉडल तक) और गणित, कोडिंग और विज्ञान जैसे कठिन कार्यों पर इसका परीक्षण किया।

बेहतर स्कोर: GAC के साथ प्रशिक्षित रोबोटों ने गणित और तर्क परीक्षणों पर काफी उच्च स्कोर प्राप्त किए (पिछले सर्वोत्तम तरीकों से लगभग 3-4% बेहतर)।
कम भ्रम: रोबोट पुरस्कारों के कारण "नशे में" नहीं हुए। उन्होंने अधिक गोल्ड स्टार पाने के लिए अविश्वसनीय रूप से लंबे, निरर्थक उत्तर लिखना शुरू नहीं किया (एक समस्या जिसे "रिवॉर्ड हैकिंग" कहा जाता है)।
सुचारू यात्रा: प्रशिक्षण प्रक्रिया बहुत अधिक स्थिर थी। सिस्टम में "शोर" लगभग 30% कम हो गया, जिसका अर्थ है कि रोबोट बिना क्रैश हुए अधिक कुशलता से सीख सका।
सस्ता संचालन: सबसे अच्छी बात? इस स्मार्ट को-पायलट को चलाने की लागत लगभग कुछ भी नहीं है (1% से कम अतिरिक्त कंप्यूटर समय)। यह उस डेटा का उपयोग करता है जो रोबोट पहले से ही बना रहा है, इसलिए इसे अतिरिक्त काम की आवश्यकता नहीं है।

निचोड़

पेपर का दावा है कि एक ऐसा सिस्टम बनाकर जो शोर को सुनता है और वास्तविक समय में "उदाहरणों को याद करने" और "पुरस्कारों से सीखने" के बीच के मिश्रण को समायोजित करता है, हम स्मार्ट, अधिक स्थिर AI सहायक प्रशिक्षित कर सकते हैं। यह एक टूटे हुए क्रूज कंट्रोल वाली कार चलाने और एक कुशल ड्राइवर के बीच का अंतर है जो जानता है कि सड़क की स्थिति के आधार पर कब गति बढ़ानी है और कब ब्रेक लगाना है।

तकनीकी सारांश: GAC – हाइब्रिड SFT-RL पोस्ट-ट्रेनिंग के लिए नॉइज़-अवेयर एडेप्टिव मिक्सिंग

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को आमतौर पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) और रीइन्फोर्समेंट लर्निंग (RL) को संयोजित करने वाले एक हाइब्रिड प्रतिमान (paradigm) का उपयोग करके पोस्ट-ट्रेन किया जाता है। SFT विशेषज्ञ प्रदर्शनों (expert demonstrations) का उपयोग करके मॉडल आउटपुट के प्रारूप को स्थिर करता है, जबकि RL ऑन-पॉलिसी रोलआउट्स के माध्यम से रिवॉर्ड-सीकिंग व्यवहार में सुधार करता है। हालाँकि, ये उद्देश्य एक-दूसरे के क्षरण (mutual degradation) के बिना पूरी तरह से अलग नहीं किए जा सकते (Niu et al., 2026)।

वर्तमान हाइब्रिड विधियाँ अक्सर SFT और RL ग्रेडिएंट्स को संतुलित करने के लिए फिक्स्ड मिक्सिंग शेड्यूल्स या ह्यूरिस्टिक नियमों पर निर्भर करती हैं। ये स्थिर दृष्टिकोण विफल हो जाते हैं जब प्रशिक्षण के दौरान दोनों संकेतों का सापेक्ष शोर (relative noise) विकसित होता है। विशेष रूप से, वे निम्नलिखित को ध्यान में रखने में असमर्थ हैं:

इवॉल्विंग पॉलिसी ड्रिफ्ट (Evolving policy drift): समय के साथ मॉडल के वितरण (distribution) में परिवर्तन।
रिवॉर्ड नॉइज़ (Reward noise): RL एडवांटेज अनुमानों में परिवर्तनशीलता।
ग्रेडिएंट डिसएग्रीमेंट (Gradient disagreement): SFT और RL उद्देश्यों के बीच संघर्ष।

अडैप्टेबिलिटी की यह कमी एंट्रॉपी कोलैप्स (entropy collapse), लेट-स्टेज ओवर-इमिटेशन, या रिवॉर्ड हैकिंगिंग को प्रेरित कर सकती है। जबकि हाल के कार्यों (जैसे CHORD, SRFT, HPT) ने डायनेमिक वेटिंग या कॉन्फ्लिक्ट-अवेयर कपलिंग पेश की है, लेकिन उनमें से कोई भी इष्टतम मिक्सिंग वेट प्राप्त करने के लिए ग्रेडिएंट नॉइज़ वेरिएंस और SFT-RL डिसएग्रीमेंट दोनों को एक साथ स्पष्ट रूप से मॉडल नहीं करता है।

2. कार्यप्रणाली: GAC (गाइडेड एडेप्टिव कंट्रोलर)

प्रस्तावित विधि, GAC, मिक्सिंग समस्या को एक नॉइज़-अवेयर कंट्रोल टास्क के रूप में पुनर्गठित करती है। इसमें एक सैद्धांतिक क्लोज्ड-फॉर्म एस्टिमेटर और एक व्यावहारिक गाइडेड कंट्रोलर शामिल है।

2.1 सैद्धांतिक आधार: क्लोज्ड-फॉर्म $\mu^*$

मुख्य योगदान एक लक्षित ग्रेडिएंट के बीच मीन स्क्वेर्ड एरर (MSE) को कम करके एक इष्टतम मिक्सिंग वेट $\mu^*$ का व्युत्पन्न (derivation) है।

मान्यताएँ (Assumptions): मान लीजिए कि $\hat{g}_s$ और $\hat{g}_r$ , SFT और RL के लिए ग्रेडिएंट एस्टिमेटर्स हैं, जो नॉइज़-फ्री ग्रेडिएंट्स ( $g^*_s, g^*_r$ ) और जीरो-मीन नॉइज़ ( $\varepsilon_s, \varepsilon_r$ ) के साथ ประกอบ हैं, जिनका वेरिएंस क्रमशः $\sigma^2_s$ और $\sigma^2_r$ है।
उद्देश्य: $E(\mu) = E[\|\mu\hat{g}_s + (1-\mu)\hat{g}_r - g^*\|^2]$ को कम करना, जहाँ $g^*$ एक वांछित ट्रेड-ऑफ अनुपात $\alpha_{tgt}$ द्वारा परिभाषित एक लक्षित ग्रेडिएंट है।
परिणाम: इंडिपेंडेंस मान्यताओं के तहत, अद्वितीय मिनिमाइज़र है:
$\mu^* = \frac{\alpha_{tgt} \Delta g^2 + \sigma^2_r}{\Delta g^2 + \sigma^2_s + \sigma^2_r}$
जहाँ $\Delta g^2 = \|g^*_s - g^*_r\|^2$ ग्रेडिएंट डिसएग्रीमेंट को दर्शाता है।
व्याख्या: यह फॉर्मूला बायस-वेरिएंस ट्रेड-ऑफ को दर्शाता है। जब डिसएग्रीमेंट ( $\Delta g^2$ ) कम होता है, तो वेट इनवर्स-वेरिएंस वेटिंग की ओर बढ़ता है। जब डिसएग्रीमेंट अधिक होता है, तो वेट उपयोगकर्ता द्वारा निर्दिष्ट प्राथमिकता $\alpha_{tgt}$ पर डिफ़ॉल्ट हो जाता है।

2.2 व्यावहारिक कार्यान्वयन: प्रॉक्सी सिग्नल्स और ऑनलाइन एस्टिमेशन

चूंकि वास्तविक ग्रेडिएंट सांख्यिकी (statistics) को हर स्टेप पर कंप्यूट करना महंगा है, इसलिए GAC मौजूदा ट्रेनिंग टेंसरों से ऑनलाइन अनुमानित होने वाले कंप्यूटेशनल रूप से सुलभ प्रॉक्सी सिग्नल्स का उपयोग करता है:

RL अनिश्चितता ( $\sigma^2_r$ ): सीक्वेंस-लेवल एडवांटेज डिस्पर्शन के माध्यम से अनुमानित।
SFT अनिश्चितता ( $\sigma^2_s$ ): लेंथ-नॉर्मलाइज्ड, ट्रिम्ड नेगेटिव लॉग-लाइक्लीहुड (NLL) वेरिएंस के माध्यम से अनुमानित।
डिसएग्रीमेंट प्रॉक्सी ( $\Delta \tilde{g}^2$ ): RL और SFT ग्रेडिएंट्स के बीच z-नॉर्मलाइज्ड कोएफिशिएंट अंतर के वेरिएंस के माध्यम से अनुमानित।

इन प्रॉक्सी को वास्तविक ग्रेडिएंट सांख्यिकी के साथ उच्च पियर्सन कोरिलेशन ( $r \approx 0.76\text{--}0.84$ ) के लिए सत्यापित किया गया है।

2.3 स्टेबिलिटी-मोटिवेटेड डिज़ाइन गाइडलाइन्स

अचानक बदलावों को रोकने और प्रशिक्षण स्थिरता सुनिश्चित करने के लिए, रॉ एस्टिमेटर $\mu^*$ को तीन गार्ड वाले चरणों के साथ एक गाइडेड एडेप्टिव कंट्रोलर के माध्यम से प्रोसेस किया जाता है:

EMA स्मूथिंग: $\mu_{ada} = \beta \mu_{t-1} + (1-\beta)\mu^*$ ताकि हाई-फ्रीक्वेंसी नॉइज़ को कम किया जा सके।
शेड्यूल प्रायर ब्लेंडिंग: $\mu_{blend} = (1-\lambda)\mu_{prior} + \lambda \mu_{ada}$ , जहाँ $\mu_{prior}$ एक वार्मअप/कोसाइन शेड्यूल है, जो यह सुनिश्चित करता है कि कंट्रोलर एक उचित बेसलाइन से बहुत दूर न जाए।
कैप्ड अपडेट्स: स्टेबिलाइजिंग जम्प्स को रोकने के लिए स्टेप चेंज $\delta_t$ को एक छोटे बाउंड $\bar{c}$ (जैसे, 0.01) तक क्लिप किया जाता है।

इसके अतिरिक्त, पॉलिसी ड्रिफ्ट को रोकने के लिए KL-कंट्रोल्ड हिस्टेरेसिस नियम का उपयोग करके $\alpha_{tgt}$ को डायनेमिक रूप से $\alpha_{ctrl}$ में समायोजित किया जाता है।

3. मुख्य योगदान (Key Contributions)

नॉइज़-अवेयर मिक्सिंग कंट्रोलर (C1): MSE मिनिमाइजेशन से व्युत्पन्न इष्टतम मिक्सिंग वेट के लिए एक क्लोज्ड-फॉर्म समाधान, जो ग्रेडिएंट नॉइज़ वेरिएंस और ऑब्जेक्टिव डिसएग्रीमेंट को संतुलित करता है। इसे z-नॉर्मलाइज्ड प्रॉक्सी द्वारा इंस्टैंशिएट किया गया है और स्थिरता-गारंटी वाले कंट्रोलर में लपेटा गया है जिसमें <1% कंप्यूटेशनल ओवरहेड है।
टोकन-वाइज़ रीवेटिंग इंटीग्रेशन (C2): सिस्टम CHORD (Zhang et al., 2025) से टोकन-वाइज़ रीवेटिंग फंक्शन $\phi(p) = p(1-p)$ को अपनाता है। लेखक प्रदर्शित करते हैं कि यह घटक ग्लोबल कंट्रोलर के ऑर्थोगोनल है, जो +0.4–1.4pp का अतिरिक्त लाभ प्रदान करता है।
व्यवस्थित मूल्यांकन (C3): 1.5B, 7B, और 14B पैरामीटर स्केल्स पर मैथ, कोड, साइंस और लॉजिक बेंचमार्क पर व्यापक मूल्यांकन।

4. प्रायोगिक परिणाम (Experimental Results)

प्रयोग Qwen2.5-7B-Instruct मॉडल पर किए गए थे (और 1.5B/14B तक स्केल किए गए) OpenR1-Math-220k और अन्य बेंचमार्क (MBPP, HumanEval, GPQA, SciBench, BBH) का उपयोग करके।

प्रदर्शन लाभ (Performance Gains):
- मैथ (AMC): GAC + Token- $\phi$ 67.2% प्राप्त करता है, जो बेस्ट हाइब्रिड बेसलाइन (HPT, 63.4%) से +3.8pp और रूल-बेस्ड कंट्रोलर के मुकाबले नॉइज़-अवेयर कंट्रोलर अकेले (GAC w/o $\phi$ ) से +3.0pp बेहतर है।
- कोड: GAC MBPP पर 78.8% (+CHORD से +3.4pp) और HumanEval पर 83.5% प्राप्त करता है।
- साइंस/लॉजिक: GAC GPQA में +3.9pp और BBH लॉजिकल सबसेट्स में HPT पर +3.1pp का सुधार करता है।
स्थिरता सुधार (Stability Improvements):
- KL-ड्रिफ्ट: फिक्स्ड मिक्सिंग की तुलना में KL-ड्रिफ्ट एरिया में 28% की कमी।
- लार्ज शिफ्ट्स: बड़े $|\Delta \mu|$ इवेंट्स में >70% की कमी।
- ट्रेनिंग डायनेमिक्स: GAC फिक्स्ड शेड्यूल्स की तुलना में उच्च रोलआउट सटीकता, मध्यम रिस्पॉन्स लेंथ (रिवॉर्ड हैकिंग स्पाइक्स से बचना), और तेज़ एंट्रॉपी स्टेबलाइजेशन बनाए रखता है।
स्केलेबिलिटी: लाभ मॉडल के आकार के साथ बढ़ते हैं, जो 1.5B पर +2.2pp, 7B पर +3.8pp, और 14B पर +3.3pp दिखाते हैं।
दक्षता (Efficiency): यह विधि केवल 3 EMA स्केलर जोड़ती है और <1% वॉल-टाइम ओवरहेड के साथ बिना किसी मापने योग्य मेमोरी वृद्धि के काम करती है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि GAC सफलतापूर्वक SFT-RL मिक्सिंग को ह्यूरिस्टिक शेड्यूलिंग कार्य के बजाय एक नॉइज़-अवेयर कंट्रोल प्रॉब्लम के रूप में सफलतापूर्वक पुनर्गठित करता है।

प्राथमिक चालक (Primary Driver): कॉज़ल एट्रिब्यूशन विश्लेषण पुष्टि करता है कि नॉइज़-अवेयर एस्टिमेटर (MSE-व्युत्पन्न सिग्नल) प्रदर्शन लाभ (+3.7pp) में प्रमुख योगदानकर्ता है, जबकि EMA स्मूथिंग और शेड्यूल प्रायर आवश्यक स्थिरता प्रदान करते हैं लेकिन छोटे वृद्धिशील लाभ देते हैं।
मजबूती (Robustness): कंट्रोलर कमजोर या गलत तरीके से निर्दिष्ट प्रायर शेड्यूल्स के प्रति मजबूत है; यहाँ तक कि "खराब" कांस्टेंट प्रायर के साथ भी, GAC मिक्सिंग वेट को प्रभावी ढंग से ठीक करता है।
सीमाएँ (Limitations): लेखक नोट करते हैं कि स्थिरता विश्लेषण आदर्श मान्यताओं (L-smooth losses, KL-bounded updates) पर निर्भर करता है और सख्त अभिसरण गारंटी (convergence guarantees) के बजाय डिज़ाइन गाइडलाइन्स प्रदान करता है। वर्तमान में यह विधि सत्यापन योग्य रिवॉर्ड्स वाले कार्यों पर मान्य है; सीखे गए रिवॉर्ड मॉडल्स के साथ ओपन-एंडेड अलाइनमेंट में विस्तार भविष्य का कार्य है।

संक्षेप में, GAC एक थ्योरेटिकली ग्राउंडेड, लो-ओवरहेड तंत्र प्रदान करता है जो वास्तविक समय के अनिश्चितता अनुमानों के आधार पर SFT और RL को डायनेमिक रूप से संतुलित करता है, जो विविध रीजनिंग कार्यों में फिक्स्ड शेड्यूल्स और ह्यूरिस्टिक कंट्रोलर्स की तुलना में काफी बेहतर प्रदर्शन करता है।