तकनीकी सारांश: स्पष्ट वितरण-आधारित नियंत्रण के माध्यम से LLMs के सुपरवाइज्ड फाइन-ट्यूनिंग को स्थिर करना

1. समस्या विवरण

नए उद्देश्यों के अनुकूल होने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) को सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से पोस्ट-ट्रेनिंग करना अक्सर कैटास्ट्रोफिक फॉरगेटिंग (विस्मृति) की ओर ले जाता है, जहाँ लक्षित कार्य (target task) में सुधार से पहले से अर्जित सामान्य क्षमताएं कम हो जाती हैं। हालिया अनुभवजन्य और सैद्धांतिक अध्ययन सुझाव देते हैं कि यह घटना मुख्य रूप से अनुकूलन (optimization) के दौरान अत्यधिक वितरण-आधारित विचलन (distribution-based drift) के कारण होती है।

जबकि रीइन्फोर्समेंट लर्निंग (RL) विधियाँ (विशेष रूप से ऑन-पॉलिसी RL) इस विचलन को स्पष्ट रूप से नियंत्रित करती हैं और पूर्व क्षमताओं को बेहतर ढंग से संरक्षित करती हैं, वे महंगी डेटा संग्रह और जटिल ऑप्टिमाइज़ेशन पाइपलाइनों पर निर्भर करती हैं। इसके विपरीत, मानक SFT में वितरण-आधारित बदलावों के परिमाण या दिशा को विनियमित करने के लिए स्पष्ट तंत्रों का अभाव होता है, जिससे अक्सर व्यवहार में अचानक परिवर्तन होता है। मौजूदा शमन रणनीतियाँ (mitigation strategies), जैसे कि स्टैटिक KL-रेगुलराइजेशन या फिक्स्ड टीचर डिस्टिलेशन, केवल अप्रत्यक्ष या वैश्विक रूप से ट्यून किया गया नियंत्रण प्रदान करती हैं जो मॉडल वितरण के स्थानीय ज्यामिति (local geometry) के साथ संरेखित नहीं होता है, जिसके परिणामस्वरूप अक्सर नए कार्य के अनुकूल होने और बेस मॉडल को संरक्षित करने के बीच निरंतर ग्रेडिएंट संघर्ष (gradient conflicts) होता है।

केंद्रीय चुनौती यह है: क्या एक सरल, स्पष्ट तंत्र विशुद्ध रूप से ऑफलाइन SFT सेटिंग में वितरण-आधारित अपडेट्स के स्थिर नियंत्रण को सक्षम कर सकता है, जिससे SFT की दक्षता को ऑन-पॉलिसी RL की स्थिरता के साथ जोड़ा जा सके?

2. कार्यप्रणाली: एंकरड लर्निंग (Anchored Learning)

लेखक एन्करड लर्निंग का प्रस्ताव करते हैं, जो एक ढांचा है जो एक गतिशील रूप से विकसित होते मूविंग एंकर (moving anchor) के माध्यम से ऑफलाइन फाइन-ट्यूनिंग के दौरान वितरण-आधारित अपडेट्स को स्पष्ट रूप से नियंत्रित करता है।

मुख्य तंत्र

एक निश्चित संदर्भ वितरण (जैसे, बेस मॉडल $p_{base}$) के अनुकूल होने के बजाय, एन्करड लर्निंग प्रत्येक इटरेशन $t$ पर निम्नलिखित के बीच इंटरपोलेशन (interpolation) करके एक मध्यवर्ती लक्ष्य वितरण $q^{(t)}$ का निर्माण करता है:

1. वर्तमान प्रशिक्षण योग्य मॉडल $p_{\theta}^{(t)}$।
2. एक फ्रोजन SFT संदर्भ मॉडल $p_{sft}$ (जो लक्षित डेटा पर एक बार प्रशिक्षित किया गया है और स्थिर रखा गया है)।

यह ढांचा दो लूप्स में संचालित होता है:

• आउटर लूप (एंकर चयन): इटरेशन $t$ पर, एक एंकर वितरण $q^{(t)}$ को इंटरपोलेशन ऑपरेटर $I_\alpha$ के माध्यम से निर्मित किया जाता है:
  $$q^{(t)}(\cdot | x) = I_\alpha(p_{\theta}^{(t)}(\cdot | x), p_{sft}(\cdot | x))$$
  एंकर को कंप्यूटेशन ग्राफ से अलग (detach) किया जाता है और इनर लूप के लिए एक स्थिर लक्ष्य के रूप में कार्य करता है।
• इनर लूप (एंकर अनुकूलन): मॉडल पैरामीटर्स को लक्ष्य डेटासेट $D$ पर डिस्टिलेशन ऑब्जेक्टिव (KL-divergence) को न्यूनतम करके इस एंकर के करीब लाने के लिए अपडेट किया जाता है:
  $$\theta^{(t+1)} \approx \arg \min_\theta \mathcal{L}_{distill}(\theta; q^{(t)})$$

इंस्टांशिएशंस (Instantiations)

इंटरपोलेशन ऑपरेटर $I_\alpha$ को दो स्पेसों में स्थापित किया जाता है:

1. लॉगिट स्पेस (Logit Space): प्री-सॉफ्टमैक्स लॉगिट्स का लीनियर इंटरपोलेशन, जिसके बाद सॉफ्टमैक्स नॉर्मलाइजेशन किया जाता है। यह वितरणों के ज्यामितीय माध्य (geometric mean) के अनुरूप है (व्यवहार मोड की ओर झुकता है)।
2. प्रोबेबिलिटी स्पेस (Probability Space): सीधे प्रेडिक्शन डिस्ट्रीब्यूशंस का लीनियर इंटरपोलेशन। यह अंकगणितीय माध्य (arithmetic mean) के अनुरूप है (व्यवहार मोड को कवर करता है)।

सैद्धांतिक गारंटी

यह कार्य प्रमाण प्रदान करता है कि यह एंकर-आधारित अपडेट प्रति इटरेशन KL-डाइवर्जेंस पर एक लीनियर अपर बाउंड की अनुमति देता है।

• प्रोबेबिलिटी स्पेस: एंकर और वर्तमान मॉडल के बीच KL-डाइवर्जेंस $\alpha \cdot KL(p_{sft} \parallel p_{\theta}^{(t)})$ द्वारा सीमित है।
• लॉगिट स्पेस: डाइवर्जेंस $\frac{\alpha}{1-\alpha} KL(p_{\theta}^{(t)} \parallel p_{sft})$ द्वारा सीमित है।

ये बाउंड्स सुनिश्चित करते हैं कि मॉडल स्थिर, नियंत्रित तरीके से वितरणों के बीच संक्रमण करता है, जो प्रभावी रूप से ग्लोबल फाइन-ट्यूनिंग को स्थानीय ट्रस्ट-रीजन अपडेट्स के एक अनुक्रम में बदल देता है। सैद्धांतिक विश्लेषण दिखाता है कि सटीक प्रोजेक्शन के तहत, मॉडल $p_{sft}$ की ओर ज्यामितीय रूप से अभिसरित (converge) होता है और एक सीमित स्टेप-वाइज विचलन बनाए रखता है।

3. मुख्य योगदान

1. फ्रेमवर्क प्रस्ताव: एन्करड लर्निंग का परिचय, जो एक सरल ढांचा है जो मूविंग एंकर के माध्यम से ऑफलाइन फाइन-ट्यूनिंग में वितरण-आधारित अपडेट्स पर स्थानीय नियंत्रण लागू करता है, जिससे ऑनलाइन इंटरेक्शन या जटिल RL पाइपलाइनों की आवश्यकता समाप्त हो जाती है।
2. सैद्धांतिक स्थिरता: प्रोबेबिलिटी-स्पेस एंकरिंग और लॉगिट-स्पेस एंकरिंग दोनों के लिए स्पष्ट KL-डाइवर्जेंस अपर बाउंड्स का व्युत्पन्न (derivation), जो वितरण-आधारित स्थिरता के लिए औपचारिक गारंटी प्रदान करता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शन करना कि यह विधि कई बेंचमार्क पर प्रदर्शन लाभ और स्थिरता के बीच एक बेहतर ट्रेड-ऑफ प्राप्त करती है, जो लगातार मजबूत बेसलाइन्स की तुलना में पारेटो फ्रंटियर (Pareto frontier) पर खुद को स्थापित करती है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन Qwen2.5 (1.5B–14B) और Llama-3.2-3B मॉडल्स का उपयोग करके तीन लक्षित कार्यों (iGSM, MedCalc, IFEval) पर किया गया। प्रदर्शन को मानक SFT और विभिन्न फॉरगेटिंग-मिटिगेशन बेसलाइन्स (जैसे, Low-SFT, KL-SFT, Self-SFT, Iter-SFT) के विरुद्ध मापा गया।

• लाभ और स्थिरता के बीच ट्रेड-ऑफ: मानक SFT ने उच्च डोमेन प्रदर्शन प्राप्त किया लेकिन सामान्य क्षमताओं (जैसे, iGSM और MedCalc पर >53% प्रदर्शन गिरावट) में गंभीर गिरावट का सामना किया। एन्करड लर्निंग ने लगभग इष्टतम लाभ (जैसे, iGSM पर 75.2%) बनाए रखते हुए इस गिरावट को 5% से कम तक कम कर दिया।
• पारेटो इष्टतमता (Pareto Optimality): सभी मॉडल आकारों और कार्यों में, एन्करड लर्निंग लगातार पारेटो फ्रंटियर के पास स्थित रहा, जिसने उन बेसलाइन्स को पीछे छोड़ दिया जो या तो स्थिरता के लिए डोमेन प्रदर्शन का त्याग करती हैं (जैसे, Low-SFT) या भूलने (forgetting) को रोकने में विफल रहती हैं (जैसे, Standard SFT)।
• स्केलिंग: एन्ंकरड लर्निंग के लाभ मॉडल स्केल (1.5B से 7B) में मजबूत रहे, जो डोमेन सटीकता से समझौता किए बिना काफी उच्च सामान्य क्षमताएं बनाए रखते हुए Low-SFT की तुलना में बेहतर प्रदर्शन करते हैं।
• हाइपरपैरामीटर संवेदनशीलता:
  • इंटरपोलेशन गुणांक ($\alpha$): $\alpha$ की एक मध्यवर्ती रेंज ने सबसे अच्छा ट्रेड-ऑफ दिया।
  • अपडेट शेड्यूलिंग: अध्ययन ने रेखांकित किया कि भले ही लक्षित सटीकता संतृप्त (saturate) हो जाए, फिर भी प्रशिक्षण इटरेशन बढ़ाने के साथ समग्र प्रदर्शन गैर-मोनोटोनिक रूप से घट सकता है। यह सुझाव देता है कि "अधिक प्रशिक्षण" स्थिरता की गारंटी नहीं देता है और स्पष्ट प्रक्षेपवक्र नियंत्रण (trajectory control) की आवश्यकता को रेखांकित करता है।
  • इंटरपोलेशन स्पेस: लॉगिट स्पेस में इंटरपोलेशन (ज्यामितीय माध्य) ने स्थिरता और सामान्य क्षमताओं के संरक्षण को प्राथमिकता दी, जबकि प्रोबेबिलिटी स्पेस में इंटरपोलेशन (अंकगणितीय माध्य) ने प्लास्टिसिटी और डोमेन अनुकूलन को प्राथमिकता दी।

5. महत्व और दावे

यह कार्य दावा करता है कि एन्करड लर्निंग ऑन-पॉलिसी RL में पाए जाने वाले निहित स्थिरता तंत्रों के लिए एक व्यावहारिक विकल्प प्रदान करता है। मध्यवर्ती लक्ष्य वितरणों को स्पष्ट रूप से आकार देकर, यह ग्लोबल ऑप्टिमाइज़ेशन को रूढ़िवादी, स्थानीय अपडेट्स के एक अनुक्रम में बदल देता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण:

• पूरी तरह से ऑफलाइन सेटिंग में काम करता है और इसे प्लेबैक या संयुक्त प्रशिक्षण के लिए सामान्य डोमेन से डेटा तक पहुँच की आवश्यकता नहीं है।
• वितरण-आधारित स्थिरता के लिए सैद्धांतिक गारंटी प्रदान करता है, जो केवल लक्षणों को संबोधित करने के बजाय भूलने के मूल कारण (अत्यधिक विचलन) को संबोधित करता है।
• लक्षित कार्यों पर लगभग इष्टतम प्रदर्शन प्राप्त करता है जबकि कैटास्ट्रफिक फॉरगेटिंग को काफी कम कर देता है, जिससे यह मौजूदा स्टैटिक रेगुलराइजेशन और डिस्टिलेशन विधियों से बेहतर प्रदर्शन करता है।

सीमाएँ: लेखक स्वीकार करते हैं कि एंकर निर्माण और डिस्टिलेशन के लिए अतिरिक्त फॉरवर्ड पास के कारण एन्करड लर्निंग में मानक SFT की तुलना में अतिरिक्त कंप्यूटेशनल ओवरहेड (लगभग 1.5 से 2 गुना प्रशिक्षण विलंबता और मेमोरी उपयोग) होता है। हालांकि, वे नोट करते हैं कि यह ऑन-पॉलिसी RL की लागत की तुलना में काफी कम है।