तकनीकी सारांश: लक्षित वितरण डिज़ाइन के माध्यम से सुपरवाइज्ड फाइन-ट्यूनिंग पर एक एकीकृत दृष्टिकोण

समस्या विवरण

सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) विशिष्ट कार्यों के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) को विशेषज्ञ प्रदर्शनों (expert demonstrations) की नकल करने के माध्यम से अनुकूलित करने का एक महत्वपूर्ण चरण है। हालाँकि, मानक SFT एक कठोर वन-हॉट टारगेट डिस्ट्रीब्यूशन (one-hot target distribution) पर निर्भर करता है, जहाँ मॉडल को देखे गए टोकन $y_t$ की प्रायिकता (probability) को अधिकतम करने के लिए प्रशिक्षित किया जाता है, जबकि अन्य सभी टोकनों को शून्य प्रायिकता दी जाती है।

लेखक तर्क देते हैं कि यह सूत्रीकरण कई कारणों से उप-इष्टतम (suboptimal) है:

1. गैर-विशिष्टता (Non-Uniqueness): वास्तविक डेटासेट में, एक ही प्रॉम्प्ट अक्सर कई वैध तर्क पथों (reasoning paths), वाक्यांशों या मध्यवर्ती चरणों को स्वीकार कर सकता है। एक एकल देखा गया टोकन शायद ही कभी एकमात्र सही निरंतरता होता है।
2. शोर और मिसअलाइनमेंट (Noise and Misalignment): देखे गए टोकन शोरयुक्त हो सकते हैं या प्री-ट्रेंड मॉडल में एनकोडेड समृद्ध ज्ञान पूर्व (knowledge prior) के साथ मिसअलाइन हो सकते हैं।
3. अति-आत्मविश्वास (Overconfidence): वन-हॉट लक्ष्य पर सख्ती से फिट होना शोर को बढ़ा सकता है, अति-आत्मविश्वास पैदा कर सकता है, प्री-ट्रेंड प्रायर (prior) में हस्तक्षेप कर सकता है, और सामान्यीकरण (generalization) को खराब कर सकता है।

मौजूदा कार्य टोकन-स्तरीय रीवेटिंग (जैसे DFT, ProFit) या वितरणीय नियमितीकरण (जैसे लेबल स्मूथिंग, KL कंस्ट्रेंट्स) के माध्यम से इन मुद्दों को कम करने का प्रयास करते हैं। हालाँकि, ये विधियाँ अक्सर अलग-अलग एल्गोरिद्मिक विकल्पों के रूप में प्रस्तुत की जाती हैं, जिनमें उनके संबंधों को समझाने या बेहतर उद्देश्यों के निर्माण के लिए मार्गदर्शन करने वाले एक एकीकृत सैद्धांतिक ढांचे का अभाव है।

कार्यप्रणाली: Q-टारगेट फ्रेमवर्क

यह शोध पत्र SFT को लॉस मिनिमाइजेशन (loss minimization) समस्या के रूप में नहीं, बल्कि एक टारगेट डिस्ट्रीब्यूशन डिज़ाइन (target distribution design) समस्या के रूप में पुनर्व्याख्या करता है। मुख्य अंतर्दृष्टि यह है कि कोई भी टोकन-स्तरीय लॉस फंक्शन स्पष्ट रूप से एक विशिष्ट लक्ष्य वितरण $Q_t$ से मेल खाने के लिए प्रेरित करता है।

Q-टारगेट सूत्रीकरण (The Q-Target Formulation)

लेखक Q-टारगेट फ्रेमवर्क का प्रस्ताव करते हैं, जो प्रशिक्षण पर्यवेक्षण (supervision) को दो स्पष्ट डिज़ाइन विकल्पों में विभाजित करता है:
$$Q_t = \gamma_t \delta_{y_t} + (1 - \gamma_t) \tilde{\pi}_t$$
जहाँ:

• $\delta_{y_t}$ देखे गए टोकन का वन-हॉट वितरण है।
• $\gamma_t \in [0, 1]$ देखे गए टोकन में विश्वास (trust) को दर्शाता है। यह नियंत्रित करता है कि लेबल को कितनी प्रायिकता द्रव्यमान (probability mass) आवंटित किया जाता है।
• $\tilde{\pi}_t$ संभावित विकल्पों पर अवशिष्ट वितरण (residual distribution) है, जिसे शेष प्रायिकता द्रव्यमान $(1 - \gamma_t)$ प्राप्त होता है।

यह फ्रेमवर्क मौजूदा SFT वेरिएंट्स को एकीकृत करता है:

• टोकन-वेटेड वेरिएंट्स (जैसे DFT, ProFit): मुख्य रूप से मॉडल के आत्मविश्वास या टोकन की गुणवत्ता के आधार पर $\gamma_t$ को समायोजित करते हैं, लेकिन स्पष्ट रूप से अवशिष्ट $\tilde{\pi}_t$ को मॉडल के अपने प्रायर (self-matching) पर सेट करते हैं, जिससे विकल्पों के लिए कोई सुधारात्मक संकेत नहीं मिलता है।
• डिस्ट्रिब्यूशनल वेरिएंट्स (जैसे लेबल स्मूथिंग, KL-कंस्ट्रेंट्स): मुख्य रूप से $\tilde{\pi}_t$ (जैसे यूनिफॉर्म, रेफरेंस मॉडल) को निर्दिष्ट करते हैं लेकिन अक्सर एक निश्चित $\gamma_t$ का उपयोग करते हैं।

TARGET-SFT: एक ठोस उदाहरण

इस फ्रेमवर्क पर आधारित, लेखक TARGET-SFT का प्रस्ताव करते हैं, जो इन दोनों घटकों को स्पष्ट रूप से डिज़ाइन करता है:

1. अनुकूली विश्वास (Adaptive Trust - $\gamma_t$): निश्चित भार के बजाय, $\gamma_t$ मॉडल की अपनी प्रेडिक्टिव प्रोबेबिलिटी $p_y = \pi_\theta(y_t | x_t)$ से प्राप्त होता है।

   • यदि मॉडल आश्वस्त है ($p_y \approx 1$), तो $\gamma_t \approx 1$, और उद्देश्य मानक SFT के करीब पहुँच जाता है।
   • यदि मॉडल अनिश्चित है ($p_y \approx 0$), तो $\gamma_t \approx 0$, जो संभावित रूप से शोरयुक्त लेबल की सख्त नकल को कमजोर करता है।
   • यह एक बीटा वितरण (Beta distribution) के साथ एक लेटेंट वेरिएबल के रूप में टोकन में "विश्वास" को मॉडल करने से प्रेरित है, जहाँ पोस्टीरियर मीन (posterior mean) मॉडल की प्रायिकता का अनुमान लगाता है।

2. शिक्षक-निर्देशित अवशिष्ट (Teacher-Guided Residual - $\tilde{\pi}_t$): छात्र के अपने प्रायर को डिफॉल्ट करने के बजाय (जो कोई नया सूचना नहीं देता), TARGET-SFT इसे एक शिक्षक-निर्देशित वितरण को आवंटित करता है।

   • अवशिष्ट का निर्माण KL-रेगुलराइज्ड रिवॉर्ड शेपिंग द्वारा किया जाता है: $\tilde{\pi}_t \propto \pi_\theta^{1-\eta} \pi_T^{\eta}$, जहाँ $\pi_T$ एक शिक्षक वितरण (जैसे, एक इंस्ट्रक्शन-ट्यून्ड मॉडल) है और $\eta$ शिक्षक सिग्नल की तीव्रता को नियंत्रित करता है।
   • यह मॉडल को तब "संभावित विकल्पों" से सीखने की अनुमति देता है जो शिक्षक द्वारा सुझाए गए हैं जब देखा गया लेबल अनिश्चित होता है, जो एक फॉलबैक सुपरविजन तंत्र के रूप में कार्य करता है।

अंतिम उद्देश्य निर्मित $Q_t^{TARGET}$ और मॉडल वितरण के बीच क्रॉस-एन्ट्रॉपी लॉस है:
$$L_{TARGET} = \sum_t \left[ p_y \cdot CE(\delta_{y_t}, \pi_\theta) + (1 - p_y) \cdot CE(\tilde{\pi}_t^{guided}, \pi_\theta) \right]$$

मुख्य योगदान

1. टारगेट-डिस्ट्रीब्यूशन परिप्रेक्ष्य: यह शोध पत्र SFT को देखने के एक मौलिक दृष्टिकोण को पेश करता है, यह तर्क देते हुए कि प्रेरित लक्ष्य वितरण (induced target distribution) स्वयं डिज़ाइन का प्राथमिक विषय है, न कि लॉस फंक्शन।
2. Q-टारगेट फ्रेमवर्क: एक एकीकृत लेंस जो SFT उद्देश्यों को दो स्पष्ट चयनों में विभाजित करता है: लेबल ट्रस्ट ($\gamma_t$) और अवशिष्ट आवंटन ($\tilde{\pi}_t$)। यह फ्रेमवर्क समझाता है कि कैसे मौजूदा वेरिएंट्स (रीवेटिंग, रेगुलराइजेशन, डिस्टिलेशन) इस स्पेस के भीतर निहित विकल्प हैं।
3. TARGET-SFT एल्गोरिदम: एक ठोस विधि जो अनुकूली लेबल इमिटेशन (imitation) और शिक्षक-निर्देशित अवशिष्ट पर्यवेक्षण के बीच संतुलन बनाती है। यह अनिश्चित लेबल पर ओवरफिटिंग से बचता है और मॉडल को वैकल्पिक विकल्पों की ओर मार्गदर्शन करने के लिए शिक्षक के ज्ञान का लाभ उठाता है।

प्रयोगात्मक परिणाम

लेखकों ने गणितीय तर्क (NuminaMath-CoT, OpenR1-15k) और चिकित्सा तर्क (m23k) को कवर करते हुए, 1.5B से 8B पैरामीटर्स वाले मॉडल्स (Qwen2.5, Qwen3, LLaMA) के साथ 10 डेटासेट-मॉडल सेटिंग्स में TARGET-SFT का मूल्यांकन किया।

• प्रदर्शन: TARGET-SFT ने सभी सेटिंग्स में उच्चतम Average@16 सटीकता प्राप्त की, जिसने मानक SFT, प्रोबेबिलिटी-वेटेड SFT (p-loss), और नॉलेज डिस्टिलेशन बेसलाइन्स को पीछे छोड़ दिया।
• गणितीय तर्क: मानक SFT अक्सर मध्यम लाभ देता है या यहाँ तक कि प्रदर्शन को कम कर देता है (जैसे, Qwen3-1.7B पर) क्योंकि यह कठोर वन-हॉट फिटिंग पर आधारित है। TARGET-SFT ने p-loss की तुलना में काफी सुधार किया, यह प्रदर्शित करते हुए कि केवल लेबल को डाउन-वेट करने के बजाय अवशिष्ट वितरण को स्पष्ट रूप से डिज़ाइन करना श्रेष्ठ है।
• चिकित्सा तर्क: जबकि मानक SFT ने कुछ चिकित्सा मामलों में अच्छा प्रदर्शन किया (यह सुझाव देते हुए कि सख्त नकल कभी-कभी मान्य होती है), TARGET-Sط TARGET-SFT ने अभी भी सर्वश्रेष्ठ औसत प्रदर्शन प्राप्त किया। यह इंगित करता है कि शिक्षक-निर्देशित अवशिष्ट शाखा मूल्य प्रदान करती है, भले ही सरल रीवेटिंग कम प्रभावी हो।
• एब्लेशन अध्ययन (Ablation Studies):
  • शिक्षक सिग्नल तीव्रता ($\eta$) को बदलने से पता चला कि अनुकूली वेटिंग विभिन्न तीव्रताओं के बीच मजबूत (robust) है।
  • $(1-\gamma_t)$ को एक निश्चित स्थिरांक $c$ से बदलने से प्रदर्शन गिर गया, जो अनिश्चितता-निर्भर वेटिंग की आवश्यकता की पुष्टि करता है।
  • डिस्टिलेशन बेसलाइन्स मिश्रण भार $c$ के प्रति अत्यधिक संवेदनशील थे और TARGET-SFT के प्रदर्शन से मेल खाने में विफल रहे, जो यह सुझाव देता है कि एक स्थिर पूर्ण लक्ष्य के रूप में शिक्षक का उपयोग करना अनुकूली फॉलबैक सुपरविजन की तुलना में उप-इष्टतम है।

महत्व और दावे

शोध पत्र का दावा है कि इसका सूत्रीकरण SFT प्रशिक्षण के लिए एक अधिक मौलिक डिज़ाइन सिद्धांत को प्रकट करता है। लक्षित वितरण के रूप में SFT को देखने के दृष्टिकोण को बदलकर, लेखक:

• विभिन्न SFT वेरिएंट्स को एक एकल सैद्धांतिक ढांचे के तहत एकीकृत करते हैं।
• SFT उद्देश्यों के लिए एक व्यापक खोज स्थान (search space) को उजागर करते हैं, जिससे डेटा की नकल करने और प्रायर (prior) को बनाए रखने या बाहरी मार्गदर्शन को शामिल करने के बीच स्पष्ट नियंत्रण मिलता है।
• सिद्ध करते हैं कि प्रभावी SFT सावधानीपूर्वक डिज़ाइन किए गए इमिटेशन स्ट्रेंथ और शेष प्रायिकता द्रव्यमान के आवंटन से उत्पन्न होता है, न कि कठोर वन-हॉट लक्ष्यों या स्थिर रेगुलराइजेशन पर निर्भर रहने से।

लेखक निष्कर्ष निकालते हैं कि TARGET-SFT, SFT के बारे में एक नया और अधिक पूर्ण दृष्टिकोण प्रदान करता है, जो भविष्य के ऑब्जेक्ट डिज़ाइन के लिए नए मार्ग खोलता है जो डेटा इमिटेशन, प्रायर संरक्षण और वैकल्पिक पर्यवेक्षण के बीच बेहतर संतुलन बना सके।