🤖 AI

Towards On-Policy SFT: Distribution Discriminant Theory and its Applications in LLM Training

यह शोध पत्र ऑन-पॉलिसी सुपरवाइज्ड फाइन-ट्यूनिंग को सक्षम करने के लिए डिस्ट्रीब्यूशन डिस्क्रिमिनेन्ट थ्योरी (DDT) प्रस्तुत करता है, जिसमें इन-डिस्ट्रीब्यूशन फाइन-ट्यूनिंग और हिंटेड डिकोडिंग तकनीकों का प्रस्ताव दिया गया है जो DPO और SimPO जैसे ऑफलाइन RL एल्गोरिदम से बेहतर सामान्यीकरण प्रदर्शन प्राप्त करते हैं और साथ ही SFT की कम्प्यूटेशनल दक्षता को भी बनाए रखते हैं।

मूल लेखक: Miaosen Zhang, Yishan Liu, Shuxia Lin, Xu Yang, Qi Dai, Chong Luo, Weihao Jiang, Peng Hou, Anxiang Zeng, Xin Geng, Baining Guo

प्रकाशित 2026-03-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Miaosen Zhang, Yishan Liu, Shuxia Lin, Xu Yang, Qi Dai, Chong Luo, Weihao Jiang, Peng Hou, Anxiang Zeng, Xin Geng, Baining Guo

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन बहुत ही विशिष्ट छात्र (AI) को गणित की समस्याएं हल करना सिखा रहे हैं। आपके पास उन्हें सिखाने के दो मुख्य तरीके हैं:

"टेक्स्टबुक" विधि (सुपरवाइज्ड फाइन-ट्यूनिंग / SFT): आप छात्र को एक पाठ्यपुस्तक की उत्तर कुंजियों (answer keys) का ढेर देते हैं। आप कहते हैं, "इन उत्तरों को बिल्कुल वैसे ही याद कर लो जैसा ये लिखे हैं।"
- समस्या: टेक्स्टबुक के उत्तर ऐसी शैली में लिखे हो सकते हैं जो छात्र स्वाभाविक रूप से उपयोग नहीं करता, या उनमें छोटी-मोटी गलतियाँ हो सकती हैं। यदि आप छात्र को आँख मूंदकर उन्हें रटने के लिए मजबूर करते हैं, तो वे अपने सोचने के स्वाभाविक तरीके को भूल सकते हैं या केवल किताब से मेल खाने के लिए कुछ भी बेतुका बनाना शुरू कर सकते हैं। वे एक "विचारक" के बजाय एक "तोता" बन जाते हैं।
"प्रैक्टिस टेस्ट" विधि (रीइन्फोर्समेंट लर्निंग / RL): आप छात्र को अपने आप समस्याओं को हल करने देते हैं। जब वह सही करता है, तो आप उसे एक 'गोल्ड स्टार' देते हैं। जब वह गलत करता है, तो आप उससे स्टार छीन लेते हैं।
- समस्या: यह अविश्वसनीय रूप से धीमा और महंगा है। आपको कुछ गोल्ड स्टार पाने के लिए हजारों अभ्यास परीक्षण चलाने पड़ते हैं। साथ ही, यदि छात्र कहीं अटक जाता है, तो आपको यह पता लगाने में कठिनाई हो सकती है कि वह क्यों असफल हुआ, जिससे उसे सुधारना मुश्किल हो जाता है।

बड़ा विचार:
लेखकों ने पूछा: "क्या हम 'टेक्स्टबुक विधि' की गति और 'प्रैक्टिस टेस्ट विधि' की स्मार्ट, स्वाभाविक सोच दोनों प्राप्त कर सकते हैं?"

उन्होंने महसूस किया कि जवाब हाँ है, लेकिन केवल तभी जब हम छात्र को टेक्स्टबुक की हर चीज़ रटने के लिए मजबूर करना बंद कर दें और केवल उन हिस्सों को सिखाना शुरू करें जो उसके प्राकृतिक मस्तिष्क से मेल खाते हों।

यहाँ बताया गया है कि उन्होंने इसे तीन सरल अवधारणाओं में कैसे विभाजित किया:

1. "वाइब चेक" (डिस्ट्रीब्यूशन डिस्क्रिमिनेन्ट थ्योरी)

कल्पना कीजिए कि छात्र का एक विशिष्ट "वाइब" या बोलने की एक स्वाभाविक लय है। टेक्स्टबुक के कुछ उत्तर ऐसे लगते हैं जैसे उन्हें किसी रोबोट ने लिखा हो; कुछ ऐसे लगते हैं जैसे उन्हें किसी इंसान ने लिखा हो।

लेखकों ने एक गणितीय "वाइब चेक" (जिसे DDT कहा जाता है) बनाया। यह एक उपकरण है जो टेक्स्टबुक के उत्तर के प्रत्येक शब्द को स्कैन करता है और पूछता है: "क्या यह शब्द स्वाभाविक रूप से ऐसा है जो हमारा छात्र कहना चाहेगा?"

यदि शब्द स्वाभाविक लगता है (In-Distribution), तो टूल कहता है, "अच्छा! इसे रखें।"
यदि शब्द जबरदस्ती का या अजीब लगता है (Out-of-Distribution), तो टूल कहता है, "रुको, यह तुम्हारी तरह नहीं लग रहा है। इस हिस्से को अनदेखा कर दो।"

उपमा: इसे एक डीजे (DJ) द्वारा संगीत मिक्स करने जैसा समझें। यदि किसी गाने की बीट वर्तमान वाइब से टकराती है, तो डीजे उसे बस तेज़ नहीं करता; वे उसे धीरे-धीरे कम कर देते हैं या छोड़ देते हैं ताकि डांस फ्लोर का माहौल स्मूथ बना रहे।

2. "स्मार्ट हाइलाइटर" (इन-डिस्ट्रीब्यूशन फाइन-ट्यूनिंग / IDFT)

एक बार जब उनके पास "वाइब चेक" आ जाता है, तो वे एक नई प्रशिक्षण विधि बनाते हैं जिसे IDFT कहा जाता है।

सामान्य प्रशिक्षण में, यदि छात्र टेक्स्टबुक की तुलना में एक शब्द गलत करता है, तो शिक्षक चिल्लाता है, "नहीं! अपना दिमाग बदलो!" इससे छात्र घबरा जाता है और जो कुछ भी वह पहले से जानता था उसे भूल जाता है (इसे 'कैटास्ट्रोफिक फॉरगेटिंग' कहा जाता है)।

IDFT के साथ, शिक्षक बहुत स्मार्ट होता है:

आसान/सामान्य शब्द: "बहुत बढ़िया! जो कर रहे हो, वही करते रहो।" (उनके स्वाभाविक स्टाइल को सुदृढ़ करता है)।
अजीब/तालमेल से बाहर के शब्द: "यह तुम्हारी शैली के अनुरूप नहीं है। अभी इस विशिष्ट शब्द के बारे में तनाव न लें।" (उनके मस्तिष्क को भ्रमित होने से बचाता है)।

उपमा: कल्पना कीजिए कि आप पेंटिंग सीख रहे हैं। एक सामान्य शिक्षक आपको एक मास्टरपीस की हुबहू नकल करने के लिए मजबूर करता है, यहाँ तक कि उन बेतरतीब ब्रशस्ट्रोक की भी जिन्हें आप नहीं समझते। IDFT वाला शिक्षक कहता है, "उन रंगों और आकारों की नकल करें जिन्हें आप अच्छी तरह समझते हैं, लेकिन यदि कलाकार ने कोई अजीब तकनीक इस्तेमाल की है जिसे आप नहीं समझते, तो फिलहाल के लिए वहां खाली जगह छोड़ दें। अपनी पेंटिंग शैली को खराब करने के लिए उसे जबरदस्ती अपनाने की कोशिश न करें।"

3. "घोस्टराइटर" (हिंटेड डिकोडिंग)

कभी-कभी, टेक्स्टबुक का उत्तर सही होता है, लेकिन छात्र इसे केवल इसलिए उत्पन्न नहीं कर पाता क्योंकि यह बहुत पराया लगता है। लेखकों ने एक ट्रिक बनाई जिसे Hinted Decoding कहा जाता है।

कल्पना कीजिए कि छात्र एक निबंध लिख रहा है। वह तथ्य जानता है (उत्तर सही है), लेकिन वह शैली (इसे कैसे कहना है) के लिए संघर्ष कर रहा है।

पुराना तरीका: छात्र टेक्स्टबुक की शैली की नकल करने की कोशिश करता है और विफल हो जाता है।
नया तरीका (Hinted Decoding): शिक्षक छात्र को तथ्य फुसफुसाता है ("उत्तर 42 है"), लेकिन छात्र को बताता है, "अब, बाकी की कहानी अपनी आवाज़ में लिखो।"

AI अपने स्वाभाविक स्टाइल का उपयोग करके उत्तर उत्पन्न करता है, लेकिन सही तथ्यों द्वारा निर्देशित होता है। यह एक ऐसे घोस्टराइटर की तरह है जो तथ्यों को जानता है लेकिन लेखक की अनूठी आवाज़ में लिखता है।

यह एक बड़ी बात क्यों है?

यह तेज़ है: यह टेक्स्टबुक पढ़ने (SFT) जितना तेज़ है, हजारों अभ्यास परीक्षण चलाने जैसा धीमा नहीं।
यह सुरक्षित है: यह AI को नए गणितीय ट्रिक्स सीखते समय एक सहायक के रूप में कार्य करने की क्षमता को "भूलने" से रोकता है।
RL से बेहतर है: आश्चर्यजनक रूप से, उनकी विधि वास्तव में गणित और कोडिंग कार्यों पर महंगे रीइन्फोर्समेंट लर्निंग (RL) तरीकों से बेहतर प्रदर्शन करती है, और इसमें बहुत कम कंप्यूटर पावर लगती है।

संक्षेप में:
पेपर कहता है, "AI को टेक्स्टबुक की नकल करने वाले रोबोट के रूप में मजबूर न करें। इसके बजाय, इसे एक ऐसे फिल्टर का उपयोग करके सिखाएं जो केवल उस ज्ञान को अंदर आने दे जो उसके स्वाभाविक व्यक्तित्व में फिट बैठता हो। इस तरह, यह तेज़ी से सीखता है, अधिक याद रखता है, और स्मार्ट बना रहता है।"

यहाँ शोध पत्र "Towards On-Policy SFT: Distribution Discriminant Theory and its Applications in LLM Training" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) में सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) और रीइन्फोर्समेंट लर्निंग (RL) के बीच के प्रदर्शन अंतराल (performance gap) को संबोधित करता है।

अंतराल (The Gap): जबकि SFT गणनात्मक रूप से कुशल है, यह अक्सर RL (जैसे RLHF, RLVR) की तुलना में निम्न स्तर का सामान्यीकरण (generalization) प्रदान करता है। इसका मुख्य कारण RL द्वारा ऑन-पॉलिसी डेटा (मॉडल द्वारा स्वयं उत्पन्न डेटा) का उपयोग है, जो मॉडल के मूल वितरण (native distribution) को बनाए रखता है और 'कैटास्ट्रोफिक फॉरगेटिंग' (catastrophic forgetting) को कम करता है। इसके विपरीत, मानक SFT मॉडल को बाहरी डेटा के साथ समान रूप से फिट होने के लिए मजबूर करता है, चाहे वह डेटा मॉडल के आंतरिक वितरण के साथ संरेखित हो या न हो, जिससे संभावित रूप से पूर्व-प्रशिक्षित ज्ञान संरचनाओं को नुकसान पहुँचता है।
चुनौती (The Challenge): विश्वसनीय, सत्यापन योग्य फीडबैक प्राप्त करने की कठिनाई (जैसे ओपन-एंडेड कार्यों में) या स्पार्स रिवॉर्ड सिग्नल के कारण कम सीखने की दक्षता के कारण RL अक्सर अव्यवहार्य होता है।
लक्षत (The Goal): डेटा और ऑब्जेक्टिव दोनों स्तरों पर मॉडल के अपने वितरण के साथ प्रशिक्षण प्रक्रिया को संरेखित करके, ऑन-पॉलिसी SFT को सक्षम बनाकर SFT-से-RL के अंतर को पाटना। इसका उद्देश्य SFT की डेटा दक्षता को बनाए रखते हुए सामान्यीकरण को बढ़ाना है।

2. कार्यप्रणाली (Methodology)

लेखक एक नए सैद्धांतिक आधार और दो पूरक तकनीकों पर आधारित एक फ्रेमवर्क का प्रस्ताव करते हैं।

A. डिस्ट्रीब्यूशन डिस्क्रिमिनेन्ट थ्योरी (DDT)

DDT एक कठोर गणितीय ढांचा प्रदान करता है जो यह मात्रा निर्धारित करता है कि कोई टोकन या अनुक्रम "इन-डिस्ट्रीब्यूशन" (मॉडल के अपने वितरण से नमूना लिया गया) है या "आउट-ऑफ-डिस्ट्रीब्यूशन" (OOD) है।

हाइपोथीसिस टेस्टिंग: समस्या को $H_0$ (मॉडल वितरण $p_t$ से नमूना लिया गया टोकन) और $H_1$ (बाहरी वितरण $q_t$ से टोकन) के बीच अंतर करने के रूप में फ्रेम किया गया है।
ऑप्टिमल स्टैटिस्टिक: सिग्नल डिटेक्शन थ्योरी (SDT) का उपयोग करते हुए और सिग्नल-टू-नॉइज़ रेशियो (SNR) को अधिकतम करते हुए, लेखक सिद्ध करते हैं कि सेंटर्ड लॉग-लाइक्लीहुड (CLL) भेदभाव के लिए इष्टतम मानदंड है।
- फॉर्मूला: $\phi_t = \log p_t(x_t) + H[p_t]$ , जहाँ $H[p_t]$ चरण $t$ पर मॉडल के वितरण की एंट्रॉपी है।
- अंतर्दृष्टि (Insight): रॉ लॉग-लाइक्लीहुड ( $\log p_t$ ) के विपरीत, CLL एंट्रॉपी को घटाता है, जो प्रभावी रूप से संदर्भ की जटिलता के लिए सामान्यीकरण (normalize) करता है। यह प्रॉम्प्ट की अंतर्निहित जटिलता के कारण होने वाले विचलन (variance) को समाप्त करता है, जिससे यह सांख्यिकी वास्तविक वितरण बदलावों का पता लगाने के लिए मजबूत बन जाती है।
अनुक्रमिक गुण (Sequential Properties): एक अनुक्रम पर CLL का संचयी स्कोर $H_0$ (इन-डिस्ट्रीब्यूशन) के तहत एक जीरो-मीन मार्टिंगेल (zero-mean martingale) के रूप में व्यवहार करता है और $H_1$ (OOD) के तहत एक नेगेटिव लीनियर ड्रिफ्ट (negative linear drift) प्रदर्शित करता है, जिससे एरर बाउंड्स और विश्वसनीय पहचान संभव होती है।

B. अनुप्रयोग 1: इन-डिस्ट्रीब्यूशन फाइन-ट्यूनिंग (IDFT)

IDFT मानक SFT में एक लॉस-लेवल संशोधन है जो प्रशिक्षण ऑब्जेक्टिव को अनुकूल रूप से पुन: भारित (reweight) करने के लिए DDT सांख्यिकी का उपयोग करता है।

तंत्र (Mechanism): यह एक मॉड्यूलेशन गुणांक $\gamma_t = \exp(-\phi_t)$ $γ_{t} = exp (- ϕ_{t})$ पेश करता है।
- इन-डिस्ट्रीब्यूशन टोकन ( $\phi_t \approx 0$ ): $\gamma_t \approx 1$ , मानक लर्निंग को बनाए रखता है।
- OOD टोकन ( $\phi_t \ll 0$ ): $\gamma_t > 1$ , ग्रेडिएंट सप्रेशन (gradient suppression) को ट्रिगर करता है ताकि शोर या ऐसे डेटा के प्रति ओवरफिटिंग को रोका जा सके जो मूल संरचना को बाधित करता है।
- स्ट्रॉन्ग-डोमेन टोकन ( $\phi_t > 0$ ): $\gamma_t < 1$ , ज्ञान सुदृढ़ीकरण (knowledge consolidation) को बढ़ाता है।
लक्ष्य: OOD नमूनों से हानिकारक ग्रेडिएंट्स को दबाकर कैटास्ट्रोफिक फॉरगेटिंग को रोकना, जबकि उच्च-विश्वास वाले, इन-डिस्ट्रीब्यूशन रीजनिंग स्टेप्स को सुदृढ़ करना।

C. अनुप्रयोग 2: हिंटेड डिकोडिंग (Hinted Decoding)

हिंटेड डिकोडिंग एक डेटा-लेवल तकनीक है जो स्थिर प्रशिक्षण डेटासेट को मॉडल के वितरण के साथ संरेखित ऑन-पॉलिसी नमूनों में बदल देती है।

प्रक्रिया: प्रश्न और ग्राउंड-ट्रुथ उत्तर दिए जाने पर, एल्गोरिदम एक ऐसा रिस्पॉन्स जेनरेट करता है जो उत्तर की सत्यता (correctness) को बनाए रखता है लेकिन मॉडल के स्टाइलिस्टिक डिस्ट्रीबशन (stylistic distribution) को अपनाता है।
तंत्र: यह एक टू-स्ट्रीम डिकोडिंग (two-stream decoding) दृष्टिकोण का उपयोग करता है:
1. इमिटेटर स्ट्रीम (Imitator Stream): प्रश्न और उत्तर पर आधारित (सत्यता प्रदान करने के लिए)।
2. मॉडल स्ट्रीम (Model Stream): केवल प्रश्न पर आधारित (नेटिव स्टाइल प्रदान करने के लिए)।
एडेप्टिव मिक्सिंग (Adaptive Mixing): अंतिम टोकन डिस्ट्रीब्यूशन दो स्ट्रीम्स का एक ज्योमेट्रिक मिश्रण है, जिसे इमिटेटर के आउटपुट की एंट्रॉपी द्वारा भारित किया जाता है।
- उच्च एंट्रॉपी (अनिश्चितता) $\rightarrow$ मॉडल स्ट्रीम पर अधिक निर्भर रहना (स्टाइल को बनाए रखना)।
- निम्न एंट्रॉपी (निश्चितता) $\rightarrow$ इमिटेटर पर अधिक निर्भर रहना (सत्यता सुनिश्चित करना)।
सेफ्टी मैकेनिज्म: इसमें एक "फॉल्स पॉजिटिव" डिटेक्शन मैकेनिज्म शामिल है जो CoT डेलीमिटर तक पहुँचने के बाद मानक डिकोडिंग पर वापस स्विच कर देता है, जिससे यह सुनिश्चित होता है कि अंतिम उत्तर रीजनिंग के साथ सुसंगत रहे।

3. प्रमुख योगदान (Key Contributions)

डिस्ट्रीब्यूशन डिस्क्रिमिनेन्ट थ्योरी (DDT): एक नया सैद्धांतिक ढांचा जो सिग्नल डिटेक्शन थ्योरी और मार्टिंगेल गुणों पर आधारित, डिस्ट्रीब्यूशन भेदभाव के लिए सेंटर्ड लॉग-लाइक्लीहुड (CLL) की इष्टतमता स्थापित करता है।
IDFT एल्गोरिदम: एक लॉस-लेवल विधि जो डायनेमिक रूप से OOD टोकन के लिए ग्रेडिएंट्स को दबाती है, जो कैटास्ट्रोफिक फॉरगेटिंग को प्रभावी ढंग से कम करती है बिना किसी RL इंफ्रास्ट्रक्चर की आवश्यकता के।
हिंटेड डिकोडिंग: एक ट्रेनिंग-फ्री इन्फरेंस एल्गोरिदम जो स्थिर डेटासेट को मॉडल के नेटिव डिस्ट्रीब्यूशन के साथ पुनः संरेखित करता है, जिससे ऑफलाइन डेटा से "ऑन-पॉलिसी" ट्रेनिंग संभव होती है।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शित करना कि यह SFT-आधारित फ्रेमवर्क सामान्यीकरण प्रदर्शन में प्रमुख ऑफलाइन RL एल्गोरिदम (DPO, SimPO) को पछाड़ सकता है, जबकि SFT की कम्प्यूटेशनल दक्षता को बनाए रखता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने गणितीय तर्क और कोड बेंचमार्क पर उन्नत LLMs (Qwen2.5, DeepSeek-R1, Mistral, LLaMA) पर अपने फ्रेमवर्क का मूल्यांकन किया।

बेसलाइन्स के विरुद्ध प्रदर्शन (Performance vs. Baselines):
- IDFT ने कठोर गणित बेंचमार्क (AIME, AMC, Olympiad) पर मानक SFT, डायनेमिक फाइन-ट्यूनिंग (DFT), और एंट्रॉपी-एडेप्टिव फाइन-ट्यूनिंग (EAFT) को काफी पीछे छोड़ दिया।
- HD + IDFT (हिंटेड डिकोडिंग + IDFT) ने Math-C, Math-G, और जनरल रीजनिंग बेंचमार्क में लगातार ऑफलाइन RL विधियों (Rejection Sampling, DPO, SimPO) को पछाड़ दिया।
दक्षता (Efficiency): प्रस्तावित विधि ने RL बेसलाइन्स की तुलना में कम कम्प्यूटेशनल बजट (कम GPU आवर्स) के साथ बेहतर परिणाम प्राप्त किए, जिन्हें अक्सर व्यापक रोलआउट की आवश्यकता होती है।
कैटास्ट्रोफिक फॉरगेटिंग: फ्रेमवर्क ने नए डोमेन-विशिष्ट कौशल सीखते समय सामान्य क्षमताओं (MMLU, ARC) को सफलतापूर्वक सुरक्षित रखा, जो स्ट्रॉन्ग इंस्ट्रक्ट मॉडल्स पर मानक SFT का एक सामान्य विफलता बिंदु है।
एब्लेशन स्टडीज (Ablation Studies): पुष्टि की गई कि हिंटेड डिकोडिंग में एडेप्टिव वेटिंग और IDFT में निरंतर मॉड्यूलेशन महत्वपूर्ण हैं; स्टेटिक थ्रेशोल्ड या सरल री-वेटिंग प्रदर्शन के बराबर नहीं पहुँच सके।

5. महत्व और प्रभाव (Significance and Impact)

अंतर को पाटना: यह कार्य सिद्ध करता है कि SFT और RL के बीच का प्रदर्शन अंतराल मुख्य रूप से डिस्ट्रीब्यूशनल मिसअलाइनमेंट के कारण है, न कि केवल लर्निंग एल्गोरिदम के कारण। डेटा और ऑब्जेक्टिव को मॉडल के वितरण के साथ संरेखित करके, SFT RL-स्तर का सामान्यीकरण प्राप्त कर सकता है।
व्यावहारिक विकल्प: यह उन डोमेन के लिए एक व्यवहार्य, कुशल विकल्प प्रदान करता जहाँ रिवॉर्ड मॉडलिंग कठिन, महंगी या असंभव है (जैसे जटिल तर्क, बिना सत्यापन योग्य ग्राउंड ट्रुथ वाले एजेंट कार्य)।
सैद्धांतिक आधार: LLM ट्रेनिंग में डिस्ट्रीब्यूशनल शिफ्ट को समझने और नियंत्रित करने के लिए एक कठोर सांख्यिकीय आधार (DDT) प्रदान करता है, जो ह्यूरिस्टिक लॉस संशोधनों से आगे जाता है।
ओपन सोर्स: लेखकों ने अपने कोड को ओपन-सोर्स किया है, जिससे ऑन-पॉलिसी SFT और डिस्ट्रीब्यूशन-अवेयर ट्रेनिंग में आगे के अनुसंधान को सुविधा मिलती है।

संक्षेप में, यह शोध पत्र डिस्ट्रीब्यूशन को पहचानने और प्राथमिकता देने के लिए एक सैद्धांतिक रूप से स्थापित तरीके को पेश करके SFT प्रतिमान को फिर से परिभाषित करता है, जिससे LLMs को पारंपरिक RL के ओवरहेड और अस्थिरता के बिना स्थिर डेटासेट से प्रभावी ढंग से सीखने में सक्षम बनाया जा सके।