🤖 machine learning

Good SFT Optimizes for SFT, Better SFT Prepares for Reinforcement Learning

यह शोध पत्र PEAR को पेश करता है, जो एक SFT-चरण की विधि है जो ऑफलाइन डेटा और भविष्य की RL नीतियों के बीच बेमेल (mismatch) के आधार पर प्रशिक्षण नुकसान (training losses) को पुन: भारित (reweight) करने के लिए इम्पॉर्टेंस सैंपलिंग का उपयोग करती है, जिससे मानक SFT की तुलना में रीजनिंग कार्यों पर डाउनस्ट्रीम सुदृढीकरण शिक्षण (reinforcement learning) प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Dylan Zhang, Yufeng Xu, Haojin Wang, Qingzhi Chen, Hao Peng

प्रकाशित 2026-05-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dylan Zhang, Yufeng Xu, Haojin Wang, Qingzhi Chen, Hao Peng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक छात्र को गलत परीक्षा के लिए प्रशिक्षित करना

कल्पना कीजिए कि आप एक प्रतिभाशाली छात्र (एक AI) को जटिल तर्क पहेलियों (logic puzzles) को हल करने के लिए प्रशिक्षित कर रहे हैं। प्रशिक्षण प्रक्रिया दो अलग-अलग चरणों में होती है:

चरण 1 (SFT - सुपरवाइज्ड फाइन-ट्यूनिंग): छात्र एक कक्षा में बैठता है और हल किए गए उदाहरणों से भरी एक पाठ्यपुस्तक का अध्ययन करता है। वह चरणों को याद करता है और शिक्षक के उत्तरों की पूरी तरह से नकल करने की कोशिश करता है।
चरण 2 (RL - रीइन्फोर्समेंट लर्निंग): छात्र को वास्तविक दुनिया में नई पहेलियों को अपने दम पर हल करने के लिए भेजा जाता है। उसे तुरंत फीडबैक मिलता है: "सही!" या "गलत, फिर से प्रयास करें।" वह प्रयोग करके और उस आधार पर अपनी रणनीति को बदलकर सीखता है जो उस क्षण में वास्तव में काम करती है।

समस्या:
आमतौर पर, शोधकर्ता छात्र को चरण 1 में पूर्ण बनाने की कोशिश करते हैं। वे पाठ्यपुस्तक के पाठों को इस तरह से ट्यून करते हैं कि छात्र अभ्यास परीक्षण (practice test) पर उच्चतम स्कोर प्राप्त कर सके। वे मानते हैं: "यदि छात्र पाठ्यपुस्तक की नकल करने में जीनियस है, तो वह बाद में नई समस्याओं को हल करने में भी जीनियस होगा।"

पेपर की खोज:
लेखकों ने पाया कि यह धारणा अक्सर गलत होती है।
कभी-कभी, एक छात्र जो पाठ्यपुस्तक में परफेक्ट स्कोर प्राप्त करता है (एक "Strong SFT" मॉडल), वास्तव में उस छात्र से खराब प्रदर्शन करता है जिसने पाठ्यपुस्तक में थोड़ा कम स्कोर प्राप्त किया था।

क्यों? क्योंकि पाठ्यपुस्तक (Behavior Policy) और वास्तविक दुनिया (Target Policy) अलग-अलग हैं।

पाठ्यपुस्तक (Behavior Policy): पुस्तक में दिए गए उदाहरण एक विशिष्ट शिक्षक द्वारा लिखे गए थे। कभी-कभी, उस शिक्षक ने उत्तर तक पहुँचने के लिए एक अजीब, घुमावदार रास्ता लिया, या एक छोटी सी गलती की जिसे छात्र ने कॉपी कर लिया।
वास्तविक दुनिया (Target Policy): चरण 2 में, छात्र को अपना स्वयं का रास्ता बनाना होता है। यदि उन्होंने शिक्षक के अजीब रास्ते का बहुत सख्ती से पालन करना सीख लिया, तो वे फंस जाते हैं जब उन्हें अपने दम पर सोचने की आवश्यकता होती है।

उपमा (Analogy):
कल्पना कीजिए कि एक डांस इंस्ट्रक्टर एक छात्र को डांस सिखा रहा है।

मानक प्रशिक्षण (Standard Training): इंस्ट्रक्टर एक मूव दिखाता है। छात्र उसका अभ्यास तब तक करता है जब तक कि वह इंस्ट्रक्टर के सटीक फुटवर्क (footwork) की पूरी तरह से नकल न कर ले।
समस्या: इंस्ट्रक्टर का फुटवर्क उनके अपने अद्वितीय शरीर के प्रकार या एक विशिष्ट शैली पर आधारित हो सकता है जो छात्र के शरीर के लिए काम नहीं करता है। यदि छात्र इंस्ट्रक्टर के कदमों को बहुत अधिक सटीकता से याद कर लेता है, तो वह किसी अलग गाने या अलग पार्टनर के साथ नाचने की कोशिश करते समय लड़खड़ा सकता है।
परिणाम: वह छात्र जिसने कदमों को पूरी तरह से याद कर लिया था (High SFT score), प्रतियोगिता में गिर जाता है। वह छात्र जिसने लय (rhythm) को समझा और कदमों को अनुकूलित किया (Lower SFT score, लेकिन बेहतर तैयारी), जीत जाता है।

समाधान: PEAR (एक "फ्यूचर-प्रूफ" शिक्षक)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे PEAR (पॉलिसी इवैल्यूएशन-इंस्पायर्ड एल्गोरिदम फॉर ऑफलाइन लर्निंग लॉस रीवेटिंग) कहा जाता है।

केवल छात्र को यह बताने के बजाय कि, "इस उत्तर की पूरी तरह से नकल करो," PEAR एक स्मार्ट कोच की तरह काम करता है जो आगे देख सकता है।

PEAR कैसे काम करता है:

कोच भविष्य की जांच करता है: छात्र द्वारा पाठ्यपुस्तक से एक विशिष्ट कदम का अभ्यास करने से पहले, कोच पूछता है: "यदि छात्र यह कदम उठाता है, तो क्या यह बाकी के डांस के लिए सही होगा?"
पाठों का पुनर्मूल्यांकन (Reweighting the Lessons):
- यदि पाठ्यपुस्तक का एक कदम किसी डेड एंड (एक ऐसा रास्ता जिसे छात्र वास्तविक दुनिया में लेने की संभावना नहीं रखता) की ओर ले जाता है, तो कोच कहता है, "इस हिस्से की ज्यादा चिंता न करें।" (वे उस सबक का महत्व कम कर देते हैं)।
- यदि पाठ्यपुस्तक का एक कदम एक सफल परिणाम की ओर ले जाता है जिसका उपयोग छात्र बाद में करने की संभावना रखता है, तो कोच कहता है, "इस पर कड़ी मेहनत करें!" (वे उसका महत्व बढ़ा देते हैं)।

रूपक (Metaphor):
पाठ्यपुस्तक को एक ऐसे पर्यटक द्वारा बनाए गए मानचित्र के रूप में सोचें जो रास्ता भटक गया था।

Standard SFT छात्र को पर्यटक के गलत मोड़ों को याद करने के लिए मजबूर करता है।
PEAR मानचित्र को देखता है और कहता है, "पर्यटक के रास्ते का यह हिस्सा एक खाई की ओर जाता है। आइए इस सबक के उस हिस्से को अनदेखा करें। लेकिन यह हिस्सा खजाने की ओर ले जाता है? आइए इस हिस्से का दो बार अध्ययन करें।"

परिणाम

लेखकों ने विभिन्न AI मॉडलों का उपयोग करके गणित की समस्याओं और लॉजिक गेम्स पर इसका परीक्षण किया।

परिणाम: PEAR के साथ प्रशिक्षित मॉडल शुरुआती अभ्यास परीक्षण पर उच्चतम स्कोर नहीं करते थे। हालांकि, जब वे "वास्तविक दुनिया" (Reinforcement Learning) में गए, तो उनमें बहुत तेजी से सुधार हुआ और अंततः उन्होंने बहुत उच्च अंतिम स्कोर प्राप्त किया।
लाभ: कुछ कठिन गणित प्रतियोगिताओं में, PEAR-प्रशिक्षित मॉडलों ने मानक तरीकों के मुकाबले अपनी सफलता दर में 30 प्रतिशत अंक तक सुधार किया।

निष्कर्ष (Takeaway)

"अच्छा SFT, SFT के लिए अनुकूलित होता है, बेहतर SFT, रीइन्फोर्समेंट लर्निंग के लिए तैयार करता है।"

अपने AI को केवल अतीत की नकल करने में सर्वश्रेष्ठ बनने के लिए प्रशिक्षित न करें। इसे भविष्य के लिए तैयार होने के लिए प्रशिक्षित करें। पहले चरण का लक्ष्य होमवर्क पर परफेक्ट स्कोर प्राप्त करना नहीं है; बल्कि एक ऐसा आधार बनाना है जो अगले चरण के सीखने (असली चुनौती) को आसान और अधिक प्रभावी बनाए। PEAR वह उपकरण है जो AI को अतीत की "बुरी आदतों" को अनदेखा करने में मदद करता है ताकि वह भविष्य की "अच्छी आदतों" को सीख सके।

तकनीकी सारांश: अच्छा SFT, SFT के लिए अनुकूलित होता है, बेहतर SFT, सुदृढीकरण शिक्षण (Reinforcement Learning) के लिए तैयार करता है

1. समस्या विवरण

रीजनिंग (तर्क करने वाले) लार्ज लैंग्वेज मॉडल्स (LLMs) का पोस्ट-ट्रेनिंग आमतौर पर एक दो-चरणीय प्रतिमान (paradigm) का अनुसरण करता है: एक ऑफलाइन सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) चरण जो एक प्रारंभिक चेकपॉइंट बनाता है, उसके बाद एक ऑनलाइन सुदृढीकरण शिक्षण (RL) चरण जो प्रदर्शन को और बेहतर बनाता है। वर्तमान पाइपलाइनों में एक प्रचलित धारणा यह है कि यदि SFT चरण को अधिकतम ऑफलाइन सटीकता (जैसे, अगले-टोकन की संभावना को अधिकतम करना या ट्रेनिंग डिस्ट्रीब्यूशन पर लॉस को न्यूनतम करना) के लिए अनुकूलित किया जाता है, तो यह स्वाभाविक रूप से आगामी RL के लिए एक मजबूत इनिशियलाइजेशन प्रदान करेगा।

हालाँकि, लेखक यह प्रदर्शित करते हैं कि यह धारणा त्रुटिपूर्ण है। वे देखते हैं कि "मजबूत" SFT चेकपॉइंट्स (वे जो बेहतर ऑफलाइन प्रदर्शन करते हैं) से शुरू किए गए मॉडल, समान RL प्रशिक्षण के बाद "कमजोर" चेकपॉइंट्स से शुरू किए गए मॉडलों की तुलना में काफी खराब प्रदर्शन कर सकते हैं। इस घटना का कारण ऑफलाइन और ऑनलाइन चरणों के बीच डिस्ट्रीब्यूशन मिसमैच (वितरण बेमेल) है:

ऑफलाइन SFT: मॉडल एक व्यवहार नीति (behavior policy - $\pi_\beta$ ) से नमूने लिए गए डेटा से सीखता है, जो अक्सर एक अलग मॉडल या एक स्थिर डेटासेट होता है।
ऑनलाइन RL: मॉडल अपने स्वयं के विकसित होते लक्ष्य नीति (target policy - $\pi_\theta$ ) द्वारा उत्पन्न रोलआउट से सीखता है।

मानक SFT व्यवहार नीति के वितरण के आधार पर समान टोकन-स्तरीय पर्यवेक्षण (supervision) लागू करता है। लंबे समय तक चलने वाले रीजनिंग कार्यों में, यह उन ट्रांजिशन पैटर्न (जैसे, डेड-एंड निरंतरता) को सुदृढ़ कर सकता है जो व्यवहार नीति के तहत अत्यधिक संभावित हैं लेकिन लक्ष्य नीति के तहत असंभव हैं। फलस्वरूप, मॉडल उन प्रीफिक्स (prefixes) को निरंतरता (continuations) के साथ जोड़ने के लिए सीख जाता है जिन्हें वह ऑनलाइन RL के दौरान शायद ही कभी दोबारा देखेगा, जिससे एक उप-इष्टतम (suboptimal) इनिशियलाइजेशन होता है जो डाउनस्ट्रीम लर्निंग में बाधा डालता है।

2. कार्यप्रणाली: PEAR

इस मिसमैच को संबोधित करने के लिए, लेखक PEAR (पॉलिसी इवैल्यूएशन-प्रेरित ऑफलाइन लर्निंग लॉस रीवेटिंग एल्गोरिदम) प्रस्तावित करते हैं। PEAR एक SFT-चरण की विधि है जो ऑफलाइन ऑब्जेक्टिव को लक्ष्य नीति के वितरण के साथ बेहतर ढंग से संरेखित करने के लिए ट्रेनिंग लॉस को रीवेट (reweight) करती है, जिससे प्रभावी रूप से मॉडल को ऑनलाइन RL चरण के लिए तैयार किया जाता है।

मुख्य तंत्र

PEAR व्यवहार नीति ( $\pi_\beta$ ) और लक्ष्य नीति ( $\pi_\theta$ ) के बीच वितरण अंतर को ठीक करने के लिए इम्पॉर्टेंस सैंपलिंग (importance sampling) का उपयोग करता है। ऑफलाइन डेटासेट के प्रत्येक टोकन को समान मानने के बजाय, PEAR प्रत्येक टोकन के लॉस को लक्ष्य नीति और व्यवहार नीति के बीच संभावना अनुपात (likelihood ratio) के आधार पर रीवेट करता है।

ऑब्जेक्टिव फंक्शन को इस प्रकार संशोधित किया गया है:
$L_{PEAR}(\theta) \triangleq \mathbb{E}_{(x,y) \sim D} \left[ \sum_{t=1}^{T} \text{sg}[\hat{G}_t] \cdot \ell_\theta(x, y_{<t}, y_t) \right]$
जहाँ:

$\ell_\theta$ मानक प्रति-टोकन लॉस (जैसे, NLL या KL डाइवर्जेंस) है।
$\text{sg}[\cdot]$ एक स्टॉप-ग्रेडिएंट ऑपरेटर है, जो वेट को एक निश्चित गुणांक (coefficient) के रूप में मानता है।
$\hat{G}_t$ टोकन $t$ के लिए संख्यात्मक रूप से स्थिर इम्पॉर्टेंस वेट है।

वेटिंग वेरिएंट्स (Weighting Variants)

PEAR वेट $\hat{G}_t$ की गणना के लिए तीन स्तर प्रदान करता है:

सीक्वेंस-लेवल वेटिंग: पूरे प्रक्षेपवक्र (trajectory) के सभी टोकनों पर एक एकल वैश्विक इम्पॉर्टेंस अनुपात ( $w_{1:T} = \prod_{t=1}^T \frac{\pi_\theta(y_t|x, y_{<t})}{\pi_\beta(y_t|x, y_{<t})}$ ) लागू करता है। यह मानता है कि पूरे सीक्वेंस की लक्ष्य नीति के तहत संभाव्यता समान है।
टोकन-लेवल वेटिंग (सफिक्स-आधारित): वेट की गणना सफिक्स इम्पॉर्टेंस रेशियो के आधार पर की जाती है। टोकन $y_t$ के लिए, वेट लक्ष्य नीति के तहत शेष निरंतरता ( $y_{>t}$ ) की व्यवहार नीति के सापेक्ष संभावना द्वारा निर्धारित होता है:
$G_t = \gamma^{T-t} \prod_{j=t+1}^{T} \frac{\pi_\theta(y_j|x, y_{<j})}{\pi_\beta(y_j|x, y_{<j})}$
यह उन टोकनों को कम वेट देता है जो ऐसी निरंतरता की ओर ले जाते हैं जिन्हें लक्ष्य नीति द्वारा उत्पन्न किए जाने की संभावना कम होती है, जिससे सीखने का ध्यान उन प्रीफिक्स पर केंद्रित होता है जो लक्ष्य नीति के भविष्य के व्यवहार के अनुकूल हैं।
ब्लॉक-लेवल वेटिंग: लंबे समय तक चलने वाले मल्टीप्लिकेटिव इम्पॉर्टेंस वेट्स में निहित उच्च वेरिएंस को कम करने के लिए, सीक्वेंस को ब्लॉक्स में विभाजित किया जाता है। वेट की गणना की जाती है और प्रत्येक ब्लॉक के भीतर समान रूप से लागू किया जाता है, जो स्थिरता के लिए कुछ सूक्ष्मता (granularity) का त्याग करता है।

अतिरिक्त विशेषताएं

नेगेटिव उदाहरण: PEAR सत्यापित विफलता प्रक्षेप पथों (failure trajectories) को शामिल कर सकता है, जिसमें एक रिपल्सिव टर्म (repulsive term) लागू किया जाता है, जो मॉडल को नेगेटिव निरंतरताओं से दूर धकेलता है जबकि पॉलिसी कंसिस्टेंसी बनाए रखता है।
ब्लैक-बॉक्स अनुकूलन: जब सटीक व्यवहार नीति $\pi_\beta$ उपलब्ध नहीं होती (जैसे, क्लोज्ड-सोर्स डेटा), तो PEAR व्यवहार नीति के लॉग-प्रोबेबिलिटी को अनुमानित करने के लिए एक प्रॉक्सी मॉडल या प्रॉक्सी के समूह का उपयोग कर सकता है।
संख्यात्मक स्थिरता: विधि लंबी उत्पाद श्रृंखलाओं की गणना के दौरान संख्यात्मक अस्थिरता को रोकने के लिए लॉग-स्पेस कंप्यूटेशन और लॉग-रेशियो की क्लिपिंग का उपयोग करती है।

3. प्रमुख योगदान

ऑफलाइन-ऑनलाइन डीकपलिंग का अनुभवजन्य प्रदर्शन: पेपर नियंत्रित प्रयोग प्रदान करता है जो दिखाते हैं कि ऑफलाइन प्रदर्शन, पोस्ट-RL प्रदर्शन का एक अविश्वसनीय प्रॉक्सी है। मजबूत SFT ऑब्जेक्टिव्स, वितरण मिसमैच के कारण कमजोर अंतिम RL परिणामों की ओर ले जा सकते हैं।
PEAR एल्गोरिदम: एक व्यावहारिक, प्लग-इन रीवेटिंग स्कीम का परिचय जो ऑफलाइन SFT को ऑनलाइन RL लक्ष्यों के साथ संरेखित करने के लिए ऑफ-पॉलिसी इवैल्यूएशन (OPE) सिद्धांतों का उपयोग करता है।
व्यापक मूल्यांकन: विभिन्न मॉडल परिवारों (Qwen2.5, Qwen3, DeepSeek-distilled) और आकारों (0.6B से 8B) पर सत्यापन योग्य रीजनिंग कार्यों (लॉजिक गेम्स, मैथ बेंचमार्क्स) पर व्यापक परीक्षण।
पैरामीटर ड्रिफ्ट का विश्लेषण: लेखक दिखाते हैं कि PEAR-इनिशियलाइज्ड मॉडल बाद के RL प्रशिक्षण के दौरान कम पैरामीटर ड्रिफ्ट से गुजरते हैं, जो यह सुझाव देता है कि PEAR ऑफलाइन-टू-ऑनलाइन मिसअलाइनमेंट को ठीक करने की आवश्यकता को कम करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने सिंथेटिक लॉजिक पजल्स (SynLogic, Enigmata) और गणितीय तर्क बेंचमार्क्स (AIME-2024/2025, AMC-2023, MATH-500) पर प्रयोग किए।

प्रदर्शन लाभ: PEAR लगातार मानक SFT और अन्य बेसलाइन्स (KL-रेगुलराइज्ड SFT, TALR, और विभिन्न प्रोबेबिलिटी-आधारित ऑब्जेक्टिव्स सहित) को RL के बाद पछाड़ता है।
- AIME-2025 पर, PEAR-इनिशियलाइज्ड मॉडल्स ने मानक SFT की तुलना में Pass@8 में 30 प्रतिशत अंक तक की वृद्धि हासिल की (जैसे, DeepSeek-Distill-Qwen-1.5B पर 5% से बढ़कर 35% होना)।
- SynLogic लॉजिक गेम्स पर, PEAR ने Pass@1 में +25 प्रतिशत अंक तक का सुधार दिखाया (जैसे, Qwen3-1.7B-Base पर 13.1% से 38.3%)।
सामान्यीकरण (Generalization): PEAR के लाभ विभिन्न RL टास्क डिस्ट्रीब्यूशंस (जैसे, SynLogic पर ट्रेनिंग और Enigmata पर RL) और विभिन्न RL एल्गोरिदम (GRPO और DAPO) में स्थानांतरित होते हैं।
ब्लैक-बॉक्स मजबूती: भले ही व्यवहार नीति को अनुमानित करने के लिए प्रॉक्सी मॉडल का उपयोग किया गया हो, PEAR मानक SFT की तुलना में काफी बेहतर प्रदर्शन करता है, जिसमें मजबूत प्रॉक्सी व्हाइट-बॉक्स प्रदर्शन के बराबर होते हैं।
स्थिरता: PEAR-इनिशियलाइज्ड मॉडल मानक SFT से शुरू किए गए मॉडलों की तुलना में ऑनलाइन RL चरण के दौरान कम पैरामीटर ड्रिफ्ट (Normalized Spectrum Shift द्वारा मापा गया) प्रदर्शित करते हैं, जो एक अधिक कुशल लर्निंग प्रक्षेपवक्र का संकेत देता है।

5. महत्व और दावे

पेपर का तर्क है कि ऑफलाइन SFT चरण का लक्ष्य केवल ऑफलाइन सटीकता को अधिकतम करना नहीं होना चाहिए, बल्कि बाद के ऑनलाइन RL के लिए नीति को तैयार करना होना चाहिए।

समग्र पोस्ट-ट्रेनिंग (Holistic Post-Training): लेखक दावा करते हैं कि डाउनस्ट्रीम RL को ध्यान में रखते हुए SFT ऑब्जेक्टिव्स को डिजाइन करना महत्वपूर्ण है। आइसोलेशन में ऑफलाइन मेट्रिक्स के लिए ऑप्टिमाइज़ करना प्रतिproductive (विपरीत परिणाम देने वाला) हो सकता है, क्योंकि यह उन व्यवहारों को सुदृढ़ कर सकता है जो लक्ष्य नीति के एक्सप्लोरेशन और ऑप्टिमाइज़ेशन डायनेमिक्स के साथ असंगत हैं।
मिसमैच को ठीक करना: PEAR इस सिद्धांत का एक ठोस उदाहरण है कि ऑफलाइन ट्रेनिंग को व्यवहार-लक्ष्य ऑक्यूपेंसी मिसमैच को ठीक करना चाहिए। अनुपयुक्त निरंतरताओं को कम वेट देकर और लक्ष्य नीति के अनुकूल होने वाली निरंतरताओं को अधिक वेट देकर, PEAR एक अधिक प्रभावी इनिशियलाइजेशन बनाता है।
व्यावहारिक प्रभाव: परिणाम बताते हैं कि ऑफ-पॉलिसी इवैल्यूएशन पर आधारित सरल रीवेटिंग रणनीतियाँ जटिल आर्किटेक्चरल बदलावों या अतिरिक्त डेटा संग्रह की आवश्यकता के बिना, रीजनिंग क्षमताओं में पर्याप्त सुधार ला सकती हैं, बशर्ते व्यवहार नीति की संभावनाएँ सुलभ हों (या अनुमानित हों)।

लेखक निष्कर्ष निकालते हैं कि "एक अच्छा ऑफलाइन चरण केवल ऑफलाइन सटीकता के लिए अनुकूलित नहीं होना चाहिए, बल्कि उस RL के लिए नीति को तैयार करना चाहिए जो इसके बाद आता है," जो PEAR को एक अधिक समग्र LLM पोस्ट-ट्रेनिंग पाइपलाइन की दिशा में एक कदम के रूप में स्थापित करता है।