💬 NLP

Proximal Supervised Fine-Tuning

यह शोध पत्र प्रॉक्सिमल सुपरवाइज्ड फाइन-ट्यूनिंग (PSFT) को प्रस्तुत करता है, जो ट्रस्ट-रीजन ऑप्टिमाइज़ेशन से प्रेरित एक विधि है जो इन-डोमेन प्रदर्शन को बनाए रखते हुए आउट-ऑफ-डोमेन सामान्यीकरण और प्रशिक्षण स्थिरता में सुधार करने के लिए फाइन-ट्यूनिंग के दौरान पॉलिसी ड्रिफ्ट को नियंत्रित करती है।

मूल लेखक: Wenhong Zhu, Ruobing Xie, Rui Wang, Xingwu Sun, Di Wang, Pengfei Liu

प्रकाशित 2026-04-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenhong Zhu, Ruobing Xie, Rui Wang, Xingwu Sun, Di Wang, Pengfei Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करते हुए पेपर "प्रॉक्सिमल सुपरवाइज्ड फाइन-ट्यूनिंग (PSFT)" की व्याख्या दी गई है।

बड़ी समस्या: "अति-आत्मविश्वासी छात्र" (The Over-Confident Student)

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली छात्र (AI मॉडल) है जिसने पुस्तकालय की लगभग हर किताब पढ़ ली है। वे बुद्धिमान हैं, जिज्ञासु हैं, और खाना पकाने से लेकर क्वांटम भौतिकी तक किसी भी विषय पर बात कर सकते हैं। यह प्री-ट्रेन्ड मॉडल (Pre-trained Model) है।

अब, आप चाहते हैं कि यह छात्र एक विश्व स्तरीय मैथ ओलंपियाड चैंपियन बने। आप एक सख्त ट्यूटर को काम पर रखते हैं और उन्हें हल करने के लिए गणित के सवालों का एक बड़ा ढेर देते हैं। यह सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) है।

समस्या:
छात्र गणित की परीक्षा के लिए इतनी कड़ी मेहनत करता है कि वह बाकी सब कुछ भूलने लगता है। वह उन्हें दिए गए विशिष्ट गणित के सवालों के प्रति जुनूनी हो जाता है।

यदि आप उनसे गणित का प्रश्न पूछते हैं, तो वे जीनियस होते हैं।
यदि आप उन्हें कविता लिखने या जोक समझाने के लिए कहते हैं, तो वे रोबोटिक या भ्रमित लगते हैं।
वे "अति-विशेषज्ञ" (over-specialized) हो गए हैं। AI के शब्दों में, उन्होंने एंट्रॉपी कोलैप्स (Entropy Collapse) का अनुभव किया है। उनका "मस्तिष्क" बहुत कठोर हो गया है, जिससे नए विचारों को खोजने या उन चीजों के अनुकूल होने की क्षमता खो गई है जो उन्होंने पहले नहीं देखी हैं।

पुराना समाधान: रीइन्फोर्समेंट लर्निंग (RL)

इसे ठीक करने के लिए, शोधकर्ता आमतौर पर रीइन्फोर्समेंट लर्निंग (RL) का उपयोग करने की कोशिश करते हैं। यह छात्र को एक प्रतियोगिता में रखने जैसा है जहाँ उन्हें अच्छे उत्तरों के लिए अंक मिलते हैं और खराब उत्तरों के लिए अंक गंवाने पड़ते हैं। यह उन्हें सामान्यीकरण (generalize) करने में मदद करता है, लेकिन यह महंगा, धीमा और प्रबंधित करने में कठिन है। इसके अलावा, यदि छात्र का मस्तिष्क (SFT के कारण) "खराब" है, तो प्रतियोगिता अधिक मदद नहीं करती है।

नया समाधान: PSFT (द "जेंटल कोच")

इस पेपर के लेखक एक नई विधि प्रस्तावित करते हैं जिसे प्रॉक्सिमल सुपरवाइज्ड फाइन-ट्यूनिंग (PSFT) कहा जाता है।

PSFT को एक जेंटल कोच (कोमल प्रशिक्षक) के रूप में सोचें जो एक विशिष्ट नियम का उपयोग करता है: "अपनी पर्सनैलिटी को बहुत अधिक नाटकीय रूप से न बदलें।"

मुख्य विचार: "ट्रस्ट रीजन" (The Trust Region)

पुराने तरीके (SFT) में, छात्र को कहा जाता था: "इन गणित के उत्तरों को बिना किसी परवाह के पूरी तरह से याद कर लो!" इसके कारण वे अपने अन्य कौशल भूल गए।

PSFT में, कोच कहता है: "ये गणित के उत्तर सीखो, लेकिन केवल तभी जब तुम एक सामान्य, जिज्ञासु व्यक्ति होना पूरी तरह से न भूल जाओ।"

वे एक गणितीय "स्पीड लिमिट" (जिसे ट्रst रीजन कहा जाता है) का उपयोग करते हैं।

उपमा: कल्पना कीजिए कि छात्र कार चला रहा है। पुराने तरीके ने उसे कहा कि गैस पेडल को पूरा दबा दो और गणित के गंतव्य की ओर जितनी हो सके उतनी तेज़ चलो। वह दुर्घटनाग्रस्त हो सकता है या सड़क से नीचे उतर सकता है (अन्य कौशल भूल सकता है)।
PSFT विधि: कोच गैस पेडल पर एक गवर्नर (नियंत्रक) लगा देता है। छात्र अभी भी गणित के लक्ष्य की ओर तेज़ी से चल सकता है, लेकिन उसे क्लिप (सीमित) किया जाता है ताकि वह बहुत अधिक इधर-उधर न भटक सके या सड़क से नीचे न उतर जाए। वह अपने मूल ज्ञान के एक "सुरक्षित क्षेत्र" के भीतर रहता है।

यह कैसे काम करता है (द "क्लिपिंग" मैकेनिज्म)

यह पेपर PPO नामक एक विधि (जिसका उपयोग गेम खेलने वाले AI में किया जाता है) से ली गई तकनीक का उपयोग करता है।

अनुपात (The Ratio): AI देखता है कि वह अपने पुराने विचार की तुलना में अपने उत्तर को कितना बदलना चाहता है।
क्लिपिंग (The Clip): यदि AI अपनी राय बहुत अधिक बदलना चाहता है (उदाहरण के लिए, अचानक यह तय करना कि 2+2=5 है क्योंकि उसने इसे गणित के एक सवाल में देखा था), तो "क्लिप" उस अत्यधिक परिवर्तन को काट देता है। यह AI को अपने मूल, संतुलित स्वरूप के करीब रहने के लिए मजबूर करता है।
परिणाम: AI आवश्यक गणित कौशल सीखता है, लेकिन वह अपने "सॉफ्ट स्किल्स" (रचनात्मकता, सामान्य ज्ञान, हास्य) को बरकरार रखता है।

यह क्यों महत्वपूर्ण है: "स्प्रिंग" प्रभाव (The "Spring" Effect)

पेपर दिखाता है कि PSFT दो मुख्य कारणों से पुराने तरीके से बेहतर है:

1. यह "ब्रेन फ्रीज" (एंट्रॉपी कोलैप्स) को रोकता है

पुराना तरीका: छात्र एक रोबोट बन जाता है। उसका मस्तिष्क अन्वेषण करना बंद कर देता है।
PSFT: छात्र जिज्ञासु बना रहता है। उसका मस्तिष्क "लचीला" रहता है। गणित सीखने के बाद भी, वह अभी भी रचनात्मक रूप से सोच सकता है।

2. यह एक बेहतर भविष्य तैयार करता है (द स्प्रिंग)
कल्पना कीजिए कि AI प्रशिक्षण एक दो-चरणीय प्रक्रिया है:

चरण 1: बुनियादी बातें सीखें (SFT/PSFT)।
चरण 2: तर्क करने में वास्तव में कुशल बनें (RL)।

यदि आप पुराने SFT का उपयोग करते हैं, तो चरण 1 छात्र के मस्तिष्क को तोड़ देता है। जब आप चरण 2 (RL) का प्रयास करते हैं, तो छात्र पहले से ही इतना कठोर हो चुका होता है कि वह और अधिक नहीं सीख सकता।
यदि आप PSFT का उपयोग करते हैं, तो चरण 1 छात्र को लचीला रखता है। जब आप चरण 2 (RL) शुरू करते हैं, तो छात्र एक कुंडलित स्प्रिंग (coiled spring) की तरह होता है। क्योंकि वे बहुत जल्दी अति-विशेषज्ञ नहीं हुए, वे बाद में और भी अधिक जटिल तर्क कौशल सीखने के लिए वापस उछल सकते हैं।

परिणामों का सारांश

शोधकर्ताओं ने इसका परीक्षण किया:

गणित: AI पुराने तरीके जितना ही गणित में अच्छा हो गया।
सामान्य ज्ञान: वह लिखना, तर्क करना या निर्देशों का पालन करना नहीं भूला।
भविष्य का प्रशिक्षण: जब उन्होंने रीइन्फोर्समेंट लर्निंग का उपयोग करके AI को आगे प्रशिक्षित करने की कोशिश की, तो PSFT मॉडल बहुत तेज़ी से सुधरे और पुराने मॉडलों की तुलना में अधिक स्मार्ट निकले।

निचोड़ (The Bottom Line)

PSFT एक बच्चे को पियानो बजाना सिखाने जैसा है।

पुराना SFT: आप उसे दिन में 10 घंटे एक ही स्केल का अभ्यास करने के लिए मजबूर करते हैं। वह उस स्केल में तो अच्छा हो जाता है लेकिन संगीत से नफरत करने लगता है और गाना नहीं बजा पाता।
PSFT: आप उसे स्केल का अभ्यास करने देते हैं, लेकिन उसे याद दिलाते हैं, "संगीत का आनंद लेना और अपनी उंगलियों को ढीला रखना मत भूलना।" वह स्केल भी सीख जाता है और संगीत के प्रति अपना प्रेम भी बनाए रखता है, जिससे वह लंबे समय में एक बेहतर संगीतकार बनता है।

यह पेपर साबित करता है कि शुरुआती प्रशिक्षण के दौरान थोड़ा अधिक सावधान और "कोमल" होकर, हम ऐसे AI का निर्माण कर सकते हैं जो न केवल विशिष्ट कार्यों में स्मार्ट है, बल्कि अधिक मजबूत, रचनात्मक और भविष्य के लिए तैयार भी है।

यहाँ ICLR 2026 में प्रकाशित शोध पत्र "Proximal Supervised Fine-Tuning" (PSFT) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र बड़े भाषा मॉडलों (LLMs) के लिए मानक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) की दो महत्वपूर्ण सीमाओं को संबोधित करता है:

खराब सामान्यीकरण (Poor Generalization): मानक SFT अक्सर "व्यवहार क्लोनिंग" (behavior cloning) की ओर ले जाता है, जहाँ मॉडल सामान्यीकरण योग्य तर्क पैटर्न सीखने के बजाय विशिष्ट प्रशिक्षण डेटा को याद कर लेता है। इसके परिणामस्वरूप आउट-ऑफ-डोमेन (OOD) कार्यों पर प्रदर्शन में गिरावट आती है और पूर्व-प्रशिक्षित क्षमताओं का नुकसान होता है।
एन्ट्रॉपी पतन (Entropy Collapse): आक्रामक SFT मॉडल के आउटपुट वितरण को अत्यधिक केंद्रित (कम एन्ट्रॉपी) बना सकता है। यह "एन्ट्रॉपी पतन" बाद के सुदृढीकरण शिक्षण (Reinforcement Learning - RL) चरणों के दौरान मॉडल की अन्वेषण (exploration) करने की क्षमता को सीमित कर देता है, जिससे प्रभावी रूप से RL अनुकूलन (जैसे PPO, GRPO) से होने वाले संभावित लाभ बाधित होते हैं।

लेखकों का तर्क है कि जबकि PPO जैसे RL एल्गोरिदम पॉलिसी ड्रिफ्ट को रोकने के लिए "ट्रस्ट रीजन" (trust regions) का सफलतापूर्वक उपयोग करते हैं, मानक SFT में ऐसे प्रतिबंधों का अभाव है, जिससे अस्थिर अपडेट और ओवरफिटिंग होती है।

2. कार्यप्रणाली: प्रॉक्सिमल सुपरवाइज्ड फाइन-ट्यूनिंग (PSFT)

लेखक PSFT प्रस्तावित करते हैं, जो एक नवीन फाइन-ट्यूनिंग ऑब्जेक्टिव है जो सुपरवाइज्ड लर्निंग सेटिंग में प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) तंत्र को अनुकूलित करता है।

सैद्धांतिक आधार (Theoretical Foundation)

SFT एक पॉलिसी ग्रेडिएंट के रूप में: लेखक SFT को पॉलिसी ग्रेडिएंट विधियों के एक विशेष मामले के रूप में फ्रेम करते हैं जहाँ ग्राउंड-ट्रुथ टोकन के लिए एडवांटेज फंक्शन ( $\hat{A}_t$ ) को 1 पर स्थिर किया जाता है, और सैंपलिंग एक स्थिर ऑफलाइन डेटासेट से होती है न कि वर्तमान पॉलिसी से।
ट्रस्ट रीजन अनुकूलन: TRPO और PPO से प्रेरित होकर, PSFT नई पॉलिसी ( $\pi_\theta$ ) और पुरानी पॉलिसी ( $\pi_{\theta_{old}}$ ) के बीच के अनुपात को नियंत्रित करने के लिए एक क्लिप्ड सरोगेट ऑब्जेक्टिव (clipped surrogate objective) पेश करता है।

ऑब्जेक्टिव फंक्शन (The Objective Function)

PSFT लॉस फंक्शन को इस प्रकार परिभाषित किया गया है:
$\mathcal{L}_{PSFT}(\theta) = \mathbb{E}_{(s_t, a_t) \sim D} \left[ \min \left( r_t(\theta), \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \right) \right]$
जहाँ:

$r_t(\theta) = \frac{\pi_\theta(a_t | s_t)}{\pi_{\theta_{old}}(a_t | s_t)}$ इम्पॉर्टेंस सैंपलिंग रेश्यो (importance sampling ratio) है।
$\epsilon$ एक हाइपरपैरामीटर है (आमतौर पर 0.2 या 0.28) जो ट्रस्ट रीजन को परिभाषित करता है।
PPO के विपरीत, यहाँ कोई एडवांटेज एस्टीमेशन नहीं है; सही टोकन के लिए "एडवांटेज" स्पष्ट रूप से 1 है।

मुख्य तंत्र (Key Mechanisms)

डायनेमिक ओल्ड पॉलिसी ( $\pi_{\theta_{old}}$ ): मानक PPO के विपरीत, जो अक्सर एक स्थिर रेफरेंस मॉडल का उपयोग करता है, PSFT प्रशिक्षण के दौरान $\pi_{\theta_{old}}$ को गतिशील रूप से अपडेट करता है। यह ट्रस्ट रीजन को धीरे-धीरे बदलने की अनुमति देता है, जिससे मॉडल एक स्थिर संदर्भ बिंदु तक सीमित हुए बिना डेटासेट से सीख पाता है।
ग्रेडिएंट क्लिपिंग (Gradient Clipping): क्लिपिंग तंत्र एक रेगुलराइज़र के रूप में कार्य करता है। यदि नई पॉलिसी पुरानी पॉलिसी से बहुत अधिक विचलित होती है (अर्थात, $r_t(\theta) > 1+\epsilon$ ), तो उस टोकन के लिए ग्रेडिएंट को शून्य कर दिया जाता है। यह बड़े, विनाशकारी अपडेट को रोकता है जो एन्ट्रॉपी पतन का कारण बनते हैं।
वार्म-अप चरण (Warm-up Phase): लेखक एक वैकल्पिक प्रारंभिक वार्म-अप चरण का सुझाव देते हैं जहाँ PSFT ऑब्जेक्टिव पर स्विच करने से पहले $\pi_{\theta_{old}}$ को डेटासेट वितरण के साथ संरेखित करने के लिए मानक SFT किया जाता है, जो प्रशिक्षण को और अधिक स्थिर बनाता है।

3. प्रमुख योगदान (Key Contributions)

नवीन अनुकूलन ऑब्जेक्टिव: PSFT पहला ऐसा तरीका है जो सफलतापूर्वक RL (PPO) से "ट्रस्ट रीजन" की अवधारणा को सुपरवाइज्ड फाइन-ट्यूनिंग डोमेन में अनुवादित करता है ताकि पॉलिसी ड्रिफ्ट और एन्ट्रॉपी पतन को रोका जा सके।
एन्ट्रॉपी संरक्षण: PSFT प्रशिक्षण के दौरान आउटपुट एन्ट्रॉपी को प्रभावी ढंग से उच्च बनाए रखता है, जिससे यह सुनिश्चित होता है कि मॉडल बाद के RL चरणों के लिए विविधता और अन्वेषण क्षमता बनाए रखता है।
बेहतर सामान्यीकरण: प्रशिक्षण वितरण पर ओवरफिटिंग को रोककर, PSFT मॉडल मानक SFT की तुलना में आउट-ऑफ-डोमेन कार्यों पर काफी बेहतर प्रदर्शन करते हैं।
बेहतर RL फाउंडेशन: PSFT द्वारा इनिशियलाइज किए गए मॉडल RL एल्गोरिदम (जैसे GRPO या DPO) के लिए एक मजबूत "कोल्ड स्टार्ट" के रूप में कार्य करते हैं, जिससे तेज़ अभिसरण (convergence) और उच्च अंतिम प्रदर्शन प्राप्त होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Qwen2.5-7B, Llama3.1-8B, और Qwen3-30B जैसे मॉडलों का उपयोग करके गणितीय तर्क (Mathematical Reasoning), मानवीय मूल्य संरेखण (Human Value Alignment), और मल्टीमॉडल (VLM) डोमेन में PSFT का मूल्यांकन किया।

A. SFT चरण प्रदर्शन

इन-डोमेन: PSFT लक्षित कार्यों (जैसे AIME, MATH-500) पर मानक SFT के बराबर (और कभी-कभी उससे बेहतर) प्रदर्शन प्राप्त करता है।
आउट-ऑफ-डोमेन: PSFT, OOD बेंचमार्क (जैसे GPQA, TruthfulQA, IFEval) पर मानक SFT की तुलना में काफी बेहतर प्रदर्शन करता है। उदाहरण के लिए, IFEval (इंस्ट्रक्शन फॉलोइंग) पर, मानक SFT ने प्रदर्शन में भारी गिरावट देखी, जबकि PSFT ने इसे बनाए रखा या इसमें सुधार किया।
एन्ट्रॉपी स्थिरता: PSFT के लिए एन्ट्रॉपी कर्व स्मूथ और स्थिर रहते हैं, जबकि मानक SFT प्रत्येक इपोक के बाद तीव्र गिरावट (एन्ट्रॉपी पतन) प्रदर्शित करता है।

B. RL चरण प्रदर्शन (पोस्ट-ट्रेनिंग)

कोल्ड स्टार्ट लाभ: RL (GRPO) के लिए शुरुआती बिंदु के रूप में उपयोग किए जाने पर, PSFT-इनिशियलाइज्ड मॉडलों ने "धीमी शुरुआत" दिखाई लेकिन तेजी से बराबरी (catch-up) की, और अंततः मानक SFT से इनिशियलाइज्ड मॉडलों से बेहतर प्रदर्शन किया।
अंतिम प्रदर्शन: RL प्रयोगों में, PSFT $\to$ GRPO संयोजनों ने SFT $\to$ GRPO की तुलना में इन-डोमेन और OOD दोनों कार्यों पर उच्च स्कोर प्राप्त किया।
संरेखण (Alignment): मानवीय संरेखण कार्यों (DPO का उपयोग करके) में, PSFT ने "एलाइनमेंट टैक्स" (संरेखण और सामान्य क्षमता के बीच ट्रेड-ऑफ) को कम किया, जिससे मॉडल को अपनी तर्क क्षमताओं को खोए बिना प्राथमिकताओं को सीखने की अनुमति मिली।

C. मल्टीमॉडल (VLM) परिणाम

PSFT ने केवल टेक्स्ट-आधारित डेटा का उपयोग करके विजुअल समझ को खराब किए बिना, विजन लैंग्वेज मॉडल्स (VLMs) में लॉन्ग चेन-ऑफ-थॉट (CoT) तर्क क्षमताओं को सफलतापूर्वक इंजेक्ट किया, जो मानक SFT का एक सामान्य विफलता बिंदु है।

5. महत्व और प्रभाव (Significance and Impact)

प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र इस धारणा को चुनौती देता है कि SFT केवल "व्यवहार क्लोनिंग" है। RL-प्रेरित बाधाओं को शामिल करके, यह SFT को एक अधिक मजबूत अनुकूलन प्रक्रिया में बदल देता है जो कार्य-विशिष्ट शिक्षण और सामान्य क्षमता संरक्षण के बीच संतुलन बनाता है।
व्यावहारिक उपयोगिता: PSFT पोस्ट-ट्रेनिंग पाइपलाइन में मानक SFT के लिए एक सरल, 'ड्रॉप-इन' रिप्लेसमेंट प्रदान करता है। इसके लिए न्यूनतम कोड परिवर्तन (लॉस फंक्शन को बदलना) की आवश्यकता होती है लेकिन यह मॉडल की मजबूती और डाउनस्ट्रीम RL क्षमता में पर्याप्त सुधार लाता है।
स्केलेबिलिटी: इस पद्धति को विभिन्न मॉडल आकारों (7B से 30B) और आर्किटेक्चर (डेंस और MoE) में मान्य किया गया है, जो यह सुझाव देता है कि यह औद्योगिक-स्तर के मॉडल प्रशिक्षण के लिए एक स्केलेबल समाधान है।

निष्कर्षतः, प्रॉक्सिमल सुपरवाइज्ड फाइन-ट्यूनिंग (PSFT) SFT में सामान्यीकरण और एन्ट्रॉपी पतन की समस्याओं के लिए एक सैद्धांतिक रूप से आधारित और अनुभवजन्य रूप से प्रमाणित समाधान प्रदान करता है, जो LLM विकास के आगामी सुदृढीकरण शिक्षण चरणों के लिए एक अधिक स्थिर और सक्षम आधार स्थापित करता है।