🤖 AI

Supervised Fine-Tuning versus Reinforcement Learning: A Study of Post-Training Methods for Large Language Models

यह शोध पत्र सुपरवाइज्ड फाइन-ट्यूनिंग (Supervised Fine-Tuning) और रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) की विशिष्ट किंतु परस्पर जुड़ी भूमिकाओं का व्यापक विश्लेषण करते हुए, उनके हाइब्रिड एकीकरण की खोज करते हुए, और हालिया अनुभवजन्य साक्ष्यों के आधार पर प्रभावी अनुप्रयोग के लिए प्रमुख रुझानों और सर्वोत्तम प्रथाओं की पहचान करते हुए, लार्ज लैंग्वेज मॉडल (Large Language Model) पोस्ट-ट्रेनिंग के लिए एक एकीकृत ढांचे को प्रस्तुत करता है।

मूल लेखक: Haitao Jiang, Wenbo Zhang, Jiarui Yao, Hengrui Cai, Sheng Wang, Rui Song

प्रकाशित 2026-03-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haitao Jiang, Wenbo Zhang, Jiarui Yao, Hengrui Cai, Sheng Wang, Rui Song

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक अत्यंत बुद्धिमान और विद्वान छात्र है जिसका नाम LLM है। इस छात्र ने पुस्तकालय की लगभग हर किताब पढ़ ली है (प्री-ट्रेनिंग चरण)। उसे बहुत सारे तथ्य पता हैं, वह कविता लिख सकता है, और व्याकरण समझता है। लेकिन, यदि आप उसे कोई विशिष्ट, कठिन गणितीय समस्या हल करने या किसी विशेष रोबोट के लिए कोड लिखने को कहें, तो वह गलत हो सकता है, भ्रमित होकर मनगढ़ंत बातें बना सकता है (hallucinate), या बहुत अनौपचारिक व्यवहार कर सकता है।

इस "सामान्य छात्र" को एक "विशेषज्ञ" बनाने के लिए, आपको उसे अतिरिक्त प्रशिक्षण देने की आवश्यकता है। यह पेपर उस प्रशिक्षण के दो मुख्य तरीकों पर एक मार्गदर्शिका है: SFT और RL।

यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:

1. प्रशिक्षण के दो तरीके

SFT (सुपरवाइज्ड फाइन-ट्यूनिंग): "गुरु की नकल करने" वाला तरीका

उपमा: कल्पना कीजिए कि आप अपने छात्र को शतरंज खेलना सिखाना चाहते हैं। आप उसे एक ग्रैंडमास्टर द्वारा खेले गए 1,000 खेलों का एक ढेर देते हैं। आप कहते हैं, "मूव A को देखो, फिर मूव B को। बस ठीक वैसे ही करो जैसा मास्टर ने किया था।"
यह कैसे काम करता है: छात्र आदर्श उदाहरणों की नकल करके सीखता है। यह तेज़, स्थिर है और नियमों और बुनियादी पैटर्न को सीखने के लिए बेहतरीन है।
नुकसान: यदि छात्र को शतरंज की ऐसी स्थिति का सामना करना पड़ता है जो उन 1,000 उदाहरणों में नहीं थी, तो वह जम सकता है या कोई अजीब चाल चल सकता है क्योंकि वह केवल याद कर रहा है, वास्तव में यह नहीं समझ रहा कि कोई चाल क्यों अच्छी है। यदि उदाहरण पूर्ण नहीं थे, तो वह मास्टर की गलतियों को दोहराने के चक्र में भी फंस सकता है।

RL (रीइन्फोर्समेंट लर्निंग): "परीक्षण, त्रुटि और पुरस्कार" वाला तरीका

उपमा: अब, छात्र को एक वास्तविक शतरंज टूर्नामेंट में रखें। वह एक खेल खेलता है। यदि वह जीतता है, तो उसे एक गोल्ड स्टार (पुरस्कार) मिलता है। यदि वह हारता है, तो उसे रेड कार्ड (दंड) मिलता है। उसके पास कोई स्क्रिप्ट नहीं है; उसे चीज़ों को आज़माकर, असफल होकर और फीडबैक से सीखकर सबसे अच्छे मूव्स का पता लगाना है।
यह कैसे काम करता है: छात्र विभिन्न रणनीतियों का अन्वेषण करता है। यदि कोई चाल जीत की ओर ले जाती है, तो वह उसे याद रखता है। यदि कोई चाल हार की ओर ले जाती है, तो वह उससे बचता है। यह उसे सामान्य होने (generalize) और उन नई, अजीब स्थितियों को संभालने में मदद करता है जिन्हें उसने पहले कभी नहीं देखा।
नुकसान: यह अराजक और महंगा है। एक अच्छा मूव खोजने से पहले छात्र हजारों खराब चालें चल सकता है। वह गोल्ड स्टार पाने के लिए (वास्तव में अच्छा खेलने के बजाय) "चीटिंग" (रिवॉर्ड को हैक करना) भी सीख सकता है।

2. बड़ी खोज: वे दुश्मन नहीं, बल्कि चचेरे भाई हैं

लंबे समय तक, शोधकर्ताओं ने सोचा कि SFT और RL पूरी तरह से अलग उपकरण हैं। यह पेपर तर्क देता है कि वे वास्तव में एक ही सिक्के के दो पहलू हैं।

अंतर्दृष्टि: आप वास्तव में "गुरु की नकल करने" (SSFT) को "पुरस्कार प्राप्त करने" (RL) के एक विशेष, सरल संस्करण के रूप में देख सकते हैं। SFT में, "पुरस्कार" केवल यह है: "क्या आपने उत्तर की ठीक वैसे ही नकल की? हाँ = अच्छा, नहीं = बुरा।"
निष्कर्ष: क्योंकि वे इतने समान हैं, एक को बेहतर बनाने के लिए इस्तेमाल किए जाने वाले नुस्खे अक्सर दूसरे के लिए भी काम करते हैं।

3. जीतने वाली रणनीति: हाइब्रिड दृष्टिकोण

यह पेपर 2023 से 2025 तक के एक बड़े रुझान को देखता है: एक को चुनना बंद करें; दोनों का उपयोग करें।

इसे एक एथलीट को प्रशिक्षित करने जैसा समझें:

चरण 1 (SFT): पहले, आप उन्हें ओलंपिक के घंटों के फुटेज देखने और आदर्श फॉर्म की नकल करने के लिए कहते हैं। यह उन्हें जल्दी से सही रास्ते पर लाता है।
चरण 2 (RL): फिर, आप उन्हें एक वास्तविक प्रतियोगिता में डालते हैं। वे उन वीडियो से जो सीखा है उसका उपयोग करते हैं लेकिन दबाव और प्रतिद्वंद्वी की विशिष्ट चालों के अनुसार खुद को ढालते हैं, और इस फीडबैक से सीखते हैं कि वास्तव में क्या काम करता है।

दोनों को क्यों मिलाएं?

SFT उन्हें एक ठोस आधार देता है ताकि वे शून्य से शुरुआत न करें।
RL उन्हें उस आधार को परिष्कृत करने, अपनी गलतियों को सुधारने और रचनात्मक समस्या समाधानकर्ता बनने में मदद करता है।

4. यह कहाँ हो रहा है?

पेपर चार मुख्य "खेलों" को देखता है जहाँ यह प्रशिक्षण हो रहा है:

सामान्य Q&A: एक ट्रिविया चैंपियन की तरह। (SFT तथ्यों को सिखाता है; RL यह सिखाता है कि चीजें बनाने के बजाय "मुझे नहीं पता" कैसे कहना है)।
गणित: एक गणित के उस्ताद की तरह। (SFT सूत्रों को सिखाता है; RL ऐसी समस्या को हल करने के लिए चरण-दर-चरण तर्क सिखाता है जिसे उन्होंने पहले कभी नहीं देखा)।
एजेंट्स (रोबोट): एक व्यक्तिगत सहायक की तरह। (SFT दरवाजा खोलने के बारे में सिखाता है; RL कॉफी का कप लेने के लिए बाधाओं से भरे कमरे में रास्ता बनाना सिखाता है)।
कोडिंग: एक सॉफ्टवेयर इंजीनियर की तरह। (SFT सिंटैक्स सिखाता है; RL टूटते हुए कोड को डीबग करना सिखाता है)।

5. भविष्य का रुझान

पेपर "जिम" (अनुसंधान समुदाय) में एक बदलाव को नोट करता है:

"पे-टू-प्ले" से "ओपन सोर्स" की ओर: अतीत में, लोग प्रशिक्षण डेटा उत्पन्न करने के लिए महंगे, बंद AI मॉडल का उपयोग करते थे। अब, वे अपने स्वयं के अभ्यास प्रश्न उत्पन्न करने के लिए खुले, मुफ्त मॉडल का उपयोग कर रहे हैं।
"एक-चरणीय" से "दो-चरणीय" की ओर: हम केवल नकल करने (SFT) या केवल अनुमान लगाने (RL) के बजाय एक हाइब्रिड पाइपलाइन की ओर बढ़ रहे हैं जहाँ मॉडल्स को पहले विशेषज्ञों द्वारा सिखाया जाता है, फिर रिवॉर्ड सिस्टम द्वारा पॉलिश किया जाता है।

सारांश

यह पेपर अनिवार्य रूप रूप से यह कह रहा है: "केवल पाठ्यपुस्तक को रटें नहीं (SFT), और केवल अंधेरे में अनुमान भी न लगाएं (RL)। दोनों करें। पहले सर्वश्रेष्ठ से सीखना शुरू करें, फिर तब तक अभ्यास करें जब तक आप सही न हो जाएं।"

यह संयोजन ही वह गुप्त सूत्र है जो AI को अधिक स्मार्ट, अधिक विश्वसनीय और वास्तविक दुनिया की जटिल समस्याओं को हल करने में बेहतर बना रहा है।

यहाँ जियांग एट अल. द्वारा लिखित शोध पत्र "Supervised Fine-Tuning versus Reinforcement Learning: A Study of Post-Training Methods for Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

पूर्व-प्रशिक्षित (Pre-trained) लार्ज लैंग्वेज मॉडल्स (LLMs) में व्यापक क्षमताएं होती हैं, लेकिन पोस्ट-ट्रेनिंग के बिना वे अक्सर उच्च सटीकता, विश्वसनीय तर्क (reasoning), या विशिष्ट डोमेन दक्षता प्राप्त करने में विफल रहते हैं। वर्तमान में, यह क्षेत्र दो अलग-अलग प्रतिमानों (paradigms) पर निर्भर है:

सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): यह मॉडल्स को विशेषज्ञ प्रदर्शनों (प्रॉम्प्ट-रिस्पॉन्स पेयर्स) की नकल करने के लिए प्रशिक्षित करता है ताकि संभावना (likelihood) को अधिकतम किया जा सके।
रीइन्फोर्समेंट लर्निंग (RL): यह मानव या स्वचालित फीडबैक से प्राप्त रिवॉर्ड सिग्नल्स के आधार पर मॉडल के व्यवहार को अनुकूलित करता है।

जबकि इन विधियों को अक्सर अलग-अलग चरणों के रूप में माना जाता है (आमतौर पर SFT के बाद RL, जैसा कि RLHF में होता है), हालिया सैद्धांतिक और अनुभवजन्य साक्ष्य बताते हैं कि वे गहराई से जुड़े हुए हैं। यह शोध पत्र एक एकीकृत परिप्रेक्ष्य (unified perspective) के अभाव को संबोधित करता है जो SFT और RL के बीच के अंतर्संबंधों की व्यवस्थित रूप से तुलना, एकीकरण और व्याख्या कर सके। यह स्पष्ट करने का प्रयास करता है कि प्रत्येक विधि कब इष्टतम होती है, उन्हें कैसे संयोजित किया जा सकता है, और 2023-2025 के दौरान उनके अनुप्रयोगों में उभरते रुझान क्या हैं।

2. कार्यप्रणाली (Methodology)

यह अध्ययन एक व्यापक सर्वेक्षण और सैद्धांतिक विश्लेषण दृष्टिकोण का उपयोग करता है, जो इस प्रकार संरचित है:

सैद्धांतिक एकीकरण (Theoretical Unification): लेखक गणितीय रूप से प्रदर्शित करते हैं कि SFT को RL के एक विशेष मामले के रूप में देखा जा सकता है। वे SFT ऑब्जेक्टिव को एक RL समस्या के रूप में स्वरूपित करते हैं जहाँ "रिवॉर्ड" एक इंडिकेटर फंक्शन ( $I\{y = y_i\}$ ) है जो 1 हो जाता है यदि मॉडल का आउटपुट ग्राउंड-ट्रुथ प्रदर्शन से मेल खाता है। इससे एक एकीकृत ऑब्जेक्टिव फंक्शन प्राप्त होता है:
$\max_{\pi} \mathbb{E}[r(x, y)] - \beta \text{KL}(\pi_\theta \parallel \pi_0)$
जहाँ $r$ एक प्रॉक्सी रिवॉर्ड के रूप में कार्य करता है (जो या तो RL में स्पष्ट रिवॉर्ड से या SFT में ग्राउंड-ट्रुथ मिलान से प्राप्त होता है) और $\beta$ एक रेगुलाइजेशन गुणांक है।
वर्गीकरण निर्माण (Taxonomy Construction): शोध पत्र मौजूदा साहित्य को तीन मुख्य आयामों में वर्गीकृत करता है:
1. एल्गोरिदम-केंद्रित बनाम डेटा-केंद्रित: लॉस फंक्शन्स (जैसे एंट्रॉपी रेगुलाइजेशन, पॉलिसी ग्रेडिएंट्स) बनाम डेटा चयन/संश्लेषण रणनीतियों में सुधार का विश्लेषण।
2. एकीकरण फ्रेमवर्क (Integration Frameworks): उन विधियों की समीक्षा करना जो SFT और RL को जोड़ते हैं, जिसमें हाइब्रिड ट्रेनिंग पाइपलाइन्स, सिंगल-स्टेज ऑब्जेक्टिव्स और म्यूचुअल एनहांसमेंट तकनीकें शामिल हैं।
3. अनुप्रयोग डोमेन (Application Domains): जनरल QA, गणित, एजेंटिक टास्क और कोड जनरेशन में प्रदर्शन का परीक्षण।
अनुभवजन्य रुझान विश्लेषण (Empirical Trend Analysis): लेखकों ने 2023 से 2025 तक के प्रकाशनों का व्यवस्थित विश्लेषण किया। उन्होंने arXiv प्रीप्रिंट्स पर कीवर्ड-मैचिंग रणनीति का उपयोग किया ताकि शोध पत्रों को डोमेन और प्रशिक्षण पद्धति के आधार पर वर्गीकृत किया जा सके, और H1 डेटा के आधार पर 2025 के लिए पूर्ण-वर्ष के रुझानों का अनुमान लगाया जा सके।

3. मुख्य योगदान (Key Contributions)

यह शोध पत्र क्षेत्र में तीन प्राथमिक योगदान देता है:

व्यवस्थित तुलना और एकीकरण: यह पहला अध्ययन है जो स्पष्ट रूप से SFT और RL को एक एकीकृत सैद्धांतिक ढांचे के भीतर पूरक उपकरणों के रूप में सारांशित करता है। यह स्पष्ट करता है कि SFT अनिवार्य रूप से एक विशिष्ट, स्पार्स रिवॉर्ड स्ट्रक्चर वाला RL है, जिससे एक डोमेन की तकनीकों (जैसे RL में इम्पोर्टेंस सैंपलिंग) को दूसरे पर लागू किया जा सकता है।
हाइब्रिड ट्रेनिंग प्रतिमान विश्लेषण: लेखक विस्तार से बताते हैं कि कैसे आधुनिक शोध क्रमिक SFT $\to$ $\to$ RL पाइपलाइनों से हाइब्रिड दृष्टिकोणों की ओर बढ़ रहा है। इनमें शामिल हैं:
- सिंगल-स्टेज इंटीग्रेशन: एक ही ऑब्जेक्टिव में SFT और RL लॉस को संयोजित करना (जैसे SRFT, UFT)।
- म्यूचुअल एनहांसमेंट: RL एक्सप्लोरेशन को स्थिर करने के लिए SFT का उपयोग करना (जैसे प्रिफिक्स सैंपलिंग, ऑफलाइन प्रदर्शन) और SFT के सामान्यीकरण (generalization) को बेहतर बनाने के लिए RL का उपयोग करना (जैसे रिवॉर्ड-वेटेड SFT, नेगेटिव रीइन्फोर्समेंट)।
- डायनेमिक स्विचिंग: ऐसे एल्गोरिदम जो मॉडल के प्रदर्शन या कार्य की कठिनाई के आधार पर SFT और RL के बीच स्विच करते हैं।
अनुभवजन्य रुझान पहचान: अध्ययन अनुसंधान परिदृश्य में एक तीव्र बदलाव की पहचान करता है:
- हाइब्रिड प्रभुत्व: शुद्ध SFT या शुद्ध RL दृष्टिकोणों को पछाड़ते हुए, संयुक्त SFT+RL पाइपलाइनों का उपयोग करने वाले शोध का अनुपात तेजी से बढ़ा है।
- डेटा स्रोत में बदलाव: API-आधारित लेबलिंग (जैसे GPT-4) पर निर्भरता से हटकर सिंथेटिक ट्रेनिंग डेटा और रोलआउट्स उत्पन्न करने के लिए ओपन-वेट मॉडल्स के उपयोग की ओर एक स्पष्ट संक्रमण हुआ है।
- डोमेन विस्तार: गणितीय तर्क (mathematical reasoning), एजेंटिक प्लानिंग और कोड जनरेशन के लिए अनुप्रयोगों में महत्वपूर्ण वृद्धि हुई है, जिसमें गणित और कोड सबसे उच्च विकास दर दिखा रहे हैं।

4. परिणाम और निष्कर्ष (Results and Findings)

सैद्धांतिक अंतर्दृष्टि: ग्रेडिएंट विश्लेषण पुष्टि करता है कि SFT और RL दोनों ऑब्जेक्टिव्स के साथ अनुकूलन (optimizing) एक एकीकृत RL ऑब्जेक्टिव में समाहित हो जाता है। इसका तात्पर्य है कि एक के लिए विकसित "ट्रिक्स" (जैसे एंट्रॉपी रेगुलाइजेशन या KL क्लिपिंग) दूसरे के लिए भी लागू हैं।
प्रदर्शन ट्रेड-ऑफ:
- SFT प्रारंभिक एलाइनमेंट, स्थिरता और विशेषज्ञ पैटर्न को याद रखने के लिए बेहतर है, लेकिन यह डिस्ट्रीब्यूशन शिफ्ट और नवीन समस्याओं के लिए सीमित सामान्यीकरण से ग्रस्त है।
- RL एक्सप्लोरेशन, स्टेप-वाइज रीजनिंग और सामान्यीकरण में उत्कृष्ट है, लेकिन मजबूत इनिशियलाइजेशन के बिना इसमें एंट्रॉपी कोलैप्स, रिवॉर्ड हैकिंग और अस्थिरता का जोखिम रहता है।
- हाइब्रिड विधियाँ स्थिरता के लिए SFT और अनुकूलन के लिए RL का लाभ उठाकर स्टैंडअलोन विधियों की तुलना में लगातार बेहतर प्रदर्शन करती हैं।
अनुप्रयोग विशिष्टता:
- गणित (Math): स्टेप-वाइज रोलआउट और वेरिफिकेशन (जैसे GRPO, Critique-DPO) का उपयोग करने वाले हाइब्रिड दृष्टिकोणों ने तर्क क्षमताओं में काफी सुधार किया है।
- एजेंट्स (Agents): लॉन्ग-होरिजन प्लानिंग और एक्शन सिलेक्शन के लिए पदानुक्रमित (hierarchical) RL, SFT के साथ मिलकर महत्वपूर्ण है।
- कोड (Code): ओपन-सोर्स कोड पर SFT के साथ निष्पादन योग्य फीडबैक (यूनिट टेस्ट) के साथ RL, कोड जनरेशन और एडिटिंग के लिए मानक बन गया है।
रुझान डेटा (2023–2025):
- कोड कार्यों में शोध की मात्रा ~272% (2023 से 2024) और गणित में ~123% बढ़ी।
- हाइब्रिड (SFT+RL) ट्रेनिंग का उपयोग करने वाले शोध पत्रों का अनुपात 2023 में 20% से बढ़कर 2024 में ~74% हो गया, जो इसे प्रमुख प्रतिमान बनाता है।
- डेटा जनरेशन के लिए API-आधारित मॉडल्स पर निर्भरता 32% से गिरकर 11% हो गई, जबकि ओपन-वेट मॉडल का उपयोग दोगुना हो गया।

5. महत्व (Significance)

यह शोध पत्र अगली पीढ़ी के LLM पोस्ट-ट्रेनिंग के लिए एक आधारभूत संदर्भ के रूप में कार्य करता है। इसका महत्व निम्नलिखित में निहित है:

अंतराल को पाटना: यह SFT और RL के बीच के कृत्रिम अवरोध को समाप्त करता है, और एक सुसंगत सैद्धांतिक आधार प्रदान करता है कि उन्हें क्यों और कैसे एकीकृत किया जाना चाहिए।
भविष्य के अनुसंधान का मार्गदर्शन: यह सैंपल- और कंप्यूट-कुशल कार्यप्रणाली की तत्काल आवश्यकता को रेखांकित करता है, क्योंकि वर्तमान हाइब्रिड पाइपलाइन संसाधन-गहन (resource-intensive) हैं। यह स्पार्स या अप्रत्यक्ष रिवॉर्ड सिग्नल्स (जैसे यूजर फीडबैक, सेल्फ-इवैल्यूएशन) के तहत प्रशिक्षण की चुनौती की ओर भी संकेत करता है।
मानकीकृत अभ्यास: ओपन-वेट, मॉडल-जेनरेटेड डेटासेट्स और हाइब्रिड पाइपलाइनों की ओर बदलाव को प्रलेखित करके, यह स्केलेबल और सामान्यीकरण योग्य LLM एलाइनमेंट के लिए उभरते "सर्वोत्तम अभ्यासों" की रूपरेखा तैयार करता है।

निष्कर्षतः, अध्ययन का तर्क है कि LLM एलाइनमेंट का भविष्य SFT या RL में से किसी एक को चुनने में नहीं, बल्कि उन्हें लचीले, हाइब्रिड फ्रेमवर्क में एकीकृत करने में है जो इमिटेशन लर्निंग की स्थिरता और रिवॉर्ड-ड्रिवन ऑप्टिमाइजेशन की अनुकूलन क्षमता का लाभ उठाते हैं।