🤖 machine learning

RASFT: Rollout-Adaptive Supervised Fine-Tuning for Reasoning

यह शोध पत्र RASFT का प्रस्ताव करता है, जो एक पॉलिसी-अवेयर सुपरवाइज्ड फाइन-ट्यूनिंग फ्रेमवर्क है जो समस्या की समाधान क्षमता और पॉलिसी कॉन्फिडेंस के आधार पर विशेषज्ञ अनुकरण (expert imitation) और स्व-निर्मित तर्क (self-generated reasoning) के बीच संतुलन को गतिशील रूप से समायोजित करता है, जिससे मौजूदा SFT और RL विधियों की तुलना में गणितीय और कोड रीजनिंग बेंचमार्क पर बेहतर प्रदर्शन प्राप्त होता है।

मूल लेखक: Yongliang Miao, Fengyuan Liu, Wei Shi, Yanguang Liu, Fei Sun, Na Zou, Mengnan Du

प्रकाशित 2026-06-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yongliang Miao, Fengyuan Liu, Wei Shi, Yanguang Liu, Fei Sun, Na Zou, Mengnan Du

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े ज़िद्दी छात्र को जटिल पहेलियाँ सुलझाना सिखा रहे हैं, जैसे कि उन्नत गणित की समस्याएँ या कंप्यूटर कोड लिखना।

पुराना तरीका: "मास्टर की नकल करें"

पारंपरिक रूप से, जब हम इन AI मॉडलों (जिन्हें लार्ज लैंग्वेज मॉडल कहा जाता है) को प्रशिक्षित करते हैं, तो हम एक विधि का उपयोग करते हैं जिसे सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) कहा जाता है। इसे एक ऐसे छात्र के रूप में सोचें जिसे एक मास्टर शिक्षक द्वारा लिखा गया एक एकल, पूर्ण समाधान थमाया जाता है और कहा जाता है, "इस सटीक पथ को याद कर लो। मैंने जो किया, ठीक वैसा ही शब्द दर शब्द करो।"

समस्या यह है कि तर्क (reasoning) केवल नकल करने के बारे में नहीं है। एक पहेली को कई अलग-अलग वैध तरीकों से हल किया जा सकता है। यदि छात्र कठोरता से मास्टर के एक विशिष्ट पथ की नकल करता है, तो वह:

अपनी अंतर्दृष्टि भूल सकता है: वह अपनी दिमागी शक्ति का उपयोग करना बंद कर देता है क्योंकि वह शिक्षक की नकल करने में बहुत व्यस्त रहता है।
सतह पर ओवरफिट हो सकता है: वह उत्तर की शैली को सीख लेता है बजाय उसके पीछे के तर्क के।
फँसने पर विफल हो जाता है: यदि शिक्षक का पथ छात्र के वर्तमान कौशल स्तर के लिए बहुत कठिन है, तो छात्र बस भ्रमित हो जाता है और हार मान लेता है।

नया तरीका: RASFT (एक "स्मार्ट कोच")

यह पेपर एक नई विधि पेश करता है जिसे RASFT (रोलआउट-एडेप्टिव सुपरवाइज्ड फाइन-ट्यूनिंग) कहा जाता है। एक कठोर शिक्षक के बजाय, एक स्मार्ट कोच की कल्पना करें जो यह तय करने से पहले कि कितना हस्तक्षेप करना है, छात्र को अभ्यास करते हुए देखता है।

यहाँ कोच कैसे काम करता है, चरण-दर-चरण:

1. "कोशिश करने वाला" चरण (रोलआउट्स)

पाठ शुरू होने से पहले, कोच छात्र को कुछ बार अपने आप समस्या हल करने की कोशिश करने के लिए कहता है (इन्हें "रोलआउट्स" कहा जाता है)।

यदि छात्र सही करता है: कोच कहता है, "बहुत बढ़िया! तुम स्पष्ट रूप से इसे समझते हो। मुझे तुम्हें मेरा समाधान कॉपी करने के लिए मजबूर करने की आवश्यकता नहीं है। चलो तुम्हारे अपने सही उत्तर को देखते हैं।"
यदि छात्र विफल होता है: कोच कहता है, "ठीक है, तुम इसमें संघर्ष कर रहे हो। मुझे मार्गदर्शन करने के लिए मास्टर के समाधान को दिखाने की आवश्यकता है।"

यही एडेप्टिव (अनुकूलनशील) हिस्सा है। "शिक्षक का मार्गदर्शन" कितना होगा, यह इस पर निर्भर करता है कि छात्र अभी कैसा प्रदर्शन कर रहा है।

2. "सुरक्षा जाल" (इनवर्स रेशियो)

एक जोखिम यह है कि यदि कोच बहुत अधिक मददगार हो जाता है, तो छात्र अपनी अनूठी सोचने की प्रक्रिया को पूरी तरह से भूल सकता है और केवल एक रोबोट बन सकता है जो केवल शिक्षक के तरीके को जानता है।

इसे रोकने के लिए, RASFT एक सुरक्षा जाल (Safety Net) का उपयोग करता है। यह लगातार जाँच करता है: "क्या छात्र अपने मूल, स्वाभाविक तरीके से बहुत दूर जा रहा है?"

यदि छात्र शिक्षक से मेल खाने के लिए अपनी शैली को बहुत अधिक बदल रहा है, तो सुरक्षा जाल उसे धीरे से वापस खींचता है।
यह सुनिश्चित करता है कि छात्र नए करतब सीखने के साथ-साथ अपनी "तर्क करने वाली व्यक्तित्व" को भी बनाए रखे, न कि केवल अपने मस्तिष्क को शिक्षक के डेटा से ओवरराइट कर दे।

यह बेहतर क्यों काम करता है

इस पेपर ने गणित और कोडिंग परीक्षणों पर इस "स्मार्ट कोच" का "कठोर शिक्षक" और अन्य विधियों के मुकाबले परीक्षण किया।

परिणाम: RASFT के साथ प्रशिक्षित छात्र समस्याओं को हल करने में बहुत बेहतर हो गए। उन्होंने केवल नकल नहीं की; उन्होंने शिक्षक के ज्ञान को अपने बढ़ते कौशल के साथ जोड़ना सीखा।
उपमा: एक संगीतकार की कल्पना करें जो एक गाना सीख रहा है।
- पुराना SFT: छात्र को शीट संगीत को बिल्कुल वैसे ही बजाने के लिए मजबूर किया जाता है जैसा लिखा है, भले ही वह एक जैज़ खिलाड़ी हो। वह अपने सुधार (improvisation) के कौशल को खो देता है।
- RASFT: शिक्षक छात्र को जैम करते हुए सुनता है। यदि छात्र अच्छा खेल रहा है, तो शिक्षक उसे अपने जैज़ स्टाइल को बनाए रखने देता है। यदि छात्र गलत नोट बजाता है, तो शिक्षक विशिष्ट गलती को सुधारने के लिए शीट संगीत दिखाता है। छात्र अंततः एक बेहतर, अधिक बहुमुखी संगीतकार बनता है।

कमी (सीमाएँ)

पेपर स्वीकार करता है कि यह विधि मुफ्त नहीं है।

इसमें अधिक समय लगता है: "कोच" को छात्र को अभ्यास करते हुए देखना पड़ता है (रोलआउट उत्पन्न करना) और सिखाने से पहले यह जाँचने के लिए कि क्या वह सही है। यह उत्तर कुंजी देने की तुलना में धीमा है।
इसे एक स्पष्ट उत्तर कुंजी की आवश्यकता होती है: यह गणित (जहाँ उत्तर एक विशिष्ट संख्या है) और कोडिंग (जहाँ कोड या तो चलता है या नहीं) के लिए बहुत अच्छा काम करता है। खुले अंत वाले प्रश्नों जैसे "एक कविता लिखें" के लिए इसका उपयोग करना कठिन है, क्योंकि यह स्वचालित रूप से सत्यापित करना आसान नहीं है कि कविता "सही" है या नहीं।

सारांश

RASFT AI को प्रशिक्षित करने का एक स्मार्ट तरीका है। किसी एकल विशेषज्ञ की नकल करने के लिए AI को अंधाधुंध मजबूर करने के बजाय, यह AI की वर्तमान क्षमता की जाँच करता है। यदि AI संघर्ष कर रहा है, तो यह विशेषज्ञ पर भारी निर्भरता दिखाता है। यदि AI अच्छा कर रहा है, तो यह AI को अपने तर्क पर भरोसा करने देता है। यह एक ऐसा मॉडल बनाता है जो ज्ञानवान और लचीला दोनों है।

तकनीकी सारांश: RASFT (रोलआउट-एडेप्टिव सुपरवाइज्ड फाइन-ट्यूनिंग फॉर रीजनिंग)

1. समस्या विवरण (Problem Statement)

सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) बड़े भाषा मॉडलों (LLMs) को रीजनिंग कार्यों के लिए अनुकूलित करने हेतु एक मानक दृष्टिकोण है, जो ऑफलाइन एक्सपर्ट प्रदर्शनों (expert demonstrations) का अनुकरण करता है। हालांकि, लेखक इस प्रतिमान (paradigm) में एक महत्वपूर्ण सीमा की पहचान करते हैं: रीजनिंग केवल एक सरल पथ अनुकरण (path imitation) कार्य नहीं है। एक ही समस्या के कई वैध समाधान पथ हो सकते हैं, फिर भी मानक SFT एक एकल ऑफलाइन एक्सपर्ट ट्राजेक्टरी को कठोर लक्ष्य व्यवहार के रूप में मानता है।

यह कठोर अनुकरण दो समस्याओं को जन्म दे सकता है:

सतही रूपों पर ओवरफिटिंग (Overfitting to Surface Forms): मॉडल अंतर्निहित रीजनिंग वितरण (reasoning distribution) को सीखने के बजाय विशिष्ट प्रदर्शन को याद कर सकता है।
सुप्त क्षमता का दमन (Suppression of Latent Ability): प्रीट्रेन्ड LLMs में अक्सर समृद्ध, सुप्त रीजनिंग वितरण होते हैं। एक एकल एक्सपर्ट पथ का अत्यधिक अनुकरण इन प्रायर्स (priors) को ओवरराइट कर सकता है, जिससे मॉडल की विविध और सही रीजनिंग ट्राजेक्टरी उत्पन्न करने की अपनी क्षमता कमजोर हो जाती है।

मौजूदा SFT वेरिएंट्स (जैसे, DFT, ASFT, ProFiT) लर्निंग सिग्नल्स को रीस्केल करके या रेफरेंस मॉडल्स के साथ एंकर करके इसे कम करने का प्रयास करते हैं, लेकिन वे काफी हद तक "डेमॉन्स्ट्रेशन-इंटरनल" बने रहते हैं। वे समस्या को हल करने की वर्तमान पॉलिसी की वास्तविक क्षमता के आधार पर पर्यवेक्षण (supervision) को कैलिब्रेट करने के बजाय, ऑफलाइन ट्राजेक्टरी के भीतर के सिग्नल्स पर अनुकूलन करते हैं।

2. कार्यप्रणाली: RASFT

लेखक रोलआउट-एडेप्टिव सुपरवाइज्ड फाइन-ट्यूनिंग (RASFT) का प्रस्ताव करते हैं, जो एक पॉलिसी-अवेयर फ्रेमवर्क है जो मॉडल के वर्तमान प्रदर्शन के आधार पर एक्सपर्ट गाइडेंस और स्वयं-जनित रीजनिंग के बीच गतिशील रूप से संतुलन बनाता है।

मुख्य घटक

लोकल कैंडिडेट पूल निर्माण (Local Candidate Pool Construction):
प्रत्येक प्रॉम्प्ट $x_i$ के लिए, RASFT एक पूल $G_i$ बनाता है जिसमें शामिल हैं:
- ऑफलाइन एक्सपर्ट ट्राजेक्टरी ( $y^e_i$ )।
- ऑन-पॉलिसी रोलआउट्स के माध्यम से वर्तमान पॉलिसी ( $\pi_\theta$ ) द्वारा जनरेट की गई सत्यापित सही ट्राजेक्टरीज।
- नोट: गलत रोलआउट्स को ऑप्टिमाइजेशन लक्ष्यों से बाहर कर दिया जाता है लेकिन कठिनाई का अनुमान लगाने के लिए उपयोग किया जाता है।
समस्या-स्तरीय समाधान क्षमता का अनुमान ( $\zeta_i$ ):
मॉडल एक दिए गए प्रॉम्प्ट के लिए $K$ रोलआउट जनरेट करता है। एक कार्य-विशिष्ट वेरीफायर (जैसे, गणित के लिए फाइनल-आंसर मैचिंग, कोड के लिए एसेर्शन टेस्ट) शुद्धता निर्धारित करता है। सॉल्वेबिलिटी इंडेक्स की गणना सफलता दर के रूप में की जाती है:
$\zeta_i = \frac{1}{K} \sum_{k=1}^{K} c_{i,k}$
जहाँ $c_{i,k} \in \{0, 1\}$ शुद्धता को दर्शाता है। यह स्कोर दर्शाता है कि वर्तमान पॉलिसी समस्या को कितनी अच्छी तरह हल कर सकती है।
एडेप्टिव वेटिंग (Adaptive Weighting):
RASFT $\zeta_i$ के आधार पर कैंडिडेट पूल में ट्राजेक्टरीज को वेट असाइन करता है:
- एक्सपर्ट ट्राजेक्टरी वेट ( $W_e$ ): गतिशील रूप से समायोजित। जब $\zeta_i$ कम होता है (मॉडल संघर्ष करता है), तो एक्सपर्ट ट्राजेक्टरी को मजबूत सुधारात्मक मार्गदर्शन प्रदान करने के लिए उच्च वेट दिया जाता है। जब $\zeta_i$ अधिक होता है (मॉडल विश्वसनीय है), तो वेट को कम किया जाता है ताकि कठोर फिटिंग को रोका जा सके और मॉडल की अपनी रीजनिंग को हावी होने दिया जा सके।
- स्व-जनित ट्राजेक्टरी वेट ( $W_r$ ): सत्यापित सही रोलआउट्स के लिए स्थिर (fixed)।
पॉलिसी-रेगुलराइज्ड ऑब्जेक्टिव (Policy-Regularized Objective):
प्रीट्रेन्ड डिस्ट्रीब्यूशन से अत्यधिक विचलन को रोकने के लिए, RASFT एक फ्रीज्ड रेफरेंस मॉडल ( $\pi_{ref}$ ) और वर्तमान पॉलिसी ( $\pi_\theta$ ) के बीच एक क्लिप्ड इनवर्स रेशियो पेश करता है। अंतिम लॉस फंक्शन निम्नलिखित को जोड़ता है:
- नॉर्मलाइज्ड ट्राजेक्टरी वेट्स ( $\bar{W}_{i,j}$ )।
- क्लिप्ड इनवर्स रेशियो ( $Clip(r_{i,j}(\theta))$ )।
- टोकन-लेवल कॉन्फिडेंस ( $p_{\theta}$ )।

ऑब्जेक्टिव एक वेटेड सीक्वेंस-टू-सीक्वेंस लॉस को मिनिमाइज करता है:
$\mathcal{L}(\theta) = -\mathbb{E}_i \left[ \sum_{y_{i,j} \in G_i} \sum_{t=1}^{|y_{i,j}|} \omega_{i,j,t} \log p_{\theta, i,j,t} \right]$
जहाँ $\omega_{i,j,t}$ कंपाउंड वेट है।

3. मुख्य योगदान

पेपर अपने योगदान को निम्नानुसार सारांशित करता है:

सीमा की पहचान: यह रेखांकित करता है कि मौजूदा SFT वेरिएंट्स में पॉलिसी-अवेयरनेस की कमी है, जो यह अंतर करने में विफल रहते हैं कि कब एक्सपर्ट इमिटेशन आवश्यक है बनाम कब यह कठोर पथ फिटिंग बन जाता है।
फ्रेमवर्क प्रस्ताव: RASFT को एक रोलआउट-एडेप्टिव SFT फ्रेमवर्क के रूप में पेश किया गया है जो ऑन-पॉलिसी रोलआउट्स का उपयोग करके समस्या की समाधान क्षमता का अनुमान लगाता है, और एक्सपर्ट गाइडेंस एवं स्वयं-जनित सही ट्राजेक्टरीज के बीच गतिशील संतुलन बनाता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोगों से सिद्ध होता है कि RASFT गणितीय और कोड रीजनिंग कार्यों में मानक SFT, SFT वेरिएंट्स (DFT, ASFT, ProFiT) और प्रतिनिधि RL मेथड्स (GRPO, LUFFY) से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम

प्रयोग छह गणितीय रीजनिंग बेंचमार्क्स (MATH-500, Minerva, OlympiadBench, AIME 2024/2025, AMC 2023) और दो कोड रीजनिंग बेंचमार्क्स (HumanEval, MBPP) पर Qwen2.5 और Llama-3.2 परिवारों के मॉडल्स का उपयोग करके किए गए।

प्रदर्शन लाभ: RASFT ने लगातार सर्वश्रेष्ठ औसत प्रदर्शन प्राप्त किया।
- मैथ: Qwen2.5-Math-1.5B पर, इसने सर्वश्रेष्ठ बेसलाइन की तुलना में 10.9% (25.00 $\to$ 27.72) का सापेक्ष लाभ प्राप्त किया।
- कोड: Llama-3.2-3B पर, इसने 26.9% का लाभ (24.93 $\to$ 31.63) प्राप्त किया।
- RL के साथ तुलना: RASFT ने GRPO की तुलना में औसत मैथ सटीकता में 15.9% (20.25 $\to$ 23.47) का सुधार किया।
एब्लेशन स्टडीज (Ablation Studies):
- डिफिकल्टी एडेप्टिविटी: एडेप्टिव वेटिंग को हटाने से औसत स्कोर 27.72 से गिरकर 25.53 हो गया, जो पुष्टि करता है कि स्टैटिक बैलेंसिंग उप-इष्टतम (suboptimal) है।
- ऑन-पॉलिसी रोलआउट्स: रोलआउट्स को हटाने (स्टैटिक एक्सपर्ट वेट्स पर लौटने) से समान गिरावट देखी गई, जो ऑनलाइन फीडबैक की आवश्यकता को उजागर करती है।
- इनवर्स रेशियो: इनवर्स रेशियो को हटाने से प्रदर्शन में कमी आई, जो ऑफलाइन डेटा पर ओवरफिटिंग को रोकने और प्रीट्रेन्ड प्रायर्स को बनाए रखने में इसकी भूमिका की पुष्टि करता है।
- ट्रांसफरेबिलिटी: RASFT ने मानक SFT और ProFiT के साथ एकीकृत होने पर प्रदर्शन में सुधार किया, जो सुझाव देता है कि यह टोकन-लेवल रिस्केलिंग मेथड्स के पूरक है।
ट्रेनिंग डायनेमिक्स: RASFT ने अन्य तरीकों की तुलना में बाद के चरणों में स्थिर ट्रेनिंग ऑब्जेक्टिव और कम पैरामीटर-अपडेट डेंसिटी बनाए रखी, जो बेहतर प्रीट्रेन्ड रीजनिंग प्रायर्स के संरक्षण को दर्शाता है।

5. महत्व और दावे

पेपर का दावा है कि RASFT स्टैटिक डेमॉन्स्ट्रेशन फिटिंग से पॉलिसी-एडेप्टिव सुपरविजन की ओर एक बदलाव का प्रतिनिधित्व करता है। इसका महत्व निम्नलिखित में निहित है:

SFT और RL के बीच सेतु: यह RL मेथड्स में पाए जाने वाले ऑनलाइन एक्सप्लोरेशन (rollouts) और एडेप्टिव वेटिंग के लाभों को शामिल करता है, लेकिन SFT फ्रेमवर्क की स्थिरता और सरलता को बनाए रखता है।
डायनेमिक कैलिब्रेशन: यह किसी विशिष्ट समस्या को हल करने की मॉडल की वास्तविक क्षमता के आधार पर एक्सपर्ट सुपरविजन की शक्ति को सफलतापूर्वक कैलिब्रेट करता है, जिससे मॉडल के अपने रीजनिंग वितरण के दमन से बचा जा सकता है।
मजबूती (Robustness): विधि विभिन्न मॉडल स्केल्स और टास्क डोमेन में मजबूत है, विशेष रूप से कठिन बेंचमार्क्स (जैसे, AIME, OlympiadBench) पर महत्वपूर्ण लाभ दिखाती है जहाँ कठोर अनुकरण विफल हो जाता है।

लेखकों द्वारा स्वीकार की गई सीमाएं:

कंप्यूटेशनल लागत: ऑन-पॉलिसी रोलआउट्स के आवधिक जनरेशन और सत्यापन के कारण RASFT, मानक SFT की तुलना में अधिक महंगा है।
वेरिफिकेशन डिपेंडेंसी: यह विधि विश्वसनीय ऑटोमैटिक वेरिफिकेशन सिग्नल्स (जैसे, गणित के लिए फाइनल आंसर्स, कोड के लिए टेस्ट केसेस) पर निर्भर करती है। स्पष्ट शुद्धता संकेतों के बिना ओपन-एंडेड रीजनिंग कार्यों तक इसे विस्तारित करना एक चुनौती बनी हुई है।