तकनीकी सारांश: गणितीय तर्क के लिए LLM पोस्ट-ट्रेनिंग में विशेषज्ञ प्रक्षेपवक्र (Expert Trajectory) उपयोग पर पुनर्विचार

समस्या विवरण

गणितीय तर्क के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) की पोस्ट-ट्रेनिंग वर्तमान में दो प्रतिमानों (paradigms) द्वारा संचालित है: सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) और रीइन्फोर्समेंट लर्निंग (RL)। जबकि SFT इमिटेशन (imitation) के माध्यम से रीजनिंग प्रायर्स (reasoning priors) स्थापित करने के लिए विशेषज्ञ प्रक्षेपवक्रों (expert trajectories - प्रॉम्प्ट-समाधान युग्म) पर अत्यधिक निर्भर करता है, RL विधियाँ (जैसे GRPO, DAPO) प्रत्यक्ष विशेषज्ञ प्रक्षेपवक्र उपयोग के बिना, रिवॉर्ड सिग्नल्स का लाभ उठाकर तर्क पथों (reasoning paths) को खोजने का प्रयास करती हैं।

यद्यपि इस बात पर आम सहमति है कि दोनों आवश्यक हैं, लेकिन विशेषज्ञ प्रक्षेपवक्रों का उपयोग करने के इष्टतम तंत्र (optimal mechanism) के बारे में, जो अंतिम प्रदर्शन की ऊपरी सीमा (performance ceiling) को अधिकतम कर सके, अभी भी अनसुलझा है। क्षेत्र एक "प्रतिमान दुविधा" (paradigm dilemma) का सामना कर रहा है:

1. सिंक्रोनाइज्ड दृष्टिकोण (Syn-SFT-RL): हालिया विधियाँ (जैसे UPT, SRFT, LUFFY) RL लूप के भीतर सीधे इमिटेशन लॉस को एकीकृत करती हैं, जो बेहतर दक्षता का दावा करती हैं। हालाँकि, ये अक्सर सीमित SFT डेटा स्केल (जैसे ~46K नमूने) द्वारा बाधित होती हैं और काफी बड़े डेटासेट पर प्रशिक्षित बेसलाइन्स के विरुद्ध कठोर तुलना का अभाव होता है।
2. अनुक्रमिक दृष्टिकोण (SFT-then-RL): उद्योग का मानक एक अनुक्रमिक पाइपलाइन है। हालाँकि, इस दृष्टिकोण को नियंत्रित करने वाले सिद्धांत काफी हद तक अनुभवजन्य (empirical) हैं। महत्वपूर्ण प्रश्न अभी भी अनुत्तरित हैं: जैसे कि SFT से RL में स्विच करने के लिए इष्टतम समय क्या है, डेटा स्केल बनाम कठिनाई का प्रभाव क्या है, और क्या "कम ही अधिक है" (Less is More) परिकल्पना (अधिकतम तर्क सीमा प्राप्त करने के लिए न्यूनतम उच्च-गुणवत्ता वाले डेटा का उपयोग करना) सत्य है।

कार्यप्रणाली: प्लास्टिकिटी-सीलिंग फ्रेमवर्क (The Plasticity-Ceiling Framework)

इन अंतरालों को दूर करने के लिए, लेखक प्लास्टिसिटी-सीलिंग फ्रेमवर्क प्रस्तावित करते हैं, जो एक एकीकृत विश्लेषणात्मक दृष्टिकोण है। यह सैद्धांतिक पोस्ट-ट्रेनिंग प्रदर्शन सीमा ($A_{post}$) को दो मापने योग्य घटकों में विभाजित करता है:

1. SFT प्रदर्शन ($P_{sft}$): एक विशिष्ट कंप्यूट आवंटन ($x_{sft}$) के दिए जाने पर SFT चरण के बाद प्राप्त वास्तविक प्रदर्शन।
2. RL प्लास्टिकिटी ($P_{L_{rl}}$): बाद के RL के माध्यम से प्राप्त की जा सकने वाली अधिकतम संभावित सुधार, जिसे एसिम्प्टोटिक सीलिंग और SFT बेसलाइन के अंतर ($A_{post} - P_{sft}$) के रूप में परिभाषित किया गया है।

फ्रेमवर्क पोस्ट-ट्रेनिंग प्रदर्शन को एक सिग्मोइडल लॉ (sigmoidal law) के फलन (function) के रूप में मॉडल करता है, जिससे अंतिम सीमा का मात्रात्मक अपघटन संभव होता है। यह लेखकों को यह व्यवस्थित रूप से मूल्यांकन करने में सक्षम बनाता है कि SFT डेटा के गुण (स्केल और कठिनाई) और प्रशिक्षण गतिशीलता (training dynamics) कैसे आधार ($P_{sft}$) और सुधार के लिए उपलब्ध स्थान ($P_{L_{rl}}$) दोनों को प्रभावित करते हैं।

प्रयोगात्मक सेटअप

अध्ययन छह गणितीय बेंचमार्क (GSM8K, OlympiadBench, Minerva, MATH, AIME24/25) और आउट-ऑफ-डोमेन (OOD) कार्यों (GPQA-Diamond, ARC-C) पर Qwen2.5-7B और Llama3.2-3B पर व्यापक बेंचमार्क आयोजित करता है।

• डेटासेट: लेखक 1K से 889K अद्वितीय नमूनों के SFT डेटासेट तैयार करते हैं, जो डिस्टिल्ड DeepSeek-R1 आउटपुट से प्राप्त हैं। इनमें स्केल वेरिएंट्स (S1K, Uniform102K, SFT889K) और कठिनाई वेरिएंट्स (Easy102K, Uniform102K, Hard102K) शामिल हैं।
• बेसलाइन्स: अध्ययन Pure-SFT, Pure-RL (GRPO, DAPO), Syn-SFT-RL (LUFFY, SRFT, UPT, Prefix-RFT), और अनुक्रमिक SFT-then-RL पाइपलाइन की तुलना करता है।
• मेट्रिक्स: प्रदर्शन को पास@1 सटीकता (pass@1 accuracy) के माध्यम से मापा जाता है, जिसमें कंप्यूट लागत को FLOPs (exaFLOPs) में सामान्यीकृत किया गया है।

मुख्य परिणाम

1. प्रतिमान चयन: अनुक्रमिक प्रभुत्व (Sequential Dominance)

अनुक्रमिक SFT-then-RL पाइपलाइन को श्रेष्ठ मानक के रूप में स्थापित किया गया है।

• Syn-SFT-RL की सीमाएँ: सिंक्रोनाइज्ड विधियाँ प्रशिक्षण अस्थिरता और समयपूर्व अभिसरण (premature convergence) प्रदर्शित करती हैं। वे मॉडल प्रायर्स के प्रति अत्यधिक संवेदनशील हैं और बड़े डेटासेट पर अनुकूलित अनुक्रमिक बेसलाइन्स की तुलना में प्रभावी ढंग से स्केल करने में विफल रहती हैं।
• "धीमा लेकिन उच्च" का लाभ: Pure-SFT व्यापक प्रशिक्षण के साथ निरंतर सुधार प्रदर्शित करता है, जो एक शिखर तक पहुँचता है जो Pure-RL या Syn-SFT-RL विधियों की सीलिंग से काफी अधिक है। महत्वपूर्ण रूप से, SFT संतृप्ति (saturation) के बाद RL में संक्रमण करने से आगे के लाभ अनलॉक होते हैं, जो उच्चतम प्रदर्शन सीमा प्राप्त करता है (उदाहरण के लिए, Qwen2.5-7B के लिए 78.1 अंक बनाम Pure-RL के लिए 74.3)।

2. इष्टतम संक्रमण समय: SFT संतृप्ति (SFT Saturation)

SFT से RL में स्विच करने के लिए इष्टतम रणनीति SFT वैलिडेशन लॉस के स्टेबल रिजीम (Stable Regime) या माईल्ड ओवरफिटिंग रिजीम (Mild Overfitting Regime) तक प्रतीक्षा करना है।

• समयपूर्व स्विचिंग: एडेप्टिव रिजीम (अंडरफिटिंग) के दौरान स्विच करने से उप-इष्टतम सीलिंग प्राप्त होती है क्योंकि मॉडल में RL द्वारा रिकवर करने के लिए आवश्यक बुनियादी सक्षमता की कमी होती है।
• गंभीर ओवरफिटिंग: गंभीर ओवरफेटिंग रिजीम में SFT को जारी रखने से RL प्लास्टिकिटी में गिरावट आती है, जो अंतिम सीलिंग के लिए हानिकारक है।
• सामान्यीकरण (Generalization): संतृप्ति तक SFT प्रशिक्षण एक मजबूत आधार स्थापित करता है, जो इस दावे का खंडन करता है कि गहन SFT सामान्यीकरण को कम करता है।

3. डेटा के गुण: स्केल और कठिनाई

यह अध्ययन SFT-then-RL स्केलिंग के संदर्भ में "लेस इज मोर" (Less is More) परिकल्पना को खारिज करता है।

• स्केल का प्रभुत्व: डेटा स्केल, अंतिम प्रदर्शन सीमा का प्राथमिक निर्धारक है। जबकि छोटे डेटासेट (जैसे S1K) तीव्र प्रारंभिक लाभ प्राप्त करते हैं, वे समय से पहले संतृप्त हो जाते हैं। बड़े पैमाने के डेटासेट (जैसे SFT889K) उच्च वास्तविक SFT प्रदर्शन और अधिक संरक्षित RL प्लास्टिकिटी दोनों प्रदान करते हैं, जिससे काफी उच्च सीलिंग प्राप्त होती है।
• कठिनाई एक मल्टीप्लायर के रूप में: प्रक्षेपवक्र की कठिनाई एक प्रदर्शन मल्टीप्लायर के रूप में कार्य करती है। कठिन डेटा (Hard102K) उच्च SFT प्रदर्शन देता है और आसान डेटा की तुलना में समान प्लास्टिकिटी बनाए रखता है, जो इसे निश्चित स्केल के भीतर बेहतर विकल्प बनाता है।
• पूर्वानुमान संकेतक: SFT चरण का न्यूनतम वैलिडेशन लॉस (Minimum Validation Loss) अंतिम प्रदर्शन सीलिंग के लिए एक विश्वसनीय और मजबूत संकेतक के रूप में कार्य करता है, जो अंतिम प्रदर्शन ($A_{post}$) के साथ दृढ़ता से सह-संबंधित है।

महत्व और योगदान

यह शोध दावा करता है कि यह विशेषज्ञ प्रक्षेपवक्र अनुकूलन को अनुभवजन्य अनुमान (empirical guesswork) से एक व्यवस्थित, पूर्वानुमेय प्रक्रिया में बदल देता है। इसके प्राथमिक योगदान हैं:

1. प्लास्टिकिटी-सीलिंग फ्रेमवर्क: एक सैद्धांतिक तंत्र जो पोस्ट-ट्रेनिंग प्रदर्शन को प्राप्त SFT लाभों और बाद की RL प्लास्टिकिटी में विभाजित करता है, जो प्रतिमान चयन के लिए एक एकीकृत दृष्टिकोण प्रदान करता है।
2. कठोर बेंचमार्किंग: स्थिरता और प्रदर्शन के लिए अनुक्रमिक SFT-then-RL पाइपलाइन को एक कठोर मानक के रूप में स्थापित करना, जो सिंक्रोनाइज्ड दृष्टिकोणों और शुद्ध विधियों से बेहतर है।
3. कार्रवाई योग्य स्केलिंग दिशानिर्देश:
   • समय (Timing): SFT संतृप्ति (Stable Regime) पर RL शुरू करें।
   • डेटा रणनीति: सीलिंग को अधिकतम करने के लिए कठिनाई के बजाय डेटा स्केल को प्राथमिकता दें; सीमित स्केल के भीतर अनुकूलन के लिए कठिनाई का उपयोग करें।
   • निगरानी (Monitoring): अंतिम प्रदर्शन सीलिंग के प्रॉक्सी के रूप में न्यूनतम वैलिडेशन लॉस का उपयोग करें।

लेखक निष्कर्ष निकालते हैं कि ये निष्कर्ष विशेष रूप से R1-शैली के प्रक्षेपव्यों का उपयोग करके गणितीय तर्क कार्यों के लिए विशेषज्ञ प्रक्षेपवक्रों से अधिकतम मूल्य निकालने के लिए कार्रवाई योग्य दिशानिर्देश प्रदान करते हैं। वे गैर-सत्यापन योग्य कार्यों (जैसे रचनात्मक लेखन) या वैकल्पिक प्रक्षेपवलय शैलियों तक सामान्यीकरण के संबंध में सीमाओं को स्वीकार करते हैं, जिससे भविष्य के कार्य के लिए खुले प्रश्न शेष रहते हैं।