तकनीकी सारांश: पोस्ट-ट्रेनिंग में क्षमता उद्दलन (Capability Elicitation) और क्षमता निर्माण (Capability Creation) के बीच अंतर करना

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) के पोस्ट-ट्रेनिंग के प्रचलित विमर्श में अक्सर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) और रीइन्फोर्समेंट लर्निंग (RL) के बीच के अंतर को अनुकरण (SFT) बनाम खोज (RL) के द्वैत के रूप में प्रस्तुत किया जाता है। यह शोध पत्र तर्क देता है कि यह अंतर बहुत ही सतही है और यह उस मौलिक तंत्र को अस्पष्ट कर देता है कि कैसे पोस्ट-ट्रेनिंग मॉडल के व्यवहार को बदलती है।

मुख्य समस्या यह निर्धारित करना है कि क्या एक पोस्ट-ट्रेनिंग प्रक्रिया:

1. क्षमताओं का उद्दलन (Elicits capabilities) करती है: उन व्यवहारों की संभावना को बढ़ाती है जिन्हें प्री-ट्रेन किया गया बेस मॉडल पहले से ही उत्पन्न कर सकता था, लेकिन उसने उन्हें अविश्वसनीय रूप से किया था।
2. क्षमताओं का निर्माण (Creates capabilities) करती है: उन व्यवहारों के सेट का विस्तार करती है जिन्हें मॉडल व्यावहारिक रूप से प्राप्त कर सकता है, जिससे ऐसे परिणाम संभव होते हैं जो पहले अप्राप्य थे।

लेखकों का तर्क है कि किसी विधि को "SFT" या "RL" के रूप में लेबल करना उसके क्षमता तंत्र (capability mechanism) को निर्धारित नहीं करता है। इसके बजाय, तंत्र प्रशिक्षण संकेतों (प्रदर्शन बनाम पुरस्कार), उम्मीदवार व्यवहारों के सृजन, और इस पर निर्भर करता है कि क्या प्रक्रिया मॉडल के सुलभ समर्थन (accessible support) का विस्तार करती है।

2. कार्यप्रणाली और सैद्धांतिक ढांचा

2.1 फ्री-एनर्जी परिप्रेक्ष्य

लेखक पोस्ट-ट्रेनिंग को एक फ्री-एनर्जी ढांचे का उपयोग करके औपचारिक रूप देते हैं, जो सांख्यिकीय भौतिकी ($F = E - TS$) के सादृश्य पर आधारित है। वे पोस्ट-ट्रेनिंग उद्देश्यों को एक प्रभावी फ्री-एनर्जी को न्यूनतम करने के रूप में व्याख्यायित करते हैं:
$$F_x(q) = \mathbb{E}_{y \sim q(y|x)}[E(x, y)] + \beta \text{KL}[q(y|x) \parallel p_0(y|x)]$$
जहाँ:

• $p_0(y|x)$ प्री-ट्रेन्ड रेफरेंस डिस्ट्रीब्यूशन है।
• $q(y|x)$ पोस्ट-ट्रेन्ड डिस्ट्रीब्यूशन है।
• $E(x, y)$ बाहरी संकेतों से प्राप्त प्रभावी ऊर्जा (effective energy) है।
• $\beta$ एक इनवर्स टेम्परेचर के रूप में कार्य करता है, जो पसंदीदा व्यवहारों के दोहन (exploitation) और विविधता बनाए रखने (KL constraint) के बीच संतुलन को नियंत्रित करता है।

प्रमुख सैद्धांतिक अंतर्दृष्टि:

• ऊर्जा के रूप में SFT: SFT प्रदर्शनों (demonstrations) पर नेगेटिव लॉग-लाइक्लीहुड को कम करता है। यह एक प्रभावी ऊर्जा $E_{SFT}(x, y) = -\beta \log \frac{p_{demo}(y|x)}{p_0(y|x)}$ को परिभाषित करने के समान है। यदि कोई व्यवहार प्रदर्शन वितरण में है लेकिन बेस मॉडल में शून्य संभावना ($p_0 \to 0$) रखता है, तो ऊर्जा सिंगुलर (singular) हो जाती है, जिससे स्थानीय पुन: भारण (local reweighting) की व्याख्या टूट जाती है।
• ऊर्जा के रूप में RL: RL KL बाधा के अधीन पुरस्कारों को अधिकतम करता है। यह $E_{RL}(x, y) = -R(x, y)$ के अनुरूप है। इष्टतम वितरण रेफरेंस का बोल्ट्ज़मैन रीवेटिंग (Boltzmann reweighting) है: $q^*(y|x) \propto p_0(y|x) \exp(R(x, y)/\beta)$।
• स्थानीय पुन: भारण (Local Reweighting): जब अपडेट्स रेफरेंस मॉडल के करीब रहते हैं (मजबूत KL बाधा), तो प्राथमिक प्रभाव मौजूदा वितरण का स्थानीय पुन: भारण होता है, न कि नए व्यवहारों का निर्माण।

2.2 सुलभ समर्थन (Accessible Support)

उद्दलन और निर्माण के बीच के अंतर को संचालित करने के लिए, शोध पत्र सुलभ समर्थन (accessible support) को पेश करता है: उन व्यवहारों का सेट जिन्हें एक मॉडल सीमित सैंपलिंग, अनुकूलन (optimization) और विचलन बजट (divergence budgets) के तहत व्यावहारिक रूप से उत्पन्न कर सकता है। यह अवधारणा सख्त गणितीय समर्थन (गैर-शून्य संभावना) से आगे बढ़कर व्यावहारिक पहुंच (reachability) पर केंद्रित है।

लेखक व्यवहार के परिदृश्य को चार श्रेणियों में विभाजित करते हैं जो लक्ष्य व्यवहार और बेस मॉडल के सुलभ समर्थन के बीच संबंध पर आधारित हैं:

1. प्रदर्शन-कवर उद्दलन (Demonstration-Covered Elicitation): लक्ष्य व्यवहार बेस मॉडल के उच्च-संभावना वाले "बेसिन" (basin) में स्थित है और प्रदर्शनों द्वारा कवर किया गया है। पोस्ट-ट्रेनिंग इस मौजूदा व्यवहार को स्थिर करती है।
2. पूंछ पुन: भारण (Tail Reweighting): लक्ष्य व्यवहार बेस मॉडल के वितरण की "पूंछ" (tail) में स्थित है (जो ग्रिडी डिकोडिंग के तहत दुर्लभ है लेकिन बड़े सैंपलिंग बजट जैसे best-of-N के तहत सुलभ है)। पोस्ट-ट्रेनिंग इन दुर्लभ लेकिन सुलभ व्यवहारों को बढ़ा देती है।
3. बाधा-पार करने वाली खोज (Barrier-Crossing Discovery): लक्ष्य व्यवहार बेस मॉडल के विशिष्ट आउटपुट से "बाधाओं" (कम-संभावना वाले मध्यवर्ती चरणों के अनुक्रम) द्वारा अलग किया गया है। इन तक पहुँचने के लिए केवल पुन: भारण के बजाय प्रक्षेपवक्र-जनन प्रक्रिया (trajectory-generation process) को बदलने की आवश्यकता होती है (जैसे, सर्च, टूल का उपयोग, या प्रोसेस सुपरविजन के माध्यम से)।
4. असमर्थ क्षेत्र (Unsupported Regimes): लक्ष्य व्यवहार बेस मॉडल के समर्थन के बाहर स्थित है ($p_0(y|x) = 0$)। प्रभावी ऊर्जा विचलन (divergent) हो जाती है। पोस्ट-ट्रेनिंग नई जानकारी, टूल्स या आर्किटेक्चरल परिवर्तनों के बिना इन क्षमताओं का निर्माण नहीं कर सकती।

3. प्रमुख योगदान

• SFT बनाम RL बहस को नया रूप देना: शोध पत्र ध्यान को एल्गोरिदम लेबल (SFT/RL) से हटाकर क्षमता परिवर्तन के तंत्र (उद्दन बनाम निर्माण) पर केंद्रित करता है। यह तर्क देता है कि SFT नए व्यवहारों का उद्लन कर सकता है यदि प्रदर्शन उच्च गुणवत्ता वाले हों (पूंछ को कवर करते हों), और RL केवल पुन: भारण हो सकता है यदि वह एक मजबूत KL दंड द्वारा बाधित हो।
• नैदानिक ढांचा (Diagnostic Framework): फ्री-एनर्जी परिप्रेक्ष्य को लागू करके, लेखक एक गणितीय उपकरण प्रदान करते हैं जिससे यह निदान किया जा सके कि प्रदर्शन में वृद्धि स्थानीय पुन: भारण (सुलभ समर्थन के भीतर) से हुई है या समर्थन विस्तार (बाधा पार करने) से।
• चार श्रेणियाँ: शोध पत्र पोस्ट-ट्रेनिंग परिणामों के लिए एक वर्गीकरण स्थापित करता है, जो स्पष्ट करता है कि "क्षमता निर्माण" किसी विधि का बाइनरी गुण नहीं है, बल्कि प्रशिक्षण संकेत, उम्मीदवार जनरेशन प्रक्रिया और बेस मॉडल की पहुंच के बीच की अंतःक्रिया का गुण है।
• "निर्माण" का स्पष्टीकरण: लेखक तर्क देते हैं कि वास्तविक क्षमता निर्माण (बाधा-पार करने वाली खोज) के लिए उन तंत्रों की आवश्यकता होती है जो प्रक्षेपवक्र-जनन प्रक्रिया (जैसे, सर्च, इंटरेक्शन, टूल का उपयोग) को बदलते हैं, न कि केवल रिवॉर्ड मैक्सिमाइजेशन की।

4. परिणाम और दावे

यह शोध पत्र नए बेंचमार्क प्रस्तुत नहीं करता है बल्कि मौजूदा पोस्ट-ट्रेनिंग घटनाओं का एक नैदानिक विश्लेषण प्रदान करता है:

• SFT स्वाभाविक रूप से कमजोर नहीं है: यदि प्रदर्शनों में सर्च या मजबूत मॉडलों द्वारा उत्पन्न प्रक्षेपवक्र (trajectories) शामिल हैं, तो SFT उन व्यवहारों का उद्लन कर सकता है जिन्हें बेस मॉडल शायद ही कभी उत्पन्न करता है। SFT की सीमा प्रदर्शन वितरण का कवरेज है, न कि स्वयं सुपरवाइज्ड ऑब्जेक्टिव।
• RL स्वाभाविक रूप से रचनात्मक नहीं है: यदि RL को मजबूत KL बाधाओं के साथ और बिना सर्च तंत्र के लागू किया जाता है, तो यह केवल बेस मॉडल के टेल व्यवहारों का पुन: भारण करता है। इस शासन (regime) में बड़े बेंचमार्क लाभ पूंछ पुन: भारण (tail reweighting) को दर्शाते हैं, न कि नई क्षमताओं के निर्माण को।
• सिंगुलैरिटी सीमा (The Singularity Boundary): उद्लन से निर्माण की ओर संक्रमण को फ्री-एनर्जी फॉर्मूलेशन में एक सिंगुलैरिटी द्वारा चिह्नित किया गया है। जब आवश्यक व्यवहार के लिए $p_0(y|x) \to 0$ होता है, तो स्थानीय पुन: भारण का दृष्टिकोण टूट जाता है, जो इंगित करता है कि व्यवहार सुलभ समर्थन के बाहर है।

5. महत्व और दायरा

शोध पत्र का दावा है कि क्षमता उद्दलन (elicitation) और क्षमता निर्माण (creation) के बीच अंतर करना पोस्ट-ट्रेनिंग अनुसंधान के लिए आवश्यक है।

• मामूली दावे: लेखक स्पष्ट रूप से कहते हैं कि वे यह दावा नहीं करते कि SFT और RL समान हैं, न ही यह कि अनुकूलन गतिशीलता (optimization dynamics) अप्रासंगिक है। इसके बजाय, वे तर्क देते कि अनुकूलन गतिशीलता को शासन (regime) के सापेक्ष व्याख्यायित किया जाना चाहिए (उदाहरण के लिए, बाधा-पार करने वाले शासन में, अनुकूलन को प्रक्षेपवक्र-जनन परिवर्तनों के साथ जोड़ा जाना चाहिए)।
• दायरा: यह ढांचा नैदानिक है। यह स्पष्ट करता है कि केवल प्रदर्शन सुधार ही क्षमता निर्माण का प्रमाण नहीं है। निर्माण का दावा करने के लिए, यह प्रदर्शित करना होगा कि विधि ने मॉडल के सुलभ व्यवहार स्थान का विस्तार किया है, जो अक्सर सर्च, इंटरेक्शन या नई जानकारी के माध्यम से हुआ है, न कि केवल मौजूदा संभावनाओं के पुन: भारण से।
• भविष्य की दिशा: शोध पत्र भविष्य के कार्यों के लिए आह्वान करता है कि वे स्पष्ट रूप से इन श्रेणियों के बीच अंतर करें। शोधकर्ताओं को न केवल प्रदर्शन लाभ की रिपोर्ट करनी चाहिए, बल्कि यह भी कि क्या वे लाभ बेसिनों के स्थिरीकरण, पूंछ के प्रवर्धन, या बाधाओं को पार करने को दर्शाते हैं।

संक्षेप में, शोध पत्र यह तर्क देता है कि पोस्ट-ट्रेनिंग में केंद्रीय प्रश्न "SFT या RL?" नहीं है, बल्कि "क्या यह विधि जो पहले से सुलभ है उसका पुन: भारण करती है, या यह जो सुलभ है उसका विस्तार करती है?"