🤖 machine learning

Power Distribution Bridges Sampling, Self-Reward RL, and Self-Distillation

यह शोध पत्र यह स्थापित करता है कि पावर डिस्ट्रीब्यूशन (power distribution), सैंपलिंग, सेल्फ-रिवॉर्ड आरएल (self-reward RL) और सेल्फ-डिस्टिलेशन (self-distillation) को जोड़ने वाले एक एकीकृत सैद्धांतिक ढांचे के रूप में कार्य करता है, जिससे पावर सेल्फ-डिस्टिलेशन का विकास होता है—जो एक लागत प्रभावी ऑफलाइन विधि है जो रीजनिंग कार्यों पर पावर सैंपलिंग के प्रदर्शन के बराबर या उससे बेहतर प्रदर्शन करती है।

मूल लेखक: Akiyoshi Tomihari, Issei Sato

प्रकाशित 2026-05-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Akiyoshi Tomihari, Issei Sato

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र (paper) का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी तस्वीर: स्मार्ट बनने के तीन तरीके

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली छात्र (एक Large Language Model) है जो गणित की समस्याओं को हल करने में अच्छा है, लेकिन कभी-कभी वह छोटी गलतियाँ कर देता है या एक ही चीज़ में उलझकर रह जाता है। यह शोध पत्र पूछता है: हम इस छात्र को और भी बेहतर कैसे बना सकते हैं?

वर्तमान में, शोधकर्ता इन छात्रों को सुधारने के लिए तीन मुख्य तरीकों का उपयोग करते हैं:

सैंपलिंग (Sampling - "फिर से कोशिश करो" वाला तरीका): छात्र को 10 अलग-अलग उत्तर देने के लिए कहें, और फिर सबसे अच्छे वाले को चुनें।
रीइन्फोर्समेंट लर्निंग (Reinforcement Learning - "कोच" वाला तरीका): छात्र को अभ्यास करने दें, उसे एक स्कोर दें, और अगली बार उच्च स्कोर प्राप्त करने के लिए उसके मस्तिष्क (brain) को व्यवस्थित करें।
डिस्टिलेशन (Distillation - "नकलची" वाला तरीका): एक सुपर-स्मार्ट शिक्षक से आदर्श उत्तर लिखवाएं, और छात्र को उन्हें याद करने के लिए कहें।

बड़ा रहस्य यह था: क्या ये तीनों तरीके वास्तव में गहराई में एक ही काम कर रहे हैं, या वे पूरी तरह से अलग हैं?

यह शोध पत्र कहता है: ये सभी एक ही चीज़ हैं। ये सभी बुद्धिमत्ता के एक ही "मीठे बिंदु" (sweet spot) तक पहुँचने की कोशिश कर रहे हैं, जिसे लेखक पावर डिस्ट्रीब्यूशन (Power Distribution) कहते हैं।

मूल अवधारणा: "पावर डिस्ट्रीब्यूशन" (The Power Distribution)

छात्र के मस्तिष्क को सभी संभावित उत्तरों के एक मानचित्र (map) के रूप में सोचें।

सामान्य उत्तर एक सपाट परिदृश्य (landscape) की तरह होते हैं; छात्र बिना किसी दिशा के इधर-उधर भटकता रहता है।
पावर डिस्ट्रीब्यूशन एक पर्वत शिखर की तरह है। यह उन "आदर्श" उत्तरों का प्रतिनिधित्व करता है जहाँ छात्र सबसे अधिक आत्मविश्वासी होता है और उसके सही होने की संभावना सबसे अधिक होती है।

यह शोध पत्र तर्क देता है कि तीनों तरीके (सैंपलिंग, आरएल, और डिस्टिलेशन) केवल उस पर्वत शिखर पर चढ़ने के अलग-अलग तरीके हैं।

1. सैंपलिंग: एक महंगी पदयात्रा (The Expensive Hike)

शोध पत्र का दावा: आदर्श उत्तर (शिखर) खोजने के लिए, आप केवल अगले कदम को देखकर नहीं रुक सकते। आपको पूरे रास्ते को देखना होगा।

उदाहरण: कल्पना कीजिए कि आप हाइकिंग (hiking) कर रहे हैं। एक सस्ता, स्थानीय गाइड (token-level approximation) अगले कदम को देखता है और कहता है, "बाएँ जाओ, यह अच्छा लग रहा है।" लेकिन असली सबसे अच्छा रास्ता (पावर डिस्ट्रीब्यूशन) यह जानने की मांग करता है कि यदि आप बाएँ जाते हैं, तो तीन मील बाद रास्ता एक खाई में समाप्त हो जाएगा।
परिणाम: शोध पत्र यह सिद्ध करता है कि आप सस्ते, स्थानीय तरीकों से इस "पूरे रास्ते" के दृश्य की नकल नहीं कर सकते। सबसे अच्छा उत्तर पाने के लिए, आपको पूरी यात्रा का अनुकरण (simulate) करने का महंगा काम पहले करना होगा।

2. रीइन्फोर्समेंट लर्निंग: एक स्व-कोच (The Self-Coach)

शोध पत्र का दावा: यदि आप छात्र को बताते हैं, "आपका इनाम इस बात पर निर्भर है कि आप अपने स्वयं के उत्तर के बारे में कितना आत्मविश्वास महसूस करते हैं," तो छात्र स्वाभाविक रूप से एक आदर्श पर्वतारोही के रूप में विकसित हो जाता है।

उदाहरण: कल्पना कीजिए कि एक कोच कहता है, "सही या गलत होने की चिंता मत करो। बस ऐसी बातें कहने की कोशिश करो जो तुम्हें सबसे अधिक 'प्राकृतिक' लगें।"
परिणाम: शोध पत्र गणितीय रूप से दिखाता है कि यदि कोई छात्र इस "आत्म-विश्वास" (self-confidence) के लिए अनुकूलित (optimize) होता है, तो वह ठीक उसी पर्वत शिखर (पावर डिस्ट्रीब्यूशन) पर चढ़ जाता है जिसे महंगे हाइकर्स खोजने की कोशिश कर रहे थे।

3. डिस्टिलेशन: एक सस्ता शॉर्टकट (The Cheap Shortcut)

शोध पत्र का दावा: चूँकि हम जानते हैं कि "स्व-कोच" (Self-Coach) आदर्श शिखर तक ले जाता है, इसलिए हम छात्र को हर बार उस महंगी पदयात्रा को करने के बजाय, बस उन उत्तरों को याद करने के लिए कह सकते हैं जो "स्व-कोच" ने तैयार किए हैं।

उदाहरण: छात्र को शिखर खोजने के लिए 1,000 बार पहाड़ पर चढ़ने देने के बजाय (जिसमें बहुत समय और ऊर्जा लगती है), शिक्षक एक बार चढ़ाई करता है, आदर्श मार्ग लिखता है, और छात्र को एक नक्शा दे देता है। छात्र फिर उस नक्शे का अध्ययन करता है।
परिणाम: इसे पावर सेल्फ-डिस्टिलेशन (Power Self-Distillation) कहा जाता है। यह छात्र को "ऑफलाइन" आदर्श व्यवहार सीखने की अनुमति देता है, ताकि बाद में, जब उनसे कोई प्रश्न पूछा जाए, तो वे महंगी "फिर से कोशिश करने वाली" सैंपलिंग की आवश्यकता के बिना तुरंत सही उत्तर दे सकें।

सावधानी: यह वास्तव में कब मदद करता है?

शोध पत्र एक बहुत ही महत्वपूर्ण चेतावनी जोड़ता है।

सिर्फ इसलिए कि छात्र अधिक "आत्मविश्वासी" (तीव्र वितरण/sharper distribution) होना सीख जाता है, इसका मतलब यह नहीं है कि वह अधिक "सही" भी होगा।

उदाहरण: कल्पना कीजिए कि एक छात्र बहुत आत्मविश्वासी है लेकिन गलत है। यदि वे "आदर्श गलत उत्तरों" को याद कर लेते हैं, तो वे बस आत्मविश्वासी तरीके से गलत होंगे।
नियम: छात्र वास्तविक परीक्षण (True Reward) में तभी बेहतर होता है जब उसका "आत्मविश्वास" (Self-Reward) वास्तव में "सही होने" के साथ संरेखित (aligned) हो।
- यदि छात्र का आत्मविश्वास सत्य के साथ मेल खाता है, तो वह स्मार्ट बनता है।
- यदि छात्र का आत्मविश्वास केवल गलत होने का एक शानदार तरीका है, तो वह वास्तविक परीक्षण पर सुधार नहीं करेगा।

परिणामों का सारांश

लेखकों ने गणित की समस्याओं पर इसका परीक्षण किया:

सैंपलिंग काम करती है: महंगी "फिर से कोशिश करो" वाली विधि का उपयोग करने से मॉडल अधिक आत्मविश्वासी हो जाता है और अक्सर अधिक सही भी होता है।
शॉर्टकट काम करता है: "पावर सेल्फ-डिस्टिलेशन" विधि (आदर्श उत्तरों को याद करना) मॉडल को उतना ही अच्छा प्रदर्शन करने में सक्षम बनाती है जितना कि महंगी सैंपलिंग विधि, लेकिन इसे बाद में उपयोग करना बहुत तेज़ और सस्ता है।
सीमा: सुधार तभी होता है यदि मॉडल का आंतरिक आत्मविश्वास वास्तव में सही उत्तर के लिए एक अच्छा मार्गदर्शक हो।

संक्षेप में: शोध पत्र ने खोजा कि "कई बार प्रयास करना," "खुद को प्रशिक्षित करना," और "एक शिक्षक को याद करना" गणितीय रूप से जुड़े हुए हैं। ये सभी एक ही "पावर डिस्ट्रीब्यूशन" का लक्ष्य रखते हैं। इसे समझकर, हम महंगी और धीमी "कई बार प्रयास करने" वाली प्रक्रिया को एक तेज़ और सस्ते "याद करने" वाले चरण से बदल सकते हैं जो हमें समान स्मार्ट परिणाम देता है।

तकनीकी सारांश: पावर डिस्ट्रीब्यूशन ब्रिजिंग सैंपलिंग, सेल्फ-रिवॉर्ड RL, और सेल्फ-डिस्टिलेशन

1. समस्या विवरण (Problem Statement)

हालिया अनुभवजन्य विश्लेषणों (empirical analyses) ने इस बात पर सवाल उठाया है कि क्या लार्ज लैंग्वेज मॉडल्स (LLMs) में उभरती हुई तर्क क्षमताएं (emergent reasoning capabilities) वास्तव में रीइन्फोर्समेंट लर्निंग (RL) का प्राथमिक परिणाम हैं। अध्ययन बताते हैं कि पोस्ट-RL मॉडल अक्सर बड़े सैंपलिंग बजट के साथ मूल्यांकन किए जाने पर भी अपने प्री-RL समकक्षों से बेहतर प्रदर्शन करने में विफल रहते हैं, जो यह संकेत देता है कि RL से होने वाले लाभ नए तर्क पथ (reasoning paths) बनाने के बजाय "डिस्ट्रीब्यूशन शार्पनिंग" (distribution sharpening) से उत्पन्न होते हैं। साथ ही, इन्फरेंस-टाइम तकनीकें जैसे कि पावर सैंपलिंग (एक पावर डिस्ट्रीब्यूशन $\pi^\alpha$ से सैंपलिंग करना) और सेल्फ-डिस्टिलेशन ने बाहरी पुरस्कारों (external rewards) के बिना तर्क क्षमता में सुधार करने की संभावना दिखाई है।

हालाँकि, इन तीन प्रतिमानों (paradigms)—सैंपलिंग, RL, और सेल्फ-डिस्टिलेशन—के बीच का सैद्धांतिक संबंध अभी भी स्पष्ट नहीं है। विशेष रूप से, यह अज्ञात है कि क्या पावर सैंपलिंग की सफलता RL और डिस्टिलेशन से भिन्न एक तंत्र को दर्शाती है, या क्या वे एक सामान्य संरचनात्मक उद्देश्य के माध्यम से जुड़े हुए हैं। इसके अलावा, यह भी स्पष्ट नहीं है कि पावर सैंपलिंग के लिए आवश्यक महंगे इन्फरेंस-टाइम कंप्यूट को ऑफलाइन ट्रेनिंग में कैसे समाहित (amortize) किया जा सकता है।

2. कार्यप्रणाली और सैद्धांतिक ढांचा (Methodology and Theoretical Framework)

लेखक प्रस्तावित करते हैं कि पावर डिस्ट्रीब्यूशन इन विधियों को जोड़ने वाला एक एकीकृत सैद्धांतिक सेतु (unifying theoretical bridge) है। एक बेस पॉलिसी $\pi$ और एक्सपोनेंट $\alpha > 1$ के लिए, पावर डिस्ट्रीब्यूशन को इस प्रकार परिभाषित किया गया है:
$\pi_\alpha(y | x) \propto \pi(y | x)^\alpha$

2.1 सैंपलिंग परिप्रेक्ष्य: लोकल एप्रोक्सिमेशन की सीमाएं (The Sampling Perspective: Limits of Local Approximation)

पेपर पहले यह जांचता है कि क्या पावर डिस्ट्रीब्यूशन को इन्फरेंस के समय स्थानीय (टोकन-लेवल) ऑपरेशन्स का उपयोग करके सस्ते में एप्रोक्सिमेट किया जा सकता है।

टोकन-वाइज टेम्परेचर स्केलिंग: लेखक प्रदर्शित करते हैं कि प्रति-टोकन पावर ट्रांसफॉर्मेशन (टेम्परेचर स्केलिंग) लागू करने से सीक्वेंस-लेवल पावर डिस्ट्रीब्यूशन को पुनरुत्पादित करने में विफलता होती है। वे सिद्ध करते हैं (प्रपोजिशन 1) कि टोकन-वाइज टेम्परेचर और सीक्वेंस-लेवल पावर के बीच का अंतर सफिक्स डिस्ट्रीब्यूशन (suffix distribution) की रेनी एंट्रॉपी (Rényi entropy) द्वारा नियंत्रित होता है। विशेष रूप से, सीक्वेंस-लेवल पावर उन निरंतरताओं (continuations) का पक्ष लेता है जिनमें कम सफिक्स एंट्रॉपी (अधिक पीक्ड सफिक्स) होती है, एक ऐसा गुण जिसे ग्लोबल सीक्वेंस जानकारी के बिना लोकल एप्रोक्सिमेशन कैप्चर नहीं कर सकते।
सीक्वेंशियल इम्पोर्टेंस सैंपलिंग (SIS): लेखक $\pi_\alpha$ को लक्षित करने के लिए SIS के लिए इष्टतम वन-स्टेप प्रपोजल का विश्लेषण करते हैं। वे दिखाते हैं (प्रपोजिशन 2) कि वेरिएंस-मिनिमाइजिंग प्रपोजल के लिए प्रिफिक्स टोटल्स (सभी संभावित सफिक्स पर पावर मास का योग) के ज्ञान की आवश्यकता होती है। फलस्वरूप, सस्ते लोकल प्रपोजल टारगेट डिस्ट्रीब्यूशन से मेल नहीं खा सकते, जो यह समझाता है कि क्यों पिछले कार्यों में पावर सैंपलिंग को एप्रोक्सिमेट करने के लिए महंगे इन्फरेंस-टाइम प्रोसीजर (जैसे मेट्रोपोलिस-हैस्टिंग्स) की आवश्यकता होती है।

2.2 RL परिप्रेक्ष्य: क्लोज्ड-फॉर्म ऑप्टिमलिटी (The RL Perspective: Closed-Form Optimality)

लेखक पावर सैंपलिंग को KL-रेगुलराइज्ड RL से जोड़ते हैं। वे एक RL ऑब्जेक्टिव पर विचार करते हैं जहाँ रिवॉर्ड मॉडल का अपना सीक्वेंस-लेवल लॉग-प्रोबेबिलिटी (सेल्फ-रिवॉर्ड, $r_{self}(x, y) = \log \pi(y|x)$ ) है।

कोरोलरी 1: वे सिद्ध करते हैं कि जब रिवॉर्ड सेल्फ-रिवॉर्ड हो और $\alpha = 1 + \beta^{-1}$ हो, तो पावर डिस्ट्रीब्यूशन $\pi_\alpha$ , KL-रेगुलराइज्ड RL ऑब्जेक्टिव का क्लोज्ड-फॉर्म ऑप्टिमाइज़र है। यह पहचानता है कि पावर सैंपलिंग केवल एक ह्यूरिस्टिक नहीं है, बल्कि एक विशिष्ट सेल्फ-इम्प्रूवमेंट RL समस्या का सटीक समाधान है।

2.3 डिस्टिलेशन परिप्रेक्ष्य: पावर सेल्फ-डिस्टिलेशन (The Distillation Perspective: Power Self-Distillation)

RL कनेक्शन का लाभ उठाते हुए, लेखक पावर सेल्फ-डिस्टिलेशन व्युत्पन्न करते हैं।

व्युत्पत्ति (Derivation): RL ऑब्जेक्टिव को फिर से लिखकर, वे दिखाते हैं कि रिवर्स KL डायवर्जेंस (स्टैंडर्ड RL) को मिनिमाइज करना टीचर डिस्ट्रीब्यूशन $\pi_\alpha$ से स्टूडेंट पॉलिसी तक फॉरवर्ड KL डायवर्जेंस को मिनिमाइज करने के बराबर है।
एल्गोरिदम: यह $\pi_\alpha$ $π_{α}$ से सैंपलिंग करने की महंगी इन्फरेंस-टाइम लागत को ऑफलाइन ट्रेनिंग में समाहित (amortize) करने की अनुमति देता है। इस प्रक्रिया में शामिल हैं:
1. एक डेटासेट $D = \{(x_i, y_i)\}$ का सैंपलिंग करना जहाँ $y_i \sim \pi_\alpha(\cdot|x_i)$ एक एप्रोक्सिमेट सैंपलर (जैसे मेट्रोपोलिस-हैस्टिंग्स) का उपयोग करता है।
2. इन "पावर-सैंपलड" कंप्लीशन्स की लाइकलीहुड को मैक्सिमाइज करने के लिए $D$ पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से एक स्टूडेंट मॉडल को ट्रेन करना।
शार्पनिंग गारंटी: लेखक एक सैद्धांतिक बाउंड प्रदान करते हैं (प्रपोजिशन 3) जो दिखाता है कि जैसे-जैसे $n \to \infty$ और $\alpha \to \infty$ होता है, डिस्टिल्ड मॉडल $(\epsilon, \delta)$ -शार्पनिंग प्राप्त करता है, जो सेल्फ-रिवॉर्ड मैक्सिमाइजर्स पर प्रोबेबिलिटी मास को केंद्रित करता है।

2.4 ट्रू रिवॉर्ड अलाइनमेंट (True Reward Alignment)

पेपर इस बात पर चर्चा करता है कि क्या सेल्फ-रिवॉर्ड को शार्प करने से "ट्रू" रिवॉर्ड (जैसे कि शुद्धता/correctness, $r^*$ ) में सुधार होता है।

प्रपोजिशन 4: $\alpha$ के सापेक्ष अपेक्षित ट्रू रिवॉर्ड के परिवर्तन की दर पावर डिस्ट्रीशन के तहत ट्रू रिवॉर्ड और सेल्फ-रिवॉर्ड के बीच कोवेरिएंस (covariance) द्वारा निर्धारित होती है: $\partial_\alpha \mathbb{E}_{\pi_\alpha}[r^*] = \text{Cov}_{\pi_\alpha}(r^*, r_{self})$ ।
निहितार्थ (Implication): सुधार केवल तभी गारंटीकृत है यदि सेल्फ-रिवॉर्ड (लॉग-प्रोबेबिलिटी) पावर डिस्ट्रीशन के तहत ट्रू रिवॉर्ड के साथ सकारात्मक रूप से सह-संबंधित (positively correlated) हो। यदि वे असंबद्ध या नकारात्मक रूप से सह-संबंधित हैं, तो शार्पनिंग वास्तविक प्रदर्शन में सुधार नहीं करेगी (और उसे खराब भी कर सकती है)।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक एकीकरण (Theoretical Unification): पेपर स्थापित करता है कि पावर सैंपलिंग, सेल्फ-रिवॉर्ड KL-रेगुलराइज्ड RL, और सेल्फ-डिस्टिलेशन स्वाभाविक रूप से पावर डिस्ट्रीशन के माध्यम से जुड़े हुए हैं, जो कि सैंपलिंग टारगेट, RL ऑप्टिमम और टीचर डिस्ट्रीब्यूशन के रूप में कार्य करता है।
सैंपलिंग हार्डनेस (Sampling Hardness): यह सिद्ध करता है कि सस्ते टोकन-लेवल एप्रोक्सिमेशन (टेम्परेचर स्केलिंग, सरल SIS) बिना सफिक्स-लेवल जानकारी के सीक्वेंस-लेवल पावर सैंपलिंग को पुनरुत्पादित नहीं कर सकते, जो पिछले कार्यों में महंगे इन्फरेंस-टाइम कंप्यूट की आवश्यकता को समझाता है।
पावर सेल्फ-डिस्टिलेशन (Power Self-Distillation): यह एक ऑफलाइन डिस्टिलेशन एल्गोरिदम पेश करता है जो पावर सैंपलिंग की लागत को सुपरवाइज्ड ट्रेनिंग में समाहित करता है, जिससे बिना महंगे इन्फरेंस-टाइम सर्च के समान प्रदर्शन लाभ प्राप्त होता है।
कोवेरिएंस कंडीशन (Covariance Condition): यह उन स्थितियों का वर्णन करता है जिनके तहत सेल्फ-इम्प्रूवमेंट (शार्पनिंग) ट्रू रिवॉर्ड सुधार में बदल जाता है, जो लाभ को सेल्फ-रिवॉर्ड और ट्रू रिवॉर्ड के बीच कोवेरिएंस से जोड़ता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Qwen2.5-Math-7B और Phi-3.5-mini-instruct जैसे मॉडल्स का उपयोग करके रीजनिंग टास्क (MATH, HumanEval, MBPP, GPQA) पर अपने फ्रेमवर्क का मूल्यांकन किया।

RQ1 (सेल्फ-रिवॉर्ड वृद्धि): पावर सैंपलिंग ने स्टैंडर्ड सैंपलिंग और टोकन-वाइज टेम्परेचर स्केलिंग की तुलना में लगातार सेल्फ-रिवॉर्ड ( $r_{self}$ ) में वृद्धि की।
RQ2 (ट्रू रिवॉर्ड अलाइनमेंट): जब $r^*$ का $r_{self}$ के साथ अलाइनमेंट था, तब ट्रू रिवॉर्ड ( $r^*$ ) में सुधार देखा गया। उदाहरण के लिए, MATH पर पावर सैंपलिंग ने सटीकता में सुधार किया। हालांकि, एक रैंडमली इनिशियलाइज्ड मॉडल (RandW) पर, जहां $r_{self}$ शुद्धता के साथ सह-संबंधित नहीं था, कोई ट्रू रिवॉर्ड गेन नहीं देखा गया, जो कोवेरिएंस कंडीशन को मान्य करता है।
RQ3 (डिस्टिलेशन प्रदर्शन): पावर सेल्फ-डिस्टिलेशन ने सेल्फ-इम्प्रूवमेंट हासिल किया। डिस्टिल्ड मॉडल, जब स्टैंडर्ड ऑटोरेग्रेसिव डिकोडिंग (टेम्परेचर के साथ) का उपयोग करता है, तो वह बेस मॉडल के महंगे पावर सैंपलिंग के प्रदर्शन के बराबर या उससे बेहतर प्रदर्शन करता है।
- गुणात्मक विश्लेषण (Qualitative Analysis): एक ज्योमेट्री समस्या पर, बेस मॉडल टेम्परेचर स्केलिंग के साथ हैलुसिनेटेड फॉर्मूला बनाता है। पावर सैंपलिंग सही लॉजिक तो देता है लेकिन उसमें अनएक्सेक्यूटेड कोड शामिल होता है। पावर-डिस्टिल्ड मॉडल, स्टैंडर्ड डिकोडिंग का उपयोग करते हुए, सही उत्तर के साथ मजबूत, स्टेप-बाय-स्टेप रीजनिंग प्रस्तुत करता है।
दक्षता (Efficiency): डिस्टिल्ड मॉडल ने डिप्लॉयमेंट के दौरान महंगे इन्फरेंस-टाइम सैंपलिंग (मेट्रोपोलिस-हैस्टिंग्स) की आवश्यकता को समाप्त कर दिया, जिससे कंप्यूटेशनल लागत ऑफलाइन ट्रेनिंग में स्थानांतरित हो गई।

5. महत्व और दावे (Significance and Claims)

पेपर यह दावा करता है कि यह LLMs में हालिया "रीजनिंग" लाभों के पीछे के तंत्र को स्पष्ट करता है। यह तर्क देता है कि:

पावर सैंपलिंग की सफलता एक अलग घटना नहीं है, बल्कि यह एक सेल्फ-रिवॉर्ड RL ऑब्जेक्टिव का क्लोज्ड-फॉर्म समाधान है।
RL से होने वाले स्पष्ट "रीजनिंग" सुधार काफी हद तक डिस्ट्रीब्यूशन शार्पनिंग (उच्च-संभावना वाले, उच्च-रिवॉर्ड पथों पर मास को केंद्रित करना) का परिणाम हैं, न कि नई क्षमताओं के उभरने का।
पावर सेल्फ-डिस्टिलेशन इन शार्पनिंग लाभों को कम इन्फरेंस लागत पर प्राप्त करने के लिए एक व्यावहारिक मार्ग प्रदान करता है, जिससे महंगे इन्फरेंस-टाइम सर्च को ऑफलाइन ट्रेनिंग में बदलकर उन्नत तर्क क्षमताओं को अधिक सुलभ बनाया जा सकता है।

लेखक विनम्र रहते हुए नोट करते हैं कि सेल्फ-इम्प्रूवमेंट बेस मॉडल की क्षमताओं द्वारा सीमित है; यदि बेस मॉडल के पास आवश्यक रीजनिंग पथों की कमी है, तो शार्पनिंग उन्हें बना नहीं सकती। यह विश्लेषण परिमित होराइजन (finite horizons) पर ऑटोरेग्रेसिव मॉडल्स के लिए विशिष्ट है।