🤖 AI

Preference-Based Self-Distillation: Beyond KL Matching via Reward Regularization

यह शोध पत्र प्रेफरेंस-बेस्ड सेल्फ-डिस्टिलेशन (PBSD) को प्रस्तुत करता है, जो एक नवीन ढांचा है जो शिक्षक और छात्र नमूनों के बीच प्रेफरेंस गैप्स को अनुकूलित करने के लिए पारंपरिक KL मैचिंग के स्थान पर एक रिवॉर्ड-रेगुलराइज्ड ऑब्जेक्टिव का उपयोग करता है, जिससे मौजूदा सेल्फ-डिस्टिलेशन विधियों की तुलना में अधिक स्थिर प्रशिक्षण और बेहतर रीजनिंग प्रदर्शन प्राप्त होता है।

मूल लेखक: Xin Yu, Liuchen Liao, Yiwen Zhang, Yingchen Yu, Lingzhou Xue, Qinzhen Guo

प्रकाशित 2026-05-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xin Yu, Liuchen Liao, Yiwen Zhang, Yingchen Yu, Lingzhou Xue, Qinzhen Guo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: एक नए शिक्षक के बिना छात्र को सिखाना

कल्पना कीजिए कि आप एक छात्र (एक AI मॉडल) को जटिल गणित के सवाल हल करना या टूल्स का उपयोग करना सिखाने की कोशिश कर रहे हैं।

पुराना तरीका (स्टैंडर्ड डिस्टिलेशन):
आमतौर पर, आप पहले से ही एक बहुत बुद्धिमान और महंगे प्रोफेसर (एक "टीचर" AI) को काम पर रखते हैं जो उन समस्याओं को हल करता है। फिर छात्र उस प्रोफेसर के जवाबों को शब्द-दर-शब्द कॉपी करने की कोशिश करता है।

समस्या: यह महंगा है क्योंकि आपको एक साथ दो अलग-अलग मॉडल चलाने पड़ते हैं। इसके अलावा, यदि प्रोफेसर कोई छोटी सी गलती करता है या ज़रूरत से ज़्यादा आत्मविश्वासी होता है, तो छात्र उसे आँख मूँदकर कॉपी कर लेता है, भले ही वह गलत हो।

"सेल्फ-डिस्टिलेशन" का तरीका (वर्तमान ट्रेंड):
पैसे बचाने के लिए, शोधकर्ताओं ने एक नई ट्रिक आजमाई: छात्र ही शिक्षक है।

यह कैसे काम करता है: आप उसी AI मॉडल को लेते हैं। आप उसे एक "हिंट" या अतिरिक्त संदर्भ (जैसे कि एक चीट शीट) देते हैं ताकि वह "टीचर" के रूप में कार्य कर सके। फिर, आप उसी मॉडल (बिना हिंट के) को "स्टूडेंट" के रूप में कार्य करने के लिए कहते हैं और उसे "टीचर" के जवाबों को कॉपी करने के लिए कहता है।
समस्या: यह ऐसा ही है जैसे किसी छात्र से अपने ही नोट्स देखकर अपना होमवर्क खुद ग्रेड करने के लिए कहना। यदि छात्र भ्रमित है, तो "टीचर" वाला संस्करण भी भ्रमित होगा। वे बस एक-दूसरे की गलतियों को कॉपी करते हैं। इसके अलावा, पुराना तरीका छात्र को शिक्षक के जवाबों से बिल्कुल सटीक मेल खाने के लिए मजबूर करता है, जो रचनात्मकता को खत्म कर देता है और छात्र को समस्याओं को हल करने के नए तरीकों को खोजने से रोकता है।

नया समाधान: PBSD (द "कोच" अप्रोच)

लेखकों ने एक नया तरीका प्रस्तावित किया है जिसे PBSD (प्रेफरेंस-बेस्ड सेल्फ-डिस्टिलेशन) कहा जाता है। छात्र को पूरी तरह से कॉपी करने के लिए मजबूर करने के बजाय, वे इस प्रक्रिया को एक स्पोर्ट्स कोच द्वारा गेम टेप (मैच की रिकॉर्डिंग) की समीक्षा करने की तरह देखते हैं।

यहाँ बताया गया है कि PBSD कैसे काम करता है, जिसे तीन सरल चरणों में विभाजित किया गया है:

1. "रिवॉर्ड-रेगुलराइज्ड" लक्ष्य (स्कोरबोर्ड)

पुराने तरीके में, लक्ष्य केवल यह था: "अपना जवाब टीचर के जवाब जैसा ही बनाओ।"
PBSD में, लक्ष्य है: "अपने वर्तमान स्वरूप से बेहतर बनो, लेकिन टीचर के संकेतों द्वारा निर्देशित होकर।"

इसे इस तरह सोचें:

पुराना तरीका: कोच कहता है, "ठीक वैसे ही दौड़ो जहाँ मैं दौड़ा था।"
PBSD: कोच कहता है, "मैं इस रास्ते पर दौड़ा और मुझे एक अच्छा स्कोर मिला। तुमने एक अलग रास्ता चुना और तुम्हें बुरा स्कोर मिला। चलो तुम्हारे रास्ते को थोड़ा एडजस्ट करते हैं ताकि वह मेरे रास्ते के करीब हो, लेकिन केवल तभी जब इससे तुम्हें उच्च स्कोर पाने में मदद मिले।"

पेपर एक गणितीय "स्कोर" (रिवॉर्ड) पेश करता है जो अच्छे जवाबों को महत्व देता है। छात्र केवल कॉपी नहीं कर रहा है; वह टीचर के अच्छे जवाबों को अपने बुरे जवाबों के ऊपर पसंद (Prefer) करना सीख रहा है।

2. "प्रेफरेंस" मैकेनिज्म (तुलना)

एक लंबे लेक्चर के बजाय, PBSD एक सरल तुलना खेल (जैसे कि "यह या वह" टेस्ट) का उपयोग करता है।

सेटअप: "टीचर" (हिंट के साथ वाला मॉडल) एक अच्छा जवाब ( $y+$ ) बनाता है। "स्टूडेंट" (बिना हिंट वाला मॉडल) एक वर्तमान जवाब ( $y-$ ) बनाता है।
सबक: सिस्टम पूछता है, "कौन सा बेहतर है?" और फिर यह स्टूडेंट को टीचर की तरह होने के लिए प्रेरित करता है केवल तभी जब टीचर स्पष्ट रूप से बेहतर हो।
जादू: यह स्टूडेंट को टीचर की गलतियों को अंधाधुंध कॉपी करने से रोकता है। यदि टीचर ज़रूरत से ज़्यादा आत्मविश्वासी या गलत है, तो "स्कोर" स्टूडेंट को टीचर के उस विशिष्ट उत्तर को अनदेखा करने के लिए कहता है।

3. यह अधिक स्थिर क्यों है (सेफ्टी नेट)

पेपर का तर्क है कि पिछले सेल्फ-टीचिंग तरीके अस्थिर थे क्योंकि वे छात्र को शिक्षक की नकल करने के लिए बहुत सख्ती से मजबूर करते थे। इससे छात्र की "सोचने की क्षमता" (एक्सप्लोरेशन) खत्म हो जाती थी और वह ज़रूरत से ज़्यादा आत्मविश्वासी हो जाता था।

PBSD एक सेफ्टी नेट की तरह काम करता है। यह स्टूडेंट को टीचर के करीब रखता है (ताकि वह पटरी से न उतरे) लेकिन छात्र को उन जवाबों की ओर ध्यान केंद्रित करने की अनुमति देता है जो वास्तव में उच्च स्कोर अर्जित करते हैं। यह प्रशिक्षण प्रक्रिया को अधिक सुचारू और विश्वसनीय बनाता है।

परिणाम: दौड़ में कौन जीता?

शोधकर्ताओं ने इस नए तरीके का परीक्षण दो कठिन चुनौतियों पर किया:

मैथ रीजनिंग: कठिन प्रतियोगिता गणित के सवालों को हल करना (जैसे AIME और HMMT)।
टूल यूज़: AI को सॉफ्टवेयर टूल्स (जैसे फ्लाइट बुक करना या रिमाइंडर सेट करना) का सही ढंग से उपयोग करना सिखाना।

उन्होंने PBSD की तुलना इनसे की:

स्टैंडर्ड ट्रेनिंग (SFT)।
रीइन्फोर्समेंट लर्निंग (GRPO)।
पिछले सेल्फ-डिस्टिलेशन तरीके (OPSD)।

फैसला:
PBSD जीत गया। विभिन्न आकार के AI मॉडल्स (छोटे से लेकर बड़े तक) में, PBSD ने लगातार उच्चतम औसत स्कोर प्राप्त किया।

यह पिछले सेल्फ-टीचिंग तरीकों की तुलना में अधिक स्थिर (Stable) था (यह समय के साथ खराब नहीं हुआ)।
यह अधिक कुशल (Efficient) था (इसे रीइन्फोर्समेंट लर्निंग की तुलना में कम कंप्यूटिंग संसाधनों की आवश्यकता थी)।
इसने एक्सप्लोर करने और तर्क करने की क्षमता को बनाए रखा, न कि केवल रटने की।

सारांश उपमा (Summary Analogy)

कल्पना कीजिए कि एक संगीतकार एक नया गाना सीख रहा है।

स्टैंडर्ड डिस्टिलेशन: वे एक प्रसिद्ध रिकॉर्डिंग सुनते हैं और ठीक वैसे ही नोट्स बजाने की कोशिश करते हैं जैसा वे सुनते हैं।
पुराना सेल्फ-डिस्टिलेशन: वे एक मेट्रोनोम के साथ खुद को बजाते हुए रिकॉर्ड करते हैं, फिर उस रिकॉर्डिंग को कॉपी करने की कोशिश करते हैं। यदि उन्होंने एक गलत नोट बजाया, तो वे गलत नोट ही कॉपी करते हैं।
PBSD: वे खुद को बजाते हुए रिकॉर्ड करते हैं। फिर, वे अपने ही एक "बेहतर संस्करण" (मेट्रोनोम और शीट म्यूजिक के साथ) को सुनते हैं। वे केवल नोट्स को कॉपी नहीं करते; वे दोनों वर्ज़न की तुलना करते हैं। वे पूछते हैं, "मेट्रोनोम और शीट म्यूजिक के मुकाबले मैंने कहाँ बुरा बजाया?" और वे उन विशिष्ट जगहों को ठीक करने के लिए अपने वादन को एडजस्ट करते हैं, जिसका लक्ष्य केवल एक परफेक्ट कॉपी बनना नहीं, बल्कि सबसे बेहतरीन साउंड बनाना है।

पेपर का मुख्य दावा है: "तुलना और रिवॉर्ड" के इस दृष्टिकोण का उपयोग करके, AI मॉडल एक अलग, महंगे शिक्षक के बिना प्रभावी ढंग से खुद को सिखा सकते हैं, और वे पहले की तुलना में अधिक स्थिरता और सटीकता के साथ ऐसा करते हैं।

तकनीकी सारांश: प्रेफरेंस-आधारित सेल्फ-डिस्टिलेशन (PBSD)

समस्या विवरण

ऑन-पॉलिसी डिस्टिलेशन (OPD) बड़े भाषा मॉडलों (LLMs) के पोस्ट-ट्रेनिंग के लिए सुदृढीकरण शिक्षण (Reinforcement Learning - RL) के एक कुशल विकल्प के रूप में कार्य करता है, जो सघन, टोकन-स्तरीय प्रशिक्षण संकेत प्रदान करता है। हालाँकि, मानक OPD एक अधिक शक्तिशाली, बाहरी शिक्षक मॉडल पर निर्भर करता है, जो अलग आर्किटेक्चर और साझा शब्दावली के कारण कम्प्यूटेशनल दक्षता और स्केलेबिलिटी में बाधा उत्पन्न करता है।

इसे संबोधित करने के लिए, ऑन-पॉलिसी सेल्फ-डिस्टिलेशन उभर कर आया है, जहाँ एक ही मॉडल शिक्षक और छात्र दोनों के रूप में कार्य करता है, जिसमें शिक्षक को अतिरिक्त विशेषाधिकार प्राप्त संदर्भ (जैसे, विशेषज्ञ प्रदर्शन या रीजनिंग ट्रेसेस) पर मॉडल को कंडीशन करके स्थापित किया जाता है। इसकी क्षमता के बावजूद, मौजूदा सेल्फ-डिस्टिलेशन विधियाँ दो महत्वपूर्ण सीमाओं से ग्रस्त हैं:

प्रशिक्षण अस्थिरता और प्रदर्शन में गिरावट: वर्तमान दृष्टिकोण कॉन्टेक्स्ट-ऑगमेंटेड शिक्षक के साथ प्रत्यक्ष क्लैबैक-लीब्लर (KL) डाइवर्जेंस संरेखण (alignment) पर निर्भर करते हैं। हालिया विश्लेषण बताते हैं कि यह एपिस्टेमिक वर्बलाइजेशन (अनिश्चितता, आत्म-जांच) को दबाकर समय के साथ रीजनिंग प्रदर्शन को सक्रिय रूप से कम कर सकता है, जिससे अत्यधिक आत्मविश्वासी, छोटे रीजनिंग ट्रेसेस बनते हैं।
एक्सप्लोरेटिव विविधता का अभाव: शिक्षक को उसी मॉडल के कॉन्टेक्स्ट-ऑगमेंटेड संस्करण के रूप में मानने का अर्थ यह है कि शिक्षक एक मजबूत ओरेकल (oracle) है। हालाँकि, चूंकि शिक्षक और छात्र के पैरामीटर्स समान हैं, इसलिए पर्यवेक्षण (supervision) में अक्सर वह विविधता और एक्सप्लोरेटिव वैल्यू की कमी होती है जो एक वास्तव में मजबूत बाहरी मॉडल प्रदान करता है।

यह कार्य तर्क देता है कि केवल शिक्षक वितरण की KL एलाइनमेंट के माध्यम से नकल करना उप-इष्टतम (suboptimal) है, क्योंकि यह प्रतिक्रियाओं की अंतर्निहित रिवॉर्ड संरचना (latent reward structure) की अनदेखी करता है।

कार्यप्रणाली: प्रेफरेंस-आधारित सेल्फ-डिस्टिलेशन (PBSD)

लेखक प्रेफरेंस-आधारित सेल्फ-डिस्टिलेशन (PBSD) का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जो ऑन-पॉलिसी सेल्फ-डिस्टिलेशन को फिक्स्ड टीचर KL एलाइनमेंट के बजाय एक रिवॉर्ड-रेगुलराइज्ड परिप्रेक्ष्य के माध्यम से पुनर्गठित करता है।

1. रिवॉर्ड-रेगुलराइज्ड ऑब्जेक्टिव

केवल स्टूडेंट $\pi_\theta$ और टीचर $\pi_{\text{teach}}$ के बीच रिवर्स KL डाइवर्जेंस को मिनिमाइज करने के बजाय, PBSD एक संयुक्त ऑब्जेक्टिव को ऑप्टिमाइज़ करता है जो KL एलाइनमेंट और रिवॉर्ड मैक्सिमाइजेशन के बीच संतुलन बनाता है:
$\max_{\pi_\theta} \mathbb{E}_{x \sim \mathcal{D}} \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} [r(x, y)] - \beta D_{\text{KL}}(\pi_\theta(\cdot|x) \parallel \pi_{\text{teach}}(\cdot|x))$
जहाँ $r(x, y)$ एक लेटेंट टारगेट रिवॉर्ड है और $\beta$ रेगुलराइजेशन स्ट्रेंथ को नियंत्रित करता है।

सैद्धांतिक अंतर्दृष्टि: लेखक यह व्युत्पन्न करते हैं कि इस ऑब्जेक्टिव का विश्लेषणात्मक इष्टतम (analytical optimum) स्वयं टीचर वितरण नहीं है, बल्कि एक रिवॉर्ड-टिल्टेड टीचर वितरण है:
$\pi^*(y|x) = \frac{\pi_{\text{teach}}(y|x) \exp(r(x, y)/\beta)}{Z(x)}$
यह टारगेट पॉलिसी रिवॉर्ड-रेगुलराइज्ड ऑब्जेक्टिव के तहत मूल टीचर की तुलना में प्रमाणित रूप से बेहतर है, बशर्ते कि रिवॉर्ड टीचर द्वारा समर्थित प्रतिक्रियाओं पर भिन्न होता हो। यहाँ टीचर एक सपोर्ट वितरण (इंडक्टिव बायस) के रूप में कार्य करता है, जबकि रिवॉर्ड उच्च-गुणवत्ता वाले व्यवहारों की ओर प्रोबेबिलिटी मास को पुनर्वितरित करता है।

2. प्रेफरेंस लर्निंग के माध्यम से अनुकूलन (Optimization)

चूंकि लेटेंट रिवॉर्ड $r(x, y)$ अवलोकित नहीं है, PBSD ऑब्जेक्टिव को प्रेफरेंस-आधारित लर्निंग (DPO से प्रेरित) का उपयोग करके ऑप्टिमाइज़ करता है।

टीचर निर्माण: टीचर $\pi_{\text{teach}}(y|x)$ को विशेषाधिकार प्राप्त संदर्भ $c$ पर आधारित मूल मॉडल के रूप में परिभाषित किया गया है (जैसे, $\pi(y|x, c)$ )।
प्रेफरेंस पेयर्स: प्रत्येक इनपुट $x$ के लिए, टीचर से एक पॉजिटिव सैंपल $y^+$ जनरेट किया जाता है (बेहतर ढंग से कंडिशन्ड) और वर्तमान स्टूडेंट से एक नेगेटिव सैंपल $y^-$ (ऑन-पॉलिसी)।
लॉस फंक्शन: यह विधि ब्रैडली-टेरी मॉडल का उपयोग करके उस संभावना को अधिकतम करती है कि टीचर की प्रतिक्रिया स्टूडेंट की प्रतिक्रिया से बेहतर चुनी जाए:
$\max_{\theta} \mathbb{E} \left[ \log \sigma \left( \beta \left( \log \frac{\pi_\theta(y^+|x)}{\pi_{\text{teach}}(y^+|x)} - \log \frac{\pi_\theta(y^-|x)}{\pi_{\text{teach}}(y^-|x)} \right) \right) \right]$
यह फॉर्मूलेशन प्रभावी रूप से एक्सप्लिसिट रिवॉर्ड मॉडल की आवश्यकता के बिना, ऑन-पॉलिसी सैंपलिंग बनाए रखते हुए टीचर और स्टूडेंट सैंपल्स के बीच "प्रेफरेंस गैप" को ऑप्टिमाइज़ करता है।

3. सांख्यिकीय विश्लेषण

यह कार्य प्रेरित प्रेफरेंस लर्निंग समस्या का सांख्यिकीय विश्लेषण प्रदान करता है। यह पाता है कि कॉन्टेक्स्टुअल सेल्फ-डिस्टिलेशन बाहरी टीचर से सीखने की तुलना में सैद्धांतिक रूप से बेहतर है जब:

टीचर द्वारा जनरेट किए गए पॉजिटिव सैंपल्स विविध स्कोर-गैप दिशाएं (स्टूडेंट के वर्तमान वितरणों से परे सूचनात्मक दिशाओं को कवर करना) प्रदान करते हैं।
टीचर और स्टूडेंट के बीच प्रेफरेंस मार्जिन मध्यम बना रहता है।
विश्लेषण दिखाता है कि लोकल सैंपल कॉम्प्लेक्सिटी एम्पिरिकल इंफॉर्मेशन मैट्रिक्स के सबसे छोटे आइजनवैल्यू (eigenvalue) द्वारा निर्धारित होती है। कॉन्टेक्स्टुअल सेल्फ-डिस्टिलेशन स्वाभाविक रूप से मध्यम मार्जिन बनाए रखता है (सैचुरेशन से बचता है) और प्योर सेल्फ-कॉपीइंग की तुलना में समृद्ध दिशाएं प्रदान करता है, जिससे अनुमान बाउंड्स (estimation bounds) अधिक सटीक होते हैं।

मुख्य योगदान

रिवॉर्ड-रेगुलराइज्ड ऑब्जेक्टिव: एक सेल्फ-डिस्टिलेशन ऑब्जेक्टिव का परिचय जो टीचर के साथ निकटता और रिवॉर्ड मैक्सिमाइजेशन के बीच संतुलन बनाता है, और यह प्रमाण कि इष्टतम लक्ष्य टीचर स्वयं नहीं, बल्कि रिवॉर्ड-रीवेटेड टीचर वितरण है।
PBSD फ्रेमवर्क: एक नवीन, प्रेफरेंस-आधारित ऑन-पॉलिसी सेल्फ-डिस्टिलेशन फ्रेमवर्क का प्रस्ताव जो बिना किसी बाहरी टीचर या रिवॉर्ड मॉडल के टीचर और स्टूडेंट सैंपल्स के बीच प्रेफरेंस गैप को ऑप्टिमाइज़ करता है।
सैद्धांतिक औचित्य: एक सांख्यिकीय विश्लेषण प्रदान करना जो उन स्थितियों को स्थापित करता है जिनमें कॉन्टेक्स्टुअल सेल्फ-डिस्टिलेशन, स्कोर-गैप विविधता और मार्जिन मॉडरेशन के बीच ट्रेड-ऑफ के संबंध में बाहरी टीचर्स से डिस्टिलेशन से बेहतर प्रदर्शन करता है।
प्रायोगिक सत्यापन: गणितीय तर्क (mathematical reasoning) और टूल उपयोग (tool use) के बेंचमार्क पर विभिन्न मॉडल आकारों (1.7B, 4B, 8B) पर निरंतर सुधार का प्रदर्शन।

प्रयोगात्मक परिणाम

लेखकों ने Qwen3 मॉडलों का उपयोग करके गणितीय तर्क (OpenThoughts डेटासेट, AIME 2024/2025, HMMT 2025 पर मूल्यांकित) और टूल उपयोग (ToolAlpaca-आधारित सेटअप) पर PBSD का मूल्यांकन किया।

प्रदर्शन: PBSD ने सभी मॉडल आकारों और कार्यों में लगातार सबसे मजबूत औसत प्रदर्शन हासिल किया।
- Qwen3-8B पर, PBSD ने 65.2 का गणितीय औसत प्राप्त किया, जो बेस मॉडल (+3.7) और सबसे मजबूत OPSD बेसलाइन (+1.0) से बेहतर है।
- Qwen3-4B और 1.7B पर भी, PBSD ने GRPO, DAPO और OPSD जैसे बेसलाइन्स से बेहतर उच्चतम औसत प्राप्त किया।
- टूल उपयोग में, PBSD ने सभी आकारों में सर्वश्रेष्ठ टॉप-1 सटीकता प्राप्त की (जैसे, 8B के लिए 72.0%)।
स्थिरता: OPSD के विपरीत, जो अक्सर जल्दी पीक करता है और फिर गिर जाता है, PBSD ने पूरे 500-स्टेप बजट के दौरान स्थिर प्रशिक्षण प्रगति दिखाई।
टोकन दक्षता: PBSD ने सेल्फ-डिस्टिलेशन की टोकन दक्षता (एक प्रॉम्प्ट प्रति रोलआउट) को बरकरार रखा, जबकि RL-आधारित विधियों (जैसे GRGRPO) के बराबर या उससे बेहतर प्रदर्शन हासिल किया, जिन्हें भारी टोकन बजट की आवश्यकता होती है।
एब्लेशन स्टडीज (Ablation Studies):
- फिक्स्ड टीचर: यह पाया गया कि इनिशियलाइजेशन पर टीचर मॉडल को फिक्स्ड रखना पर्याप्त और प्रभावी है; हर 5 स्टेप्स में टीचर को अपडेट करने से कोई स्पष्ट लाभ नहीं हुआ।
- एक्सप्लोरेशन: PBSD ने डायरेक्ट KL एलाइनमेंट विधियों की तुलना में एक्सप्लोरेटिव रीजनिंग व्यवहार (मध्यम कंप्लीशन लेंथ) को बेहतर ढंग से संरक्षित किया और अत्यधिक छोटे, अत्यधिक आत्मविश्वासी ट्रेसेस में ढलने से बचा।

महत्व और दावे

यह कार्य दावा करता है कि PBSD प्रेफरेंस ऑप्टिमाइजेशन की स्थिरता और रिवॉर्ड अवेयरनेस को सेल्फ-डिस्टिलेशन की टोकन दक्षता के साथ जोड़कर पोस्ट-ट्रेनिंग प्रतिमानों के एक मौलिक अंतर को पाटता है।

KL एलाइनमेंट से परे: यह कार्य इस धारणा को चुनौती देता है कि सेल्फ-डिस्टिलेशन को केवल एक प्रत्यक्ष वितरण संरेखण समस्या होना चाहिए। यह तर्क देता है कि टीचर को उपयोगी व्यवहारों के सपोर्ट को परिभाषित करना चाहिए, जबकि ऑप्टिमाइजेशन को रिवॉर्ड रीवेटिंग के माध्यम से उच्च-गुणवत्ता वाली प्रतिक्रियाओं को चुनिंदा रूप से सुदृढ़ करना चाहिए।
स्केलेबिलिटी: बाहरी टीचर मॉडल्स या रिवॉर्ड मॉडल्स पर निर्भरता को समाप्त करके, PBSD शक्तिशाली ओपन-सोर्स एजेंट्स को लोकतांत्रिक बनाने के लिए एक स्केलेबल मार्ग प्रदान करता है, विशेष रूप से मल्टी-स्टेप रीजनिंग और टूल उपयोग वाले परिदृश्यों में।
मजबूती (Robustness): फ्रेमवर्क एक अधिक मजबूत टारगेट डिस्ट्रीब्यूशन प्रदान करता है जो एक्सप्लोरेटिव रीजनिंग को सुरक्षित रखता है और पिछले सेल्फ-डिस्टिलेशन बेसलाइन्स की तुलना में अधिक स्थिर ऑप्टिमाइजेशन की अनुमति देता है।

लेखक निष्कर्ष निकालते हैं कि रिवॉर्ड-अवेयर सेल्फ-डिस्टिलेशन, रीजनिंग-ओरिएंटेड LLMs के स्थिर और स्केलेबल पोस्ट-ट्रेनिंग के लिए एक आशाजनक प्रतिमान है, जो बाहरी निर्भरताओं के बिना डेंस सुपरविजन और रिवॉर्ड ऑप्टिमाइजेशन के बीच के अंतर को प्रभावी ढंग से पाटता है।