🤖 machine learning

$\beta$ -OPSD: Deriving with Policy Optimization, Training with Self-Distillation

यह शोध पत्र $\beta$ -OPSD प्रस्तुत करता है, जो एक सिद्धांतिक ढांचा है जो KL दंड भार $\beta$ को एक ट्यून करने योग्य पैरामीटर के रूप में मानकर ऑन-पॉलिसी सेल्फ-डिस्टिलेशन का सामान्यीकरण करता है, जिससे एक संदर्भ मॉडल और एक शिक्षक के बीच इष्टतम नीति इंटरपोलेशन को अनुमानित करने के लिए लॉजिट मिक्सिंग के माध्यम से कुशल प्रशिक्षण सक्षम होता है और वैनिला OPSD की तुलना में स्थिरता और तर्क प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Jiawei Xu, Minghui Liu, Juzheng Zhang, Tom Goldstein, Furong Huang

प्रकाशित 2026-07-31

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiawei Xu, Minghui Liu, Juzheng Zhang, Tom Goldstein, Furong Huang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक कठिन गणित की समस्या हल करना सिखा रहे हैं। आपके पास उसे सिखाने के दो तरीके हैं। पहला तरीका यह है कि रोबोट को कोशिश करने दें, असफल होने दें, और फिर उसे आदर्श समाधान दिखाएं, और उससे हर कदम को याद रखने के लिए कहें। यह एक छात्र द्वारा अपने शिक्षक का होमवर्क कॉपी करने जैसा है। दूसरा तरीका यह है कि रोबोट को कोशिश करने दें, और फिर एक "सुपर-टीचर" का उपयोग करें जो उत्तर कुंजी (answer key) देख सकता है और रोबोट द्वारा लिखे गए हर एक शब्द पर तुरंत फीडबैक दे सकता है। इसे "ऑन-पॉलिसी सेल्फ-डिस्टिलेशन" (on-policy self-distillation) कहा जाता है। यह शक्तिशाली है क्योंकि शिक्षक रोबोट की विशिष्ट गलतियों पर वास्तविक समय में प्रतिक्रिया देता है। लेकिन यहाँ एक पेंच है: यह तरीका अक्सर नाजुक होता है। यदि आप रोबोट को सुपर-टीचर की नकल करने के लिए बहुत अधिक मजबूर करते हैं, तो वह भ्रमित हो सकता है, जो वह पहले से जानता है उसे भूल सकता है, और अजीबोगरीब अनुमान लगाने लग सकता है। यह एक ऐसे छात्र जैसा है जो एक जीनियस की इतनी सटीक नकल करने की कोशिश करता है कि वह अपनी खुद की आवाज़ खो देता है और खुद से सोचना बंद कर देता है। वैज्ञानिक जानना चाहते हैं: हम छात्र के आत्मविश्वास को तोड़े बिना सुपर-टीचर के लाभ कैसे प्राप्त करें?

एक नया शोध पत्र एक चतुर समाधान पेश करता है जिसे β-OPSD कहा जाता है। शोधकर्ताओं ने महसूस किया कि सुपर-टीचर का उपयोग करने का मानक तरीका वास्तव में बहुत बड़े परिवार के तरीकों में से केवल एक चरम सेटिंग है। उन्होंने एक "डायल" (जिसे β कहा जाता है) की खोज की जो यह नियंत्रित करता है कि रोबोट को सुपर-टीचर की कितनी बात माननी चाहिए बनाम उसे अपनी वर्तमान शैली पर कितना टिके रहना चाहिए। रोबोट को सीधे शिक्षक के स्तर पर पहुँचने के लिए मजबूर करने के बजाय, उन्होंने एक तरीका खोजा जिससे रोबोट के वर्तमान स्वरूप और सुपर-टीचर के बीच एक सहज मार्ग बनाया जा सके। इसके बजाय, वे रोबोट को सीधे शिक्षक के स्तर पर कूदने के लिए मजबूर करने के बजाय, एक सुचारू पथ बनाने का तरीका ढूंढते हैं।

समस्या: "बहुत-कठिन" शिक्षक

AI की दुनिया में, एक मॉडल को स्मार्ट बनाना अक्सर ऑन-पॉलिसी सेल्फ-डिस्टिलेशन की एक प्रक्रिया शामिल होती है। कल्पना कीजिए कि एक छात्र (AI मॉडल) एक कहानी लिख रहा है या गणित की समस्या हल कर रहा है। जैसे-जैसे वह लिखता है, एक "विशेषाधिकार प्राप्त शिक्षक" (मॉडल का एक स्मार्ट संस्करण या वह जिसके पास उत्तर कुंजी तक पहुंच है) देखता है और कहता है, "नहीं, यह शब्द यह होना चाहिए था।" फिर छात्र शिक्षक के विकल्पों की नकल करने की कोशिश करता है।

समस्या यह है कि यह शिक्षक बहुत अच्छा है। यदि छात्र तुरंत शिक्षक के सटीक उत्तरों की नकल करने की कोशिश करता है, तो यह चलने सीखने से पहले मैराथन दौड़ने की कोशिश करने जैसा हो सकता है। छात्र अभिभूत हो जाता है, सीखना अस्थिर हो जाता है, और रोबोट अजीब, यादृच्छिक गलतियाँ करने लग सकता है। शोधकर्ताओं ने पाया कि मानक तरीका अनिवार्य रूप से छात्र को शुरुआत से ही शिक्षक के साथ पूरी तरह से मेल खाने के लिए मजबूर कर रहा था, जो सीखने का एक बहुत ही नाजुक तरीका है।

समाधान: एक सुचारू शिक्षण वक्र (Smooth Learning Curve)

लेखक जेवावी ज़ु (Jiawei Xu), मिंगहुई Liu (Minghui Liu) और मैरीलैंड विश्वविद्यालय की उनकी टीम ने इस बारे में सोचने का एक नया तरीका प्रस्तावित किया है। उन्होंने महसूस किया कि मानक तरीका वास्तव में व्यापक शिक्षण रणनीतियों के एक बड़े परिवार का एक विशिष्ट सेटिंग है। उन्होंने एक चर (variable) पेश किया जिसे β (बीटा) कहा जाता है, जो शिक्षक के मार्गदर्शन के लिए एक वॉल्यूम नॉब (volume knob) की तरह काम करता है।

जब β कम होता है (या 1 होता है): छात्र शिक्षक की हुबहू नकल करने की कोशिश करता है। यह पुराना, नाजुक तरीका है।
जब β अधिक होता है: छात्र को अपनी वर्तमान शैली के करीब रहने की अनुमति दी जाती है, और वह धीरे-धीरे शिक्षक की शैली की ओर बढ़ता है।

शोध पत्र दिखाते हैं कि सीखने का सही तरीका शिक्षक के पास सीधे कूदना नहीं है। इसके बजाय, सबसे अच्छा पथ एक ज्यामितीय अंतर्वेशन (geometric interpolation) है। इसे एक GPS रूट की तरह सोचें। पुराने तरीके ने छात्र को सीधे शिक्षक के स्थान पर टेलीपोर्ट करने की कोशिश की। नया तरीका, β-OPSD, छात्र के वर्तमान स्थान और शिक्षक के स्थान के बीच एक सुचारू सड़क बनाता है।

जैसे-जैसे प्रशिक्षण आगे बढ़ता है, शोधकर्ता β के मान को "शेड्यूल" करते हैं। वे एक ऐसा लक्ष्य लेकर शुरू करते हैं जो छात्र के बहुत करीब है (सुरक्षित और आसान) और धीरे-धीरे लक्ष्य को शिक्षक की तरह होने की ओर स्थानांतरित करते हैं (चुनौतीपूर्ण और स्मार्ट)। यह एक वीडियो गेम की तरह है जो "Easy" मोड से शुरू होता है और धीरे-धीरे "Hard" मोड की ओर बढ़ता है, न कि पहले ही दिन खिलाड़ी को सबसे कठिन स्तर में फेंक देता है।

गुप्त मंत्र: आगे देखना (Looking Ahead)

पहेली का एक और हिस्सा था। पुराने तरीकों में, जब छात्र वाक्य के पहले शब्द पर गलती करता था, तो सिस्टम केवल उस विशिष्ट शब्द को दोष देता था। लेकिन भाषा में, पहला शब्द आने वाले प्रत्येक शब्द के संदर्भ को बदल देता है। यदि आप एक वाक्य "The cat" से शुरू करते हैं, तो अगला शब्द "sat" या "ran" होने की संभावना है, न कि "pizza"।

शोधकर्ताओं ने महसूस किया कि पुराना तरीका "मायोपिक" (अल्पदर्शी/दूरदर्शिता की कमी वाला) था। उसे यह समझ नहीं आया कि एक शुरुआती गलती पूरे वाक्य को खराब कर सकती है। इसे ठीक करने के लिए, उन्होंने एक रिटर्न-टू-गो क्रेडिट असाइनमेंट (return-to-go credit assignment) जोड़ा।

कल्पना कीजिए कि आप शतरंज का खेल खेल रहे हैं। यदि आप मोड़ 3 पर एक गलत चाल चलते हैं, तो हो सकता है कि आप मोड़ 20 तक खेल न हारें। पुराना तरीका केवल मोड़ 20 को दोष देगा। नया तरीका पीछे मुड़कर देखता है और कहता है, "हे, मोड़ 3 ही असली समस्या थी क्योंकि इसने इस आपदा की ओर ले जाने का काम किया।" शुरुआती शब्दों को इस आधार पर श्रेय (या दोष) देकर कि उन्होंने अंतिम परिणाम को कैसे प्रभावित किया, मॉडल पहले शब्द से ही अधिक सावधान रहना सीखता है।

उन्होंने क्या पाया

टीम ने इस नए β-OPSD तरीके का परीक्षण गणितीय तर्क बेंचमार्क पर किया, जो AI के लिए गणित की समस्याओं के ओलंपिक की तरह हैं। उन्होंने 1.7 बिलियन पैरामीटर से लेकर 8 बिलियन पैरामीटर तक के मॉडलों का उपयोग किया।

परिणाम उत्साहजनक थे। Qwen3-1.7B मॉडल पर, नए तरीके ने AIME 2024 गणित प्रतियोगिता में पुराने तरीके की तुलना में औसत स्कोर में 9.16 प्रतिशत अंक का सुधार किया। इसने AIME 2025 और HMMT 2025 जैसे अन्य कठिन परीक्षणों में भी सुधार देखा। बड़े मॉडलों पर भी, नए तरीके ने लगातार पुराने तरीके से बेहतर प्रदर्शन किया, जिससे पता चला कि सुचारू शिक्षण पथ और "लुक-अहेड" क्रेडिट सिस्टम मॉडल के आकार की परवाह किए बिना अच्छी तरह से काम करते हैं।

शोधकर्ताओं का सुझाव है कि यह दृष्टिकोण सरल नकल से जटिल अनुकूलन (optimization) तक एक "सिद्धांत आधारित मार्ग" प्रदान करता है। इसके लिए महंगे, धीमे सुदृढीकरण लर्निंग (reinforcement learning) ट्रिक्स की आवश्यकता नहीं है; इसके बजाय, यह AI मॉडलों को तर्क करना सिखाने के लिए बेहतर, सस्ते और अधिक स्थिर तरीके के रूप में पॉलिसी ऑप्टिमाइज़ेशन के स्मार्ट गणित का उपयोग करता है। एक कठोर, नाजुक प्रक्रिया को एक सुचारू, निर्देशित यात्रा में बदलकर, उन्होंने रोबोट को एक बेहतर छात्र बना दिया।

तकनीकी सारांश: $\beta$ -OPSD

1. समस्या विवरण (Problem Statement)

ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (OPSD) लार्ज लैंग्वेज मॉडल्स (LLMs) की तर्क करने की क्षमताओं में सुधार के लिए एक आशाजनक तकनीक के रूप में उभरा है। मानक OPSD में, एक स्टूडेंट मॉडल अपने स्वयं के सैंपल्ड ट्रेजेक्टरीज (trajectories) से सीखता है, जबकि उसे एक "प्रिविलेज्ड टीचर" (वही मॉडल आर्किटेक्चर जिसके पास ग्राउंड-ट्रुथ सॉल्यूशंस या वेरिफाइड ट्रेसेस तक पहुँच होती है) से पर्यवेक्षण प्राप्त होता है, जो केवल ट्रेनिंग के दौरान उपलब्ध होता है।

हालाँकि, लेखक पहचान करते हैं कि मूल (vanilla) OPSD व्यवहार में अक्सर भंगुर (brittle) होता है, जिसे विश्वसनीय रूप से कार्य करने के लिए पर्याप्त इंजीनियरिंग प्रयास की आवश्यकता होती है। मुख्य मुद्दा यह है कि मानक OPSD टीचर को एकमात्र ऑप्टिमाइज़ेशन टारगेट मानता है, जो अंतर्निहित रूप से उस रेगुलराइजेशन स्ट्रेंथ को फिक्स कर देता है जो स्टूडेंट को उसके शुरुआती या रेफरेंस पॉलिसी से बांधे रखता है। इस कठोर फॉर्मूलेशन में इस बात को नियंत्रित करने के लिए कोई तंत्र नहीं है कि स्टूडेंट, रेफरेंस पॉलिसी से टीचर की ओर कितनी आक्रामक रूप से विचलित होता है, जो अक्सर अस्थिरता या उप-इष्टतम अभिसरण (suboptimal convergence) की ओर ले जाता है।

2. कार्यप्रणाली (Methodology)

यह पेपर $\beta$ -OPSD प्रस्तावित करता है, जो ऑन-पॉलिसी सेल्फ-डिस्टिलेशन को KL-रेगुलराइज्ड पॉलिसी ऑप्टिमाइज़ेशन समस्याओं के एक व्यापक परिवार के रूप में पुनर्गठित करता है। कार्यप्रणाली तीन चरणों में आगे बढ़ती है: सैद्धांतिक लक्ष्य का व्युत्पत्ति करना, इसे एक व्यावहारिक डिस्टिलेशन ऑब्जेक्टिव में बदलना, और क्रेडिट असाइनमेंट को परिष्कृत करना।

2.1. सैद्धांतिक व्युत्पत्ति: पॉलिसी ऑप्टिमाइज़ेशन के रूप में $\beta$ -OPSD

लेखक प्रदर्शित करते हैं कि मूल OPSD वास्तव में एक KL-रेगुलराइज्ड पॉलिसी परिवार का $\beta = 1$ सदस्य है। वे ऑब्जेक्टिव फंक्शन $J_\beta(\theta)$ को इस प्रकार परिभाषित करते हैं:
$J_\beta(\theta) = \mathbb{E}_{y \sim \pi_\theta} \left[ \log \frac{p_T(y|x,c)}{\pi_{\text{ref}}(y|x)} \right] - \beta D_{KL}(\pi_\theta(\cdot|x) \parallel \pi_{\text{ref}}(\cdot|x))$
जहाँ:

$\pi_\theta$ : स्टूडेंट पॉलिसी।
$p_T$ : प्रिविलेज्ड टीचर पॉलिसी (समस्या $x$ और प्रिविलेज्ड जानकारी $c$ पर आधारित)।
$\pi_{\text{ref}}$ : एक रेफरेंस पॉलिसी (जैसे, प्रारंभिक स्टूडेंट)।
$\beta$ : एक नियंत्रणीय रेगुलराइजेशन पैरामीटर।

मुख्य अंतर्दृष्टि: जब $\beta=1$ होता है, तो रेफरेंस टर्म्स रद्द हो जाते हैं, जिससे टीचर की ओर रिवर्स KL मिनिमाइजेशन प्राप्त होता है। $\beta > 1$ के लिए, ऑब्जेक्टिव अधिक रूढ़िवादी हो जाता है, जो रेफरेंस पॉलिसी से विचलन को अधिक दंडित करता है।

2.2. इष्टतम पॉलिसी और ज्यामितीय इंटरपोलेशन (Geometric Interpolation)

लेखक इस ऑब्जेक्टिव के लिए क्लोज्ड-फॉर्म इष्टतम पॉलिसी $\pi^\star_\beta$ को व्युत्पन्न करते हैं:
$\pi^\star_\beta(y|x,c) = \frac{\pi_{\text{ref}}(y|x)^{1-1/\beta} p_T(y|x,c)^{1/\beta}}{Z_\beta(x,c)}$
यह समाधान रेफरेंस पॉलिसी और प्रिविलेज्ड टीचर के बीच एक ज्यामितीय इंटरपोलेशन का प्रतिनिधित्व करता है। पैरामीटर $\beta$ (विशेष रूप से इसका व्युत्क्रम $1/\beta$ ) इस पथ पर स्थिति निर्धारित करने वाला एक भार (weight) के रूप में कार्य करता है।

$\beta = 1 \implies$ लक्ष्य टीचर है।
$\beta \to \infty \implies$ लक्ष्य रेफरेंस पॉलिसी के करीब पहुँच जाता है।

2.3. व्यावहारिक प्रशिक्षण: शेड्यूल्ड लॉजिट इंटरपोलेशन (Scheduled Logit Interpolation)

इंट्रैक्टेबल नॉर्मलाइज़र $Z_\beta$ और हाई-वेरिएंस ग्रेडिएंट्स के कारण सीधे RL ऑब्जेक्टिव को ऑप्टिमाइज़ करना कम्प्यूटेशनल रूप से महंगा है। इसके बजाय, $\beta$ -OPSD सैद्धांतिक समाधान को एक कुशल डिस्टिलेशन टारगेट में बदल देता है।

लोकल एप्रोक्सिमेशन: चूंकि सीक्वेंस-लेवल नॉर्मलाइज़र इंट्रैक्टेबल है, इसलिए विधि प्रत्येक डिकोडिंग प्रीफिक्स $h_t$ पर रेफरेंस और टीचर के लॉगिट्स के रैखिक इंटरपोलेशन का उपयोग करके इष्टतम पॉलिसी का अनुमान लगाती है:
$\tilde{p}_{\beta_k}(\cdot | h_t, c) = \text{softmax}\left( \left(1 - \frac{1}{\beta_k}\right) z_{\text{ref}} + \frac{1}{\beta_k} z_T \right)$
करिकुलम शेड्यूलिंग: $\beta$ को फिक्स करने के बजाय, विधि एक शेड्यूल का उपयोग करती है जहाँ टीचर वेट $w_k = 1/\beta_k$ ट्रेनिंग स्टेप्स के दौरान $w_{\text{start}}$ से $w_{\text{end}}$ तक रैखिक रूप से बढ़ता है। यह एक सुचारू करिकुलम बनाता है, जो स्टूडेंट के करीब के लक्ष्यों से शुरू होकर धीरे-धीरे मजबूत टीचर मार्गदर्शन को शामिल करता है।

2.4. रिटर्न-टू-गो (Return-to-Go) क्रेडिट असाइनमेंट

मानक टोकन-लेवल OPSD अपडेट "मायोपिक" (myopic) होते हैं, जो प्रत्येक टोकन के लॉस को स्वतंत्र रूप से मानते हैं। यह इस बात की अनदेखी करता है कि एक प्रारंभिक टोकन का चुनाव भविष्य के प्रीफिक्स और उसके बाद होने वाले मिसमैच को कैसे प्रभावित करता है।
इसे संबोधित करने के लिए, $\beta$ -OPSD रिटर्न-टू-गो (RTG) क्रेडिट असाइनमेंट पेश करता है। टोकन $t$ के लिए लॉस को ट्रेजेक्टरी के साथ संचयी भविष्य के मिसमैच (डिस्काउंटेड रिटर्न) द्वारा भारित किया जाता है:
$G_{t, \gamma} = \sum_{s=t}^{T} \gamma^{s-t} \rho_s$
जहाँ $\rho_s$ स्टेप $s$ पर लॉग-रेशियो मिसमैच है। यह सुनिश्चित करता है कि शुरुआती टोकन को उस डिस्ट्रीब्यूशनल मिसमैच के लिए क्रेडिट (या दोष) मिले जो वे अनुक्रम में बाद में उत्पन्न करते हैं, जिससे टोकन-लेवल अपडेट्स सीक्वेंस-लेवल ऑब्जेक्टिव के साथ संरेखित होते हैं।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक एकीकरण: पेपर स्थापित करता है कि मूल OPSD एक व्यापक KL-रेगुलराइज्ड पॉलिसी ऑप्टिमाइज़ेशन परिवार का $\beta=1$ केस है, जिससे अंतर्निहित रेगुलराइजेशन चॉइस स्पष्ट और नियंत्रणीय हो जाती है।
$\beta$ -OPSD फ्रेमवर्क: यह एक सामान्यीकृत ऑब्जेक्टिव पेश करता है जहाँ इष्टतम पॉलिसी रेफरेंस और टीचर के बीच एक ज्यामितीय इंटरपोलेशन है, जिसे व्यावहारिक रूप से शेड्यूल्ड लॉजिट इंटरपोलेशन के माध्यम से क्रियान्वित किया जाता है।
कुशल प्रशिक्षण एल्गोरिदम: लेखक एक जटिल RL मशीनरी जैसे एडवांटेज एस्टीमेशन की आवश्यकता के बिना, सस्ते टोकन-लेवल डिस्टिलेशन का उपयोग करके महंगे RL-व्युत्पन्न समाधान को अनुमानित करने के लिए एक विधि प्रस्तावित करते हैं।
सीक्वेंस-लेवल अलाइनमेंट: रिटर्न-टू-गो क्रेडिट असाइनमेंट का एकीकरण मायोपिक टोकन-KL अपडेट्स की प्रकृति को ठीक करता है, जो सीक्वेंस-लेवल ऑब्जेक्टिव के लिए एक अनबायस्ड एस्टीमेटर प्रदान करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन गणितीय तर्क बेंचमार्क (AIME 2024, AIME 2025, HMMT 2025) पर Qwen3 मॉडल्स का उपयोग करके किया गया, जिनकी रेंज 1.7B से 8B पैरामीटर्स तक है।

प्रदर्शन लाभ: $\beta$ $β$ -OPSD ने लगातार वैनिला OPSD, SFT और GRPO बेसलाइन्स को पछाड़ दिया।
- Qwen3-1.7B पर, $\beta$ -OPSD ने वैनिला OPSD पर औसत प्रदर्शन (avg@12) में 5.74 प्रतिशत अंक का सुधार किया, जिसमें AIME 2024 पर 9.16 अंकों का विशिष्ट लाभ हुआ।
- बड़े मॉडल्स (4B और 8B) में, इसने प्रतिस्पर्धी या बेहतर प्रदर्शन बनाए रखा, क्रमशः कुल औसत में 1.76 और 1.66 अंकों का सुधार किया।
एब्लेशन स्टडीज (Ablation Studies):
- टारगेट डिस्ट्रीब्यूशन: फिक्स्ड टीचर टारगेट को शेड्यूल्ड लॉजिट-इंटरपुलेंट टारगेट से बदलने से महत्वपूर्ण लाभ हुआ (जैसे, AIME 2024 पर +6.03 अंक), जो सुचारू संक्रमण के लाभ की पुष्टि करता है।
- क्रेडिट असाइनमेंट: लोकल टोकन ग्रेडिएंट्स के बजाय रिटर्न-टू-गो वेट्स का उपयोग करने से प्रदर्शन में सुधार हुआ (जैसे, AIME 2025 पर +5.55 अंक), जो भविष्य-जागरूक अपडेट्स के महत्व को प्रमाणित करता है।
- रेफरेंस कंस्ट्रक्शन: सर्वोत्तम प्रदर्शन एक डायनेमिक स्टूडेंट (वर्तमान मॉडल) और एक फिक्स्ड टीचर (प्रिविलेज्ड टीचर) का उपयोग करने से प्राप्त हुआ, जो यह सुझाव देता है कि एक स्थिर सुपरवाइजरी एंकर बनाए रखते हुए विकसित होते स्टूडेंट डिस्ट्रीब्यूशन को ट्रैक करना इष्टतम है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि यह "सेल्फ-डिस्टिलेशन से पॉलिसी ऑप्टिमाइज़ेशन और वापस जाने का एक सिद्धांतपूर्ण मार्ग" प्रदान करता है। इसका प्राथमिक महत्व है:

स्थिरता (Stability): $\beta$ को एक नियंत्रणीय पैरामीटर के रूप में मानकर, यह विधि वैनिला OPSD की भंगुरता को संबोधित करती है, जिससे एक सुचारू ऑप्टिमाइज़ेशन संभव होता है जो रेफरेंस पॉलिसी के निकटता और टीचर गाइडेंस के बीच ट्रेड-ऑफ करता है।
दक्षता (Efficiency): यह पूर्ण RL की कम्प्यूटेशनल लागत के बिना पॉलिसी ऑप्टिमाइज़ेशन (सीक्वेंस-लेवल ऑब्जेक्टिव, KL रेगुलराइजेशन) के लाभ प्राप्त करता है, और मानक डिस्टिलेशन की दक्षता को बनाए रखता है।
सामान्यीकरण (Generalizability): यह दृष्टिकोण स्टूडेंट और टीचर के बीच डिस्ट्रीब्यूशनल गैप को कम करने के लिए एक तंत्र प्रदान करता है, जो विशेष रूप से छोटे मॉडल्स के लिए फायदेमंद है जहाँ यह गैप बड़ा होता है।

लेखक निष्कर्ष निकालते हैं कि सुचारू लक्ष्य पथ (smooth target paths) और ट्रेजेक्टरी-लेवल क्रेडिट असाइनमेंट, ऑन-पॉलिसी डिस्टिलेशन के लिए प्रभावी सिद्धांत हैं, जो प्रत्यक्ष टीचर इमिटेशन के लिए एक मजबूत विकल्प प्रदान करते हैं।