🤖 machine learning

When Does Online Imitation Learning Help in LLM Post-Training? The Role of (Non-)Realizability Beyond Horizon

यह शोध पत्र इस पारंपरिक दृष्टिकोण को चुनौती देता है कि त्रुटि संचय (error accumulation) ऑनलाइन इमिटेशन लर्निंग की सफलता को संचालित करता है, और इसके बजाय यह प्रदर्शित करता है कि ऑफलाइन विधियों पर इसका लाभ मुख्य रूप से गैर-यथार्थता (non-realizability) द्वारा निर्धारित होता है, जहाँ ऑनलाइन इंटरेक्शन उन सूचनात्मक बाधाओं (information-theoretic bottlenecks) को दूर करता है जो मिसस्पेसिफाइड सेटिंग्स में ऑफलाइन दृष्टिकोणों द्वारा एक हॉराइजन (horizon) के स्तर पर भी हल नहीं की जा सकती हैं।

मूल लेखक: Huaqing Zhang, Jingchu Gai, Juno Kim, Bingbin Liu, Andrej Risteski

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Huaqing Zhang, Jingchu Gai, Juno Kim, Bingbin Liu, Andrej Risteski

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।

मुख्य प्रश्न: "करके सीखना" (Learning by Doing), "किताब से सीखने" (Learning from a Textbook) को कब मात देता है?

कल्पना कीजिए कि आप एक छात्र (AI मॉडल) को जटिल गणित के सवाल हल करना सिखाने की कोशिश कर रहे हैं। आपके पास इसे करने के दो तरीके हैं:

किताब वाला तरीका (Offline Learning): आप छात्र को एक जीनियस शिक्षक द्वारा लिखे गए उत्तरों की एक स्थिर (static) स्टैक देते हैं। छात्र उन्हें पढ़ता है और पैटर्न को याद करने की कोशिश करता है। इसे सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) कहा जाता है।
ट्यूटरिंग वाला तरीका (Online Learning): छात्र एक समस्या को हल करने का प्रयास करता है, और जीनियस शिक्षक छात्र के उस विशिष्ट प्रयास को देखता है और कहता है, "इस बात की संभावना कितनी है कि यह सही होगा," या "इसके बजाय यह कोशिश करो।" छात्र वास्तविक समय में शिक्षक के साथ बातचीत करके सीखता है। इसे ऑनलाइन इमिटेशन लर्निंग (या ऑन-पॉलिसी डिस्टिलेशन) कहा जाता है।

वास्तविक दुनिया में, "ट्यूटरिंग वाला तरीका" अक्सर "किताब वाले तरीके" से बेहतर काम करता है। लेकिन क्यों?

लंबे समय तक, लोगों को लगा कि इसका उत्तर "त्रुटि संचय" (Error Accumulation) है।

पुराना सिद्धांत: यदि छात्र एक लंबे गणित के सवाल के पहले चरण में छोटी सी गलती करता है, तो वे दूसरे, तीसरे और चौथे चरण में भटक सकते हैं। किताब वाला तरीका इन छोटी गलतियों को जल्दी नहीं पकड़ पाता, इसलिए त्रुटियाँ एक ढलान पर लुढ़कते हुए बर्फ के गोले (snowball) की तरह जमा होती जाती हैं। ट्यूटर उन्हें तुरंत पकड़ लेता है।

यह शोध पत्र कहता है: "यह पूरी कहानी नहीं है।"
लेखकों का तर्क है कि ऑनलाइन लर्निंग के जीतने का असली कारण कुछ और है: "आकार का बेमेल होना" (Size Mismatch/Non-Realizability)।

मुख्य खोज: "छोटा बैकपैक" वाली समस्या

यह पेपर रियलाइज़ेबिलिटी (Realizability) नामक एक अवधारणा पेश करता है।

रियलाइजेबल (Realizable): छात्र उतना ही स्मार्ट है (या उसका "मस्तिष्क आकार" समान है) जितना कि शिक्षक। छात्र शिक्षक की सोच की पूरी तरह नकल कर सकता है।
नॉन-रियलाइजेबल (Non-Realizable/Misspecified): छात्र छोटा या कम सक्षम है। छात्र का "बैकपैक" शिक्षक की जटिल तर्क प्रक्रिया को ढोने के लिए बहुत छोटा है।

परिदृश्य A: यदि छात्र पर्याप्त स्मार्ट है (Realizable)

कल्पना कीजिए कि शिक्षक और छात्र दोनों पीएचडी (PhD) हैं।

पेपर का निष्कर्ष: यदि आप पीएचडी छात्र को किताब (ऑफलाइन लर्निंग) देते हैं, तो वे सब कुछ पूरी तरह से सीख लेंगे। वे शिक्षक के स्कोर से मेल खाएंगे।
परिणाम: एक लाइव ट्यूटर जोड़ने से वे अधिक स्मार्ट या तेज़ नहीं होते। "किताब वाला तरीका" पहले से ही पूर्ण है।
उपमा: यदि आपके पास किसी शहर का सटीक नक्शा है, तो आपको वहां जाने के लिए जीपीएस गाइड की आवश्यकता नहीं है। आप बस नक्शे का पालन कर सकते हैं।

परिदृश्य B: यदि छात्र छोटा है (Non-Realizable)

कल्पमा कीजिए कि शिक्षक एक ग्रैंडमास्टर शतरंज खिलाड़ी है, लेकिन छात्र एक नौसिखिया है। शिक्षक की चालें इतनी जटिल हैं कि छात्र उन्हें पूरी तरह समझ या कॉपी नहीं कर सकता।

किताब के साथ समस्या: शिक्षक की उत्तर कुंजी कह सकती है, "नाइट को F3 पर ले जाएं।" लेकिन छात्र का दिमाग इतना सरल है कि वह यह नहीं समझ पाता कि यह चाल क्यों काम करती है, या शायद वह उस विशिष्ट चाल को कुशलतापूर्वक चल भी नहीं सकता। छात्र उत्तर के "रूप" को याद करने की कोशिश करता है, लेकिन क्योंकि छात्र का दिमाग अलग है, वह फंस जाता है। वह एक सूचना बाधा (information bottleneck) से टकरा जाता है। वह सही चालें नहीं सीख पाता क्योंकि "सही" चालें उसके सीमित मस्तिष्क के अनुकूल नहीं हैं।
ट्यूटर की शक्ति: जब छात्र एक चाल चलता है और पूछता है, तो शिक्षक छात्र के वर्तमान प्रयास के अनुसार फीडबैक देता है। भले ही छात्र छोटा हो, शिक्षक उसे उन सर्वश्रेष्ठ संभव चालों की ओर निर्देशित कर सकता है जिन्हें छात्र वास्तव में करने में सक्षम है।
पेपर का निष्कर्ष: ऑनलाइन लर्निंग यहाँ चमकता है क्योंकि यह छात्र को उसकी सीमित क्षमता के भीतर "अपने सबसे अच्छे संस्करण" को खोजने में मदद करता है, जबकि किताब केवल एक ऐसा संस्करण दिखाती है जिसे वह खेल ही नहीं सकता।

"शैली बनाम सार" (Style vs. Substance) की उपमा

यह पेपर यह भी समझाता है कि केवल यह मापना कि "छात्र शिक्षक से कितना अलग दिखता है" (distributional discrepancy) भ्रामक क्यों है।

कल्पना कीजिए कि एक शिक्षक गणित की समस्या को 3 चरणों में हल करता है, और एक छात्र उसे 10 चरणों में हल करता है।

पुराना दृष्टिकोण: "वाह, छात्र शिक्षक से बिल्कुल अलग है! वे अलग शब्दों का उपयोग करते हैं और अलग रास्ते अपनाते हैं। छात्र निश्चित रूप से असफल हो रहा है।"
पेपर का दृष्टिकोण: "रुको, दोनों ने सही उत्तर प्राप्त किया (100% सटीकता)। अंतर केवल शैली में है (3 चरण बनाम 10 चरण)। छात्र वास्तव में बहुत अच्छा कर रहा है!"

"नॉन-रियलाइजेबल" सेटिंग में, छात्र को सही उत्तर पाने के लिए लंबा और कठिन रास्ता अपनाना पड़ सकता है क्योंकि वह शिक्षक के सुंदर शॉर्टकट को नहीं कर सकता।

ऑफलाइन लर्निंग (किताब): छात्र को शिक्षक के सुंदर 3-चरणीय पथ की नकल करने के लिए मजबूर करती है। छात्र विफल हो जाता है क्योंकि वह इसे कर नहीं सकता।
ऑनलाइन लर्निंग (ट्यूटर): देखता है कि छात्र 3-चरणीय पथ के साथ संघर्ष कर रहा है और कहता है, "ठीक है, तुम यह नहीं कर सकते। लेकिन यदि तुम इस 10-चरणीय पथ का पालन करते हो, तो तुम अभी भी सही उत्तर प्राप्त कर सकते हो।" ट्यूटर छात्र को अपना इनाम (सही उत्तर पाना) अधिकतम करने में मदद करता है, भले ही उसकी शैली शिक्षक से बहुत अलग दिखे।

पेपर के दावों का सारांश

यदि छात्र पर्याप्त स्मार्ट है (Realizable): "किताब वाला तरीका" (Offline) पहले से ही पूर्ण है। ऑनलाइन लर्निंग कोई अतिरिक्त मूल्य नहीं जोड़ता।
यदि छात्र छोटा है (Non-Realizable): "किताब वाला तरीका" एक दीवार से टकरा जाता है। यह छात्र को ऐसी चीजें सिखाने की कोशिश करता जिन्हें वे भौतिक रूप से प्रदर्शित नहीं कर सकते।
असली विजेता: ऑनलाइन लर्निंग "नॉन-रियलाइजेबल" मामले में काम करता है क्योंकि यह केवल शिक्षक की शैली की नकल करने की कोशिश नहीं करता। यह उस सर्वश्रेष्ठ संभव समाधान को खोजता जिसे छात्र वास्तव में प्राप्त कर सकता है, भले ही वह शिक्षक के मूल समाधान से बहुत अलग दिखे।
"स्नोबॉल" मिथक: पेपर का तर्क है कि "समय के साथ त्रुटियां जमा होने" का पुराना विचार ऑनलाइन लर्निंग के जीतने का मुख्य कारण नहीं है। यहाँ तक कि छोटे, सरल कार्यों में भी (जहाँ त्रुटियां जमा नहीं हो सकतीं), ऑनलाइन लर्निंग तब भी जीत जाता है जब छात्र शिक्षक से छोटा होता है।

संक्षेप में: ऑनलाइन लर्निंग इसलिए मदद नहीं करता क्योंकि यह गलतियों को तेज़ी से ठीक करता है, बल्कि इसलिए मदद करता है क्योंकि यह एक छोटे छात्र को सफल होने का सबसे अच्छा तरीका खोजने में मदद करता है, भले ही वह शिक्षक की पूरी तरह नकल न कर सके।

तकनीकी सारांश: ऑनलाइन इमिटेशन लर्निंग (Imitation Learning) LLM पोस्ट-ट्रेनिंग में कब मदद करता है?

समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल (LLM) के पोस्ट-ट्रेनिंग में एक मौलिक प्रश्न को संबोधित करता है: ऑनलाइन इमिटेशन लर्निंग (IL), विशेष रूप से ऑन-पॉलिसी डिस्टिलेशन (on-policy distillation), ऑफलाइन सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) से बेहतर क्यों और कब होता है?

जबकि अनुभवजन्य अध्ययन (empirical studies) सुझाव देते हैं कि ऑनलाइन IL श्रेष्ठ है, प्रचलित सैद्धांतिक स्पष्टीकरण—कि ऑनलाइन इंटरेक्शन लंबे होराइजन्स (जैसे DAgger-शैली के एल्गोरिदम में) पर "एरर एक्यूमुलेशन" (error accumulation) को कम करता है—हालिया निष्कर्षों द्वारा चुनौती दी गई है। फॉस्टर एट अल [15] ने प्रदर्शित किया कि रियलाइजेबल (realizable) सेटिंग्स में (जहाँ एक्सपर्ट पॉलिसी, स्टूडेंट के हाइपोथीसिस क्लास के भीतर होती है), लॉग-लाइक्लिहुड ऑब्जेक्टिव्स के साथ ऑफलाइन IL, ऑनलाइन विधियों के समान सैंपल कॉम्प्लेक्सिटी गारंटी प्राप्त करता है। यह प्रश्न खड़ा करता है: यदि एरर एक्यूमुलेशन एकमात्र चालक नहीं है, तो व्यावहारिक LLM ट्रेनिंग में, जहाँ स्टूडेंट मॉडल अक्सर उन विशेषज्ञों की तुलना में छोटे और कम सक्षम होते हैं जिनका वे अनुकरण (imitate) करते हैं, ऑनलाइन IL का स्रोत क्या है?

लेखक प्रस्तावित करते हैं कि नॉन-रियलाइजेबिलिटी (misspecification/मिसस्पेसिफिकेशन)—वह परिदृश्य जहाँ स्टूडेंट पॉलिसी $\Pi$ , एक्सपर्ट पॉलिसी $\pi_e$ का प्रतिनिधित्व नहीं कर सकती—एक महत्वपूर्ण कारक है। वे जांचते हैं कि क्या नॉन-लॉन्ग-होराइजन (अर्थात, $H=1$ वाले कॉन्टेक्स्टुअल बैंडिट्स में) के बिना भी ऑनलाइन इंटरेक्शन नॉन-रियलाइजेबल सेटिंग्स में लाभ प्रदान करता है।

कार्यप्रणाली (Methodology)

सैद्धांतिक ढांचा (Theoretical Framework)

लेखक LLM पोस्ट-ट्रेनिंग को $H=1$ होराइजन वाले एक कॉन्टेक्स्टुअल बैंडिट प्रॉब्लम के रूप में संक्षिप्त करते हैं।

कॉन्टेक्स्ट्स ( $X$ ): प्रॉम्प्ट्स।
एक्शन्स ( $Y$ ): जनरेट की गई रिस्पांस सीक्वेंस।
पॉलिसी ( $\pi$ ): रिस्पांस पर एक कंडीशनल डिस्ट्रीब्यूशन।
रियलाइजेबिलिटी (Realizability): $\pi_e \in \Pi$ के रूप में परिभाषित। यदि $\pi_e \notin \Pi$ , तो सेटिंग नॉन-रियलाइजेबल है।

वे दो लर्निंग प्रतिमानों (paradigms) का विश्लेषण करते हैं:

ऑफलाइन IL (SFT): व्यवहार क्लोनिंग लॉस (नेगेटिव लॉग-लाइक्लिहुड) को मिनिमाइज करके i.i.d. एक्सपर्ट डेमोंस्ट्रेशन $(x_i, y_i)$ के एक स्टैटिक डेटासेट से सीखता है।
ऑनलाइन IL (ऑन-पličी डिस्टिलेशन): लर्नर अपनी वर्तमान पॉलिसी $\pi$ से सैंपल लेता है, एक्सपर्ट से $\pi_e(y|x)$ की प्रोबेबिलिटी के लिए क्वेरी करता है, और एक रिवर्स-KL डाइवर्जेंस ऑब्जेक्टिव (या एक सामान्य शेपिंग फंक्शन $f(\pi_e(y|x))$ ) को ऑप्टिमाइज़ करता है।

मुख्य विश्लेषणात्मक उपकरण (Key Analytical Tools)

डिस्क्रिपेंसी एनालिसिस (Discrepancy Analysis): यह पेपर पारंपरिक बाउंड्स की आलोचना करता जो एक्सपर्ट और स्टूडेंट के बीच वितरण संबंधी विसंगतियों (जैसे Total Variation, Hellinger distance) पर निर्भर करते हैं। उनका तर्क है कि ये बाउंड्स नॉन-रियलाइजेबल सेटिंग्स में अत्यधिक निराशावादी (pessimistic) हैं और वास्तविक रिवॉर्ड ऑब्जेक्टिव के साथ संरेखित नहीं हैं।
इन्फॉर्मेशन-थ्योरेटिक लोअर बाउंड्स (ऑफलाइन): लेखक नॉन-रियलाइजेबल सेटिंग्स में ऑफलाइन IL सैंपल कॉम्प्लेक्सिटी के लिए एक लोअर बाउंड निकालते हैं, जो यह दर्शाता है कि यह एक कवरेज कोएफिशिएंट $C_\infty^e$ के साथ स्केल करता है। यह कोएफिशिएंट एक्सपर्ट के डिस्ट्रीब्यूशन और प्रतिबंधित स्टूडेंट क्लास के भीतर सर्वोत्तम संभव पॉलिसी के बीच मिसमैच को मापता है।
ऑनलाइन IL के लिए स्ट्रक्चरल कंडीशन (Misspecification–Reward Alignment): ऑनलाइन IL की सफलता को समझाने के लिए, वे एक ऐसी स्थिति प्रस्तावित करते जहाँ एक्सपर्ट का सिग्नल (जो डिस्टिलेशन के लिए उपयोग किया जाता है) रिवॉर्ड फंक्शन के साथ इस तरह संरेखित होता है कि स्टूडेंट क्लास उसका लाभ उठा सके, भले ही स्टूडेंट पूरी तरह से एक्सपर्ट का प्रतिनिधित्व न कर सके।
- असेम्पशन 1 (Misspecification–Reward Alignment): एक्सपर्ट सिग्नल $f(\pi_e(y|x))$ को एक रिवॉर्ड-अलाइन्ड कंपोनेंट $\alpha r(x,y)$ और एक रेसिड्यूल $h(x,y)$ में विभाजित किया जाता है। शर्त यह है कि ऑनलाइन ऑब्जेक्टिव के लिए निकट-इष्टतम (near-optimal) पॉलिसियों के सेट के भीतर, रेसिड्यूल टर्म $h$ , उन पॉलिसियों के बीच महत्वपूर्ण अंतर नहीं करता है जो रिवॉर्ड प्रदर्शन में भिन्न हैं। अनिवार्य रूप से, "मिसस्पेसिफिकेशन" रिवॉर्ड के प्रति ऑर्थोगोनल होना चाहिए या स्टूडेंट क्लास द्वारा अपरिगण्य (unrepresentable) होना चाहिए।

मुख्य योगदान और परिणाम (Key Contributions and Results)

1. रियलाइजेबल सेटिंग्स: ऑफलाइन IL पर्याप्त है

लेखक अनुभवजन्य रूप से सत्यापित करते हैं कि रियलाइजेबल सेटिंग्स में, ऑनलाइन IL का ऑफलाइन IL पर कोई लाभ नहीं है।

प्रयोग: उन्होंने सिंथेटिक (Countdown) और रियल-वर्ल्ड मैथ रीजनिंग (GSM8K, DeepScaleR) कार्यों पर प्रयोग किए। इन सेटअपों में, "एक्सपर्ट" को उसी फैमिली के एक RL-ट्रेन्ड मॉडल द्वारा जनरेट किया गया था, जो रियलाइजेबिलिटी की गारंटी देता है।
निष्कर्ष: SFT (ऑफलाइन) ने एक्सपर्ट के प्रदर्शन को पूरी तरह से रिकवर किया। ऑन-पॉलिसी डिस्टिलेशन (ऑनलाइन) ने SFT की तुलना में फाइनल एक्यूरेसी या ट्रेनिंग स्पीड में कोई लाभ नहीं दिया। यह पुष्टि करता है कि एरर एक्यूमलेशन ऑनलाइन IL की सफलता का प्राथमिक चालक नहीं है।

2. नॉन-रियलाइजेबल सेटिंग्स: द इंफॉर्मेशन बॉटलनेक

नॉन-रियलाइजेबल सेटिंग्स (जहाँ एक्सपर्ट एक बहुत बड़ा या अलग मॉडल है) में, यह पेपर ऑफलाइन IL के लिए एक मौलिक सीमा की पहचान करता है:

थ्योरम 1: i.i.d. एक्सपर्ट डेटा से सीखने वाले ऑफलाइन IL एल्गोरिदम एक इन्फॉर्मेशन-थ्योरेटिक बैरियर का सामना करते हैं। यदि एक्सपर्ट उन विशिष्ट रिस्पॉन्स पर कम प्रोबेबिलिटी मास रखता है जिन्हें प्रतिबंधित स्टूडेंट क्लास सीख सकती है (उच्च $C_\infty^e$ ), तो ऑफलाइन IL सैंपल साइज चाहे जो भी हो, शून्य उप-इष्टतमता (vanishing suboptimality) प्राप्त नहीं कर सकता। एक्सपर्ट के डेमोंस्ट्रेशन में शायद वे "सही" उदाहरण शामिल नहीं होते जो स्टूडेंट के लिए उसकी क्लास के भीतर इष्टतम पॉलिसी सीखने के लिए आवश्यक हों।

3. स्ट्रक्चरल एलाइनमेंट के माध्यम से ऑनलाइन IL का लाभ

यह पेपर एक सैद्धांतिक औचित्य प्रदान करता है कि क्यों ऑनलाइन IL नॉन-रियलाइजेबल सेटिंग्स में सफल होता है:

थ्योरम 2: Misspecification–Reward Alignment Condition के तहत, ऑनलाइन IL बड़े वितरण संबंधी अंतरों के बावजूद कम रिवॉर्ड उप-इष्टतमता (suboptimality) प्राप्त कर सकता है।
मैकेनिज्म: ऑनलाइन इंटरेक्शन स्टूडेंट को उन स्टेट्स (प्रॉम्प्ट्स) पर एक्सपर्ट को क्वेरी करने की अनुमति देता है जिनका वह वास्तव में दौरा करता है। यदि एक्सपर्ट का सिग्नल इस तरह संरचित है कि रिवॉर्ड-संबंधित जानकारी स्टूडेंट के लिए सुलभ है (भले ही एक्सपर्ट का पूरा डिस्ट्रीब्यूशन न हो), तो ऑनलाइन IL एक उच्च-रिवॉर्ड पॉलिसी की ओर अभिसरण (converge) कर सकता है।
अनुभवजन्य सत्यापन (Empirical Validation): DeepSeek-R1 मॉडल्स का उपयोग करते हुए, लेखकों ने दिखाया कि वितरण संबंधी विसंगतियां (जैसे रिस्पांस लेंथ या कीवर्ड फ्रीक्वेंसी में) बहुत बड़ी (जैसे ~~30% TV डिस्टेंस) हो सकती हैं, जबकि परफॉरमेंस गैप छोटा (~~5%) बना रहता है। यह इस दावे का समर्थन करता है कि डिस्क्रिपेंसी-आधारित बाउंड्स लूज़ (loose) हैं। इसके अलावा, उन्होंने दिखाया कि बेहतर "एलाइनमेंट" (Skywork-7B) वाले एक्सपर्ट से डिस्टिल करने से कम एलाइनड एक्सपर्ट (R1-Distill-7B) की तुलना में काफी बेहतर स्टूडेंट परफॉरमेंस मिली, जो उनके थ्योरिटिकल बाउंड एस्टीमेट्स के अनुरूप है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह LLM पोस्ट-ट्रेनिंग की सैद्धांतिक समझ को एरर-एक्यूमलेशन परिप्रेक्ष्य से बदलकर मिसस्पेसिफिकेशन परिप्रेक्ष्य में ले जाता है।

लाभ का पुनर्गठन (Reframing the Advantage): LLMs में ऑनलाइन IL का प्राथमिक लाभ केवल लंबे होराइजन्स पर कंपाउंडिंग एरर्स को ठीक करना नहीं है, बल्कि नॉन-रियलाइजेबिलिटी के कारण होने वाले इन्फॉर्मेशन-थ्योरेटिक बॉटलनेक को पार करना है। रियलाइजेबल सेटिंग्स में, ऑफलाइन SFT सैद्धांतिक और अनुभवजन्य रूप से पर्याप्त है।
रिवॉर्ड-अवेयर एनालिसिस की आवश्यकता: लेखक तर्क देते हैं कि IL का विश्लेषण केवल वितरण संबंधी विसंगतियों (जैसे KL divergence) के माध्यम से करना अपर्याप्त और अक्सर भ्रामक है। एक रिवॉर्ड-डिपेंडेंट एनालिसिस की आवश्यकता है ताकि यह समझाया जा सके कि ऑनलाइन विधियाँ तब क्यों सफल होती हैं जब स्टूडेंट एक्सपर्ट की पूरी तरह नकल नहीं कर पाता है।
व्यावहारिक निहितार्थ: उनके परिणाम बताते हैं कि SFT और ऑनलाइन विधियों (जैसे RL या ऑन-पॉलिसी डिस्टिलेशन) के बीच देखा जाने वाला परफॉरमेंस गैप अक्सर एक्सपर्ट के सापेक्ष नॉन-रियलाइजेबिलिटी से उत्पन्न होता है। यदि एक्सपर्ट बहुत शक्तिशाली या संरचनात्मक रूप से भिन्न है, तो ऑफलाइन डेटा अपर्याप्त हो सकता है, और स्टूडेंट को उसके अपने पॉलिसी स्पेस के उच्च-रिवॉर्ड क्षेत्रों की ओर निर्देशित करने के लिए ऑनलाइन इंटरेक्शन आवश्यक हो जाता है।

यह पेपर निष्कर्ष निकालता है कि हालांकि उनका फ्रेमवर्क ऑफलाइन-ऑनलाइन गैप की व्याख्या करता है, लेकिन यह पूरी तरह से यह नहीं समझा पाता कि ऑन-पॉलिसी डिस्टिलेशन कभी-कभी RL (जो ऑनलाइन इंटरेक्शन का भी उपयोग करता है) की तुलना में अधिक सैंपल-एफिशिएंट क्यों है, जिससे यह संकेत मिलता है कि भाषा निर्माण की मल्टी-स्टेप संरचना और डेंस रिवॉर्ड सिग्नल भविष्य के अनुसंधान के खुले क्षेत्र बने हुए हैं।