🤖 machine learning

Behavior Cloning is Not All You Need: The Optimality of On-Policy Distillation for Noisy Expert Feedback

यह शोध पत्र एक नॉइज़ी एक्सपर्ट मॉडल (noisy expert model) प्रस्तुत करता है जो सैद्धांतिक रूप से यह स्पष्ट करता है कि लैंग्वेज मॉडल ट्रेनिंग में ऑन-पॉलिसी डिस्टिलेशन (on-policy distillation), ऑफलाइन बिहेवियर क्लोनिंग (offline behavior cloning) की तुलना में अक्सर बेहतर प्रदर्शन क्यों करता है, यह प्रदर्शित करते हुए कि जहाँ ऑफलाइन नॉइजी ट्रेजेक्टरीज (noisy trajectories) से सीखना घातीय सैंपल कॉम्प्लेक्सिटी (exponential sample complexity) का कारण बनता है, वहीं विशिष्ट शोर की स्थितियों के तहत एक नॉइज़ी एक्सपर्ट के साथ ऑनलाइन इंटरैक्शन हॉरिजन (horizon) पर बहुपद निर्भरता (polynomial dependence) प्राप्त कर सकता है।

मूल लेखक: Ved Sriraman, Peihan Liu, Daniel Hsu, Adam Block

प्रकाशित 2026-07-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ved Sriraman, Peihan Liu, Daniel Hsu, Adam Block

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप किसी "मास्टर" को काम करते हुए देखकर एक जटिल कौशल सीखना चाह रहे हैं, जैसे कि कोई कठिन गणित की समस्या हल करना या एक लंबी कहानी लिखना। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे इमिटेशन लर्निंग (Imitation Learning) कहा जाता है। आमतौर पर, हम यह मान लेते हैं कि मास्टर एकदम सटीक है। लेकिन वास्तव में, सबसे अच्छे शिक्षक भी गलतियाँ करते हैं, थक जाते हैं, या कभी-कभी गलत अंदाज़ा लगा लेते हैं।

यह शोध पत्र एक सरल लेकिन गहरा प्रश्न पूछता है: यदि आपका शिक्षक 'नॉइजी' (गलतियाँ करने वाला) है, तो क्या उनके पुराने वीडियो देखना (ऑफलाइन) बेहतर है, या उनके साथ मिलकर अभ्यास करना और अटकने पर उनसे मदद मांगना (ऑनलाइन) बेहतर है?

यहाँ उनके निष्कर्षों का रोजमर्रा के उदाहरणों के माध्यम से विवरण दिया गया है।

1. समस्या: "नॉइजी" शिक्षक

कल्पना कीजिए कि आप एक परफेक्ट केक बनाना सीख रहे हैं।

द क्लीन एक्सपर्ट (सटीक विशेषज्ञ): एक मास्टर बेकर जो कभी गलती नहीं करता। यदि आप उनके वीडियो देखते हैं, तो आप सब कुछ सही सीखते हैं।
द नॉइजी एक्सपर्ट (गलतियाँ करने वाला विशेषज्ञ): एक मास्टर बेकर जो 90% परफेक्ट है, लेकिन कभी-कभी चीनी की जगह नमक डाल देता है, या कोई सामग्री भूल जाता है। AI मॉडल्स (जैसे लार्ज लैंग्वेज मॉडल्स) के मामले में भी ऐसा ही होता है; "शिक्षक" मॉडल परफेक्ट नहीं होता, और मानवीय डेटा में स्पेलिंग की गलतियाँ या त्रुटियाँ हो सकती हैं।

2. ऑफलाइन दृष्टिकोण: "बस वीडियो देखें" (बिहेवियरल क्लोनिंग)

यह सोफे पर बैठकर नॉइजी बेकर के 1,000 वीडियो देखने और उनके हर स्टेप को याद करने जैसा है।

शोध पत्र का निष्कर्ष: यदि कार्य छोटा है (जैसे कुकी बनाना), तो वीडियो देखना ठीक है। लेकिन यदि कार्य लंबा है (जैसे 10 परतों वाला वेडिंग केक बनाना), तो यह तरीका पूरी तरह विफल हो जाता है।
उपमा: कल्पना कीजिए कि बेकर ने पहले स्टेप में एक छोटी सी गलती की। दूसरे स्टेप में, आपने उस गलती को कॉपी किया। तीसरे स्टेप में, आपने दूसरे स्टेप की गलती को कॉपी किया, जो अब बढ़ती जा रही है। 10वीं परत तक पहुँचते-पहुँचते, आपका केक एक आपदा बन चुका होता है।
गणित: यह पेपर सिद्ध करता है कि केवल वीडियो देखकर एक नॉइजी शिक्षक से लंबा कार्य सीखने के लिए, आपको घातांकीय रूप से (exponentially) विशाल संख्या में वीडियो चाहिए होंगे। यह एक 100-स्टेप वाले डांस को सीखने जैसा है, जहाँ वीडियो में व्यक्ति हर 5वें स्टेप पर लड़खड़ा रहा हो; सही मूव्स समझने के लिए आपको लाखों वीडियो चाहिए होंगे। पेपर इसे "मौलिक रूप से असंभव" (fundamentally intractable) कहता है।

3. ऑनलाइन दृष्टिकोण: "शिक्षक के साथ अभ्यास करें" (ऑन-पॉलिसी डिस्टिलेशन)

यह ऐसा है जैसे शिक्षक रसोई में आपके बगल में खड़ा है। आप बेकिंग शुरू करते हैं। जब आप कोई सामग्री डालने वाले होते हैं, तो आप पूछते हैं, "आपको क्या लगता है मुझे क्या करना चाहिए?" शिक्षक (जो अभी भी थोड़ा नॉइजी है) आपको उत्तर देता है। आप उसे करते हैं, और आगे बढ़ते रहते हैं।

शोध पत्र का निष्कर्ष: यह तरीका गेम-चेंजर है। भले ही शिक्षक गलतियाँ करे, आप एक प्रबंधनीय (manageable) संख्या में इंटरैक्शन के साथ लंबा कार्य सीख सकते हैं।
उपमा: क्योंकि आप मदद उसी समय मांग रहे हैं जब आपको उसकी जरूरत है, आप छोटी गलतियों को बड़ी आपदा बनने से रोक देते हैं। यदि शिक्षक कोई अजीब जवाब देता है, तो आप उसे तुरंत सुधार सकते हैं क्योंकि आप अभी भी "रसोई" (कार्य की वर्तमान स्थिति) में मौजूद हैं।
सीक्रेट सॉस: पेपर इस तरीके का सुझाव देता है। शिक्षक के उत्तर को आँख मूंदकर कॉपी करने के बजाय, आपको अपना खुद का रास्ता (आप कैसे कार्य करेंगे) सिम्युलेट करना चाहिए और फिर शिक्षक से आपके विशिष्ट विकल्पों को ग्रेड करने के लिए कहना चाहिए। इसे ऑन-पॉलिसी डिस्टिलेशन (On-Policy Distillation) कहा जाता है।

4. "मैजिक" लॉस फंक्शन (NAIL)

लेखकों ने केवल यह नहीं कहा कि "ऑनलाइन लर्निंग करें।" उन्होंने एक विशिष्ट रेसिपी (एक एल्गोरिदम जिसे NAIL कहा जाता है) और सफलता मापने का एक विशिष्ट तरीका बनाया।

उपमा: कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं।
- पुराना तरीका (ऑफलाइन): आप एक स्ट्रीमर को खेलते हुए देखते हैं। वे गलती करते हैं, आप उसे कॉपी करते हैं, और आप हार जाते हैं।
- नया तरीका (NAIL): आप लेवल खेलते हैं। जब आप अटक जाते हैं, तो आप गेम पॉज करते हैं और स्ट्रीमर से पूछते हैं, "अगर मैं ठीक इसी स्थिति में होता, तो आप क्या करते?" स्ट्रीमर जवाब देता है। फिर आप अपने मूव की तुलना उनके मूव से वहीं पर करते हैं।
परिणाम: पेपर दिखाता है कि यह विशिष्ट "पूछने और तुलना करने" वाला तरीका आपको एक नॉइजी शिक्षक से लंबे, जटिल कार्य सीखने की अनुमति देता है, बिना लाखों उदाहरणों की आवश्यकता के। यह एक असंभव समस्या को एक समाधान योग्य समस्या में बदल देता है।

5. वास्तविक दुनिया का प्रमाण (प्रयोग)

लेखकों ने दो चीजों पर इसका परीक्षण किया:

मैथ पजल्स: एक सिंथेटिक कार्य जहाँ कंप्यूटर को एक लूप में नंबर जोड़ने होते हैं।
GSM-8K: AI के लिए एक वास्तविक दुनिया का गणितीय तर्क बेंचमार्क।

परिणाम:

जब शिक्षक परफेक्ट था, तो वीडियो देखना और साथ में अभ्यास करना दोनों ही अच्छे रहे।
जब शिक्षक नॉइजी था (गलतियाँ कर रहा था):
- "वीडियो देखने" वाला तरीका (ऑफलाइन) पूरी तरह विफल रहा। AI सीख ही नहीं पाया।
- "साथ में अभ्यास करने" वाला तरीका (ऑनलाइन/NAIL) पूरी तरह सफल रहा, भले ही शिक्षक नॉइजी था।

सारांश

यह पेपर तर्क देता है कि बिहेवियरल क्लोनिंग (सिर्फ वीडियो देखना) पर्याप्त नहीं है जब शिक्षक अपूर्ण हो और कार्य लंबा हो।

ऑफलाइन लर्निंग (देखना): विफल होती है क्योंकि लंबे कार्यों में छोटी गलतियाँ बड़ी आपदाओं में बदल जाती हैं। इसे ठीक करने के लिए आपको डेटा की एक असंभव मात्रा चाहिए।
ऑनलाइन लर्निंग (अभ्यास करना): सफल होती है क्योंकि आप गलतियों को होते ही सुधार सकते हैं। यह एक "नॉइजी" शिक्षक को एक भरोसेमंद मार्गदर्शक में बदल देती है, बशर्ते आप सही तरीके से मदद मांगें (वर्णित विशिष्ट "ऑन-पॉलिसी" पद्धति का उपयोग करके)।

संक्षेप में: यदि आपका शिक्षक इंसान (या थोड़ा त्रुटिपूर्ण AI) है, तो केवल उनके पुराने होमवर्क को न देखें। उनके पास जाकर बैठें, उनके साथ मिलकर काम करें, और जैसे-जैसे आप काम करें, सुधार के लिए पूछते रहें। लंबे, जटिल कार्यों में महारत हासिल करने का यही एकमात्र तरीका है।

तकनीकी सारांश: बीहेवियर क्लोनिंग ही सब कुछ नहीं है (Behavior Cloning is Not All You Need)

समस्या विवरण (Problem Statement)

यह शोध पत्र इमिटेशन लर्निंग (Imitation Learning - IL) में एक केंद्रीय पहेली को संबोधित करता है: जबकि सैद्धांतिक परिणाम सुझाव देते हैं कि 'क्लीन एक्सपर्ट' (clean expert) सेटिंग में बीहेवियर क्लोनिंग (BC) जैसे ऑफलाइन तरीके हॉरिजॉन-फ्री (horizon-free) और इष्टतम प्रदर्शन प्राप्त कर सकते हैं, आधुनिक अनुप्रयोगों (विशेष रूप से ऑन-पॉलिसी डिस्टिलेशन या OPD के माध्यम से लार्ज लैंग्वेज मॉडल ट्रेनिंग) में अनुभवजन्य प्रमाण लगातार दिखाते हैं कि ऑनलाइन तरीके ऑफलाइन तरीकों से बेहतर प्रदर्शन करते हैं।

लेखक इस विसंगति को समझाने के लिए एक नॉइजी एक्सपर्ट मॉडल (noisy expert model) का प्रस्ताव करते हैं। इस सेटिंग में, लर्नर के पास एक पूर्ण विशेषज्ञ नीति $\pi^\star$ तक पहुंच नहीं होती है, बल्कि एक दूषित संस्करण $\pi^\star_\eta = (1-\eta)\cdot\pi^\star + \eta\cdot\nu$ तक पहुंच होती है, जहाँ $\eta$ शोर का स्तर (noise level) है और $\nu$ एक शोर वितरण (noise distribution) है। लर्नर का लक्ष्य एक ऐसी नीति $\hat{\pi}$ सीखना है जो क्लीन एक्सपर्ट $\pi^\star$ के अपेक्षित रिवॉर्ड के साथ प्रतिस्पर्धा कर सके, भले ही उसके पास केवल नॉइजी एक्सपर्ट द्वारा उत्पन्न ट्राजेक्टरीज (trajectories) तक ही पहुंच हो। यह मॉडल वास्तविक दुनिया के परिदृश्यों को कैप्चर करता है जैसे कि अपूर्ण मानव टेक्स्ट पर भाषा मॉडल को प्रशिक्षित करना, उन बड़े टीचर मॉडल्स से डिस्टिल करना जो पूरी तरह से कन्वर्ज नहीं हुए हैं, या रीजनिंग टास्क जहाँ "एक्सपर्ट" स्टोकेस्टिक (stochastic) है।

कार्यप्रणाली और सैद्धांतिक ढांचा (Methodology and Theoretical Framework)

लेखक नॉइजी एक्सपर्ट धारणा के तहत दोनों ऑफलाइन और ऑनलाइन IL सेटिंग्स का विश्लेषण करते हैं, जिसमें ट्राजेक्टरी डिस्ट्रीब्यूशन के बीच हेलिंगर डिस्टेंस (Hellinger distance) को रिग्रेट (regret) के प्रॉक्सी के रूप में उपयोग किया जाता है।

1. ऑफलाइन इमिटेशन लर्निंग (कठिनाई का परिणाम)

ऑफलाइन सेटिंग में, लर्नर को $\pi^\star_\eta$ से $n$ ट्राजेक्टरीज का एक निश्चित डेटासेट दिया जाता है।

विश्लेषण: लेखक दिखाते हैं कि क्लीन एक्सपर्ट $\pi^\star$ के करीब नीति को रिकवर करने के लिए, शोर (noise) को उलटना (invert) आवश्यक है। वे क्लीन ट्राजेक्टरीज $D_H^2(P_{\pi^\star}, P_{\hat{\pi}})$ और नॉइजी ट्राजेक्टरीज $D_H^2(P_{\pi^\star_\eta}, P_{\hat{\pi}_\eta})$ के बीच हेलिंगर डिस्टेंस को जोड़ने वाला एक बाउंड (bound) निकालते हैं।
मुख्य निष्कर्ष: बिना अतिरिक्त धारणाओं के, क्लीन एक्सपर्ट के साथ प्रतिस्पर्धा करने के लिए आवश्यक सैंपल कॉम्प्लेक्सिटी (sample complexity) हॉरिजॉन $H$ के साथ एक्सपोनेंशियल (exponentially) रूप से बढ़ती है (विशेष रूप से, $(1-\eta)^{-H}$ के रूप में स्केल करती है)। यहाँ तक कि एक "डोमिनेशन कंडीशन" (जहाँ शोर वितरण पॉलिसी क्लास द्वारा डोमिनेटेड है) के साथ भी, यदि शोर $1/H$ के सापेक्ष नगण्य नहीं है, तो निर्भरता $H$ में एक्सपोनेंशियल बनी रहती है।
लोअर बाउंड (Lower Bound): लेखक सिद्ध करते हैं कि यह एक्सपोनेंशियल निर्भरता मौलिक है। वे एक काउंटर-एग्जांपलल (counter-example) का निर्माण करते हैं जो दिखाता है कि किसी भी ऑफलाइन एल्गोरिदम को निरंतर त्रुटि (constant error) प्राप्त करने के लिए $H$ में एक्सपोनेंशियल सैंपल कॉम्प्लेक्सिटी की आवश्यकता होती है, जो लंबे हॉरिजॉन वाले नॉइजी सेटिंग्स में ऑफलाइन IL को मौलिक रूप से कठिन बना देता है।

2. ऑनलाइन इमिटेशन लर्निंग (समाधान)

ऑनलाइन सेटिंग में, लर्नर वातावरण के साथ इंटरैक्ट कर सकता है, अपनी वर्तमान नीति को रोल आउट कर सकता है, और विज़िट किए गए स्टेट्स पर एक्शन्स के लिए नॉइजी एक्सपर्ट से क्वेरी कर सकता है।

ऑगमेंटेड ट्राजेक्टरीज (Augmented Trajectories): लेखक ऑगमेंटेड ट्राजेक्टरी डिस्ट्रीब्यूशन $P_{\pi, \pi'}$ की अवधारणा पेश करते हैं, जहाँ लर्नर पॉलिसी $\pi$ को रोल आउट करता है लेकिन प्रत्येक स्टेट पर एक्शन्स के लिए एक्सपर्ट $\pi'$ से क्वेरी करता है। यह लर्नर को उसी स्टेट्स पर अपने स्वयं के ट्राजेक्टरी डिस्ट्रीब्यूशन की तुलना एक्सपर्ट के व्यवहार से करने की अनुमति देता है।
सैद्धांतिक गारंटी: वे सिद्ध करते हैं कि सीखी गई नीति की उप-इष्टतमता (suboptimality) को लर्नर और नॉइजी एक्सपर्ट के ऑगमेंटेड ट्राजेक्टरी डिस्ट्रीब्यूशन के बीच हेलिंगर डिस्टेंस (या KL डाइवर्जेंस) द्वारा बाउंड किया जा सकता है। महत्वपूर्ण रूप से, एक $\kappa$ -डोमिनेशन कंडीशन (जहाँ शोर वितरण, एक्सपर्ट और लर्नर पॉलिसियों द्वारा डोमिनेटेड है) के तहत, यह बाउंड हॉरिजन-फ्री (horizon-free) हो जाता है। इस कंडीशन के बिना भी, हॉरिजॉन पर निर्भरता केवल पॉलिनोमियल ( $\sqrt{H}$ ) है, जो ऑफलाइन मामले में एक्सपोनेंशियल निर्भरता के बिल्कुल विपरीत है।
एल्गोरिदम (NAIL): लेखक NAIL (Noise-robust Aggregation for Imitation Learning) प्रस्तावित करते हैं। मानक DAgger के विपरीत, जो स्टेप-वाइज पॉलिसियाँ सीखता है, NAIL ऑगमेंटेड ट्राजेक्टरीज के नेगेटिव लॉग-लाइक्लिहुड पर एक्सपोनेंशियल वेट्स का उपयोग करके ट्राजेक्टरी लेवल पर पॉलिसियों को एग्रीगेट करता है।
- ज्ञात भ्रष्टाचार (Known Corruption): NAIL $H \sqrt{\log|\Pi|/n}$ के रूप में स्केल होने वाला रिग्रेट बाउंड प्राप्त करता है।
- अज्ञात भ्रष्टाचार (Unknown Corruption - Deterministic Expert): उस मामले के लिए जहाँ एक्सपर्ट डिटरमिनिस्टिक है और शोर "स्मूथ" (किसी भी एक्शन पर सीमित प्रोबेबिलिटी मास) है, लेखक NAILGUN प्रस्तावित करते हैं। यह एल्गोरिदम बिना शोर स्तर $\eta$ या वितरण $\nu$ के ज्ञान की आवश्यकता के, $\log|\Pi|/n$ का हॉरिजॉन-फ्री रिग्रेट बाउंड प्राप्त करता है।

मुख्य योगदान (Key Contributions)

सैद्धांतिक अलगाव (Theoretical Separation): यह पेपर नॉइजी एक्सपर्ट की उपस्थिति में ऑफलाइन और ऑनलाइन IL के बीच एक स्पष्ट अलगाव स्थापित करता है। यह सिद्ध करता है कि ऑफलाइन लर्निंग मौलिक रूप से कठिन (हॉरजन में एक्सपोनेंशियल) है, जबकि ऑनलाइन लर्निंग हॉरिजॉन-फ्री या पॉलिनोमियल हॉरिजॉन गारंटी प्राप्त कर सकती है।
नॉइजी एक्सपर्ट मॉडल: नॉइजी एक्सपर्ट मॉडल ( $\pi^\star_\eta$ ) का परिचय जो लार्ज लैंग्वेज मॉडल्स को इम्परफेक्ट ह्यूमन टेक्स्ट से ट्रेनिंग देने के दौरान OPD के अनुभवजन्य (empirical) सफलता की व्याख्या करता है, भले ही टीचर और स्टूडेंट आर्किटेक्चर समान हों (जो मिसस्पेसिफिकेशन को एकमात्र कारण होने से खारिज करता है)।
ऑगमेंटेड ट्राजेक्टरी विश्लेषण: क्लीन एक्सपर्ट के प्रदर्शन को ऑगमेंटेड ट्राजेक्टरी डिस्ट्रीब्यूशन ( $P_{\hat{\pi}, \pi^\star_\eta}$ बनाम $P_{\hat{\pi}, \hat{\pi}_\eta}$ ) के बीच डाइवर्जेंस से जोड़ने वाले बाउंड्स का निष्कर्षण, जो ऑन-पॉलिसी डिस्टिलेशन ऑब्जेक्टिव्स के लिए सैद्धांतिक औचित्य प्रदान करता है।
एल्गोरिदम और बाउंड्स:
- NAIL: ज्ञात भ्रष्टाचार सेटिंग्स के लिए एक एल्गोरिदम जो लगभग इष्टतम सैंपल कॉम्प्लेक्सिटी प्रदान करता है।
- NAILGUN: अज्ञात भ्रष्टाचार सेटिंग्स (डिटरमिनिस्टिक एक्सपर्ट) के लिए एक एल्गोरिदम जो $\log|\Pi|/n$ का हॉरिजॉन-फ्री गारंटी प्राप्त करता है।
- लोअर बाउंड्स: प्रस्तावित एल्गोरिदम की इष्टतमता को कॉन्स्टेंट फैक्टर्स तक प्रदर्शित करने वाले मैचिंग लोअर बाउंड्स।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक दो कार्यों पर अपने सिद्धांत को मान्य करते हैं:

मॉड्यूलर एडिशन (सिंथेटिक): एक कार्य जिसमें संख्याओं को मोड्यूलो 7 में जोड़ने के लिए 'चेन ऑफ थॉट' की आवश्यकता होती है।
- क्लीन एक्सपर्ट: ऑफलाइन BC (SFT) सबसे अच्छा प्रदर्शन करता है, जो सिद्धांत के अनुरूप है।
- नॉइजी एक्सपर्ट: ऑफलाइन BC और मानक OPD विफल हो जाते हैं। प्रस्तावित NAIL वेरिएंट्स (जो ऑगमेंटेड ट्राजेक्टरीज पर फॉरवर्ड/रिवर्स KL को मिनिमाइज करते हैं) पूर्ण सटीकता प्राप्त करते हैं।
GSM-8K (नेचुरल लैंग्वेज): Gemma मॉडल्स का उपयोग करके एक मैथ रीजनिंग बेंचमार्क।
- क्लीन एक्सपर्ट: ऑनलाइन तरीके ऑफलाइन BC की तुलना में बेहतर प्रदर्शन करते हैं।
- नॉइजी एक्सपर्ट: केवल NAIL वेरिएंट्स ही प्रभावी रहते हैं, जो गैर-मामूली (non-trivial) सटीकता प्राप्त करते हैं, जबकि मानक OPD और SFT पूरी तरह से विफल (0% सटीकता) हो जाते हैं।

ये परिणाम पुष्टि करते हैं कि ऑगमेंटेड ट्राजेक्टरीज पर आधारित लॉस फंक्शन्स (विशेष रूप से वे जो स्टैंडर्ड सुपरवाइज्ड लर्निंग ऑब्जेक्टिव्स से भिन्न हैं) नॉइजी एक्सपर्ट फीडबैक के प्रति अधिक मजबूत हैं।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह समझाने के लिए एक सैद्धांतिक आधार प्रदान करता है कि क्यों ऑन-पॉलिसी डिस्टिलेशन (OPD), इम्परफेक्ट टीचर्स से लार्ज लैंग्वेज मॉडल्स को प्रशिक्षित करने के दौरान मानक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) से बेहतर प्रदर्शन करता है।

अनुभवजन्य घटनाओं की व्याख्या: यह IL में "थ्योरी बनाम प्रैक्टिस" के अंतर को हल करता है, यह दिखाकर कि 'क्लीन' एक्सपर्ट की धारणा अक्सर व्यावहारिक रूप से बाधित होती है (मानव डेटा या अपूर्ण टीचर मॉडल्स के कारण), और ऐसी नॉइज़ के तहत, ऑनलाइन इंटरेक्शन केवल फायदेमंद ही नहीं बल्कि एक्सपोनेंशियल सैंपल कॉम्प्लेक्सिटी से बचने के लिए आवश्यक भी है।
सिद्धांतिक लॉस फंक्शन: विश्लेषण एक वैकल्पिक लॉस फंक्शन की ओर ले जाता है (ऑगमेंटेड ट्राजेक्टरीज पर डाइवर्जेंस को मिनिमाइज करना) जिसे अक्सर LM ट्रेनिंग के लिए अनुभवजन्य रूप से उपयोग किया जाता है लेकिन जिसके लिए कठोर औचित्य की कमी थी। यह पेपर इसका औचित्य प्रदान करता है।
सीमाएँ: लेखक अपने दावों के बारे में विनम्र हैं, यह नोट करते हुए कि उनके परिणाम सीमित पॉलिसी क्लासेस, आइडियलाइज्ड करप्शन मॉडल्स और विशिष्ट धारणाओं (जैसे डिटरमिनिस्टिक एक्सपर्ट के लिए अज्ञात करप्शन केस) पर निर्भर हैं। वे स्वीकार करते हैं कि इन परिणामों को सीधे अभ्यास में अनुवादित करने के लिए अधिक परिष्कृत शोर मॉडल और स्केलिंग प्रयोगों पर और काम करने की आवश्यकता है।

संक्षेप में, यह पेपर तर्क देता है कि जब एक्सपर्ट्स नॉइजी होते हैं, तो बीहेवियर क्लोनिंग ही सब कुछ नहीं है; इसके बजाय, लंबे हॉरिजॉन वाले कार्यों में क्लीन एक्सपर्ट व्यवहार को रिकवर करने के लिए ऑन-पॉलिसी डिस्टिलेशन सैद्धांतिक रूप से इष्टतम है।