🤖 machine learning

Provably Efficient Off-Policy Adversarial Imitation Learning with Convergence Guarantees

यह शोध पत्र ऑफ-पॉलिसी एडवरसेरियल इमिटेशन लर्निंग के लिए पहले सैद्धांतिक अभिसरण गारंटी (convergence guarantees) और सैंपल कॉम्प्लेक्सिटी बाउंड्स स्थापित करता है, जो यह प्रदर्शित करता है कि हालिया पॉलिसियों से नमूनों का इम्पोर्टेंस सैंपलिंग सुधार के बिना पुन: उपयोग करने से अभिसरण बनाए रखते हुए सैंपल दक्षता में वृद्धि होती है।

मूल लेखक: Yilei Chen, Vittorio Giammarino, James Queeney, Ioannis Ch. Paschalidis

प्रकाशित 2026-07-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yilei Chen, Vittorio Giammarino, James Queeney, Ioannis Ch. Paschalidis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक उस्ताद को देखकर रोबोट को सिखाना

कल्पना कीजिए कि आप एक रोबोट को इंसान की तरह चलना सिखाना चाहते हैं। आपके पास न तो कोई मैनुअल है और न ही नियमों की कोई सूची (रिवॉर्ड्स) जो रोबोट को बताए कि क्या करना है। इसके बजाय, आपके पास केवल एक आदर्श मानव चलने वाले (एक्सपर्ट) का वीडियो है।

यह इमिटेशन लर्निंग (Imitation Learning) की समस्या है। रोबोट को केवल एक्सपर्ट को देखकर यह समझना होगा कि कैसे चलना है।

एडवर्सरियल इमिटेशन लर्निंग (AIL) इस समस्या को हल करने का एक लोकप्रिय तरीका है। इसे दो खिलाड़ियों के बीच एक खेल के रूप में सोचें:

एजेंट (रोबोट): एक्सपर्ट की तरह जितना संभव हो सके चलने की कोशिश करता है।
एडवर्सरी (क्रिटिक/आलोचक): रोबोट और एक्सपर्ट के बीच के अंतर को पकड़ने की कोशिश करता है। यदि रोबोट लड़खड़ाता है, तो क्रिटिक उसे "खराब स्कोर" देता है। यदि रोबोट अच्छा दिखता है, तो वह "अच्छा स्कोर" देता है।

वे यह खेल बार-बार खेलते हैं। क्रिटिक कमियों को पहचानने में बेहतर होता जाता है, और रोबोट उन्हें छिपाने में बेहतर होता जाता है, जब तक कि रोबोट एक्सपर्ट की तरह चलने लगता है।

समस्या: "ताज़ा डेटा" की बाधा

मानक AIL में, एक बड़ी अक्षमता (inefficiency) है। हर बार जब क्रिटिक अपने "स्कोरिंग नियम" अपडेट करता है, तो उसे रोबोट को अभी इसी वक्त चलते हुए देखने की आवश्यकता होती है (जिसे "ऑन-पॉलिसी" डेटा कहा जाता है)।

उपमा: कल्पना कीजिए कि एक कुकिंग क्लास है जहाँ एक छात्र (रोबोट) एक मास्टर शेफ (एक्सपर्ट) से खाना बनाना सीख रहा है।

मानक तरीका: हर बार जब शिक्षक (क्रिटिक) छात्र की तकनीक पर फीडबैक देना चाहता है, तो छात्र को शुरुआत से एक बिल्कुल नया व्यंजन बनाना पड़ता है। शिक्षक उसे चखता है, फीडबैक देता है, और फिर छात्र उस व्यंजन को फेंक देता है और अगले सबक के लिए दूसरा व्यंजन बनाता है।
परिणाम: यह अविश्वसनीय रूप से बर्बादी भरा है। सीखने के लिए बहुत अधिक समय और सामग्री (सैंपल्स) खर्च होते हैं। वास्तविक दुनिया में, वातावरण के साथ बातचीत करना (खाना बनाना, गाड़ी चलाना, उड़ना) महंगा या खतरनाक हो सकता है, इसलिए हम इतने सारे प्रयासों को फेंकने का खर्च नहीं उठा सकते।

समाधान: पुराने व्यंजनों का पुन: उपयोग (ऑफ-पॉलिसी लर्निंग)

लेखक एक स्मार्ट तरीका प्रस्तावित करते हैं: ऑफ-पॉलिसी एडवर्सरियल इमिटेशन लर्निंग।

उपमा: छात्र को हर बार फीडबैक देने के लिए ताज़ा व्यंजन बनाने के बजाय, शिक्षक पिछले कुछ दिनों में छात्र द्वारा बनाए गए व्यंजनों के मिश्रण को देखता है।

शिक्षक कहता है, "ठीक है, मैं तुम्हारे प्रदर्शन का ग्रेड कल बनाए गए स्टू, दो दिन पहले बनाए गए सूप और तीन दिन पहले बनाए गए सलाद के आधार पर दूँगा।"
लाभ: छात्र बहुत तेज़ी से सीखता है क्योंकि वे फीडबैक पाने के लिए नया खाना बनाने में समय बर्बाद नहीं कर रहे हैं। वे अपने पास मौजूद पुराने डेटा का पुन: उपयोग करते हैं।

सावधानी: इसमें एक जोखिम है। यदि छात्र की कुकिंग स्टाइल कल और आज के बीच बहुत अधिक बदल गई है, तो शिक्षक भ्रमित हो सकता है। डेटा का "स्वाद" बदल गया है। तकनीकी शब्दों में, इसे डिस्ट्रीब्यूशन शिफ्ट एरर (distribution shift error) कहा जाता है।

पेपर की सफलता: यह साबित करना कि यह सुरक्षित रूप से काम करता है

वह बड़ा सवाल जिसका यह पेपर उत्तर देता है, वह है: "क्या हम सीखने की प्रक्रिया को खराब किए बिना पुराने डेटा का पुन: उपयोग कर सकते हैं?"

कई पिछले तरीकों ने जटिल गणितीय सुधारों (जैसे "इम्पॉर्टेंस सैंपलिंग") का उपयोग करके "फ्लेवर शिफ्ट" को ठीक करने की कोशिश की, लेकिन वे अक्सर गणित को अस्थिर या सीखने को धीमा बना देते थे।

लेखकों का दावा:
वे दिखाते हैं कि यदि आप इस बात पर ध्यान दें कि आप कितना पुराना डेटा उपयोग कर रहे हैं, तो आपको जटिल सुधारों की आवश्यकता नहीं है।

"स्वीट स्पॉट" नियम: आप हाल के $N$ प्रयासों से डेटा का पुन: उपयोग कर सकते हैं। हालाँकि, $N$ बहुत बड़ा नहीं हो सकता। यदि आप बहुत पीछे देखते हैं (जैसे, एक महीने पुराना डेटा), तो रोबोट की शैली बहुत बदल चुकी होगी, और फीडबैक बेकार हो जाएगा।
जादुई नंबर: पेपर गणितीय रूप से सिद्ध करता है कि यदि आप कुल पाठों की संख्या ( $\sqrt{K}$ $K$ ) के लगभग वर्गमूल ( $\sqrt{K}$ $K$ ) के बराबर डेटा का पुन: उपयोग करते हैं, तो आपको दोनों दुनियाओं का सर्वश्रेष्ठ मिलता है:
- आपको पुराने डेटा के पुन: उपयोग का लाभ (स्पीड) मिलता है।
- आपको यह गारंटी भी मिलती है कि रोबोट अंततः पूरी तरह से चलना सीख जाएगा (कन्वर्जेंस)।

रूपक:
कल्पना कीजिए कि रोबोट एक डांसर है।

यदि शिक्षक केवल अभी के डांस को देखता है, तो शिक्षक बहुत सटीक होता है लेकिन जल्दी थक जाता है क्योंकि उसे हर बार एक नए प्रदर्शन की आवश्यकता होती है।
यदि शिक्षक 10 साल पुराने डांस का वीडियो देखता है, तो शिक्षक भ्रमित हो जाता है क्योंकि डांसर बदल चुका है।
पेपर का समाधान: शिक्षक डांसर के पिछले 5 प्रदर्शनों की एक प्लेलिस्ट देखता है। यह वर्तमान शैली के पर्याप्त करीब है ताकि सटीक रहे, लेकिन यह डांसर को हर आलोचना के लिए एक नया रूटीन करने से बचाता है। पेपर यह सिद्ध करता है कि जब तक प्लेलिस्ट बहुत लंबी नहीं है, डांसर अभी भी सही रूटीन सीख जाएगा।

उन्होंने प्रयोगों में क्या पाया

लेखकों ने कंप्यूटर सिमुलेशन (जैसे ग्रिड में नेविगेट करने वाला रोबलेट या ट्रेडमिल पर दौड़ता हुआ वर्चुअल कैरेक्टर) पर परीक्षण किया।

परिणाम: "ऑफ-पॉलिसी" विधि (पुराने डेटा का पुन: उपयोग करना) मानक विधि की तुलना में बहुत तेज़ी से सीखी।
अवलोकन: कुछ कार्यों में, 32 हालिया प्रयासों से डेटा का पुन: उपयोग करना एकदम सही था। अन्य कार्यों में, 128 का पुन: उपयोग करना बेहतर था। यह उनके सिद्धांत की पुष्टि करता है: कितने पिछले प्रयासों का पुन: उपयोग करना है, इसका "परफेक्ट नंबर" कार्य की जटिलता पर निर्भर करता है।

सारांश

यह पेपर एक व्यावहारिक ट्रिक के लिए गणितीय सुरक्षा जाल प्रदान करता है। यह सिद्ध करता है कि यदि आप रोबोट को उसके हालिया पिछले प्रयासों को देखकर सिखाते हैं (हर बार नया डेटा उत्पन्न करने के लिए मजबूर करने के बजाय), तो आप सीखने की गारंटी से समझौता किए बिना इसे बहुत अधिक कुशल बना सकते हैं। यह एक "बर्बादी भरे" सीखने की प्रक्रिया को "रीसाइक्लिंग" प्रक्रिया में बदल देता है, जो ठोस गणित द्वारा समर्थित है।

तकनीकी सारांश: अभिसरण गारंटी के साथ प्रमाणित कुशल ऑफ-पॉलिसी एडवरसैरियल इमिटेशन लर्निंग

समस्या विवरण

एडवरसैरियल इमिटेशन लर्निंग (AIL) इमिटेशन लर्निंग को एक दो-खिलाड़ी खेल के रूप में फ्रेम करता है जहाँ एक एजेंट विशेषज्ञ के प्रदर्शन से मेल खाने के लिए अपनी पॉलिसी को अपडेट करता है, जबकि एक एडवर्सरी (विरोधी) रिवॉर्ड फंक्शन को दोनों के बीच के प्रदर्शन अंतराल को अधिकतम करने के लिए अपडेट करता है। मानक AIL एल्गोरिदम को रिवॉर्ड फंक्शन अपडेट के दौरान अपेक्षित संचयी पुरस्कारों (expected cumulative rewards) का मूल्यांकन करने के लिए ऑन-पॉलिसी डेटा (एजेंट की वर्तमान पॉलिसी द्वारा उत्पन्न नमूने) की आवश्यकता होती है। यह आवश्यकता महत्वपूर्ण सैंपल इनएफिशिएंसी (नमूना अक्षमता) की ओर ले जाती है, क्योंकि इसके प्रत्येक अपडेट स्टेप पर नए एनवायरनमेंट इंटरैक्शन की आवश्यकता होती है, जिससे यह दृष्टिकोण उन सेटिंग्स में अव्यवहारिक हो जाता है जहाँ इंटरैक्शन महंगा या सीमित होता है।

यद्यपि सैंपल इनएफिशिएंसी में सुधार के लिए पिछले पॉलिसियों से डेटा को पुनः उपयोग करने हेतु ऑफ-पॉलिसी विधियों का प्रस्ताव दिया गया है, वे एक डिस्ट्रीब्यूशन शिफ्ट एरर (वितरण बदलाव त्रुटि) पेश करते हैं क्योंकि डेटा अब वर्तमान पॉलिसी के स्टेट-एक्शन विज़िटेशन डिस्ट्रीब्यूशन से पूरी तरह मेल नहीं खाता है। मौजूदा ऑफ-पॉलिसी AIL दृष्टिकोण या तो इम्पोर्टेंस सैंपलिंग (जो उच्च वेरिएंस उत्पन्न करता है) पर निर्भर करते हैं या जटिल वेरिएबल ट्रांसफॉर्मेशन का उपयोग करते हैं जो ऑब्जेक्टिव फंक्शन को बदल देते हैं, जिससे अक्सर सैद्धांतिक अभिसरण गारंटी (convergence guarantees) खो जाती है। इस कार्य द्वारा संबोधित मुख्य चुनौती यह है: क्या हम बिना किसी स्पष्ट ऑफ-पॉलिसी करेक्शन तकनीक जैसे कि इम्पोर्टेंस सैंपलिंग पर निर्भर हुए, ऑफ-पॉलिसी AIL के अभिसरण की गारंटी दे सकते हैं और सैंपल दक्षता सुनिश्चित कर सकते हैं?

कार्यप्रणाली

लेखक एक ऑफ-पॉलिसी AIL एल्गोरिदम का प्रस्ताव करते हैं जो पॉलिसी अपडेट के लिए मॉडल-बेस्ड मिरर डिसेंट और रिवॉर्ड अपडेट के लिए ऑफ-पॉलिसी प्रोजेक्टेड ग्रेडिएंट एसेंट को जोड़ता है। मुख्य नवाचार रिवॉर्ड अपडेट के दौरान पिछली पॉलिसियों ( $N$ ) की संख्या को सावधानीपूर्वक चुनकर डिस्ट्रीब्यूशन शिफ्ट एरर को नियंत्रित करने में निहित है।

1. पॉलिसी अपडेट्स

एल्गोरिदम एक मॉडल-बेस्ड मिरर डिसेंट दृष्टिकोण का उपयोग करता है।

मॉडल एस्टीमेशन: स्टेट-ट्रांजिशन फंक्शन $\hat{P}_h$ को स्टेट-एक्शन एनकाउंटर्स से अनुभवजन्य रूप से अनुमानित किया जाता है।
पॉलिसी ऑप्टिमाइज़ेशन: पॉलिसी को KL-डाइवर्जेंस रेगुलराइज्ड मिरर डिसेंट स्टेप (इक्वेशन 3) का उपयोग करके अपडेट किया जाता है। अनुमानित Q-वैल्यूज़ से प्राप्त यह अपडेट नियम यह सुनिश्चित करता है कि पॉलिसी परिवर्तन इतने रूढ़िवादी (conservative) हों कि क्रमिक पॉलिसियों के बीच टोटल वेरिएशन (TV) डिस्टेंस को सीमित किया जा सके। यह स्थिरता ऑफ-पॉलिसी रिवॉर्ड अपडेट में डिस्ट्रीब्यूशन शिफ्ट को नियंत्रित करने के लिए महत्वपूर्ण है।

2. रिवॉर्ड अपडेट्स

केवल वर्तमान पॉलिसी $\pi_{k-1}$ के डेटा का उपयोग करने के बजाय, रिवॉर्ड अपडेट $N(k)$ सबसे हालिया पॉलिसियों के मिश्रण (mixture) से प्राप्त डेटा का उपयोग करता है।

मिक्सचर डिस्ट्रीब्यूशन: एल्गोरिदम एक मिश्रण वितरण $d^{k-1, mix}_h = \sum_{n=1}^{N} \beta_n d^{k-n}_h$ से नमूने लेता है, जहाँ $\beta_n$ समान भार (uniform weights) हैं।
ऑब्जेक्टिव: रिवॉर्ड पैरामीटर्स $\mu$ को लॉस $L(\pi^{k-1, mix}, \mu) = J(\pi_E, \mu) - \frac{1}{N}\sum_{n=1}^N J(\pi_{k-n}, \mu)$ को मैक्सिमाइज करने के लिए प्रोजेक्टेड ग्रेडिएंट एसेंट के माध्यम से अपडेट किया जाता है।
एरर कंट्रोल: सैद्धांतिक विश्लेषण (लेम्मा 4.2 और थ्योरम 4.3) यह प्रदर्शित करता है कि यदि पॉलिसी अपडेट पर्याप्त रूप से छोटे (स्टेप साइज $\sigma$ द्वारा नियंत्रित) हैं, तो मिश्रण वितरण और वर्तमान पॉलिसी के वितरण के बीच का विचलन सीमित रहता है।

3. सैद्धांतिक ढांचा

AIL एल्गोरिदम के रिग्रेट (regret) को पॉलिसी रिग्रेट और रिवॉर्ड रिग्रेट में विभाजित किया गया है (लेम्मा 3.2)। लेखक दोनों के लिए बाउंड्स निकालते हैं:

पॉलिसी रिग्रेट: मिरर डिसेंट अपडेट का उपयोग करके $\tilde{O}(\sqrt{H^4 S^2 A K})$ द्वारा सीमित है।
रिवॉर्ड रिग्रेट: एक टर्म द्वारा सीमित है जिसमें मानक रिग्रेट, ऑफ-पॉलिसी अपडेट द्वारा प्रेरित एक एरर टर्म और एक एस्टीमेशन एरर टर्म शामिल है (थ्योरम 4.4)।
मुख्य परिणाम (थ्योरम 4.5): कुल रिग्रेट $K$ इटरेशन की संख्या के संबंध में सबलीनियर (sublinear) है, बशर्ते कि पुन: उपयोग की जाने वाली पॉलिसियों की संख्या $N(k)$ , $o(\sqrt{K})$ के रूप में स्केल करती हो। विशेष रूप से, यदि $N$ फिक्स्ड है, तो इष्टतम स्केलिंग $N^* = \tilde{O}((S/(HAB))^{1/3})$ है।

मुख्य योगदान

करेक्शन के बिना अभिसरण गारंटी: यह पेपर बिना किसी ऑफ-पॉलिसी करेक्शन तकनीक (जैसे इम्पोर्टेंस सैंपलिंग) की आवश्यकता वाले पहले ऑफ-पॉलिसी AIL एल्गोरिदम के लिए सैद्धांतिक अभिसरण गारंटी प्रदान करता है।
सैंपल दक्षता विश्लेषण: लेखक यह स्थापित करते हैं कि $o(\sqrt{K})$ सबसे हालिया पॉलिसियों के नमूनों का पुन: उपयोग करना अभिसरण को कमजोर नहीं करता है। वे सिद्ध करते हैं कि डिस्ट्रीब्यूशन शिफ्ट एरर, डेटा की उपलब्धता के लाभों द्वारा हावी हो जाता है, विशेष रूप से तब जब क्षितिज (horizon $H$ ) और एक्शन स्पेस ( $A$ ) के सापेक्ष स्टेट स्पेस का आकार ( $S$ ) बड़ा होता है।
व्यावहारिक सत्यापन: एल्गोरिदम को डिस्क्रीट स्पेस मिनीग्रिड (MiniGrid) टास्क और कंटीन्यूअस स्पेस OpenAI जिम (MuJoCo) बेंचमार्क पर मान्य किया गया है, जो यह दर्शाता है कि ऑफ-पॉलिसी वेरिएंट ( $N > 1$ ) उनके ऑन-पॉलिसी समकक्षों ( $N=1$ ) की तुलना में तेजी से अभिसरण करते हैं और कम सैंपल की आवश्यकता होती है।

प्रयोगात्मक परिणाम

मिनीग्रिड (डिस्क्रीट): विभिन्न आकारों ( $3\times3, 5\times5, 9\times9$ ) के एम्प्टीरूम (EmptyRoom) टास्क में, $N=32$ वाले ऑफ-पॉलिसी एल्गोरिदम ने लगभग 1,000 इंटरैक्शन के साथ एक्सपर्ट-लेवल प्रदर्शन हासिल किया, जबकि ऑन-पॉलिसी एल्गोरिदम ( $N=1$ ) को अभिसरण के लिए पूरे 10,000 इंटरैक्शन क्षितिज की आवश्यकता थी। परिणामों ने पुष्टि की कि बड़े स्टेट स्पेस को बड़े $N$ से लाभ होता है।
मुजोको (कंटीन्यूअस): हाफचीटा (HalfCheetah), हॉपर (Hopper), और वॉकर2डी (Walker2d) टास्क में, ऑफ-पॉलिसी एल्गोरिदम ने ऑन-पॉलिसी बेसलाइन से लगातार बेहतर प्रदर्शन किया। हालांकि इष्टतम $N$ विभिन्न वातावरणों में भिन्न था, फिर भी छोटे $N$ (जैसे $N=4$ या $N=16$ ) के साथ महत्वपूर्ण लाभ देखे गए।
अवलोकन: प्रयोग इस सैद्धांतिक दावे का समर्थन करते हैं कि ऑफ-पॉलिसी AIL बेहतर सैंपल दक्षता प्राप्त कर सकता है, हालांकि पुन: उपयोग की जाने वाली पॉलिसियों की इष्टतम संख्या विशिष्ट वातावरण की विशेषताओं पर निर्भर करती है।

महत्व और दावे

यह पेपर ऑफ-पॉलिसी AIL के सैद्धांतिक समझ और व्यावहारिक अनुप्रयोग के बीच के अंतर को पाटने का दावा करता है। जबकि पिछले कार्यों ने ऑफ-पॉलिसी AIL की व्यावहारिक सफलता को प्रदर्शित किया था, उनमें कठोर अभिसरण प्रमाणों की कमी थी। यह कार्य प्रदर्शित करता है कि:

सैद्धांतिक समर्थन: केवल कंजर्वेटिव पॉलिसी अपडेट के माध्यम से डिस्ट्रीब्यूशन शिफ्ट को नियंत्रित करके और पुन: उपयोग की जाने वाली पॉलिसियों की संख्या को सीमित करके ऑफ-पॉलिकी AIL के लिए अभिसरण की गारंटी देना संभव है।
सैंपल दक्षता: ऑफ-पॉलिसी डेटा द्वारा उत्पन्न "त्रुटि" को सैद्धांतिक रूप से अधिक डेटा उपलब्धता के सांख्यिकीय लाभों द्वारा संतुलित दिखाया गया है, विशेष रूप से उच्च-आयामी स्टेट स्पेस में।
सरलता: प्रस्तावित विधि इम्पोर्टेंस सैंपलिंग जैसी जटिल वेरिएंस-रिडक्शन तकनीकों से बचती है, जो एक सरल, सैद्धांतिक रूप से आधारित विकल्प प्रदान करती है जो व्यवहार में सैंपल दक्षता के अनुभवजन्य अवलोकनों के साथ संरेखित है।

लेखक विनम्रतापूर्वक नोट करते हैं कि उनका सैद्धांतिक विश्लेषण टैबुलर सेटिंग्स (परिशिष्ट में लीनियर MDPs तक विस्तारित) को मानता है और डीप RL सेटिंग्स (MuJoCo) में इष्टतम $N$ , न्यूरल नेटवर्क पैरामीट्राइजेशन के कारण, उनके सैद्धांतिक वर्स्ट-केस बाउंड्स के साथ पूरी तरह से मेल नहीं खा सकता है, फिर भी प्रदर्शन के रुझान सिद्धांत के अनुरूप बने रहते हैं।