🤖 machine learning

Matching Multiple Experts: On the Exploitability of Multi-Agent Imitation Learning

यह शोध पत्र बिना किसी अतिरिक्त धारणा के सामान्य मल्टी-एजेंट इमिटेशन लर्निंग में लो-एक्सप्लोिटेबल पॉलिसियों को सीखने की सैद्धांतिक असंभवता और कठिनाई को स्थापित करता है, जबकि यह प्रदर्शित करता है कि स्ट्रैटेजिक डोमिनेंस या बेस्ट-रिस्पॉन्स कंटिन्यूइटी को आरोपित करने से नैश इमिटेशन गैप पर प्रमाण योग्य सीमाएं संभव हो पाती हैं।

मूल लेखक: Antoine Bergerault, Volkan Cevher, Negar Mehr

प्रकाशित 2026-02-25

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Antoine Bergerault, Volkan Cevher, Negar Mehr

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके शोध पत्र "Matching Multiple Experts: On the Exploitability of Multi-Agent Imitation Learning" की व्याख्या दी गई है।

बड़ी तस्वीर: दूसरों के साथ नृत्य करना सीखना

कल्पना कीजिए कि आप एक जटिल नृत्य की रूटीन (dance routine) सीखने की कोशिश कर रहे हैं।

सिंगल-एजेंट इमिटेशन लर्निंग (Single-Agent Imitation Learning) एक सोलो डांस (solo dance) सीखने जैसा है। आप एक मास्टर डांसर (जिसे "एक्सपर्ट" कहा जाता है) को देखते हैं, और आप उनकी चालों की नकल करने की कोशिश करते हैं। यदि आप उनकी बिल्कुल सटीक नकल करते हैं, तो आप शानदार दिखते हैं।
मल्टी-एजेंट इमिटेशन लर्निंग (MA-IL) एक पार्टनर (या पूरे समूह) के साथ नृत्य सीखने जैसा है। आप विशेषज्ञों की एक टीम को एक साथ मिलकर बेहतरीन तरीके से नाचते हुए देखते हैं। आपका लक्ष्य उस फ्लोर पर शामिल होना और उनके साथ बिना पैरों में टकराए या लय बिगाड़े नृत्य करना है।

समस्या क्या है? एक ग्रुप डांस में, यदि आप एक छोटी सी गलती भी करते हैं, तो आपका पार्टनर इसका फायदा उठा सकता है। वे आपको संतुलन खोने के लिए मजबूर कर सकते हैं क्योंकि वे जानते हैं कि आप कैसे प्रतिक्रिया देंगे। यह शोध पत्र पूछता है: "यदि हम विशेषज्ञों की नकल करके सीखते हैं, तो हम एक चतुर प्रतिद्वंद्वी द्वारा ठगे जाने या शोषण किए जाने से कितने सुरक्षित हैं?"

मुख्य समस्या: "परफेक्ट कॉपी" का जाल

शोधकर्ताओं ने एक डरावना सच खोजा है: सिर्फ इसलिए कि आप विशेषज्ञों की गतिविधियों की पूरी तरह से नकल करते हैं, इसका मतलब यह नहीं है कि आप खेल सही तरीके से खेल रहे हैं।

उपमा 1: ट्रैफिक लाइट का खेल

एक व्यस्त चौराहे की कल्पना करें।

एक्सपर्ट्स (विशेषज्ञ): ड्राइवरों का एक समूह जो हमेशा लाल बत्ती पर रुकता है और हरी बत्ती पर चलता है। वे कभी दुर्घटनाग्रस्त नहीं होते।
लर्नर (सीखने वाला): आप उन्हें देखते हैं और सीखते हैं कि "लाल = रुकना, हरा = चलना।"
जाल (The Trap): अब, कल्पना कीजिए कि एक नया ड्राइवर (एक "रणनीतिक एजेंट") है जो जानता है कि आप एक सीखने वाले हैं। वे महसूस करते हैं कि यदि वे पीली बत्ती होने पर थोड़ा तेज़ चलते हैं, तो आप थोड़ा हिचकिचा सकते हैं क्योंकि आप सख्ती से "लाल = रुकना" के नियम का पालन कर रहे हैं। वे आपकी हिचकिचाहट का फायदा उठाकर आपको कट मार देते हैं।

यह शोध पत्र दिखाता है कि जटिल सामूहिक खेलों में, केवल विशेषज्ञों के सांख्यिकी (statistics) (वे कितनी बार कुछ स्थानों पर होते हैं) से मेल खाना पर्याप्त नहीं है। कागजों पर आप एक विशेषज्ञ लग सकते हैं, लेकिन वास्तविक क्षण में, एक चतुर प्रतिद्वंद्वी आपके व्यवहार में एक ऐसा "लूपहोल" (loopholes) ढूंढ सकता है जिसका सामना विशेषज्ञों ने कभी नहीं किया था क्योंकि विशेषज्ञ एक चालाक खिलाड़ी के खिलाफ नहीं, बल्कि एक-दूसरे के साथ खेल रहे थे।

तीन बड़ी खोजें

यह शोध पत्र तीन मुख्य भागों में विभाजित है, जिन्हें हम तीन पाठों के रूप में देख सकते हैं:

1. "मशीन में भूत" (असंभव परिणाम - Impossibility Results)

निष्कर्ष: भले ही आप उन सभी स्थितियों में विशेषज्ञों के व्यवहार से पूरी तरह मेल खाते हों जिनमें वे कभी गए थे, फिर भी आप खेल में बहुत खराब हो सकते हैं।
उपमा: एक शतरंज खिलाड़ी की कल्पना करें जो केवल एक विशिष्ट प्रतिद्वंद्वी के खिलाफ खेलता है। वह उस प्रतिद्वंद्वी द्वारा की जाने वाली हर चाल को याद कर लेता है। यदि आप उनकी पूरी तरह नकल करते हैं, तो आप उस एक प्रतिद्वंद्वी को हर बार हरा देंगे। लेकिन यदि आप एक अलग प्रतिद्वंद्वी के खिलाफ खेलते हैं जो ऐसी चाल चलता है जो पहले वाले ने कभी नहीं चली थी, तो आप जम जाएंगे और हार जाएंगे।
पाठ: मल्टी-एजेंट गेम्स में, यदि विशेषज्ञों ने किसी विशेष "स्टेट" (खेल की एक विशिष्ट स्थिति) का दौरा नहीं किया है, तो आपको वहां क्या करना है, इसके बारे में कोई जानकारी नहीं है। एक चतुर प्रतिद्वंद्वी आपको उस "भूतिया" क्षेत्र में धकेल सकता जहाँ आपके पास कोई बचाव नहीं है।

2. "गणित बहुत कठिन है" की समस्या (असाध्यता - Intractability)

निष्कर्ष: भले ही आप खेल के नियमों को पूरी तरह से जानते हों और आप यह भी जानते हों कि आप विशेषज्ञों से कितना "अलग" हैं, फिर भी यह गणना करना कि आप कितने सुरक्षित हैं, गणितीय रूप से असंभव है।
उपमा: कल्पना कीजिए कि आप 1,000 कड़ियों (links) वाली एक चेन की सबसे कमजोर कड़ी का पता लगाने की कोशिश कर रहे हैं। आप जानते हैं कि चेन थोड़ी घिसी हुई है। यह जानने के लिए कि क्या यह टूट जाएगी, आपको हर संभव तरीके का परीक्षण करना होगा जिससे चेन को खींचा जा सकता है। शोध पत्र सिद्ध करता है कि जटिल खेलों के लिए, यह गणना इतनी कठिन है कि इसे हल करने में ब्रह्मांड की आयु से भी अधिक समय लगेगा।
पाठ: हम केवल एक साधारण कैलकुलेटर चलाकर यह नहीं बता सकते कि, "आप सुरक्षित हैं।" हमें गणित को काम करने योग्य बनाने के लिए खेल के बारे में विशेष धारणाएं बनानी होंगी।

3. "सुपर-स्ट्रॉन्ग" समाधान (प्रभावी रणनीतियाँ - Dominant Strategies)

निष्कर्ष: एक विशेष प्रकार का खेल होता है जहाँ गणित काम करता है। यह तब होता है जब विशेषज्ञ एक "डोमिनेंट स्ट्रैटेजी" (Dominant Strategy) खेल रहे होते हैं।
उपमा: रॉक-पेपर-सिज़र्स (पत्थर-कागज-कैंची) के खेल के बारे में सोचें।

सामान्य खेल: यदि मैं रॉक खेलता हूँ, तो आप पेपर खेल सकते हैं। यदि मैं पेपर खेलता हूँ, तो आप सिज़र्स खेल सकते हैं। यह एक अनुमान लगाने वाला खेल है।
डोमिनेंट स्ट्रैटेजी: कल्पना कीजिए कि एक खेल है जहाँ "रॉक" हमेशा सबसे अच्छा मूव है, चाहे आप कुछ भी करें। यदि विशेषज्ञ हमेशा रॉक खेलते हैं, और आप रॉक खेलना सीखते हैं, तो आप सुरक्षित हैं। भले ही आप एक छोटी सी गलती करें, आपको बेवकूफ नहीं बनाया जा सकता क्योंकि रॉक सब पर भारी पड़ता है।
लेसन: यदि विशेषज्ञ एक ऐसी रणनीति खेल रहे हैं जो "अपराजित" (Dominant Strategy) है, तो उनकी नकल करना सुरक्षित है। शोध पत्र सिद्ध करता है कि यदि विशेषज्ञ इतने मजबूत हैं, तो आपकी "एक्सप्लोिटेबिलिटी" (आपको कितनी आसानी से ठगा जा सकता है) सीधे तौर पर इस बात से जुड़ी है कि आपने कितनी अच्छी तरह नकल की है। आप जितना बेहतर नकल करेंगे, उतने ही सुरक्षित होंगे।

सफलता का रहस्य: "स्मूथनेस" (निरंतरता - Continuity)

शोध पत्र एक फैंसी अवधारणा पेश करता है जिसे बेस्ट-रिस्पॉन्स कंटीन्यूटी (Best-Response Continuity) कहते हैं। आइए इसे अनुवादित करें।

उपमा: एक ऊबड़-खाबड़ सड़क बनाम एक चिकनी हाईवे।

ऊबड़-खाबड़ सड़क (Discontinuous): यदि आप स्टीयरिंग व्हील को थोड़ा सा घुमाते हैं, तो कार अचानक पलट जाती है। छोटी गलतियाँ आपदा की ओर ले जाती हैं। अधिकांश जटिल खेलों में ऐसा ही होता है।
चिकनी हाईवे (Continuous): यदि आप पहिया थोड़ा सा घुमाते हैं, तो कार थोड़ा सा मुड़ती है। छोटी गलतियाँ, छोटे परिणामों की ओर ले जाती हैं।

लेखकों का तर्क है कि यदि खेल "स्मूथ" है (यानी, रणनीति में छोटे बदलावों से प्रतिद्वंद्वी की प्रतिक्रिया में बड़े बदलाव नहीं आते हैं), तो हम सुरक्षा की गारंटी दे सकते हैं। वे सुझाव देते हैं कि रेगुलराइजेशन (Regularization) का उपयोग करना (एक सामान्य AI तकनीक जो "रैंडमनेस" या "एक्सप्लोरेशन" को बढ़ावा देती है) एक शॉक एब्जॉर्बर की तरह काम करता है, जो सड़क को चिकना बनाता है और खेल को सीखने के लिए सुरक्षित बनाता है।

सारांश: हमें क्या सीखना चाहिए?

नकल करना काफी नहीं है: टीम गेम्स में, केवल विशेषज्ञों की चालों की नकल करने से यह गारंटी नहीं मिलती कि एक चतुर प्रतिद्वंद्वी आपको बेवकूफ नहीं बना पाएगा।
छिपे हुए खतरे: यदि विशेषज्ञों ने किसी विशेष स्थिति का सामना नहीं किया है, तो आप वहां असुरक्षित हैं।
गणित कठिन है: अपनी सुरक्षा की गणना करना आमतौर पर बहुत कठिन होता है।
समाधान: हमें उन खेलों को खोजने की आवश्यकता है जहाँ विशेषज्ञ "अपराजित" चालें चल रहे हैं (Dominant Strategies) या उन तकनीकों का उपयोग करने की आवश्यकता है जो खेल को "स्मूथ" बनाती हैं ताकि छोटी गलतियाँ पूर्ण विफलता की ओर न ले जाएं।

संक्षेप में: दूसरों के साथ खेलना, अकेले खेलने की तुलना में कठिन है। आप केवल एक दर्पण नहीं हो सकते; आपको ठगे जाने से बचने के लिए खेल के तर्क (logic) को समझने की आवश्यकता है।

यहाँ शोध पत्र "Matching Multiple Experts: On the Exploitability of Multi-Agent Imitation Learning" (ICLR 2026) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र मल्टी-एजेंट इमिटेशन लर्निंग (MA-IL) को संबोधित करता है, विशेष रूप से सामान्य $n$ -प्लेयर मार्कोव गेम्स में विशेषज्ञ प्रदर्शनों (expert demonstrations) से एक नैश इक्विलिब्रियम (Nash Equilibrium - NE) पॉलिसी सीखने की चुनौती पर।

संदर्भ: जबकि सिंगल-एजेंट इमिटेशन लर्निंग (SA-IL) के पास मजबूत सैद्धांतिक गारंटी (जैसे, व्यवहार संबंधी क्लोनिंग त्रुटि के आधार पर उप-इष्टतमता की सीमाएं) होती हैं, इन्हें मल्टी-एजेंट परिवेश में विस्तारित करना गैर-तुच्छ (non-trivial) है।
अंतराल (The Gap): मौजूदा MA-IL विधियाँ (जैसे, बिहेवियरल क्लोनिंग या एडवर्सरियल इमिटेशन लर्निंग) अक्सर ऐसी पॉलिसियाँ उत्पन्न करती हैं जो एक्सप्लॉइटेबल (exploitable) होती हैं। अर्थात, एक सीखी गई पॉलिसी विशेषज्ञ के स्टेट-एक्शन डिस्ट्रीब्यूशन से तो मेल खा सकती है, लेकिन नैश इक्विलिब्रियम होने में विफल हो सकती है, जिससे अन्य रणनीतिक एजेंटों को विचलन करने और उच्च पुरस्कार प्राप्त करने की अनुमति मिल जाती है।
मुख्य प्रश्न: दिए गए निश्चित इमिटेशन एरर (या तो बिहेवियरल क्लोनिंग एरर $\epsilon_{BC}$ या ऑक्यूपेंसी मेजर मैचिंग एरर $\epsilon_\rho$ ) के लिए, क्या हम नैश गैप (Nash Gap) (नैश इक्विलिब्रियम से दूरी) पर कंसिस्टेंट (त्रुटि के साथ लुप्त होने वाले) और ट्रैक्टेबल (पॉलीनोमियल समय में गणना योग्य) ऊपरी बाउंड्स निकाल सकते हैं?

2. कार्यप्रणाली और सैद्धांतिक ढांचा (Methodology and Theoretical Framework)

लेखक ऑक्यूपेंसी मेजर मैचिंग और गेम-थ्योरेटिक स्थिरता के बीच संबंध का विश्लेषण करके इस समस्या को हल करते हैं। वे मार्कोव गेम्स के ढांचे का उपयोग करते हैं और नैश गैप को एक खिलाड़ी द्वारा सीखी गई पॉलिसी से एकतरफा विचलन करके प्राप्त किए जा सकने वाले अधिकतम रिग्रेट (regret) के रूप में परिभाषित करते हैं।

A. असंभवता के परिणाम (Impossibility Results - अनुभाग 4 और 5)

शोध पत्र पहले सामान्य मार्कोव गेम्स में मौलिक सीमाओं को स्थापित करता है:

सटीक मेजर मैचिंग अपर्याप्त है: भले ही एक शिक्षार्थी विशेषज्ञ के स्टेट-एक्शन ऑक्यूपेंसी मेजर ( $\rho_\pi = \rho_{\pi_E}$ $ρ_{π} = ρ_{π_{E}}$ ) से पूरी तरह मेल खाता हो, फिर भी सीखी गई पॉलिसी अत्यधिक एक्सप्लॉिटेबल हो सकती है यदि विशेषज्ञ सभी अवस्थाओं (states) पर नहीं जाता है (फुल-स्टेट सपोर्ट की कमी) या यदि केवल स्टेट डिस्ट्रीब्यूशन को मैच किया गया है।
- परिणाम: उन खेलों में जहाँ अनविजिटेड स्टेट्स हैं, सटीक मिलान से नैश गैप प्रभावी होराइजन के रैखिक रूप से स्केल कर सकता है, यानी $\Omega(1/(1-\gamma))$ ।
लोअर बाउंड्स की जटिलता (Intractability of Lower Bounds): लेखक सिद्ध करते हैं कि दिए गए $\epsilon_\rho$ के लिए नैश गैप पर सबसे सटीक संभव लोअर बाउंड (सर्वश्रेष्ठ केस एक्सप्लॉइटेबिलिटी) की गणना करना PPAD-हार्ड है। इसका तात्पर्य यह है कि गेम डायनेमिक्स और रिवॉर्ड्स के पूर्ण ज्ञान के साथ भी, एक्सप्लॉइटेबिलिटी पर एक सटीक बाउंड खोजना स्वयं नैश इक्विलिब्रियम खोजने जितना कठिन है।

B. बेस्ट-रिस्पॉन्स निरंतरता के माध्यम से ट्रैक्टेबिलिटी का लक्षण वर्णन (Best-Response Continuity - अनुभाग 6)

इन असंभवता परिणामों से निपटने के लिए, लेखक एक नया गुण पेश करते हैं: बेस्ट-रिस्पॉन्स निरंतरता (Best-Response Continuity)।

परिभाषा ( $\delta$ -निरंतरता): एक गेम एक इक्विलिब्रियम $\pi_E$ पर $\delta$ -कंटीन्यूअस है यदि विरोधियों की पॉलिसियों में एक छोटा विचलन ( $\epsilon$ ) एक खिलाड़ी की इष्टतम बेस्ट-रिस्पॉन्स पॉलिसी में एक सीमित परिवर्तन ( $\delta(\epsilon)$ ) का परिणाम देता है।
डोमिनेंट स्ट्रैटेजी इक्विलिब्रिया (DSE): एक विशेष मामले के रूप में, यदि विशेषज्ञ पॉलिसी एक डोमिनेंट स्ट्रैटेजी इक्विलिब्रियम है, तो विरोधियों के विचलन के बावजूद बेस्ट-रिस्पॉन्स मैपिंग स्थिर रहती है। यह $\delta(\epsilon) = 0$ के अनुरूप है।
सामान्यीकरण: सामान्य खेलों के लिए, यदि बेस्ट-रिस्पॉन्स मैप निरंतर है (रणनीति में छोटे बदलाव इष्टतम प्रतिक्रिया में छोटे बदलाव की ओर ले जाते हैं), तो नैश गैप को बाउंड किया जा सकता है।

3. मुख्य योगदान (Key Contributions)

सामान्य खेलों में कंसिस्टेंट बाउंड्स की असंभवता:
- सिद्ध किया कि सामान्य मार्कोव गेम्स में, सटीक ऑक्यूपेंसी मेजर मैचिंग नैश इक्विलिब्रियम की ओर अभिसरण (convergence) की गारंटी नहीं देती है।
- दिखाया कि फुल-स्टेट सपोर्ट या स्टेट-एक्शन मैचिंग के बिना, शून्य इमिटेशन एरर के साथ भी नैश गैप बड़ा रह सकता है।
- सिद्ध किया कि एक्सप्लॉइटेबिलिटी पर टाइट लोअर बाउंड्स निकालना PPAD-हार्ड है, जिससे सामान्य सेटिंग्स में कंसिस्टेंट और ट्रैक्टेबल लोअर बाउंड्स निकालना असंभव हो जाता है।
बेस्ट-रिस्पॉन्स निरंतरता का परिचय:
- $\delta$ -कंटीन्यूइटी को एक महत्वपूर्ण गुण के रूप में प्रस्तावित किया जो यह निर्धारित करता है कि क्या कोई गेम ट्रैक्टेबल एक्सप्लॉइटेबिलिटी बाउंड्स की अनुमति देता है।
- स्थापित किया कि मानक रेगुलराइजेशन तकनीकें (जैसे एंट्रॉपी रेगुलराइजेशन) अप्रत्यक्ष रूप से बेस्ट-रिस्पॉन्स लैंडस्केप को स्मूथ करके इस निरंतरता को प्रोत्साहित करती हैं।
नए सैद्धांतिक बाउंड्स:
- डोमिनेंट स्ट्रैटेजी विशेषज्ञों के लिए: यदि विशेषज्ञ डोमिनेंट स्ट्रैटेजी इक्विलिब्रियम खेलता है, तो नैश गैप इस प्रकार बाउंड है:
  $\text{NashGap}(\pi) \leq \frac{2n\epsilon_{BC}}{(1-\gamma)^2}$
  यह सिंगल-एजेंट बिहेवियरल क्लोनिंग बाउंड को रिकवर करता है (एक $2n$ फैक्टर के साथ) और गारंटी देता है कि शून्य इमिटेशन एरर एक प्योर नैश इक्विलिब्रियम प्रदान करता है।
- $\delta$ -कंटीन्यूअस गेम्स के लिए: सामान्य खेलों के लिए जिनमें $\delta$ -कंटीन्यूअस बेस्ट-रिस्पॉन्स मैप है, बाउंड है:
  $\text{NashGap}(\pi) \leq \frac{2n\epsilon_{BC} + \delta(\epsilon_{BC})}{(1-\gamma)^2}$
  यह इमिटेशन एरर और गेम सेंसिटिविटी के बीच ट्रेड-ऑफ करने के लिए एक फ्रेमवर्क प्रदान करता है ताकि गारंटीकृत एक्सप्लॉइटेबिलिटी बाउंड प्राप्त किया जा सके।

4. परिणाम और सत्यापन (Results and Validation)

सैद्धांतिक प्रमाण: शोध पत्र सामान्य खेलों में कंसिस्टेंट बाउंड्स की असंभवता (काउंटर-एग्जांपल के माध्यम से) और लोअर बाउंड्स की गणना करने की PPAD-कठिनाई के लिए कठोर प्रमाण प्रदान करता है।
संख्यात्मक सत्यापन (Tag-Game):
- लेखकों ने एक दो-खिलाड़ी ज़ीरो-सम "टैग" (Tag) गेम पर अपने सिद्धांत का परीक्षण किया।
- उन्होंने अनुभवजन्य रूप से सत्यापित किया कि व्युत्पन्न ऊपरी बाउंड्स लागू होते हैं।
- उन्होंने प्रदर्शित किया कि एंट्रॉपी रेगुलराइजेशन (तापमान पैरामीटर को बढ़ाकर) $\delta$ फंक्शन को कम करता है, जो प्रभावी रूप से गेम को अधिक "कंटीन्यूअस" बनाता है और वर्स्ट-केस एक्सप्लॉइटेबिलिटी बाउंड को कम करता है। यह सुझाव देता है कि रेगुलराइजेशन केवल एक्सप्लोरेशन के लिए नहीं बल्कि MA-IL में स्थिरता के लिए भी है।

5. महत्व और प्रभाव (Significance and Impact)

सिद्धांत और व्यवहार को जोड़ना: यह शोध पत्र समझाता है कि व्यावहारिक रूप से मल्टी-एजेंट इमिटेशन लर्निंग अक्सर मजबूत रणनीतियाँ बनाने में क्यों विफल रहता है (बेस्ट-रिस्पॉन्स की निरंतरता की कमी) और एक सैद्धांतिक मार्ग प्रदान करता है।
एल्गोरिदम डिज़ाइन के लिए मार्गदर्शन: यह सुझाव देता है कि MA-IL के लिए मजबूत होने हेतु, या तो:
1. यह सुनिश्चित करें कि विशेषज्ञ इक्विलिब्रियम एक डोमिनेंट स्ट्रैटेजी है (जटिल खेलों में दुर्लभ)।
2. ऐसे गेम या रेगुलराइज़र डिज़ाइन करें जो बेस्ट-रिस्पॉन्स निरंतरता को लागू करते हों (जैसे, एंट्रॉपी रेगुलराइजेशन या रिस्क अवर्जन)।
जटिलता अंतर्दृष्टि: एक्सप्लॉइटेबिलिटी को बाउंड करने की कठिनाई को PPAD कॉम्प्लेक्सिटी क्लास से जोड़कर, यह शोध पत्र मजबूत संरचनात्मक धारणाओं के बिना ऑफलाइन मल्टी-एजेंट लर्निंग में क्या सैद्धांतिक रूप से गारंटी दी जा सकती है, इसके लिए यथार्थवादी अपेक्षाएं निर्धारित करता है।
व्यावहारिक निहितार्थ: इसके परिणाम अभ्यासकर्ताओं को यह मूल्यांकन करने के लिए एक मीट्रिक ( $\delta$ -कंटीन्यूइटी) प्रदान करते हैं कि क्या एक विशिष्ट मल्टी-एजेंट वातावरण इमिटेशन लर्निंग के लिए उपयुक्त है और यह सुनिश्चित करने के लिए कितने रेगुलराइजेशन की आवश्यकता है कि सीखी गई पॉलिसी आसानी से एक्सप्लॉइट न की जा सके।

संक्षेप में, यह शोध पत्र केवल डिस्ट्रीब्यूशन को मैच करने से हटकर गेम के इक्विलिब्रियम की संरचनात्मक स्थिरता (structural stability) को समझने पर ध्यान केंद्रित करता है। यह सिद्ध करता है कि विशिष्ट निरंतरता धारणाओं के बिना, मल्टी-एजेंट सेटिंग्स में इमिटेशन लर्निंग नॉन-एक्सप्लॉइटेबल पॉलिसियों की गारंटी नहीं दे सकता है, लेकिन इन धारणाओं (या रेगुलराइजेशन) के साथ, ट्रैक्टेबल और कंसिस्टेंट बाउंड्स प्राप्त किए जा सकते हैं।