🤖 AI

Sample-Efficient Policy Space Response Oracles with Joint Experience Best Response

यह शोध पत्र जॉइंट एक्सपीरियंस बेस्ट रिस्पॉन्स (JBR) को प्रस्तुत करता है, जो पॉलिसी स्पेस रिस्पॉन्स ओरेकल्स (PSRO) का एक सैंपल-कुशल संशोधन है जो सभी एजेंटों के लिए बेस्ट रिस्पॉन्स्स की गणना करने के लिए एक एकल जॉइंट डेटासेट का पुन: उपयोग करके एनवायरनमेंट इंटरैक्शन को अमोर्टाइज करता है, जिससे कंजर्वेटिव, एक्सप्लोरेशन-ऑगमेंटेड, या हाइब्रिड रणनीतियों के माध्यम से डिस्ट्रीब्यूशन-शिफ्ट बायस को कम करते हुए स्केलेबल मल्टी-एजेंट लर्निंग को सक्षम बनाया जा सके।

मूल लेखक: Ariyan Bighashdel, Thiago D. Simão, Frans A. Oliehoek

प्रकाशित 2026-02-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ariyan Bighashdel, Thiago D. Simão, Frans A. Oliehoek

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि शतरंज खिलाड़ियों का एक समूह आपस में खेलने का सबसे उत्तम तरीका खोजने की कोशिश कर रहा है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे मल्टी-एजेंट रिइन्फोर्समेंट लर्निंग (MARL) कहा जाता है। लक्ष्य यह है कि प्रत्येक "एजेंट" (एक कंप्यूटर प्रोग्राम) एक ऐसी रणनीति सीख ले जो दूसरों के कुछ भी करने पर भी कारगर रहे।

यह शोध पत्र इस सीखने की प्रक्रिया को बहुत तेज़ और सस्ता बनाने के लिए एक नई विधि पेश करता है, जिसे जॉइंट एक्सपीरियंस बेस्ट रिस्पॉन्स (JBR) कहा जाता है।

यहाँ समस्या और समाधान का विवरण दिया गया है, जिसे रोज़मर्रा के उपमाओं (analogies) के माध्यम से समझाया गया है।

समस्या: महंगी "सोलो प्रैक्टिस" (अकेले अभ्यास करना)

परंपरागत रूप से, सर्वश्रेष्ठ तरीका सीखने के लिए, प्रत्येक एजेंट को विरोधियों के एक विशिष्ट मिश्रण के खिलाफ अकेले अभ्यास करना पड़ता है। यह एक शतरंज क्लब की तरह है जहाँ:

खिलाड़ी A विरोधियों के एक विशिष्ट मिश्रण के खिलाफ 100 गेम खेलता है।
खिलाड़ी B फिर उसी मिश्रण के खिलाफ 100 गेम खेलता है।
खिलाड़ी C फिर 100 गेम खेलता है।

भले ही वे सभी एक ही "औसत" विरोधी के खिलाफ खेल रहे हों, वे समय और ऊर्जा बर्बाद कर रहे हैं। वे सभी एक ही वजन उठाने के लिए अलग-अलग जिम जा रहे हैं, जबकि वे सब एक साथ जा सकते थे। कंप्यूटर की भाषा में, इसे पॉलिसी स्पेस रिस्पॉन्स ओरैकल्स (PSRO) कहा जाता है। यह अच्छा काम करता है, लेकिन यह अविश्वसनीय रूप से महंगा है क्योंकि हर एजेंट को अपने आप हजारों गेम सिम्युलेट करने पड़ते हैं।

समाधान: "ग्रुप स्टडी" सत्र

लेखक जॉइंट एक्सपीरियंस बेस्ट रिस्पॉन्स (JBR) का प्रस्ताव देते हैं। अलग-अलग अभ्यास करने के बजाय, सभी एजेंट एक साथ जिम जाते हैं।

वे सभी एक ही समय में एक-दूसरे के खिलाफ खेलों का एक सेट खेलते हैं।
वे हर चाल, हर जीत और हर हार को एक विशाल नोटबुक ("जॉइंट डेटासेट") में रिकॉर्ड करते हैं।
सत्र के बाद, वे सभी बेहतर खेलने के लिए उसी नोटबुक का अध्ययन करने के लिए घर जाते हैं।

लाभ: यह बहुत अधिक समय और कंप्यूटर पावर बचाता है। $N$ बार सिमुलेशन चलाने के बजाय (प्रत्येक एजेंट के लिए एक बार), वे केवल एक बार सिमुलेशन चलाते हैं और परिणाम साझा करते हैं।

चुनौती: "नोटबुक में भूत" (The Ghost in the Notebook)

इस ग्रुप स्टडी पद्धति के साथ एक जोखिम है। यदि समूह केवल एक विशिष्ट प्रकार का खेल खेलता है (जैसे, केवल प्यादे के साथ शुरुआत करना), तो उनकी नोटबुक में नाइट ओपनिंग (knight opening) को कैसे संभालना है, इसके बारे में कोई नोट्स नहीं होंगे। जब वे बाद में नोटबुक से सीखने की कोशिश करेंगे, तो वे गलत अनुमान लगा सकते हैं क्योंकि वे उन चीजों के बारे में सीखने की कोशिश कर रहे हैं जिन्हें उन्होंने वास्तव में देखा ही नहीं। तकनीकी शब्दों में, इसे डिस्ट्रीब्यूशन शिफ्ट या ऑफलाइन लर्निंग बायस कहा जाता है।

इसे ठीक करने के लिए, शोध पत्र तीन "उपचार" (समाधान) प्रदान करता है:

रूढ़िवादी दृष्टिकोण (सेफ पॉलिसी इम्प्रूवमेंट):
- उपमा: यदि नोटबुक में किसी विशिष्ट चाल को संभालने के नोट्स नहीं हैं, तो छात्र अपनी रणनीति बदलने से इनकार कर देता है। वे उसी चीज़ पर टिके रहते हैं जिसे वे सुरक्षित समझते हैं।
- परिणाम: यह बहुत सुरक्षित है, लेकिन इसमें बहुत सुधार नहीं होता क्योंकि यह नई चीजें आज़माने से बहुत डरता है।
"रैंडम शफल" दृष्टिकोण (एक्सप्लोरेशन-ऑगमेंटेड):
- उपमा: ग्रुप स्टडी के दौरान, शिक्षक सभी को बीच-बीच में रैंडम, अजीबोगरीब चालें चलने के लिए कहता है ताकि यह देखा जा सके कि क्या होता है। यह नोटबुक में अधिक विविधता भर देता है।
- परिणाम: यह मदद करता है, लेकिन रैंडम चालें चलना हमेशा सीखने का सबसे कुशल तरीका नहीं होता है।
"टारगेटेड" दृष्टिकोण (विजेता):
- उपमा: यह सबसे स्मार्ट संस्करण है। ग्रुप स्टडी के दौरान, शिक्षक कहता है, "ठीक है, हम जानते हैं कि खिलाड़ी A एक विशिष्ट हमले का मुकाबला करने की कोशिश कर रहा है। आइए हम सभी ऐसी चालें चलें जो विशेष रूप से उस हमले का परीक्षण करें।" वे जानबूझकर वे सटीक परिदृश्य बनाते हैं जिनकी आवश्यकता नोटबुक के खाली स्थानों को भरने के लिए होती है।
- परिणाम: यह एक उच्च-गुणवत्ता वाली नोटबुक बनाता है जो बिना फालतू के काम में समय बर्बाद किए सभी महत्वपूर्ण आधारों को कवर करती है। शोध पत्र इसे JBR-PSRO- $\delta T$ कहता है।
हाइब्रिड दृष्टिकोण:
- उपमा: समूह 9 दिनों तक मिलकर अध्ययन करता है, लेकिन 10वें दिन, हर कोई अपने काम की दोबारा जाँच करने के लिए अकेले जिम जाता है।
- परिणाम: यह आपको ग्रुप स्टडी की गति और सोलो प्रैक्टिस की सटीक सटीकता दोनों देता है।

परिणाम: उन्होंने क्या पाया?

लेखकों ने दो प्रकार के खेलों पर इन विचारों का परीक्षण किया:

पोकर गेम्स (Kuhn और Leduc): ये छिपी हुई जानकारी वाले बोर्ड गेम्स की तरह हैं।
रोबोट गेम्स (पार्टिकल एनवायरमेंट्स): ये वीडियो गेम की तरह हैं जहाँ रोबोट्स को निरंतर गति में एक-दूसरे को धक्का देने, टैग करने या लड़ने के लिए डिज़ाइन किया गया है।

निष्कर्ष:

सरल खेलों में, "ग्रुप स्टडी" (JBR) ने "सोलो प्रैक्टिस" (स्टैंडर्ड PSRO) के समान ही प्रदर्शन किया।
जटिल खेलों में, बुनियादी "ग्रुप स्टडी" विफल हो गई क्योंकि नोटबुक के बहुत सारे पन्ने गायब थे।
हालाँकि, "टारगेटेड" संस्करण (जहाँ उन्होंने जानबूझकर छूटे हुए अभ्यासों का अभ्यास किया) महंगे सोलो प्रैक्टिस के लगभग बराबर काम करता है, लेकिन इसने आधे कंप्यूटर पावर का उपयोग किया।
हाइब्रिड संस्करण (ग्रुप और सोलो का मिश्रण) ने महंगे तरीके की सटीकता को बहुत कम अतिरिक्त लागत के साथ प्राप्त किया।

मुख्य निष्कर्ष (The Bottom Line)

यह शोध पत्र यह सिद्ध करता है कि खेल खेलने के लिए हर AI एजेंट को अकेले अभ्यास करने की आवश्यकता नहीं है। यदि वे अपने अनुभवों को साझा करते हैं और एक साथ अध्ययन करते हैं—विशेष रूप से यदि वे जानबूझकर उन चीजों का अभ्यास करते हैं जिनमें वे कमजोर हैं—तो वे लगभग उतना ही अच्छा सीख सकते हैं, लेकिन बहुत तेज़ी से और सस्ते में। यह इन शक्तिशाली AI रणनीतियों को बड़े, अधिक जटिल वास्तविक दुनिया के परिदृश्यों में उपयोग करना संभव बनाता है जहाँ व्यक्तिगत रूप से सिमुलेशन चलाना बहुत महंगा होता है।

तकनीकी सारांश: जॉइंट एक्सपीरियंस बेस्ट रिस्पॉन्स के साथ सैंपल-एफिशिएंट पॉलिसी स्पेस रिस्पॉन्स ओरैकल्स

1. समस्या विवरण (Problem Statement)

मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (MARL) सटीक गेम-थ्योरेटिक विश्लेषण के लिए एक स्केलेबल विकल्प प्रदान करता है, लेकिन इसे दो प्राथमिक चुनौतियों का सामना करना पड़ता है: नॉन-स्टेशनैरिटी (जहाँ स्वतंत्र लर्निंग के कारण एजेंटों के अपडेट होने पर वातावरण बदल जाता है) और विविध रणनीति आबादी (diverse strategy populations) को बनाए रखने की आवश्यकता ताकि नॉन-ट्रांजिटिव इंटरैक्शन को कैप्चर किया जा सके। पॉलिसी स्पेस रिस्पॉन्स ओरैकल्स (PSRO) फ्रेमवर्क इन्हें अनुमानित बेस्ट रिस्पॉन्स (BRs) के साथ एक प्रतिबंधित गेम का पुनरावृत्ति विस्तार करके संबोधित करता है।

हालाँकि, मानक PSRO अत्यधिक कंप्यूटेशनल और सैंपल लागत से ग्रस्त है। प्रत्येक इटरेशन में, प्रत्येक एजेंट को अन्य एजेंटों की वर्तमान मेटा-स्ट्रेटजी प्रोफाइल के विरुद्ध स्वतंत्र रूप से अपना बेस्ट रिस्पॉन्स कंप्यूट करना होता है। इसके लिए शेष एजेंटों के पूर्ण सिमुलेशन के साथ उतने ही RL समस्याओं को हल करने की आवश्यकता होती है जितने एजेंट हैं। कई खिलाड़ियों वाले डोमेन या महंगे सिम्युलेटरों में, यह प्रति-एजेंट प्रशिक्षण संरचना PSRO को अव्यवहारिक बना देती है।

2. कार्यप्रणाली (Methodology)

मुख्य अवधारणा: जॉइंट एक्सपीरियंस बेस्ट रिस्पॉन्स (JBR)

लेखक जॉइंट एक्सपीरियंस बेस्ट रिस्पॉन्स (JBR) का प्रस्ताव करते हैं, जो PSRO का एक संशोधन है जो सभी एजेंटों के बीच इंटरैक्शन डेटा का पुन: उपयोग करता है। प्रत्येक एजेंट के बेस्ट रिस्पॉन्स को स्वतंत्र रूप से प्रशिक्षित करने के बजाय, JBR:

वर्तमान मेटा-स्ट्रेटजी प्रोफाइल $\sigma = (\sigma_j)_{j \in N}$ के तहत एक बार ट्राजेक्टरीज एकत्र करता है।
एक साझा जॉइंट डेटासेट $\mathcal{D}_\sigma$ का निर्माण करता है जिसमें ट्रांजिशन $(s_t, a_{1,t}, \dots, a_{n,t}, r_{1,t}, \dots, r_{n,t}, s_{t+1})$ शामिल होते हैं।
इस एकल डेटासेट से सभी एजेंटों के लिए एक साथ बेस्ट रिस्पॉन्स कंप्यूट करता है।

यह बेस्ट-रिस्पॉन्स कंप्यूटेशन को एक ऑनलाइन RL समस्या से एक ऑफलाइन RL समस्या में बदल देता है, जहाँ पॉलिसियों को एक निश्चित डेटासेट से अनुकूलित किया जाता है। जबकि यह सैंपल दक्षता में भारी सुधार करता है, यह डिस्ट्रीब्यूशन-शिफ्ट बायस (distribution-shift bias) पेश करता है क्योंकि डेटासेट वर्तमान मेटा-स्ट्रेटजी के तहत जेनरेट किया गया है, जो वास्तविक बेस्ट रिस्पॉन्स के लिए प्रासंगिक स्टेट-एक्शन क्षेत्रों को कवर नहीं कर सकता है।

ऑफलाइन RL बायस को संबोधित करना

ऑफलाइन RL की सीमाओं (विशेष रूप से डिस्ट्रीब्यूशन शिफ्ट) को कम करने के लिए, पेपर तीन पूरक उपचार पेश करता है:

कंजर्वेटिव JBR (सेफ पॉलिसी इम्प्रूवमेंट):
- यह एक बाधा लागू करता है जहाँ सीखी गई पॉलिसी $\pi_i$ केवल उन स्टेट-एक्शन पेयर्स में बेसलाइन मेटा-स्ट्रेटजी $\sigma_i$ से विचलित होती है जो डेटासेट द्वारा पर्याप्त रूप से कवर किए गए हैं (काउंट $N_D(s, a_i) \ge N^\wedge$ )।
- कम-सैंपल वाले क्षेत्रों में, पॉलिसी $\sigma_i$ पर वापस आ जाती है, यह गारंटी देती है कि प्रदर्शन बेसलाइन से नीचे नहीं गिरेगा।
- सीमा: हालांकि यह सुरक्षित है, लेकिन यह अत्यधिक सतर्क है और स्वतंत्र BRs की तुलना में महत्वपूर्ण सुधार खोजने की क्षमता को सीमित करता है।
एक्सप्लोरेशन-ऑगमेंटेड JBR:
- कवरेज में सुधार के लिए डेटा कलेक्शन प्रक्रिया को विक्षेपित (perturb) करता है। केवल $\sigma$ के अनुसार कार्य करने के बजाय, एजेंट एक $\delta$ -परटर्बड मेटा-स्ट्रेटजी का पालन करते हैं:
  $\tilde{\sigma}_j(a_j|s) = (1-\delta)\sigma_j(a_j|s) + \delta\nu_j(a_j|s)$
- दो एक्सप्लोरेशन रणनीतियाँ प्रस्तावित की गई हैं:
  - $\delta$ -रैंडम ( $\delta$ -R): $\nu_j$ एक यूनिफॉर्म रैंडम पॉलिसी है।
  - $\delta$ -टारगेटेड ( $\delta$ -T): $\nu_j$ वर्तमान बेस्ट-रिस्पॉन्स कैंडिडेट ( $\pi^{BR,cur}_j$ ) है। यह एक्सप्लोरेशन को आशाजनक ट्राजेक्टरीज की ओर निर्देशित करता है, जो प्रभावी रूप से अपोनेंट मॉडलिंग का एक रूप है।
- सैद्धांतिक गारंटी: पेपर सिद्ध करता है कि परिमित दो-खिलाड़ी ज़ीरो-समम गेम्स के लिए, यदि एजेंट परटर्बड स्ट्रेटजी $\tilde{\sigma}$ के प्रति $\epsilon$ -बेस्ट रिस्पॉन्स कंप्यूट करते हैं, तो परिणामी मेटा-स्ट्रेटजी मूल गेम का $(\epsilon + 2R\delta)$ -नैश इक्विलिब्रियम है (जहाँ $R$ पेऑफ रेंज है)।
हाइब्रिड बेस्ट रिस्पॉन्स (HBR):
- JBR और मानक इंडिपेंडेंट बेस्ट रिस्पॉन्स (IBR) के बीच बारी-बारी से कार्य करता है।
- अधिकांश इटरेशन में, दक्षता के लिए JBR का उपयोग किया जाता है। प्रत्येक $k$ -वें इटरेशन में, एजेंट अनुमान त्रुटियों को ठीक करने के लिए एक मानक इंडिपेंडेंट BR अपडेट करते हैं।
- इसका उद्देश्य JBR की सैंपल दक्षता को IBR की सटीकता के साथ जोड़ना है।

3. प्रमुख योगदान (Key Contributions)

JBR फ्रेमवर्क: जॉइंट एक्सपीरियंस बेस्ट रिस्पॉन्स का परिचय, जो PSRO में एक ड्रॉप-इन संशोधन है जो सभी एजेंटों के लिए बेस्ट रिस्पॉन्स को एक साथ कंप्यूट करने के लिए साझा ट्राजेक्टरीज का पुन: उपयोग करता है, जिससे सैंपल दक्षता में काफी सुधार होता है।
ऑफलाइन बायस के लिए उपचार: JBR में निहित ऑफलाइन RL सीमाओं की पहचान और तीन विशिष्ट उपचारों (कंजर्वेटिव JBR, एक्सप्लोरेशन-ऑगमेंटेड JBR (थ्योरिटिकल कन्वर्जेंस गारंटी के साथ), और हाइब्रिड BR) का प्रस्ताव और मूल्यांकन।
व्यापक अनुभवजन्य अध्ययन: डिस्क्रीट (पोकर) और कंटीन्यूअस (पार्टिकल) वातावरण में मानक MARL बेसलाइन्स (इंडिपेंडेंट लर्निंग और CTDE) के विरुद्ध एक कठोर तुलना।

4. प्रयोगात्मक परिणाम (Experimental Results)

वातावरण (Environments)

डिस्क्रीट: कुह्न पोकर (छोटा, पूर्ण रूप से कवर किया गया स्टेट स्पेस) और ल्यूड पोकर (बड़ा स्टेट स्पेस, इम्परफेक्ट इंफॉर्मेशन)।
कंटीन्यूअस: सिंपल टैग, सिंपल एडवर्सरी, और सिंपल पुश (मल्टी-एजेंट पार्टिकल एनवायरनमेंट्स)।

निष्कर्ष (Findings)

सरल डोमेन में व्यवहार्यता: कुह्न पोकर में, जहाँ स्टेट स्पेस छोटा और पूरी तरह से कवर किया गया है, JBR मानक PSRO के कन्वर्जेंस व्यवहार से मेल खाता है, जो अच्छी तरह से सैंपल की गई स्थितियों के तहत व्यवहार्यता की पुष्टि करता है।
नाइव (Naïve) JBR की विफलता: ल्यूड पोकर में, बिना एक्सप्लोरेशन या कंजर्विज्म के नाइव JBR, ऑफलाइन-लर्निंग बायस के कारण इक्विलिब्रियम सटीकता बनाए रखने में विफल रहता है, और PSRO की तुलना में उच्च एक्सप्लोिटेबिलिटी पर स्थिर हो जाता है।
वैरिएंट्स की प्रभावशीलता:
- कंजर्वेटिव JBR स्थिर है लेकिन अत्यधिक सावधानी के कारण PSRO की तुलना में खराब प्रदर्शन करता है।
- एक्सप्लोरेशन-ऑगमेंटेड JBR ( $\delta$ -R) मध्यम लाभ दिखाता है लेकिन इसमें दिशा का अभाव है।
- एक्सप्लोरेशन-ऑगमेंटेड JBR ( $\delta$ -T) सबसे अच्छा ट्रेड-ऑफ प्राप्त करता है, जो काफी कम सैंपल्स के साथ लगभग-PSRO इक्विलिब्रियम सटीकता तक पहुँचता है। लक्षित एक्सप्लोरेशन अपोनेंट अपडेट्स का पूर्वानुमान लगाता है, जिससे शुरुआती कन्वर्जेंस तेज होता है।
- हाइब्रिड BR (HBR-PSRO) केवल मामूली सैंपल लागत वृद्धि के साथ PSRO के शेष सटीकता अंतर को पाट देता है।
सैंपल दक्षता: JBR-PSRO- $\delta$ T, मानक PSRO द्वारा आवश्यक कुल बेस्ट-रिस्पॉन्स एपिसोड के लगभग आधे में लगभग-PSRO NashConv प्राप्त करता है।
MARL के साथ तुलना: सभी वातावरणों में, PSRO-आधारित विधियाँ (JBR वैरिएंट सहित) रणनीतिक मजबूती और इक्विलिब्रियम सटीकता के मामले में मानक MARL प्रतिमानों (इंडिपेंडेंट लर्निंग और CTDE) से लगातार बेहतर प्रदर्शन करती हैं।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि JBR, इक्विलिब्रियम मजबूती को बनाए रखते हुए, बड़े पैमाने पर रणनीतिक लर्निंग के लिए PSRO को काफी अधिक व्यावहारिक बनाता है।

स्केलेबिलिटी: एजेंटों के बीच इंटरैक्शन को एमोर्टाइज करके, JBR बेस्ट-रिस्पॉन्स कंप्यूटेशन की सैंपल लागत को कम करता है, जो कई-एजेंट या सिम्युलेटर-महंगे सेटिंग्स में PSRO की प्राथमिक बाधा को संबोधित करता है।
मजबूती (Robustness): परिणाम पुष्टि करते हैं कि रणनीतिक रूप से आधारित प्रशिक्षण (PSRO-शैली) जब सैंपल-एफिशिएंट बनाया जाता है, तो मानक MARL दृष्टिकोणों की तुलना में अधिक मजबूत रहता है।
व्यावहारिक तैनाती: प्रस्तावित वैरिएंट, विशेष रूप से JBR-PSRO- $\delta$ T और HBR-PSRO, उन डोमेन में PSRO को तैनात करने के लिए व्यवहार्य मार्ग प्रदान करते जहाँ रनटाइम के दौरान पर्यावरण इंटरैक्शन लागत हावी होती है, बिना सीखे गए इक्विलिब्रिया की गुणवत्ता से समझौता किए।

लेखक नोट करते हैं कि जबकि JBR दक्षता में सुधार करता है, PSRO और इसके वैरिएंट्स को अभी भी विशिष्ट MARL विधियों की तुलना में अधिक इटरेशन और सैंपल्स की आवश्यकता होती है, और उच्च-आयामी निरंतर डोमेन के लिए स्केलेबिलिटी भविष्य के कार्य के लिए एक चुनौती बनी हुई है।