💻 computer science

Learning to Contest: Decentralized Robust Fairness in Cooperative MARL via Cross-Attention

यह शोध पत्र CAN को प्रस्तुत करता है, जो एक विकेंद्रीकृत क्रॉस-अटेंशन पॉलिसी है जो सहकारी मल्टी-एजेंट सुदृढीकरण सीखने (multi-agent reinforcement learning) के लिए, फ्री-राइडर्स की संख्या का गतिशील रूप से अनुमान लगाकर और आनुपातिक रूप से उन्हें चुनौती देकर मजबूत निष्पक्षता और उच्च दक्षता प्राप्त करता है, जिससे बिना किसी केंद्रीकृत आवंटक की आवश्यकता के मौजूदा फेयर लर्नर्स की कमजोरियों को दूर किया जा सके।

मूल लेखक: Can Savcı

प्रकाशित 2026-06-05✓ Author reviewed ⓘ

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Can Savcı

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि दोस्तों का एक समूह पिज्जा साझा करने की कोशिश कर रहा है। वे सभी निष्पक्ष होने पर सहमत होते हैं: यदि कोई वास्तव में भूखा है, तो उसे एक बड़ा टुकड़ा मिलता है ताकि कोई भी भूखा न रहे। यही "फेयर मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग" (MARL) का लक्ष्य है—कंप्यूटर प्रोग्रामों को समान रूप से संसाधनों को साझा करने के लिए सहयोग करना सिखाना।

हालाँकि, एक समस्या है। यदि एक दोस्त स्वार्थी होने का निर्णय लेता है और अपने लिए सबसे बड़ा टुकड़ा छीन लेता है, तो निष्पक्ष दोस्त फंस जाते हैं। क्योंकि उन्हें अच्छा बनने के लिए प्रोग्राम किया गया है, वे शायद स्वार्थी दोस्त को सारा हिस्सा लेने देते हैं, यह सोचकर, "खैर, मैं लड़ना नहीं चाहता।" या, यदि वे लड़ने की कोशिश करते हैं, तो वे आपस में टकरा सकते हैं, जिससे सभी के लिए पिज्जा बर्बाद हो जाता है।

यह शोध पत्र, जिसका शीर्षक है "लर्निंग टू कॉन्टेस्ट" (Learning to Contest), एक कठिन प्रश्न पूछता है: क्या निष्पक्ष दोस्तों का एक समूह बिना किसी बॉस के निर्देश के खुद का बचाव कर सकता है?

यहाँ उनकी कहानी है कि उन्होंने इसे कैसे हल किया, सरल उपमाओं का उपयोग करके।

1. पुरानी समस्या: "सब-कुछ-या-कुछ-नहीं" वाला पिज्जा

पुराने तरीके में, संसाधन "विजेता-सब-ले-जाता-है" (winner-take-all) वाले खेल की तरह थे।

परिदृश्य: दो लोग आखिरी टुकड़े को चाहते हैं।
नियम: यदि वे दोनों इसे छीनते हैं, तो टुकड़ा कुचल दिया जाता है और फेंक दिया जाता है (0% बचा)। यदि एक छीनता है और दूसरा छोड़ देता है, तो छीनने वाले को 100% मिलता है।
परिणाम: एक निष्पक्ष व्यक्ति के पास लड़ने का कोई प्रोत्साहन नहीं है। यदि वे लड़ते हैं, तो उन्हें कुछ नहीं मिलता। यदि वे हार मान लेते हैं, तो उन्हें कुछ नहीं मिलता। इसलिए, वे बस हार मान लेते हैं। स्वार्थी दोस्त सब कुछ जीत जाता है।

2. नया नियम: "ग्रेडेड" पिज्जा

लेखकों ने खेल के नियमों को थोड़ा बदल दिया। उन्होंने "ग्रेडेड कंटेंशन" (Graded Contention) पेश किया।

नया नियम: यदि दो लोग टुकड़े को छीनते हैं, तो वह नष्ट नहीं होता है। इसके बजाय, यह थोड़ा दब जाता है (मान लीजिए 20% बर्बाद हो जाता है), लेकिन बचा हुआ 80% उनके बीच बंट जाता है।
जादू: अब, यदि एक निष्पक्ष व्यक्ति एक स्वार्थी व्यक्ति से लड़ता है, तो उसे कुछ नहीं नहीं मिलता; उसे कुछ मिलता है (दबे हुए पिज्जा का एक छोटा टुकड़ा)। स्वार्थी व्यक्ति को उतना कम मिलता है जितना उसे अकेले छीनने पर मिलता।
सबक: लड़ना अब हार मानने से बेहतर है! यह निष्पक्ष टीम को पीछे धकेलने के लिए एक "लीवर" (lever) देता है।

3. नई चुनौती: "अनुमान लगाने का खेल"

केवल लीवर होना ही काफी नहीं है। निष्पक्ष टीम के सामने एक पेचीदा समन्वय (coordination) की समस्या है:

परिदृश्य A: कोई भी स्वार्थी नहीं हो रहा है। यदि निष्पक्ष टीम फिर भी लड़ती है, तो वे दबे हुए पिज्जा को बिना कारण बर्बाद करती है।
परिदृश्य B: एक व्यक्ति स्वार्थी हो रहा है। यदि निष्फे टीम नहीं लड़ती है, तो स्वार्थी व्यक्ति सब कुछ खा जाता है।
दुविधा: निष्पक्ष टीम को यह नहीं पता कि कमरे में कितने स्वार्थी लोग हैं। उन्हें यह देखने के लिए एक तरीका चाहिए कि वे चारों ओर देखें, शरारती लोगों को गिनें और निर्णय लें: "क्या हम लड़ें, या हम शांति से साझा करें?"

4. समाधान: CAN (द "स्मार्ट वॉचर")

लेखकों ने CAN (क्रॉस-अटेंशन नेटवर्क) नामक एक नई प्रणाली बनाई। CAN को एक सुपर-स्मार्ट टीम कप्तान के रूप में समझें जो विशेष चश्मे का उपयोग करता है।

यह कैसे काम करता है: किसी बॉस द्वारा सबको क्या करना है यह बताने के बजाय, प्रत्येक एजेंट (दोस्त) देखता है कि बाकी सब क्या कर रहे हैं।
"क्रॉस-अटेंशन" का कमाल: कल्पना कीजिए कि प्रत्येक एजेंट के पास एक स्पॉटलाइट है। वे दूसरों के व्यवहार पर अपनी स्पॉटलाइट चमकाते हैं।
- यदि वे देखते हैं कि सभी शांत हैं, तो स्पॉटलाइट कहती है, "शांत रहें, चलिए साझा करते हैं।"
- यदि वे देखते हैं कि कोई लालची व्यवहार कर रहा है, तो स्पॉटलाइट कहती है, "हे, वह व्यक्ति छीन रहा है! आइए उन्हें रोकने के लिए बस इतना ही पीछे धकेलें, जितना आवश्यक हो, ताकि पिज्जा बहुत अधिक बर्बाद न हो।"
प्रशिक्षण: उन्होंने इस प्रणाली को विभिन्न प्रकार के स्वार्थी खिलाड़ियों की एक "लीग" के खिलाफ खेलकर सिखाया। इसने पैटर्न को पहचानना और अपनी रणनीति को तुरंत अनुकूलित करना सीखा।

5. परिणाम: दोनों दुनियाओं का सर्वश्रेष्ठ

शोध पत्र ने अन्य तरीकों के मुकाबले इस प्रणाली का परीक्षण किया और पाया कि CAN ही एकमात्र है जो इसे सही ढंग से करता है:

पुराने निष्पक्ष तरीके:
- द "नाइस" (Nice) टीम: हमेशा हार मान लेती है। वे तब कुशल होते हैं जब सभी अच्छे होते हैं, लेकिन एक स्वार्थी दोस्त उनसे सब कुछ छीन लेता है।
- द "अग्रेसिव" (Aggressive) टीम: हमेशा लड़ती है। वे स्वार्थी दोस्त को रोक देते हैं, लेकिन वे लड़ने में इतना पिज्जा बर्बाद कर देते हैं कि सभी भूखे रह जाते हैं, भले ही कोई बुरा न हो रहा हो।
CAN टीम:
- जब सभी अच्छे होते हैं: वे पूरी तरह से साझा करते हैं। लगभग शून्य बर्बादी।
- जब एक स्वार्थी दोस्त आता है: वे चोर को रोकने के लिए पर्याप्त लड़ते हैं, लेकिन इतना नहीं कि पिज्जा बर्बाद हो जाए।
- परिणाम: उन्हें लगभग उतनी ही निष्पक्षता मिलती है जितनी कि एक मानव बॉस के होने पर मिलती, लेकिन उन्होंने बिना किसी बॉस के यह सब खुद किया।

6. सीमाएँ: जहाँ यह विफल होता है

लेखक इस बारे में बहुत ईमानदार हैं कि यह प्रणाली कहाँ विफल होती है। यह जादू नहीं है; यह खेल के नियमों पर निर्भर करता है।

यदि नियम बहुत कठोर हैं: यदि खेल वापस "विजेता-सब-ले-जाता-है" (जहाँ लड़ने से संसाधन पूरी तरह नष्ट हो जाता है) में चला जाता है, तो प्रणाली विफल हो जाती है। लीवर गायब हो जाता है।
यदि समूह बहुत बड़ा हो जाता है: यदि आप 6 लोगों के लिए प्रशिक्षित टीम को अचानक 24 लोगों के साथ एक कमरे में रखते हैं, तो वे संघर्ष के उच्च स्तर पर भ्रमित हो जाते हैं। वे भीड़ में शरारती लोगों को ठीक से नहीं गिन पाते।
यदि इनाम बहुत बड़ा है: यदि "पिज्जा" एक विशाल जैकपॉट है जिसके लिए केवल तभी लड़ना सार्थक है जब आप इसे 100% जीत लें, तो सिस्टम लड़ने से डर जाता है क्योंकि इसे बर्बाद करने का जोखिम बहुत अधिक होता है।

सारांश

यह शोध पत्र दिखाता है कि विकेंद्रीकृत निष्पक्षता (decentralized fairness) संभव है, लेकिन केवल तभी जब खेल के नियम थोड़े "मध्य मार्ग" की अनुमति देते हैं जब लोग लड़ते हैं। कंप्यूटर एजेंटों को एक-दूसरे को देखने और अपने व्यवहार को अनुकूलित करने (क्रॉस-अटेंशन तकनीक का उपयोग करके) के लिए सिखाकर, वे किसी केंद्रीय प्राधिकरण द्वारा सूक्ष्म प्रबंधन के बिना खुद को स्वार्थी सदस्यों से बचा सकते हैं। उन्होंने सीखा कि ज़रूरत पड़ने पर सख्त रहना है, लेकिन सुरक्षित होने पर विनम्र रहना है।

तकनीकी सारांश: मुकाबला करना सीखना: क्रॉस-अटेंशन के माध्यम से सहकारी MARL में विकेंद्रीकृत मजबूत निष्पक्षता

1. समस्या विवरण

सहकारी मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (MARL) अक्सर एजेंटों के भुखमरी (starvation) को रोकने के लिए निष्पक्षता (जैसे, जनरलाइज्ड गिनी वेलफेयर) को अनुकूलित करता है। हालांकि, ये "निष्पक्ष" टीमें स्वार्थी एजेंटों (फ्री-राइडर्स) की उपस्थिति में स्वाभाविक रूप से शोषण योग्य होती हैं। जब एक टीम सबसे कमज़ोर एजेंट को ऊपर उठाने के लिए व्यक्तिगत उपयोगिता का त्याग करती है, तो एक स्वार्थी एजेंट इस अधिशेष (surplus) का लाभ उठा सकता है।

कठोर प्रतिद्वंद्वी (सब-या-कुछ-नहीं/all-or-nothing) संसाधन संघर्ष में, इस शोषण का नीति स्तर पर मुकाबला करना कठिन है। यदि एक सहेता (cooperator) एक फ्री-राइडर के विरुद्ध संसाधन के लिए संघर्ष करता है, तो संसाधन या तो एक द्वारा जीता जाता है या पूरी तरह से बर्बाद (collision) हो जाता है। फलस्वरूप, एक कल्याण-निष्पक्ष (welfare-fair) टीम, समर्पण करने और मुकाबला करने के बीच उदासीन रहती है, जिससे विकेंद्रीकृत रक्षा निरर्थक हो जाती है। पूर्ववर्ती कार्य सुझाव देते हैं कि केवल एक केंद्रीकृत, आवश्यकता-आधारित आवंटक ही इसे हल कर सकता है, जिससे यह प्रश्न खुला रह जाता है कि क्या विकेंद्रीकृत नीतियां मजबूत निष्पक्षता प्राप्त कर सकती हैं।

यह शोध एक ग्रेडेड-कन्टेन्शन (क्रमिक-संघर्ष) मॉडल पेश करके इस अंतर को संबोधित करता है। इस मॉडल में, विवादित संसाधन पूरी तरह से बर्बाद नहीं होते हैं; यदि $m \ge 2$ एजेंट एक संसाधन का दावा करते हैं, तो वे एक संसाधन के पूर्ण विनाश के बजाय, एक अंश $1-c$ (जहाँ $c$ अपव्यय कारक है) को विभाजित करते हैं। मुख्य चुनौती अनिश्चितता के तहत समन्वय की समस्या है: फ्री-राइडर्स ( $D$ ) की संख्या अज्ञात और परिवर्तनशील है। एक निश्चित नीति विफल हो जाती है क्योंकि "हमेशा मुकाबला करना" संसाधनों को बर्बाद करता है जब कोई डिफैक्टर नहीं होता, जबकि "हमेशा समर्पण करना" तब विफल हो जाता है जब कोई डिफैक्टर प्रकट होता है।

2. कार्यप्रणाली: CAN (क्रॉस-अटेंशन नेटवर्क)

लेखक CAN प्रस्तावित करते हैं, जो एक विकेंद्रीकृत नीति है जिसे फ्री-राइडर्स की उपस्थिति का अनुमान लगाने और आनुपातिक रूप से प्रतिक्रिया देने के लिए डिज़ाइन किया गया है।

सैद्धांतिक आधार (प्रपोजिशन 1): शोधपत्र सिद्ध करता है कि ग्रेडेड कन्टेन्शन ( $c < 1$ ) के तहत, एक सबसे कमज़ोर सहहेता, समर्पण करने के बजाय मुकाबला करके अपने परिणाम में स्पष्ट सुधार करता है। मुकाबला करने से $(1-c)/2 > 0$ प्राप्त होता है, जबकि फ्री-राइडर के लाभ को कम करता है। यह विकेंद्रीकृत उत्तोलन (decentralized leverage) के अस्तित्व को स्थापित करता है।
आर्किटेक्चर:
- इनपुट: प्रत्येक एजेंट सार्वजनिक स्थिति विशेषताओं का एक टोकन देखता है: वर्तमान उपयोगिता ( $u_i$ ), टीम माध्य से विचलन ( $u_i - \bar{u}$ ), न्यूनतम उपयोगिता से विचलन ( $u_i - u_{min}$ ), सबसे कमज़ोर होने का एक संकेतक, एक रनिंग क्लेम-रेट ( $cc_i$ ), और टाइम स्टेप।
- तंत्र: CAN एक परम्यूटेशन-इक्विवेरिएंट सिंगल-हेड सेल्फ-अटेंशन ब्लॉक का उपयोग करता है। एजेंट अन्य सभी एजेंटों के प्रेक्षित व्यवहार टोकन पर ध्यान (attend) देते हैं। यह उन्हें निश्चित एजेंट पहचानों पर निर्भर किए बिना दावेदारों (claimers) की संख्या का अनुमान लगाने की अनुमति देता है।
- आउटपुट: नीति CLAIM या YIELD के लिए लॉजिट्स (logits) आउटपुट करती है।
प्रशिक्षण व्यवस्था:
- उद्देश्य: सहेता (cooperators) एक कल्याण कार्य $W_{coop} = \text{mean}(u) - \text{std}(u)$ को अधिकतम करते हैं, जो उपयोगिता पुनर्प्राप्ति और समतापूर्ण वितरण दोनों को पुरस्कृत करता है।
- एडवर्सरियल ट्रेनिंग: मजबूती सुनिश्चित करने के लिए, CAN को एक एडवर्सरियल लीग (PSRO) के विरुद्ध प्रशिक्षित किया जाता है। एक एकल सह-विकसित डिफैक्टर के विरुद्ध प्रशिक्षित होने के बजाय, सिस्टम पिछले सर्वश्रेष्ठ-प्रतिक्रिया डिफेक्टर्स के एक स्थिर पूल के विरुद्ध प्रशिक्षण और पूल में नए सर्वश्रेष्ठ-प्रतिक्रिया एक्सप्लोइटर्स को जोड़ने के बीच बदलता रहता है। यह नीति को किसी विशिष्ट एडवर्सरी रणनीति के प्रति ओवरफिट होने से रोकता है।

3. मुख्य परिणाम

शोधपत्र विभिन्न संघर्ष स्तरों ( $c \in \{0.3, \dots, 0.9\}$ ) और टीम आकार ( $N=6$ ) में कल्याण-निष्पक्ष बेसलाइन्स (GGF, FEN, SOTO) और एक केंद्रीकृत ओरेकल के विरुद्ध CAN का मूल्यांकन करता है।

मजबूती बनाम दक्षता ट्रेड-ऑफ:
- बेसलाइन्स: कल्याण-निष्पक्ष लर्नर्स एक अक्ष पर विफल होते हैं। GGF समर्पण करना सीखता है (कुशल लेकिन अधिकतम शोषण योग्य, $\rho \approx N$ )। SOTO हमेशा मुकाबला करना सीखता है (मजबूत लेकिन अपव्ययी, दक्षता $\approx 1-c$ )। FEN अस्थिर है।
- CAN: मजबूती और दक्षता दोनों प्राप्त करता है। यह सभी संघर्ष स्तरों पर निम्नतम बेस्ट-रिस्पॉन्स एक्सप्लोइटेबिलिटी ( $\rho \approx 1.2\text{--}1.5$ ) बनाए रखता है जबकि जब कोई फ्री-राइडर मौजूद नहीं होता है तो लगभग पूर्ण दक्षता ( $\approx 1.0$ ) बनाए रखता है।
तंत्र सत्यापन:
- अनुकूली व्यवहार: CAN सीखता है कि जब $D=0$ हो तो "बारी लेना" (समर्पण करना) ताकि अपव्यय से बचा जा सके, और जब $D \ge 1$ हो तो "उतना ही मुकाबला करना जितना आवश्यक हो"।
- प्रशिक्षण योजना: लीग ट्रेनिंग महत्वपूर्ण है। एक स्थिर एडवर्सरी के विरुद्ध वैनिला को-ट्रेनिंग उच्च एक्सप्लोइटेबिलिटी ( $\rho \approx 2.0$ ) का परिणाम देती है और ऊपर की ओर बढ़ती है, जबकि लीग ट्रेनिंग $\rho$ को निम्न और स्थिर रखती है।
- आर्किटेक्चर: क्रॉस-अटेंशन, साधारण पूलिंग (मीन-पूल, डीप-सेट्स) की तुलना में बेहतर है और बाइडायरेक्शनल GRUs की तुलना में अधिक स्थिर है, विशेष रूप से उच्च संघर्ष स्तरों ( $c=0.9$ ) पर।
सामान्यीकरण और सीमाएँ:
- टीम का आकार: CAN कम संघर्ष स्तर पर बड़े समूहों ( $N=12, 24$ ) में ज़ीरो-शॉट ट्रांसफर करता है, लेकिन उच्च संघर्ष स्तर पर घट जाता है, जो संघर्ष अनुमान (contention inference) में स्केलिंग की नाजुकता को दर्शाता है।
- पर्यावरण का दायरा: CAN कंजेशन और "स्टेक्स" (परिवर्तनीय मूल्य) वाले खेलों में भीड़भाड़ और बेसलाइन्स को पारेटो-डोमिनेट करता है। हालाँकि, इसकी मजबूती गेम के नियमों द्वारा प्रदान किए गए लेवरेज (उत्तोलन) द्वारा सीमित है। एक "विजेता-एकता-ले-जाता-है" (मैथ्यू) नियम वाले खेल में जहाँ संघर्ष के बावजूद सबसे अमीर एजेंट जीतता है, लेवरेज समाप्त हो जाता है और CAN का शोषण किया जाता है।

4. महत्व और दावे

यह शोधपत्र विकेंद्रीकृत मजबूत निष्पक्षता की सीमाओं का एक नियंत्रित, ईमानदार मानचित्र प्रदान करने का दावा करता है, न कि यह दावा कि विकेंद्रीकरण अंतराल को पूरी तरह से भर दिया गया है।

निरर्थकता का खंडन: लेखक सिद्ध करते हैं कि विकेंद्रीकृत रक्षा की निरर्थकता "सब-या-कुछ-नहीं" वाले संघर्ष का एक आर्टिफैक्ट (कृत्रिम प्रभाव) है। ग्रेडेड कन्टेन्शन पेश करके, वे सिद्ध करते हैं कि विकेंद्रीकृत उत्तोलन मौजूद है।
ओरेकल निकटता प्राप्त करना: CAN एक केंद्रीकृत आवश्यकता-आधारित ओरेकल (जो कि सैद्धांतिक ऊपरी सीमा है) के प्रदर्शन के करीब पहुँचता है, बिना किसी केंद्रीय आवंटक की आवश्यकता के। यह डिफेक्टर्स की संख्या का अनुमान लगाने के लिए दूसरों के प्रेक्षित व्यवहार पर अपनी क्रियाओं को कंडीशन करना सीखकर इसे प्राप्त करता है।
अनुप्रयोग का दायरा: शोधपत्र स्पष्ट रूप से कहता है कि मजबूती सार्वभौमिक नहीं है। यह केवल तभी मान्य है जब गेम के नियम "कॉन्टेस्ट लेवरेज" प्रदान करते हैं। यदि गेम के नियम संघर्ष में एक सकारात्मक हिस्सा कैप्चर करने की अनुमति नहीं देते हैं (जैसे, विजेता-ले-जाता-है), तो दृष्टिकोण विफल हो जाता है।
योगदान: यह कार्य निष्पक्ष MARL को स्वाभाविक रूप से शोषण योग्य मानने के बजाय इसे एक सुलभ, मापने योग्य लक्ष्य के रूप में देखने के प्रतिमान को बदल देता है, बशर्ते कि वातावरण ग्रेडेड कन्टेन्शन की अनुमति दे और नीति को विविध इतिहास के एडवर्सरीज के विरुद्ध प्रशिक्षित किया जाए।

लेखक निष्कर्ष निकालते हैं कि हालांकि विकेंद्रीकृत मजबूत निष्पक्षता प्राप्त की जा सकती है, लेकिन यह विशिष्ट शर्तों द्वारा सीमित है: ग्रेडेड कन्टेन्शन लेवरेज का अस्तित्व, अटेंशन के माध्यम से एडवर्सरी काउंट का अनुमान लगाने की क्षमता, और नीति को स्थिर करने के लिए एडवर्सरियल लीग ट्रेनिंग का उपयोग।