💻 computer science

Adaptive Punishment for Cooperation in Mixed-Motive Games

यह शोध पत्र एडेप्टिव पनिशमेंट फॉर कोऑपरेशन (APC) का प्रस्ताव करता है, जो एक वितरित विधि है जो लागत और प्रभावकारिता को प्रभावी ढंग से संतुलित करने के लिए डिफेक्शन की गंभीरता और संभावना के आधार पर दंड की तीव्रता को गतिशील रूप से समायोजित करती है, जिससे मिश्रित-प्रेरणा वाले मल्टी-एजेंट परिदृश्यों में सहयोग को बढ़ावा मिलता है।

मूल लेखक: Min Tang, Fanqi Kong, Linyuan Lü, Xue Feng

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Min Tang, Fanqi Kong, Linyuan Lü, Xue Feng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि दोस्तों का एक समूह मिलकर एक बिखरे हुए पार्क को साफ करने की कोशिश कर रहा है। हर कोई चाहता है कि पार्क सुंदर दिखे (दीर्घकालिक लक्ष्य), लेकिन यह लुभावना भी है कि हर व्यक्ति बस पीछे बैठकर दूसरों को काम करते हुए देखे और दृश्य का आनंद ले (अल्पकालिक लाभ)। इसे वैज्ञानिक "मिक्स्ड-मोटिव गेम" (mixed-motive game) कहते हैं: एक ऐसी स्थिति जहाँ स्वार्थी होना अभी अच्छा लगता है, लेकिन सहयोग करना लंबे समय में सभी के लिए मददगार होता है।

समस्या यह है कि जब लोग स्वार्थी होते हैं, तो पार्क गंदा ही रहता है। इसे ठीक करने का एक तरीका दंड (punishment) है। यदि कोई कचरा फैलाता है, तो अन्य लोग उन्हें डांट सकते हैं या जुर्माना लगा सकते हैं। लेकिन इसमें एक पेंच है: किसी को डांटने में समय और ऊर्जा लगती है। यदि आप हर समय हर किसी को डांटते रहेंगे, तो आप थक जाएंगे, और आप शायद कचरा फैलाने वाले व्यक्ति से भी बदतर स्थिति में पहुँच सकते हैं। यह "दंड की दुविधा" (dilemma of punishment) है।

यह शोध पत्र APC (Adaptive Punishment for Cooperation) नामक एक नई विधि पेश करता है। APC को कंप्यूटर एजेंटों के लिए एक स्मार्ट, निष्पक्ष और ऊर्जा बचाने वाले "पार्क वार्डन" एल्गोरिदम के रूप में समझें। यह कैसे काम करता है, यहाँ इसके सरल भागों में विवरण दिया गया है:

1. "स्निफर डॉग" (धोखाधड़ी के प्रति जागरूकता)

दंड देने से पहले, सिस्टम को यह जानने की आवश्यकता है कि वास्तव में कौन बुरा व्यवहार कर रहा है और वह कितना बुरा है।

यह कैसे काम करता है: APC के पास एक विशेष "स्निफर डॉग" मॉड्यूल (जिसे Defection Predictor कहा जाता है) है। यह अन्य एजेंटों के कार्यों को देखता है और पूछता है, "क्या यह क्रिया मेरे रिवॉर्ड (इनाम) को नुकसान पहुँचाने वाली है?"
उपमा: कल्पना कीजिए कि एक शिक्षक जो हर उस छात्र पर नहीं चिल्लाता जो शोर मचा रहा है। इसके बजाय, शिक्षक ध्यान से सुनता है ताकि यह पता चल सके कि एक छात्र केवल फुसफुसा रहा है (मामूली मुद्दा) या कक्षा में व्यवधान डालने के लिए चिल्ला रहा है (बड़ा मुद्दा)। "स्निफर डॉग" एक छोटी गलती और एक गंभीर विश्वासघात के बीच अंतर करना सीख जाता है।

2. "स्मार्ट जुर्माना" (अनुकूलित तीव्रता)

एक बार जब सिस्टम जान जाता है कि कोई बुरा व्यवहार कर रहा है, तो यह केवल उन पर हथौड़े की तरह प्रहार नहीं करता है। यह अपराध के आधार पर दंड को समायोजित करता है।

यह कैसे काम करता है: यदि कोई एजेंट केवल थोड़ा सा स्वार्थी है, तो दंड हल्का होता है। यदि वे अत्यधिक स्वार्थी हैं, तो दंड भारी होता है।
उपमा: स्पीड ट्रैप (गति पकड़ने वाले यंत्र) के बारे में सोचें। यदि आप सीमा से केवल 5 मील प्रति घंटे अधिक चल रहे हैं, तो आपको एक छोटी चेतावनी मिलती है। यदि आप 100 मील प्रति घंटे की रफ्तार से दौड़ रहे हैं, तो आपको भारी जुर्माना मिलता है। APC "जुर्माने" को इस तरह से निर्धारित करता है ताकि वह बुरे व्यवहार की गंभीरता के अनुरूप हो। यह सुनिश्चित करता है कि दंड उचित और आनुपातिक महसूस हो।

3. "स्मार्ट टाइमर" (अनुकूलित संभावना)

यह सबसे चतुर हिस्सा है। सिस्टम खुद से पूछता है: "क्या मेरा दंड वास्तव में काम कर रहा है?"

यह कैसे काम करता है: यदि सिस्टम किसी को दंड देता है, लेकिन वह व्यक्ति वही बुरा काम करना जारी रखता है, तो सिस्टम को एहसास होता है, "हे, उन्हें डांटना काम नहीं कर रहा है!" इसलिए, यह उन पर ऊर्जा बर्बाद करना बंद कर देता है। यह उस विशिष्ट व्यक्ति को दंडित करने की संभावना को कम कर देता है क्योंकि यह संसाधनों की बर्बादी है।
उपमा: कल्पना कीजिए कि आप कुत्ते को चिल्लाकर रोकने की कोशिश करते हैं। यदि कुत्ता चुप हो जाता है, तो आप चिल्लाना बंद कर देते हैं। यदि कुता चिल्लाने के बावजूद भौंकना जारी रखता है, तो आप महसूस करते हैं कि चिल्लाना बेकार है। इसलिए, बिना किसी कारण के खुद को थकाए बिना, आप अपनी आवाज बचाने के लिए चिल्लाना बंद कर देते हैं। APC उन एजेंटों पर ऊर्जा "बर्बाद" करने से बचने के लिए ऐसा ही करता है जो बदलना नहीं चाहते।

प्रयोगों में क्या हुआ?

शोधकर्ताओं ने इस "स्मार्ट वार्डन" का कई डिजिटल प्लेग्राउंड में परीक्षण किया:

द कॉइन गेम (The Coin Game): एजेंटों को एक-दूसरे के सिक्के चुराने से बचना था। APC ने तेजी से चोरी रोकना सीख लिया, जबकि अन्य तरीकों ने या तो चोरी के चक्र में फंसे रहना चुना या दंड देने में ऊर्जा बर्बाद की।
द स्नोड्रिफ्ट गेम (The Snowdrift Game): एजेंटों को बर्फ हटानी थी। कुछ लोग चाहते थे कि दूसरे इसे करें। APC एजेंटों ने कुशलतापूर्वक बर्फ हटाना सीख लिया क्योंकि उन्हें पता था कि यदि उन्होंने ऐसा नहीं किया, तो उन्हें समूह से "जुर्माना" मिलेगा।
द फोरेजिंग गेम (The Foraging Game): कुछ एजेंटों को "वर्जित फल" खाने का लालच था जो सभी के भोजन की आपूर्ति को खराब कर देता था। APC ने इन एजेंटों को वर्जित फल खाने से सफलतापूर्वक रोका, जिससे समूह के भविष्य की रक्षा हुई।

मुख्य निष्कर्ष

शोध पत्र यह दर्शाता है कि APC पुराने तरीकों की तुलना में बेहतर है क्योंकि यह कब और कितना दंड देना है, इस बारे में स्मार्ट है।

पुराने तरीके अक्सर बहुत अधिक दंड देते थे (ऊर्जा बर्बाद करना) या बहुत कम दंड देते थे (बुरे व्यवहार को जारी रहने देना)।
APC एक बुद्धिमान माता-पिता की तरह है: यह करीब से देखता है, केवल तभी दंड देता है जब आवश्यक हो, दंड को अपराध के योग्य बनाता है, और यदि यह मदद नहीं कर रहा है तो दंड देना बंद कर देता है।

इस दृष्टिकोण का उपयोग करके, एजेंटों ने बहुत बेहतर तरीके से सहयोग करना सीखा, जिससे अत्यधिक लड़ाई या डांट-फटकार से बिना थके पूरे समूह के लिए उच्च पुरस्कार प्राप्त किए। शोध पत्र निष्कर्ष निकालता है कि यह विधि इन विशिष्ट डिजिटल खेलों में अच्छी तरह काम करती है, हालांकि यह नोट करता है कि इसे और अधिक जटिल, वास्तविक दुनिया के परिदृश्यों में परीक्षण करना भविष्य का कार्य है।

तकनीकी सारांश: मिश्रित-उद्देश्य वाले खेलों में सहयोग के लिए अनुकूलन योग्य दंड (Adaptive Punishment for Cooperation)

समस्या विवरण
मल्टी-एजेंट सुदृढीकरण शिक्षण (Multi-Agent Reinforcement Learning - MARL) में, मिश्रित-उद्देश्य (mixed-motive) परिदृश्य एक अनूठी चुनौती पेश करते हैं जहाँ स्वार्थी एजेंट अक्सर दीर्घकालिक सामूहिक कल्याण के बजाय अल्पकालिक व्यक्तिगत लाभ को प्राथमिकता देते हैं, जिससे सामाजिक दुविधाएँ उत्पन्न होती हैं। पारंपरिक प्रशिक्षण प्रतिमान, जैसे कि सेंट्रलाइज्ड ट्रेनिंग विद डिसेंट्रलाइज्ड एक्जीक्यूशन (CTDE), अक्सर संयुक्त अनुकूलन की अवास्तविक धारणाओं पर निर्भर करते हैं, जबकि डिसेंट्रलाइज्ड ट्रेनिंग (DTDE) अक्सर उप-इष्टतम स्थानीय साम्यावस्था (local equilibria) पर अभिसरित हो जाता है। जबकि सहकर्मी दंड (peer punishment) विचलन (defection) को रोकने के लिए एक ज्ञात तंत्र है, यह "द्वितीय-क्रम की परोपकारिता" (second-order altruism) का हिस्सा है—अर्थात, यह दंड देने वाले के लिए एक लागत (cost) उत्पन्न करता है। मौजूदा दृष्टिकोण प्रभावी दंड लागू करने में संघर्ष करते हैं; एक्शन स्पेस में दंड कार्यों को जोड़ने से अक्सर सहयोग को बढ़ावा देने में विफलता मिलती है, और केंद्रीकृत नियंत्रकों, प्रतिष्ठा प्रणालियों, या अवास्तविक धारणाओं (जैसे, दंड से प्रत्यक्ष सकारात्मक पुरस्कार मिलना) पर निर्भर विधियाँ विकेंद्रीकृत परिवेशों में मजबूत नहीं होती हैं। मुख्य चुनौती दंड की प्रभावकारिता और दंड देने वाले द्वारा उठाई गई लागत के बीच संतुलन बनाना है, ताकि अप्रभावी दंड और दंड देने वाले के अपने हितों को कमजोर करने वाली अत्यधिक लागत दोनों से बचा जा सके।

कार्यप्रणाली: सहयोग के लिए अनुकूलन योग्य दंड (Adaptive Punishment for Cooperation - APC)
लेखक Adaptive Punishment for Cooperation (APC) का प्रस्ताव करते हैं, जो एक वितरित MARL विधि है जिसे बाहरी पर्यावरणीय धारणाओं पर निर्भर किए बिना विकेंद्रीकृत एजेंटों को सामाजिक रूप से लाभकारी परिणामों की ओर निर्देशित करने के लिए डिज़ाइन किया गया है। APC एक एडवांटेज एक्टर-क्रिटिक (A2C) एल्गोरिदम का उपयोग करते हुए डिसेंट्रलाइज्ड ट्रेनिंग डिसेंट्रलाइज्ड एक्जीक्यूशन (DTDE) ढांचे के भीतर कार्य करता है और इसमें दो मुख्य मॉड्यूल शामिल हैं:

विचलन जागरूकता मॉड्यूल (Defection Awareness Module):
- यह मॉड्यूल एक डिफेक्शन प्रेडिक्टर नेटवर्क ( $\mu_i$ ) का उपयोग करता है जिसे एजेंट $j$ के उन व्यवहारों की पहचान करने के लिए प्रशिक्षित किया गया है जो एजेंट $i$ के पुरस्कार को सबसे अधिक नुकसान पहुँचा सकते हैं।
- नेटवर्क स्थानीय अवलोकन प्रक्षेपवक्र ( $o_i$ ) और गैर-लक्ष्य एजेंटों के संयुक्त कार्यों ( $a_{-j}$ ) को इनपुट के रूप में लेता है ताकि लक्ष्य एजेंट के एक्शन स्पेस पर एक संभाव्यता वितरण ( $\sigma_{ij}$ ) आउटपुट किया जा सके।
- जिन कार्यों की प्रायिकता एक समान बेसलाइन ( $1/|A_j|$ ) से अधिक होती है, उन्हें विचलन (defection) के रूप में वर्गीकृत किया जाता है।
- नेटवर्क को एक मैक्सिमाइजेशन ऑब्जेक्टिव के माध्यम से प्रशिक्षित किया जाता है जो एजेंट के पुरस्कार को कम करता है (इसे हानिकारक कार्यों की पहचान करने के लिए प्रेरित करता है) और इसमें व्यवहार संबंधी विविधता सुनिश्चित करने तथा समयपूर्व अभिसरण को रोकने के लिए एंट्रॉपी रेगुलराइजेशन (entropy regularization) को शामिल किया जाता है। एक बार अभिसरित होने के बाद, पॉलिसी ट्रेनिंग के दौरान स्थिर विचलन पहचान प्रदान करने के लिए इसके मापदंडों को स्थिर कर दिया जाता है।
अनुकूलन योग्य दंड मॉड्यूल (Adaptive Punishment Module):
- यह मॉड्यूल विचलन जागरूकता मॉड्यूल के आउटपुट और ऐतिहासिक प्रभावशीलता के आधार पर दंड की प्रायिकता (probability) और तीव्रता (intensity) दोनों को गतिशील रूप से समायोजित करता है।
- अनुकूलन योग्य प्रायिकता ( $p_{ij}^t$ ): दंड देने की प्रायिकता को इस आधार पर समायोजित किया जाता है कि क्या पिछले दंडों ने विचलन की आवृत्ति ( $f_{ij}^t$ ) को सफलतापूर्वक कम किया है। यदि $L$ टाइमस्टेप्स की स्लाइडिंग विंडो के दौरान विचलन की आवृत्ति कम नहीं होती है (या नगण्य रूप से कम होती है), तो दंड को अप्रभावी माना जाता है, और अनावश्यक लागतों से बचने के लिए $p_{ij}^t$ को कम कर दिया जाता है।
- अनुकूलन योग्य तीव्रता ( $w_{ij}^t$ ): दंड की गंभीरता विचलन की डिग्री के समानुपाती होती है। यदि कोई क्रिया विचलन के रूप में पहचानी जाती है ( $\sigma_{ij}(a_j) > 1/|A_j|$ ), तो दंड तीव्रता भार उस विचलन की अनुमानित प्रायिकता के अनुपात में निर्धारित किया जाता है।
- पुरस्कार संशोधन: एजेंट के कुल पुरस्कार को दंड की लागत ( $c$ ) और प्राप्त दंड ( $\delta$ ) को शामिल करने के लिए संशोधित किया जाता है: $r_{i,tot} = r_i - \sum w_{ij}c - \sum w_{ji}\delta$ ।

प्रमुख योगदान

नवल अपोनेंट-एडैप्टिव विधि: यह शोध पत्र APC पेश करता है, जो एक वितरित विधि है जो अप्रभावी दंड और अत्यधिक लागतों से बचने के लिए दंड की तीव्रता और प्रायिकता को गतिशील रूप से समायोजित करती है, जो विशेष रूप से मिश्रित-उद्देश्य वाले खेलों के लिए तैयार की गई है।
स्व-शिक्षण विचलन जागरूकता: लेखक एक स्व-शिक्षण एल्गोरिदम (डिफेक्शन प्रेडिक्टर नेटवर्क) विकसित करते हैं जो बाहरी लेबल के बजाय गेम रिवार्ड्स द्वारा निर्देशित होकर मल्टी-एजेंट इंटरैक्शन में विभिन्न स्तरों के विचलन का पता लगाने में सक्षम है।
सैद्धांतिक और अनुभवजन्य सत्यापन: यह कार्य इटरेटेड पब्लिक गुड्स गेम (IPGG) में आपसी सहयोग की ओर अभिसरण को सिद्ध करने के लिए सैद्धांतिक विश्लेषण प्रदान करता है और अनुभवजन्य रूप से प्रदर्शित करता है कि APC, IPGG और चार सीक्वेंशियल सोशल डिलेमा (SSDs) में मौजूदा बेसलाइन्स से बेहतर प्रदर्शन करता है।

प्रायोगिक परिणाम
लेखकों ने चार स्पैटियो-टेम्पोरल-विस्तारित SSDs पर APC का मूल्यांकन किया: कॉइन गेम (Coin Game), सीक्वेंशियल स्नोड्रिफ्ट गेम (SSG), सीक्वेंशियल स्टैग-हंट (SSH), और फोरेजिंग (Foraging)।

प्रदर्शन: APC ने IA2C, LOLA, SI, D3C, CNM, LPOLA, और RL_Punish सहित बेसलाइन्स को महत्वपूर्ण रूप से पछाड़ दिया। परीक्षण किए गए सभी वातावरणों में, APC एजेंटों ने लगभग इष्टतम सामूहिक पर्यावरणीय पुरस्कार प्राप्त किए।
- कॉइन गेम में, APC ने एजेंटों को विरोधियों के सिक्के एकत्र करने से बचने के लिए तेजी से निर्देशित किया, जबकि अन्य विधियाँ प्रभावी दंड रणनीतियों को सीखने में विफल रहीं।
- SSG और SSH में, APC एजेंटों ने क्रमशः बर्फ के ढेर को साफ करने और स्टैग का शिकार करने के लिए सफलतापूर्वक समन्वय किया, जिससे वे "फ्री-राइडर" और "लेज़ी" (lazy) समस्याओं से बच सके जिनमें अन्य विधियाँ फंस गई थीं।
- फोरेजिंग में, APC ने विशेष एजेंटों को वर्जित बेर (berries) काटने से रोका, जिससे संसाधन मूल्य सुरक्षित रहा, जबकि अन्य विधियाँ (D3C सहित) संसाधन क्षरण को रोकने में विफल रहीं।
एब्लेशन अध्ययन (Ablation Studies): डिफेक्शन प्र्रेडिक्टर नेटवर्क को हटाने (APC w/o DPN) से खराब प्रदर्शन हुआ, जो एक सीखे गए विचलन डिटेक्टर की आवश्यकता की पुष्टि करता है। अनुकूलन योग्य प्रायिकता तंत्र को हटाने (APC w/o APr) से सेल्फ-प्ले के विरुद्ध उच्च प्रदर्शन बना रहा, लेकिन नियम-आधारित विरोधियों के विरुद्ध अनुकूलन करने में विफलता मिली, जिससे अत्यधिक दंड लागत हुई और गतिशील समायोजन के महत्व को उजागर किया गया।
अनुकूलन क्षमता: प्रयोगों ने दिखाया कि APC गतिशील रूप से दंड की आवृत्ति (अप्रभावी होने पर इसे कम करना) और तीव्रता (विचलन की गंभीरता के अनुपात में स्केल करना, जैसे कि आंशिक और पूर्ण विचलन के बीच अंतर करना) को समायोजित करता है।

महत्व और दावे
यह पेपर दावा करता है कि APC तर्कसंगत और प्रभावी दंड नीतियों को सीखकर विकेंद्रीकृत मल्टी-एजेंट सिस्टम में सहयोग को बढ़ावा देने के लिए एक मजबूत समाधान प्रदान करता है। केंद्रीकृत नियंत्रकों, प्रतिष्ठा प्रणालियों, या अवास्तविक पुरस्कार धारणाओं पर निर्भर पूर्व विधियों के विपरीत, APC एक सीखे गए प्रेडिक्टर के माध्यम से विचलन की पहचान करता है और लक्षित, श्रेणीबद्ध दंड लागू करता है। लेखक का तर्क है कि यह दृष्टिकोण दंड की लागत और उसके निवारक प्रभाव के बीच प्रभावी ढंग से संतुलन बनाता है, जिससे जटिल सामाजिक दुविधाओं में सहयोग बढ़ता है।

सीमाएं
लेखक विनम्रतापूर्वक नोट करते हैं कि वर्तमान में APC का मूल्यांकन अपेक्षाकृत सरल वातावरण में किया गया है। अधिक जटिल, वास्तविक मल्टी-एजेंट परिदृश्यों में इसकी प्रभावकारिता और मापनीयता (scalability) का सत्यापन किया जाना शेष है। इसके अलावा, यह कार्य केवल दंड तंत्रों पर केंद्रित है, जिससे यह प्रश्न खुला रह जाता है कि APC सहयोग के लिए पुरस्कार-आधारित विधियों के पूरक के रूप में कैसे कार्य कर सकता है।

1. "स्निफर डॉग" (धोखाधड़ी के प्रति जागरूकता)

2. "स्मार्ट जुर्माना" (अनुकूलित तीव्रता)

3. "स्मार्ट टाइमर" (अनुकूलित संभावना)

प्रयोगों में क्या हुआ?

मुख्य निष्कर्ष

इसी तरह के और पेपर