🤖 machine learning

Altruism and Fair Objective in Mixed-Motive Markov games

यह शोध पत्र मिश्रित-प्रेरणा वाले मार्कोव खेलों (mixed-motive Markov games) के लिए एक नवीन ढांचे का प्रस्ताव करता है जो मानक उपयोगितावादी उद्देश्य को "आनुपातिक निष्पक्षता" (Proportional Fairness) दृष्टिकोण से बदल देता है, जिसमें सामाजिक दुविधाओं में अधिक न्यायसंगत सहयोग को बढ़ावा देने के लिए निष्पक्ष परोपकारी उपयोगिता और नए एक्टर-क्रिटिक एल्गोरिदम पेश किए गए हैं।

मूल लेखक: Yao-hua Franck Xu, Tayeb Lemlouma, Arnaud Braud, Jean-Marie Bonnin

प्रकाशित 2026-02-10

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Yao-hua Franck Xu, Tayeb Lemlouma, Arnaud Braud, Jean-Marie Bonnin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप पड़ोसियों के एक समूह का हिस्सा हैं जिन्हें एक सामुदायिक उद्यान (कम्युनिटी गार्डन) के रखरखाव का काम सौंपा गया है। बगीचे को सुंदर और उत्पादक बनाए रखने के लिए, सभी को खरपतवार निकालने और पौधों को पानी देने (सहकारी कार्य) में मदद करनी होगी। हालाँकि, यहाँ एक प्रलोभन है: आप बस अपने बरामदे पर बैठ सकते हैं, स्वादिष्ट स्ट्रॉबेरी खा सकते हैं, और अपने पड़ोसियों को सारा कठिन काम करने दे सकते हैं।

यदि हर कोई इसी तरह सोचता है, तो बगीचा नष्ट हो जाएगा और सभी भूखे मर जाएंगे। वैज्ञानिक इसे "सोशल डिलेमा" (सामाजिक दुविधा) कहते हैं।

यह शोध पत्र इस बात की खोज करता है कि कैसे आर्टिफिशियल इंटेलिजेंस (AI) का उपयोग डिजिटल "एजेंटों" (जैसे रोबोट पड़ोसी) को इन पेचीदा स्थितियों में बिना किसी के साथ अन्याय किए सहयोग करना सिखाने के लिए किया जा सकता है।

समस्या: "विजेता सब कुछ ले जाता है" वाला जाल

अधिकांश वर्तमान AI को यूटिलिटेरियन (उपयोगितावादी) होने के लिए सिखाया जाता है। इसे एक ऐसे कोच की तरह समझें जिसे केवल टीम के कुल स्कोर की चिंता होती है। यदि कोच देखता है कि एक सुपरस्टार खिलाड़ी 100 अंक बना सकता है जबकि अन्य 10 खिलाड़ियों के अंक शून्य हैं, तो कोच खुश होता है क्योंकि कुल स्कोर अधिक है।

लेकिन वास्तविक दुनिया में, यह एक आपदा है। यदि एक व्यक्ति सारा काम करता है और बाकी सभी बस देखते रहते हैं, तो "टीम" अंततः बिखर जाएगी क्योंकि काम करने वाले लोग या तो थक जाएंगे या क्रोधित हो जाएंगे। यह एक "अत्यधिक असमान" परिणाम की ओर ले जाता है—जहाँ कुछ लोग बड़ी जीत हासिल करते हैं और बाकी सभी हार जाते हैं।

समाधान: "फेयरनेस स्केल" (निष्पक्षता पैमाना)

शोधकर्ता सोचने का एक नया तरीका प्रस्तावित करते हैं जिसे प्रोपोर्शनल फेयरनेस (आनुपातिक निष्पक्षता) कहा जाता है।

केवल चीजों की कुल मात्रा (जैसे कुल सेब की कटाई) को अधिकतम करने के बजाय, AI को एक नया लक्ष्य दिया जाता है: इनाम के "लॉग" (Log) को अधिकतम करना।

उपमा: पिज्जा पार्टी
कल्पना कीजिए कि आपके पास भूखे दोस्तों के एक समूह में पिज्जा वितरित करने के दो तरीके हैं:

यूटिलिटेरियन तरीका: आप सबसे मजबूत व्यक्ति को 10 पिज्जा देते हैं और बाकी सभी को 0 पिज्जा देते हैं। "कुल पिज्जा" अधिक है, लेकिन समूह नाखुश और अव्यवस्थित है।
प्रोपोर्शनल फेयरनेस तरीका: आप सुनिश्चित करते हैं कि हर किसी को एक उचित मात्रा मिले। आप 5 दोस्तों में से प्रत्येक को 2 पिज्जा दे सकते हैं। "कुल पिज्जा" थोड़ा कम हो सकता है (10 बनाम 10, लेकिन वितरण का अहसास अलग है), लेकिन समूह की 'यूटिलिटी' या खुशी बहुत अधिक है क्योंकि कोई भूखा नहीं है।

इस "लॉगैरिद्मिक" गणित का उपयोग करके, AI "परोपकारी" (दूसरों की परवाह करने वाला) बन जाता है, लेकिन एक स्मार्ट तरीके से। यह केवल सब कुछ दान नहीं करता; यह एक ऐसा संतुलन खोजता है जहाँ सभी की सफलता समूह की सफलता से जुड़ी होती है।

उन्होंने इसका परीक्षण कैसे किया: "क्लीनअप" गेम

शोधकर्ताओं ने अपने AI को "क्लीनअप" नामक एक डिजिटल सिमुलेशन में डाला। इस खेल में, एजेंटों को सेब काटने होते हैं, लेकिन उन्हें नदी की सफाई भी करनी होती है। यदि वे केवल सेब काटते हैं और सफाई करना भूल जाते हैं, तो नदी प्रदूषित हो जाती है, सेब उगना बंद हो जाते हैं, और खेल समाप्त हो जाता है।

क्या हुआ?

पुराना तरीका (यूटिलिटेरियन): AI "आलसी" और असमान हो गया। कुछ एजेंटों ने सारा काम किया जबकि अन्य बस खाते रहे। यह एक क्षण के लिए कुशल था, लेकिन यह बहुत अन्यायपूर्ण था (एक उच्च "गिनी गुणांक", जो असमानता बताने का एक तकनीकी तरीका है)।
नया तरीका (फेयर ऑल्ट्रुइज्म - निष्पक्ष परोपकार): एजेंटों ने काम को संतुलित करना सीखा। उन्होंने मिलकर सेब भी काटे और नदी की सफाई भी की। आश्चर्यजनक रूप से, यह न केवल अधिक निष्पक्ष था—बल्कि यह वास्तव में अधिक कुशल भी था! क्योंकि हर कोई भाग ले रहा था और वातावरण स्वस्थ बना रहा, समूह वास्तव में लंबे समय में अधिक सेब प्राप्त करने में सफल रहा।

बड़ी तस्वीर

यह शोध पत्र सिद्ध करता है कि निष्पक्षता केवल एक "अच्छा होना चाहिए" वाला नैतिक विचार नहीं है—यह एक उत्तरजीविता रणनीति (survival strategy) है।

जब हम AI को केवल कच्चे आंकड़ों (यूटिलिटेरियनवाद) के बजाय समान वितरण (प्रोपोर्शनल फेयरनेस) की परवाह करना सिखाते हैं, तो हम ऐसी प्रणालियाँ बनाते हैं जो अधिक स्थिर, अधिक टिकाऊ और वास्तविक दुनिया की जटिल "सामाजिक दुविधाओं" को हल करने में बेहतर होती हैं।

तकनीकी सारांश: मिश्रित-प्रेरणा वाले मार्कोव गेम्स में परोपकारिता और निष्पक्ष उद्देश्य

1. समस्या विवरण

बहु-एजेंट प्रणालियों (MAS) में, सामूहिक कल्याण के लिए सहयोग आवश्यक है। हालाँकि, एजेंट अक्सर सामाजिक दुविधाओं (जैसे, प्रिज़नर्स डिलेमा, ट्रेजेडी ऑफ द कॉमन्स) का सामना करते हैं, जहाँ व्यक्तिगत तर्कसंगतता (व्यक्तिगत लाभ के लिए विश्वासघात करना) सामूहिक विफलता और असमान परिणामों की ओर ले जाती है।

वर्तमान मल्टी-एजेंट सुदृढ़ीकरण लर्निंग (MARL) दृष्टिकोण आमतौर पर एक उपयोगितावादी कल्याण (Utilitarian Welfare) उद्देश्य का उपयोग करते हैं (सभी एजेंटों के पुरस्कारों के योग को अधिकतम करना)। हालांकि यह सिद्धांत में कुशल है, लेकिन यह दृष्टिकोण अक्सर अत्यधिक असमानता का परिणाम देता है, जहाँ कुछ एजेंट सारा लाभ प्राप्त करते हैं जबकि अन्य सहयोग की लागत वहन करते हैं। लेखक एक महत्वपूर्ण अंतराल की पहचान करते हैं: निष्पक्षता को बढ़ावा देने के मौजूदा तरीके अक्सर पर्यावरण-निर्भर होते हैं, वे तात्कालिक व्यवहार को पुरस्कृत करते हैं न कि दीर्घकालिक प्रक्षेपवक्र (trajectories) को, और उनमें पॉलिसी ग्रेडिएंट्स का गहरा विश्लेषणात्मक आधार नहीं होता है।

2. कार्यप्रणाली

यह शोध पत्र एक नया ढांचा प्रस्तावित करता है जो उपयोगितावादी उद्देश्य को 'अनुपातिक निष्पक्षता' (Proportional Fairness - PF) से बदल देता है, जो संसाधन आवंटन से एक अवधारणा है जो उपयोगिताओं के लघुगणक (logarithms) के योग को अधिकतम करके दक्षता और समता के बीच संतुलन बनाती है।

मुख्य कार्यप्रणालीगत चरण शामिल हैं:

परोपकारी खेलों को पुनरपरिभाषित करना: लेखक $\alpha$ -परोपकारिता की अवधारणा को PF की लघुगणकीय प्रकृति को समायोजित करने के लिए विस्तारित करते हैं। वे प्रत्येक एजेंट $i$ के लिए एक "निष्पक्ष परोपकारी उपयोगिता" को इस प्रकार परिभाषित करते हैं:
$u_i(s) = (1 - \alpha) \log(p_i(s) - m_p) + \alpha SW(s)$
जहाँ $m_p$ धनात्मकता सुनिश्चित करने के लिए एक बेसलाइन पेऑफ है, और $SW(s)$ सामाजिक कल्याण है।
फेयर ऑल्ट्रुइस्टिक मार्कोव गेम: इस ढांचे को अनुक्रमिक निर्णय लेने (sequential decision-making) के लिए विस्तारित किया गया है। लेखक प्रत्येक एजेंट के लिए एक नया उद्देश्य फलन $J_i(\boldsymbol{\theta})$ परिभाषित करते हैं, जो उनके अपने लॉग-वैल्यू फंक्शन और अन्य सभी एजेंटों के लॉग-वैल्यू फंक्शन्स का एक भारित योग है, जिसे परोपकारिता पैरामीटर $\alpha$ द्वारा स्केल किया गया है।
पॉलिसी ग्रेडिएंट व्युत्पत्ति: लेखक एक फेयर पॉलिसी ग्रेडिएंट थ्योरम व्युत्पन्न करते हैं। वे सिद्ध करते हैं कि इस नए उद्देश्य के ग्रेडिएंट को एक फेयर ऑल्ट्रुइस्टिक एडवांटेज फंक्शन का उपयोग करके संगणना किया जा सकता है, जो एक्टर-क्रिटिक एल्गोरिदम (Fair MAA2C और Fair MAPPO) के विकास की अनुमति देता है।

3. मुख्य योगदान

सैद्धांतिक ढांचा: मार्कोव गेम औपचारिकता के भीतर अनुपातिक निष्पक्षता और परोपकारिता के बीच एक गणितीय सेतु।
विश्लेषणात्मक स्थितियाँ: क्लासिक सामाजिक दुविधाओं (प्रिज़नर्स डिलेमा, स्टैग हंट और चिकन) में पारस्परिक सहयोग को नैश इक्विलिब्रियम (Nash Equilibrium) बनाने के लिए आवश्यक $\alpha$ के सटीक थ्रेशोल्ड की व्युत्पत्ति।
नए एल्गोरिदम: नवीन पॉलिसी ग्रेडिएंट थ्योरम की व्युत्पत्ति और फेयर एक्टर-क्रिटिक एल्गोरिदम का कार्यान्वयन।
अनुभवजन्य सत्यापन (Empirical Validation): एक तुलनात्मक अध्ययन जो दिखाता है कि PF-आधारित उद्देश्य दक्षता और समता दोनों में उपयोगितावादी उद्देश्यों से बेहतर प्रदर्शन कर सकते हैं।

4. परिणाम

लेखकों ने अपने तरीके का मूल्यांकन 'CleanUp' वातावरण (Melting Pot 2.0 से) में किया, जो एक संसाधन प्रबंधन सामाजिक दुविधा है जहाँ एजेंटों को सेब काटने (स्वार्थी) और नदी को साफ करने (सहयोगी) के बीच संतुलन बनाना होता है।

दक्षता बनाम समता: एक पूर्णतः सहकारी सेटिंग ( $\alpha=1$ ) में, अनुपातिक निष्पक्षता (PF) उद्देश्य, उपयोगितावादी कल्याण (UW) उद्देश्य की तुलना में काफी बेहतर रहा। UW दृष्टिकोण एक "विशेषज्ञता" जाल (specialization trap) की ओर ले गया जहाँ केवल कुछ एजेंटों ने फसल काटी जबकि अन्यों ने कुछ नहीं किया, जिसके परिणामस्वरूप कम कुल पुरस्कार और उच्च असमानता (जीनी इंडेक्स $\approx 0.8$ ) हुई। इसके विपरीत, PF ने उच्च कुल पुरस्कार और बहुत कम असमानता प्राप्त की।
इष्टतम परोपकारिता (Optimal Altruism): Fair-MAPPO का उपयोग करते हुए, लेखकों ने पाया कि परोपकारिता का एक मध्यवर्ती स्तर ( $\alpha = 0.7$ $α = 0.7$ ) सर्वोत्तम परिणाम देता है।
- यदि $\alpha$ बहुत अधिक है (1.0), तो एजेंट उप-इष्टतम सहकारी जाल में फंस सकते हैं।
- यदि $\alpha$ बहुत कम है (0.2), तो एजेंट पर्यावरण (नदी) को बनाए रखने के लिए बहुत अधिक स्वार्थी हो जाते हैं, जिससे संसाधन पतन हो जाता है।
स्थिरता: जबकि Fair-MAA2C ने उच्च विचरण/अस्थिरता दिखाई (जो A2C में सामान्य है), Fair-MAPPO ने निम्न जीनी गुणांक (0.05 से 0.2) के साथ स्थिर लर्निंग कर्व प्रदर्शित किया, जो अत्यधिक न्यायसंगत वितरण का संकेत देता है।

5. महत्व

यह शोध पत्र बहु-एजेंट सहयोग के प्रतिमान को "कुल पाई को अधिकतम करने" से बदलकर "पाई के निष्पक्ष वितरण को अधिकतम करने" की ओर ले जाता है। यह सिद्ध करके कि अनुपातिक निष्पक्षता वास्तव में विषम समूहों में कुल दक्षता को बढ़ा सकती है, लेखक अधिक स्थिर, टिकाऊ और सामाजिक रूप से स्वीकार्य कृत्रिम बुद्धिमत्ता प्रणाली को डिजाइन करने के लिए एक गणितीय आधार प्रदान करते हैं। इसके वास्तविक दुनिया के अनुप्रयोगों जैसे स्वायत्त यातायात प्रबंधन, स्मार्ट ग्रिड और सहयोगात्मक रोबोटिक्स के लिए गहरे निहितार्थ हैं, जहाँ प्रदर्शन के साथ-साथ निष्पक्षता भी उतनी ही महत्वपूर्ण है।