💻 संगणक विज्ञान

When Local Credit Assignment Breaks: Exact Diagnostics of Additive and Pairwise Reward Projection

यह शोधपत्र एक पूर्णतः पुनरुत्पादनीय निदान प्रस्तुत करता है जो यह दर्शाता है कि स्पार्स-रिवॉर्ड (sparse-reward) सहकारी खेलों में, मानक योगात्मक और युग्मित रिवॉर्ड प्रोजेक्शन कम माध्य वर्ग त्रुटि (mean squared error) प्राप्त कर सकते हैं, फिर भी इष्टतम संयुक्त क्रिया (optimal joint action) की पहचान करने में बुरी तरह विफल हो सकते हैं, जिससे निर्णय की गुणवत्ता के माप के रूप में पुनर्निर्माण त्रुटि (reconstruction error) की अपर्याप्तता उजागर होती है।

मूल लेखक: Krishna Varun Kasamneni

प्रकाशित 2026-11-10✓ Author reviewed ⓘ

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Krishna Varun Kasamneni

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक आम चुनौती स्वतंत्र एजेंटों के एक समूह को एक साझा लक्ष्य की ओर मिलकर काम करने के लिए प्रेरित करना है। कल्पना कीजिए कि रोबोट की एक टीम एक भारी वस्तु को हिलाने की कोशिश कर रही है; प्रत्येक रोबोट केवल अपने तत्काल परिवेश को देख सकता है और उसे एक स्थानीय संकेत के आधार पर निर्णय लेना चाहिए, फिर भी पूरी टीम को तभी एक एकल पुरस्कार (रिवॉर्ड) मिलता है जब पूरा समूह सफल होता है। इसे काम करने योग्य बनाने के लिए, शोधकर्ता अक्सर एक ऐसी प्रणाली बनाने की कोशिश करते हैं जहाँ टीम के कुल पुरस्कार को प्रत्येक रोबмट के व्यक्तिगत स्कोर को जोड़कर पुनर्गठित किया जा सके। यह विचार, जिसे 'एडिटिव डीकंपोजिशन' (additive decomposition) कहा जाता है, लोकप्रिय है क्योंकि यह सरल और कुशल है। हालाँकि, एक महत्वपूर्ण प्रश्न बना हुआ है: यदि गणित कहता है कि व्यक्तिगत स्कोर सही कुल योग में जुड़ते हैं, तो क्या यह गारंटी देता है कि टीम वास्तव में उस पुरस्कार को पाने के लिए सही कदम उठाएगी? यह संभव है कि एक प्रणाली औसत रूप से गणितीय रूप से सटीक हो, फिर भी वह उस एक निर्णय को लेने में विफल हो जाए जो सबसे महत्वपूर्ण है।

एक हालिया अध्ययन में, स्वतंत्र शोधकर्ता कृष्णा वरुण कासमन ने ठीक इसी गणितीय सटीकता और व्यावहारिक सफलता के बीच के अंतर की जांच की है। शोधकर्ता ने एजेंटों के एक समूह द्वारा खेले जाने वाले एक सिंगल-स्टेप गेम वाले एक बहुत ही विशिष्ट, नियंत्रित परिदृश्य का निर्माण किया। इस खेल में एक आदर्श परिणाम है जहाँ प्रत्येक एजेंट मिलकर एक विशिष्ट क्रिया चुनता है, जिससे उच्च पुरस्कार प्राप्त होता है। हालाँकि, यह आदर्श परिणाम अत्यंत दुर्लभ है; यदि आप यादृच्छिक रूप से (at random) क्रियाएं चुनते हैं, तो समूह में अधिक एजेंट जोड़ने पर इस जीतने वाली संयोजन तक पहुँचने की संभावना नाटकीय रूप रूप से गिर जाती है। बाकी समय, एजेंटों को शून्य या नकारात्मक पुरस्कार प्राप्त होता है। शोधकर्ता ने यह परीक्षण करने के लिए इस सेटअप का उपयोग किया कि क्या मानक गणितीय विधियाँ जीतने वाली रणनीति को सही ढंग से पहचान सकती हैं।

अध्ययन में पाया गया कि भले ही गणितीय मॉडल सभी संभावित परिदृश्यों में औसत पुरस्कार का पूर्ण रूप से पुनर्गठन करता है, फिर भी यह जीतने वाली चाल को पहचानने में विफल हो सकता है। सोलह एजेंटों के साथ किए गए सिमुलेशन में, मॉडल की औसत त्रुटि इतनी कम थी कि वह लगभग अदृश्य थी, जो लगभग 0.000015 मापी गई। फिर भी, इस सूक्ष्म त्रुटि के बावजूद, मॉडल ने लगभग 99.9% मामलों में गलत क्रिया चुनी, जिसके परिणामस्वरूप लगभग 99.9% की विफलता दर रही। मॉडल औसत को सही करने पर इतना केंद्रित था कि उसने उस दुर्लभ, उच्च-मूल्य वाली घटना को अनदेखा कर दिया जिसने खेल को परिभाषित किया था। ऐसा इसलिए हुआ क्योंकि जीतने वाली क्रिया इतनी दुर्लभ थी कि औसत में उसका योगदान नगण्य था, जिससे मॉडल सांख्यिकीय अर्थ में "सही" होने के बावजूद व्यावहारिक रूप से बेकार हो गया।

शोधकर्ता ने इसके बाद यह परीक्षण किया कि क्या एजेंटों के बीच अधिक जटिल संबंध जोड़ना इस समस्या को ठीक कर देगा। उन्होंने मॉडल को यह देखने की क्षमता देकर प्रयास किया कि एजेंटों के जोड़े आपस में कैसे परस्पर क्रिया करते हैं, बजाय इसके कि उन्हें केवल व्यक्तिगत रूप से देखा जाए। हालाँकि इस अतिरिक्त जानकारी ने गणितीय फिट को थोड़ा अधिक सटीक बनाया, लेकिन इसने परिणाम को नहीं बदला। मॉडल अभी भी गलत क्रिया ही चुनता रहा। यह सुझाव देता है कि केवल गणित को अधिक विस्तृत बनाना उस मूल समस्या को हल नहीं करता है जब जीतने वाली चाल संभावनाओं के एक विशाल समुद्र में छिपी होती है। मॉडल का उद्देश्य औसत त्रुटि को कम करना था, और ऐसा करते हुए, वह स्वाभाविक रूप से उस दुर्लभ, महत्वपूर्ण घटना से दूर चला गया।

यह सिद्ध करने के लिए कि समस्या गणना पद्धति की खामी नहीं बल्कि लक्ष्य की खामी थी, शोधकर्ता ने एक विशेष परीक्षण पेश किया। उन्होंने मॉडल को स्पष्ट रूप से बताया कि विजेता क्रिया कौन सी है और सीखने की प्रक्रिया के दौरान उस विशिष्ट क्रिया को अतिरिक्त महत्व दिया। जब मॉडल को जीतने वाली चाल की परवाह करने के लिए मजबूर किया गया, तो इसने तुरंत उसे सही ढंग से चुनना शुरू कर दिया। हालाँकि, इस सुधार के साथ एक लागत भी आई: मॉडल की समग्र औसत त्रुटि वास्तव में बढ़ गई। इसने एक मौलिक तनाव को प्रकट किया: औसत त्रुटि को कम करने का लक्ष्य और सही निर्णय लेने का लक्ष्य एक ही नहीं है। आपके पास एक ऐसा मॉडल हो सकता है जो औसत रूप में गणितीय रूप से पूर्ण है लेकिन निर्णय लेने में बहुत खराब है, या एक ऐसा मॉडल जो सही निर्णय लेता है लेकिन गणितीय रूप से अपूर्ण दिखता है।

अध्ययन ने इस बात पर भी गौर किया कि क्या होता है जब मॉडल केवल सीमित उदाहरण देखता है, न कि संभावनाओं का पूरा ब्रह्मांड। इन परीक्षणों में, भले ही मॉडल ने अपने प्रशिक्षण डेटा में जीतने वाली चाल को देखा हो, फिर भी वह बाद में उसे चुनने में अक्सर विफल रहा। जैसे-जैसे डेटा की मात्रा बढ़ी, इष्टतम क्रिया चुनने की मॉडल की सफलता दर काफी कम हो गई, जो एक प्रयोग में 15% से गिरकर 1% रह गई। यह विरोधाभासी परिणाम दिखाया कि केवल सिस्टम में अधिक डेटा फीड करने से यह गारंटी नहीं मिलती कि वह सही व्यवहार सीख जाएगा, यदि अंतर्निहित गणितीय उद्देश्य वास्तविक लक्ष्य के साथ संरेखित नहीं है।

अंततः, यह कार्य एक नए एल्गोरिदम के बजाय एक सटीक नैदानिक उपकरण (diagnostic tool) के रूप में कार्य करता है। यह प्रदर्शित करता है कि सहयोगात्मक प्रणालियों में, एक छोटी औसत त्रुटि इस बात का विश्वसनीय संकेत नहीं है कि कोई प्रणाली अच्छी तरह से काम कर रही है। शोधकर्ता ने दिखाया कि जब पुरस्कार दुर्लभ होते हैं और टीम का आकार बड़ा होता है, तो मानक विधियाँ सांख्यिकीय सटीकता के पर्दे के पीछे गंभीर विफलताओं को छिपा सकती हैं। ये निष्कर्ष यह दावा नहीं करते कि उन्होंने किसी ऐसी नई विफलता मोड की खोज की है जिसके बारे में कोई नहीं जानता था, बल्कि वे स्पष्ट और पुनरुत्पादक (reproducible) तरीका प्रदान करते हैं कि ये विफलताएं वास्तव में कैसे और क्यों होती हैं। पुनर्निर्माण के गणित को निर्णय लेने की वास्तविकता से अलग करके, यह अध्ययन शोधकर्ताओं को यह सुनिश्चित करने के लिए एक पारदर्शी शुरुआती बिंदु प्रदान करता है कि उनके सिस्टम वास्तव में उन समस्याओं को हल कर रहे हैं जिन्हें डिजाइन किया गया है, न कि केवल कागज़ पर अच्छा दिख रहे हैं।

तकनीकी सारांश: जब स्थानीय क्रेडिट असाइनमेंट विफल हो जाता है

समस्या विवरण
फैक्टर्ड कोऑपरेटिव मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (MARL) में, एजेंट अक्सर एक संयुक्त पुरस्कार (joint reward) से सीखते हैं जबकि उनके कार्य सीमित स्थानीय उपयोगिताओं (local utilities) पर आधारित होते हैं। इन प्रणालियों के लिए एक सामान्य नैदानिक (diagnostic) "पुनर्निर्माण त्रुटि" (reconstruction error) है—जो यह मापता है कि एक एकत्रित भविष्यवाणी (जैसे, स्थानीय मूल्यों का योग) वास्तविक संयुक्त पुरस्कार का कितनी अच्छी तरह से पुनर्निर्माण करती है। यह शोध पत्र तर्क देता है कि औसत पुरस्कार पुनर्निर्माण त्रुटि निर्णय की गुणवत्ता का एक अपूर्ण माप है। विशेष रूप से, एक बड़े एक्शन स्पेस पर त्रुटियों का औसत निकालने से एक एकल, उच्च-मूल्य वाले समन्वित कार्य (coordinated action) में होने वाली गंभीर त्रुटियों को छिपाया जा सकता है। हालांकि पूर्व कार्यों (जैसे, Weighted QMIX) ने नोट किया है कि अनवेटेड प्रोजेक्शन सही संयुक्त मूल्यों तक पहुँच होने के बावजूद गलत क्रियाएं चुन सकता है, यह शोध पत्र एक संक्षिप्त, पूर्णतः पुनरुत्पादनीय (reproducible) नैदानिक प्रदान करता है जो न्यूरल ऑप्टिमाइजेशन या अनुमानित अनुमान (approximate inference) पर निर्भर किए बिना इस घटना को अलग करने और मापने के लिए है।

कार्यप्रणाली (Methodology)
लेखक $n$ एजेंटों और एक एकल अवस्था (state) के साथ एक नियत (deterministic), एक-चरणीय बाइनरी गेम का निर्माण करता है। रिवॉर्ड फंक्शन $R_{n,\kappa}(a)$ को एक दुर्लभ "संयुक्त तालमेल" (joint synergy) को समाहित करने के लिए परिभाषित किया गया है:
$R_{n,\kappa}(a) = \mathbb{1}\{a = \mathbf{1}^n\} - \kappa 2^{1-n} \sum_{i=1}^n a_i$
जहाँ अद्वितीय इष्टतम क्रिया (optimal action) ऑल-वन्स वेक्टर $\mathbf{1}^n$ है, जो सकारात्मक पुरस्कार देती है, जबकि अन्य सभी गैर-शून्य क्रियाएं नकारात्मक पुरस्कार देती हैं। मुख्य सेटिंग में $\kappa = 3/2$ और $n \geq 4$ का उपयोग किया गया है।

अध्ययन इस रिवॉर्ड फंक्शन के सटीक यूनिफॉर्म लीस्ट-स्क्वायर्स एडिटिव प्रोजेक्शन (और पेयरवाइज एक्सटेंशन) का मूल्यांकन करता है।

एस्टिमेटर्स (Estimators): लेखक जनसंख्या वितरण (population distribution) के लिए $\hat{R}(a) = \hat{b}_0 + \sum \hat{b}_i x_i + \sum \hat{b}_{ij} x_i x_j$ (जहाँ $x_i$ वॉल्श फीचर्स हैं) जैसे मॉडलों को फिट करता है।
मेट्रिक्स (Metrics): दो प्राथमिक मेट्रिक्स रिपोर्ट किए गए हैं:
1. मीन स्क्वेर्ड एरर (MSE): यूनिफॉर्म एक्शन स्पेस पर अनुमानित और वास्तविक रिवॉर्ड के बीच औसत वर्ग अंतर।
2. कोऑर्डिनेशन रिग्रेट (Coordination Regret): वास्तविक अधिकतम रिवॉर्ड और अनुमानित मान को अधिकतम करने वाली क्रिया द्वारा प्राप्त रिवॉर्ड के बीच का अंतर।
प्रायोगिक डिजाइन (Experimental Design): पेपर सैंपलिंग शोर (sampling noise) को हटाने के लिए सटीक जनसंख्या मूल्यांकन (exhaustive enumeration up to $n=16$ ) के साथ-साथ कवरेज प्रभावों का अध्ययन करने के लिए परिमित-नमूना (finite-sample) प्रयोग (800 स्वतंत्र फिट्स) का उपयोग करता है। इसमें एक "ओरेकल-एंकर" एब्लेशन भी शामिल है जहाँ फिटिंग के दौरान ज्ञात इष्टतम क्रिया को विशेषाधिकार प्राप्त भार (privileged weight) दिया जाता है।

मुख्य परिणाम

त्रुटि और रिग्रेट का विचलन (Divergence of Error and Regret): जैसे-जैसे एजेंटों की संख्या $n$ बढ़ती है, एडिटिव (और यहाँ तक कि पूर्ण पेयरवाइज) प्रोजेक्शन का पूर्ण MSE तेजी से घटता है (उदाहरण के लिए, $n=16$ पर, MSE $\approx 1.5 \times 10^{-5}$ )। हालाँकि, कोऑर्डिनेशन रिग्रेट लगभग 1.0 के पास रहता है (जैसे, $n=16$ पर, 0.999)। मॉडल लगातार ऑल-ज़ीरोस एक्शन (रिवॉर्ड 0) चुनता है, न कि इष्टतम ऑल-वन्स एक्शन को।
पेयरवाइज फैक्टर्स की अप्रभाविता: पेयरवाइज इंटरेक्शन टर्म्स (चेन, रिंग, स्टार, या कंप्लीट ग्राफ) जोड़ने से पुनर्निर्माण त्रुटि और कम हो जाती है लेकिन यह मैक्सिमाइजिंग एक्शन को नहीं बदलती है। रिग्रेट एडिटिव केस के समान ही रहता है।
नॉर्मलाइजेशन का महत्व: जैसे-जैसे $n$ बढ़ता है, MSE और रिवॉर्ड वेरिएंस का अनुपात 1.0 के करीब पहुँच जाता है। यह प्रकट करता है कि "छोटा" पूर्ण (absolute) एरर स्पार्स-रिवॉर्ड सेटिंग्स में एक सांख्यिकीय विसंगति (statistical artifact) है; मॉडल रिवॉर्ड वितरण के वेरिएंस को समझाने में विफल रहता है।
परिमित नमूना कवरेज (Finite Sample Coverage): सैंपल किए गए प्रयोगों में, डेटासेट का आकार बढ़ाने से दुर्लभ सिनर्जिस्टिक एक्शन को देखने की संभावना बढ़ जाती है। हालाँकि, यह सही पॉलिसी चयन की गारंटी नहीं देता है; कुछ मामलों में, एक्शन को अधिक बार देखना सफलता दर में कमी ला सकता है क्योंकि फिटिंग गलत पॉपुलेशन प्रोजेक्शन की ओर अभिसरित (converge) हो जाती है।
ओरेकल वेटिंग (Oracle Weighting): फिटिंग के दौरान ज्ञात इष्टतम क्रिया पर विशेषाधिकार प्राप्त भार लगाने से पॉलिसी सफलतापूर्वक बदल जाती है (शून्य रिग्रेट प्राप्त करना), लेकिन यह यूनिफॉर्म MSE को बढ़ा देता है, जो भविष्यवाणी उद्देश्यों (ग्लोबल एरर को कम करना) और निर्णय उद्देश्यों (विशिष्ट परिणामों को अधिकतम करना) के बीच एक मौलिक बेमेल को प्रदर्शित करता है।

मुख्य योगदान

सटीक नैदानिक (Exact Diagnostic): एक क्लोज्ड-फॉर्म, विश्लेषणात्मक रूप से हल करने योग्य काउंटर-एग्जांपल जो बाउंडेड-रेंज रिवॉर्ड फैमिली में पुनर्निर्माण त्रुटि को निर्णय की गुणवत्ता से अलग करता है।
टोपोलॉजी स्वतंत्रता (Topology Independence): यह प्रमाण कि पेयरवाइज फैक्टर्स (एक कंप्लीट ग्राफ तक) जोड़ने से पुनर्निर्माण त्रुटि कम हो जाती है लेकिन पॉलिसी विफलता को ठीक नहीं करती है, जो समस्या को उच्च-क्रम के पदों की कमी के बजाय सिनर्जी की विशिष्ट संरचना तक आइसोलेट करती है।
मेट्रिक स्पष्टीकरण: एक प्रदर्शन कि स्पार्स-रिवॉर्ड सेटिंग्स में पूर्ण MSE निर्णय की गुणवत्ता के लिए एक खराब प्रमाणपत्र है, जो वेरिएंस-नॉर्मलाइज्ड एरर और रिग्रेट मेट्रिक्स की वकालत करता है।
पुनरुत्पादनीयता (Reproducibility): एक पूर्णतः पारदर्शी पैकेज जिसमें प्रमाण, नियंत्रित एब्लेशन, कच्चे परिणाम और कोड शामिल हैं, जो स्पष्ट रूप से नए एल्गोरिदम की श्रेष्ठता के दावों के बजाय सीधे निरीक्षण की अनुमति देता है।

महत्व और दावे
यह पेपर विनम्रतापूर्वक अपने योगदान को पुनर्निर्माण मेट्रिक्स की व्याख्या करने के लिए एक "वर्क्ड टेस्ट केस" के रूप में प्रस्तुत करता है। यह स्पष्ट रूप से कहता है:

यह दावा नहीं करता कि इसने कोई नई पैथोलॉजी खोजी है (पुनर्निर्माण-निर्णय अंतराल पहले से ही Weighted QMIX जैसे कार्यों में स्थापित है)।
यह कोई नया MARL एल्गोरिदम प्रस्तावित नहीं करता है और न ही एल्गोरिदम की श्रेष्ठता का दावा करता है।
यह LOMAQ, VDN, या QMIX जैसे विशिष्ट न्यूरल बेसलाइन्स को पुनरुत्पादित या मूल्यांकित नहीं करता है।
इसका निर्माण "जानबूझकर प्रतिकूल और अत्यधिक सममित (adversarial and highly symmetric)" है ताकि एक स्वच्छ काउंटर-एग्जांपल प्रदान किया जा सके, न कि जटिल वातावरण में व्यावहारिक व्यापकता का वास्तविक अनुमान।

इसका प्राथमिक मूल्य एक पारदर्शी, निष्पादन योग्य नैदानिक प्रदान करने में निहित है जो न्यूरल ऑप्टिमाइजेशन और अनुमानित अनुमान को भ्रमित करने वाले चरों (confounding variables) के रूप में हटा देता है, जिससे शोधकर्ता सीधे यह देख सकते हैं कि यूनिफॉर्म प्रोजेक्शन उद्देश्य सहकारी सेटिंग्स में महत्वपूर्ण निर्णयों को संरक्षित करने में कैसे विफल हो सकते हैं।

इसी तरह के और पेपर