🤖 AI

A Unified Framework for Locality in Scalable MARL

यह शोध पत्र स्केलेबल मल्टी-एजेंट रिइन्फोर्समेंट लर्निंग में लोकैलिटी (locality) के लिए एक एकीकृत ढांचे को प्रस्तुत करता है जो मान क्षय (value decay) के लिए एक कड़े, नीति-निर्भर स्पेक्ट्रल सर्टिफिकेट (spectral certificate) को व्युत्पन्न करने हेतु पर्यावरण और नीति संवेदनशीलता को विघटित करता है, जिससे उन क्षेत्रों में घातीय रूप से क्षय होने वाले ट्रंकेशन बायस (truncation bias) के साथ कुशल ब्लॉक-कोऑर्डिनेट पॉलिसी इम्प्रूवमेंट सक्षम होता है जहाँ पूर्ववर्ती समान बाउंड्स (uniform bounds) विफल हो जाते हैं।

मूल लेखक: Sourav Chakraborty, Amit Kiran Rege, Claire Monteleoni, Lijun Chen

प्रकाशित 2026-06-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sourav Chakraborty, Amit Kiran Rege, Claire Monteleoni, Lijun Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि हजारों संगीतकारों (एजेंटों) का एक विशाल ऑर्केस्ट्रा एक साथ सिम्फनी बजाने की कोशिश कर रहा है। मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (MARL) की दुनिया में, ये संगीतकार एक बेहतर स्कोर (रिवॉर्ड) पाने के लिए सहयोग करना सीख रहे हैं।

समस्या यह है कि यदि प्रत्येक संगीतकार को अगला नोट क्या बजाना है, यह तय करने के लिए अन्य प्रत्येक संगीतकार को सुनना पड़े, तो यह सिस्टम प्रबंधित करना असंभव हो जाएगा। यह एक ऐसी सिम्फनी संचालित करने जैसा है जहाँ कंडक्टर को हॉल के पीछे से सामने तक हर एक वाद्य यंत्र की आवाज़ तुरंत सुननी पड़ती है। यह "कर्स ऑफ डायमेंशनैलिटी" (curse of dimensionality) है।

इस समस्या को हल करने के लिए, वैज्ञानिक आमतौर पर कहते हैं: "आइए बस प्रत्येक संगीतकार को अपने निकटतम पड़ोसियों को सुनने दें।" लेकिन यह तभी काम करता है जब सिस्टम लोकल (स्थानीय) हो। दूसरे शब्दों में, यदि पीछे की पंक्ति का एक वायलिन वादक गलती करता है, तो उससे सामने बैठे बांसुरी वादक का पूरा शो खराब नहीं होना चाहिए। यदि एक छोटी सी त्रुटि पूरे कमरे में लहरों की तरह फैल जाए और बढ़ जाए, तो "केवल पड़ोसियों को सुनने" की रणनीति विफल हो जाती है।

यह शोध पत्र एक नया, अधिक स्मार्ट तरीका पेश करता है जिससे यह जांचा जा सके कि वह "लहर प्रभाव" (ripple effect) जल्दी खत्म हो जाएगा या अनियंत्रित होकर फैल जाएगा।

पुराना तरीका: "वर्स्ट-केस" (सबसे खराब स्थिति) का बटन

पहले, शोधकर्ता डोब्रुशिन बाउंड (Dobrushin bound) नामक एक विधि का उपयोग करते थे। इसे एक सुरक्षा गार्ड की तरह समझें जो हमेशा सबसे खराब स्थिति की कल्पना करता है।

तर्क: गार्ड पूछता है, "यदि एजेंट A सबसे अराजक, अप्रत्याशित तरीके से अपना कार्य बदल देता है, तो एजेंट B के अगले कदम में कितना बदलाव आएगा?"
दोष: यह गार्ड इस तथ्य को अनदेखा कर देता है कि संगीतकार वास्तव में एक स्क्रिप्ट (पॉलिसी) का पालन कर रहे हैं। भले ही एजेंट A अराजक हो सकता था, लेकिन उसकी वर्तमान स्क्रिप्ट बहुत शांत और अनुमानित हो सकती है। पुराना तरीका स्क्रिप्ट को फेंक देता है और केवल अराजकता की संभावना को देखता है। यह अक्सर कहता है, "यह सिस्टम बहुत खतरनाक है, यह लोकल नहीं हो सकता!" भले ही संगीतकार वास्तव में बहुत सुचारू रूप से बजा रहे हों।

नया तरीका: "स्मूथ स्क्रिप्ट" (सुचारू पटकथा) फ्रेमवर्क

लेखक एक एकीकृत फ्रेमवर्क प्रस्तावित करते हैं जो समस्या को दो भागों में विभाजित करता है: पर्यावरण (Environment) और पॉलिसी (पटकथा/Script)।

वे एक एजेंट द्वारा दूसरे पर डाले जाने वाले "प्रभाव" को एक सरल समीकरण में तोड़ते हैं:

कुल प्रभाव = (पर्यावरण संवेदनशीलता) + (एक्शन संवेदनशीलता × पॉलिसी प्रतिक्रियाशीलता)

आइए इसे एक ट्रैफिक लाइट सिस्टम के उदाहरण से समझते हैं:

पर्यावरण संवेदनशीलता ( $E_s$ ): यदि एक कार (स्टेट) चलती है, तो ट्रैफिक लाइट कितनी बदलती है? यह शहर के डिज़ाइन द्वारा निर्धारित होता है।
एक्शन संवेदनशीलता ( $E_a$ ): यदि कोई ड्राइवर (एक्शन) अचानक ब्रेक लगाता है, तो ट्रैफिक लाइट कितनी बदलती है? यह भी कार के मैकेनिक्स द्वारा निर्धारित होता है।
पॉलिसी प्रतिक्रियाशीलता ( $\Pi$ ): लाइट बदलने पर ड्राइवर वास्तव में कितनी ज़ोर से ब्रेक लगाता है?

पुराना तरीका यह मान लेता था कि ड्राइवर हमेशा ज़ोर से ब्रेक लगाता है (अधिकतम प्रतिक्रियाशीलता)।
नया तरीका ड्राइवर के वास्तविक व्यवहार को देखता है। यदि ड्राइवर शांत और सुचारू (एक "स्मूथ पॉलिसी") है, तो वह छोटे बदलावों पर बहुत कम प्रतिक्रिया देता है। भले ही कार ब्रेकिंग के प्रति संवेदनशील हो ( $E_a$ उच्च हो), यदि ड्राइवर शांत है ( $\Pi$ कम है), तो ट्रैफिक लाइट बहुत कम बदलेगी।

"स्पेक्ट्रल रेडियस" (Spectral Radius) सर्टिफिकेट

यह शोध पत्र स्पेक्ट्रल रेडियस पर आधारित एक गणितीय "सर्टिफिकेट" (पास/फेल टेस्ट) पेश करता है।

कल्पना कीजिए कि ट्रैफिक सिस्टम पाइपों का एक नेटवर्क है। "स्पेक्ट्रल रेडियस" यह मापता है कि सिस्टम में अधिकतम कितना पानी का दबाव बन सकता है।
यदि यह दबाव 1 से कम है, तो लहरें तेजी से खत्म हो जाती हैं। पाइप की शुरुआत में हुई गलती अंत तक नहीं पहुँचती।
लेखक सिद्ध करते हैं कि यह नया टेस्ट पुराने "वर्स्ट-केस" टेस्ट की तुलना में स्ट्रिक्टली वीकर (Strictly Weaker) (पास होने में आसान) है। यह हमें यह प्रमाणित करने की अनुमति देता है कि एक सिस्टम लोकल है, भले ही पुराना तरीका कहता कि वह नहीं है, सिर्फ इसलिए क्योंकि एजेंट एक सुचारू और अनुमानित स्क्रिप्ट का पालन कर रहे हैं।

टेम्परेचर नॉब ( $\tau$ )

इनमें से एक सबसे व्यावहारिक खोज सॉफ्टमैक्स पॉलिसियों (Softmax Policies) के बारे में है (जो निर्णय लेने का एक सामान्य तरीका है)। इन पॉलिसियों में एक "टेम्परेचर" नॉब ( $\tau$ ) होता है।

कम तापमान (Low Temperature): एजेंट बहुत लालची और निर्णायक होते हैं। वे परिवर्तनों पर तीखी प्रतिक्रिया देते हैं। यह सिस्टम को "शोर भरा" (noisy) और लोकल बनाए रखना कठिन बनाता है।
उच्च तापमान (High Temperature): एजेंट अधिक रैंडम और "स्मूथ" होते हैं। वे छोटे बदलावों पर अत्यधिक प्रतिक्रिया नहीं देते।
अंतर्दृष्टि: तापमान नॉब को बढ़ाकर, आप वास्तव में एजेंटों को अधिक सुचारू बनाते हैं। यह उनकी "पॉलिसी प्रतिक्रियाशीलता" को कम करता है, जो सर्टिफिकेट को और सटीक बनाता है और गारंटी देता है कि सिस्टम लोकल बना रहेगा। यह एक ट्रेड-ऑफ है: आपको एक अधिक स्थिर, लोकल सिस्टम मिलता है, लेकिन एजेंट अपने तात्कालिक कार्य में थोड़े कम "परफेक्ट" हो सकते हैं।

एल्गोरिदम: एक लोकलाइज्ड ओरकल (Localized Oracle)

अंत में, यह शोध पत्र इस सिद्धांत का उपयोग एक बेहतर सीखने वाला एल्गोरिदम बनाने के लिए करता है।

कल्पना कीजिए कि एक एजेंट अपने प्रदर्शन को सुधारने की कोशिश कर रहा है। पूरे ऑर्केस्ट्रा की स्थिति जानने के बजाय, उसे केवल अपने $\kappa$ -हॉप पड़ोस (दोस्त, दोस्तों के दोस्त, आदि) को देखने की आवश्यकता है।
शोध पत्र सिद्ध करता है कि यदि "लहर प्रभाव" पर्याप्त तेज़ी से खत्म हो जाता है (जिसे हमारा नया सर्टिफिकेट गारंटी देता है), तो दूर के एजेंटों को अनदेखा करने से होने वाली त्रुटि एक्सपोनेंशियल (घातांकीय) रूप से कम हो जाती है।
यह कहने जैसा है: "यदि मैं केवल अपने पड़ोसियों को सुनता हूँ, तो मुझे 99% सही उत्तर मिलेगा, और जो 1% गायब है वह इतना छोटा है कि उससे कोई फर्क नहीं पड़ता।"

सारांश

यह शोध पत्र हमें एक नया और अधिक सटीक तरीका देता है जिससे यह पता लगाया जा सके कि क्या AI एजेंटों का एक समूह बिना सभी से बात किए मिलकर काम कर सकता है।

पुराना दृष्टिकोण: "यदि सिस्टम अराजक हो सकता है, तो यह लोकल नहीं है।" (बहुत निराशावादी)।
नया दृष्टिकोण: "यदि एजेंटों का वास्तविक व्यवहार सुचारू है, तो सिस्टम लोकल है।" (अधिक सटीक)।
परिणाम: अब हम जटिल वातावरणों में एजेंटों के विशाल नेटवर्क को केवल स्थानीय जानकारी का उपयोग करके प्रशिक्षित कर सकते हैं, जहाँ पिछले तरीके विफल हो जाते। हम ऐसा "स्मूथनेस" सर्टिफिकेट की जांच करके और यदि आवश्यक हो, तो एजेंटों को अधिक शांत व्यवहार करने के लिए "टेम्परेचर" बढ़ाकर कर सकते हैं।

तकनीकी सारांश: स्केलेबल MARL में लोकैलिटी (Locality) के लिए एक एकीकृत ढांचा

समस्या विवरण (Problem Statement)

नेटवर्क्ड सिस्टम पर स्केलेबल मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (MARL) में 'कर्स ऑफ डाइमेंशनैलिटी' (curse of dimensionality) का सामना करना पड़ता है, जहाँ एजेंटों की संयुक्त अवस्था (joint state) और क्रिया (action) स्पेस एजेंट ग्राफ की संख्या $n$ के साथ तेजी से बढ़ते हैं। जबकि ऐसे स्केलेबल तरीके मौजूद हैं जो एजेंटों को केवल उनके $\kappa$ -हॉप पड़ोस (neighborhood) का उपयोग करके योजना बनाने की अनुमति देते हैं, ये तरीके तभी सुदृढ़ होते हैं जब सिस्टम में वैल्यू-लोकैलिटी (value-locality) प्रदर्शित हो। वैल्यू-लोकैलिटी का तात्पर्य यह है कि एक एजेंट पर होने वाला व्यवधान (perturbation), किसी दूरस्थ एजेंट के दीर्घकालिक मूल्य (long-run value) को उनके ग्राफ दूरी के साथ तेजी से घटते हुए प्रभाव के रूप में प्रभावित करता है।

मानक $\gamma$ -डिस्काउंटेड सेटिंग में, $\gamma < 1$ के कारण वैल्यू-लोकैलिटी स्वतः ही प्राप्त हो जाती है। हालाँकि, औसत-रिवॉर्ड सेटिंग ( $\gamma = 1$ ) में, कोई टेम्पोरल मल्टीप्लायर नहीं होता है। यहाँ, वैल्यू फंक्शन की भूमिका बायस फंक्शन $h_\pi$ द्वारा निभाई जाती है, जिसे औसत-रिवॉर्ड पॉइसन समीकरण $h_\pi - T^\pi h_\pi = r_\pi - \bar{r}_\pi$ द्वारा परिभाषित किया जाता है। इस सेटिंग में लोकैलिटी स्थापित करने के लिए यह सिद्ध करना आवश्यक है कि वन-स्टेप इन्फ्लुएंस ऑपरेटर $T^\pi$ , $h_\pi$ में घातांकीय क्षय (exponential decay) उत्पन्न करता है।

मौजूदा दृष्टिकोण मैट्रिक्स $C_\pi$ पर डोब्रुशिन रो-सम बाउंड (Dobrushin row-sum bound) पर निर्भर करते हैं, जो यह दर्शाता है कि एजेंट $i$ की अवस्था में परिवर्तन के कारण एजेंट $j$ के अगली-अवस्था वितरण में अधिकतम परिवर्तन क्या होगा। यह मैट्रिक्स आमतौर पर सभी संयुक्त क्रियाओं के सुप्रीमम (supremum) को लेकर सीमित किया जाता है। हालाँकि, यह एक नीति-स्वतंत्र प्रमाण (policy-independent certificate) प्रदान करता है जो अक्सर अत्यधिक रूढ़िवादी (conservative/loose) होता है क्योंकि यह विशिष्ट नीति के व्यवहार की अनदेखी करता है। यदि कोई नीति "वर्स्ट-केस" क्रियाओं को शायद ही कभी चुनती है, तो वास्तविक सिस्टम वैल्यू-लोकल हो सकता है, भले ही वर्स्ट-केस बाउंड वैश्विक युग्मन (global coupling) का संकेत दे रहा हो।

कार्यप्रणाली (Methodology)

लेखक एक एकीकृत ढांचे का प्रस्ताव करते हैं जो नीति-प्रेरित इन्फ्लुएंस मैट्रिक्स $C_\pi$ को विशिष्ट पर्यावरणीय और नीति-निर्भर घटकों में विभाजित करता है ताकि एक अधिक सटीक, नीति-जागरूक (policy-aware) लोकैलिटी सर्टिफिकेट प्राप्त किया जा सके।

1. इन्फ्लुएंस का अपघटन (Decomposition of Influence)

पेपर एक-चरणीय युग्मन (one-step coupling) को मॉडल करने के लिए तीन $n \times n$ गैर-ऋणात्मक मैट्रिसेस पेश करता है:

$E_s$ (स्टेट चैनल): क्रियाओं को स्थिर रखते हुए, एजेंट $i$ की अवस्था में परिवर्तन के कारण एजेंट $j$ की अगली अवस्था में अधिकतम टोटल वेरिएशन (TV) दूरी को मापता है।
$E_a$ (एक्शन चैनल): अवस्थाओं को स्थिर रखते हुए, एजेंट $i$ की क्रिया में परिवर्तन के कारण एजेंट $j$ की अगली अवस्था में अधिकतम TV दूरी को मापता है।
$\Pi(\pi)$ (पॉलिसी रिएक्टिविटी): एजेंट $i$ की अवस्था में परिवर्तन के प्रति एजेंट $k$ के एक्शन डिस्ट्रीब्यूशन की TV संवेदनशीलता को मापता है।

मुख्य सैद्धांतिक अंतर्दृष्टि (प्रपोजिशन 1) यह एंट्रीवाइज अपघटन है:
$C_\pi \preceq E_s + E_a \Pi(\pi)$
यह असमानता सिस्टम की अंतर्निहित संवेदनशीलता ( $E_s, E_a$ ) को नीति की रिएक्टिविटी ( $\Pi(\pi)$ ) से अलग करती है। यह स्पष्ट करता है कि भले ही एक्शन चैनल $E_a$ बड़ा हो (जो मजबूत युग्मन का संकेत देता है), क्लोज्ड-लूप इन्फ्लुएंस छोटा हो सकता है यदि नीति स्मूथ (smooth) हो (अर्थात, $\Pi(\pi)$ छोटा हो)।

2. स्पेक्ट्रल सर्टिफिकेट (Spectral Certificate)

रो-सम नॉर्म $\|H_\pi\|_\infty < 1$ (जहाँ $H_\pi = E_s + E_a \Pi(\pi)$ ) पर निर्भर रहने के बजाय, लेखक एक स्पेक्ट्रल रेडियस कंडीशन का प्रस्ताव करते हैं:
$\rho(H_\pi) < 1$
चूंकि किसी भी गैर-ऋणात्मक मैट्रिक्स $M$ के लिए $\rho(M) \le \|M\|_\infty$ होता है, इसलिए यह स्थिति डोब्रुषिन रो-सम बाउंड की तुलना में स्पष्ट रूप से कमजोर (weaker/less restrictive) है। थ्योरम 3 स्थापित करता है कि यदि $\rho(H_\pi) < 1$ है, तो बायस फंक्शन $h_\pi$ निम्नलिखित को संतुष्ट करता है:
$\delta(h_\pi) \le (I - (H_\pi)^\top)^{-1} \delta(r_\pi)$
जहाँ $\delta(f)$ कोऑर्डिनेट-वाइज ऑसिलेशन (oscillations) का प्रतिनिधित्व करता है। इसका अर्थ है कि व्यवधानों का प्रभाव $H_\pi$ के सपोर्ट ग्राफ में पथों के साथ घातांकीय रूप से घटता है।

3. सॉफ्टमैक्स टेम्परेचर के माध्यम से लोकैलिटी को नियंत्रित करना

टेम्परेचर- $\tau$ सॉफ्टमैक्स पॉलिसियों (जो एंट्रॉपी-रेगुलराइज्ड कंट्रोल में सामान्य हैं) के लिए, लेखक पॉलिसी रिएक्टिविटी मैट्रिक्स पर एक बाउंड निकालते हैं:
$\Pi_{k \leftarrow i}(\pi) \le \min\left\{1, \frac{L_{k \leftarrow i}}{2\tau}\right\}$
जहाँ $L_{k \leftarrow i}$ लॉगिट फंक्शन का लिप्सचिट्ज़ कॉन्स्टेंट (Lipschitz constant) है। यह परिणाम (लेम्मा 6) दर्शाता है कि तापमान $\tau$ को बढ़ाना सीधे $\Pi(\pi)$ को कम करता है, जिससे स्पेक्ट्रल सर्टिफिकेट $\rho(H_\pi) < 1$ अधिक सटीक बनता है। यह अनरेगुलराइज्ड ऑप्टिमम के करीब पहुँचने और लोकैलिटी को प्रमाणित करने के बीच एक ट्यूनेबल ट्रेड-ऑफ बनाता है।

4. लोकलाइज्ड इम्प्रूवमेंट के लिए ओरकल फ्रेमवर्क

क्षय (decay) परिणामों का उपयोग करते हुए, लेखक ब्लॉक-कोऑर्डिनेट KL-प्रॉक्सिमल पॉलिसी इम्प्रूवमेंट के लिए एक डिटर्मिनिस्टिक ओरकल फ्रेमवर्क का निर्माण करते हैं।

लोकैलिटी सर्टिफिकेट: एजेंट केवल $\kappa$ -हॉप मैसेज पासिंग का उपयोग करके एक ट्रंकेटेड न्यूमैन सीरीज़ $\hat{\delta}(\kappa) = \sum_{t=0}^\kappa ((H_\pi)^\top)^t \delta(r_\pi)$ की गणना करते हैं।
ट्रंकेशन बायस (Truncation Bias): सीरीज़ को ट्रंकेट करने से होने वाली त्रुटि $O(\lambda^{\kappa+1})$ के रूप में घटती है, जहाँ $\lambda$ स्पेक्ट्रल रेडियस से संबंधित है।
इम्प्रूवमेंट गारंटी: पेपर एक सिंगल-एजेंट अपडेट के लिए औसत रिवॉर्ड सुधार के लिए एक बाउंड प्रदान करता है। यह बाउंड स्पष्ट रूप से ट्रंकेशन बायस के लिए एक टर्म को शामिल करता है, जो यह दिखाता है कि समान त्रिज्या $\kappa$ सर्टिफिकेट की वैधता और एल्गोरिदम के प्रदर्शन दोनों को नियंत्रित करती है।

मुख्य योगदान (Key Contributions)

पॉलिसी-डिपेंडेंट स्पेक्ट्रल सर्टिफिकेट: यह पेपर औसत-रिवॉर्ड नेटवर्क MARL में वैल्यू-लोकैलिटी के लिए पहला पॉलिसी-डिपेंडेंट स्पेक्ट्रल सर्टिफिकेट पेश करता है। यह नीति-स्वतंत्र डोब्रुषिन रो-सम बाउंड को बदलकर स्पष्ट रूप से कमजोर स्थिति $\rho(E_s + E_a \Pi(\pi)) < 1$ का उपयोग करता है।
इन्फ्लुएंस का अपघटन: यह क्लोज्ड-लूप इन्फ्लुएंस को एनवायरनमेंट सेंसिटिविटी और पॉलिसी रिएक्टिविटी में औपचारिक रूप से विभाजित करता है, यह सिद्ध करते हुए कि स्मूथ पॉलिसियाँ मजबूत पर्यावरणीय युग्मन को बेअसर कर सकती हैं।
टेम्परेचर-लोकैलिटी लिंक: यह सॉफ्टमैक्स टेम्परेचर $\tau$ और लोकैलिटी सर्टिफिकेट के बीच एक सीधा गणितीय संबंध स्थापित करता है, जो दिखाता है कि $\tau$ का उपयोग लोकैलिटी सुनिश्चित करने के लिए एक हाइपरपैरामीटर के रूप में किया जा सकता है।
ओरल फ्रेमवर्क टेम्पलेट: यह एक ब्लॉक-कोऑर्डिनेट KL-प्रॉक्सिमल इम्प्रूवमेंट एल्गोरिदम के लिए एक डिटर्मिनिस्टिक ओरकल गारंटी प्रदान करता है, जो न्यूमैन टेल $\lambda^{\kappa+1}$ के संदर्भ में ट्रंकेशन बायस को मापता है।

परिणाम (Results)

सैद्धांतिक टाइटनेस (Theoretical Tightness): $\rho(H_\pi) < 1$ की स्पेक्ट्रल स्थिति को $\|H_\pi\|_\infty < 1$ की रो-सम स्थिति की तुलना में स्पष्ट रूप से कमजोर दिखाया गया है। पेपर एक संख्यात्मक उदाहरण प्रदान करता है जहाँ रो-सम स्थिति विफल हो जाती है (वैल्यू > 1) जबकि स्पेक्ट्रल रेडियस 1 से काफी नीचे (0.6) है, जो ऐसी जगहों पर लोकैलिटी को प्रमाणित करता है जहाँ पूर्ववर्ती विधियाँ नहीं कर पातीं।
क्षय दरें (Decay Rates): यह सिद्ध किया गया है कि बायस फंक्शन $h_\pi$ , $H_\pi$ के सपोर्ट ग्राफ में ग्राफ दूरी के साथ घातांकीय रूप से घटता है। क्षय दर $H_\pi$ के स्पेक्ट्रल रेडियस द्वारा निर्धारित होती है।
एल्गोरिद्मिक गारंटियाँ: प्रस्तावित ब्लॉक-कोऑर्डिनेट अपडेट औसत रिवॉर्ड में सुधार की गारंटी देता है, जिसमें एरर टर्म को स्पष्ट रूप से $\lambda^{\kappa+1}$ न्यूमैन टेल द्वारा सीमित किया गया है। यह अभ्यासकर्ताओं को एक ट्रंकेशन रेडियस $\kappa$ चुनने की अनुमति देता है जो बायस को वांछित सटीकता सीमा तक ले जाता है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह औसत-रिवॉर्ड सेटिंग में स्केलेबल MARL विधियों के कब वैध होने का अधिक सटीक और लचीला विवरण प्रदान करता है। वर्स्ट-केस, नीति-स्वतंत्र बाउंड से हटकर, यह ढांचा उन रेजिम्स में लोकैलिटी को प्रमाणित करने की अनुमति देता जहाँ सिस्टम केवल विशिष्ट, स्मूथ पॉलिसियों के तहत "लोकल कपल्ड" होता है।

लेखक इस बात पर जोर देते हैं कि उनका ढांचा स्ट्रक्चरल लोकैलिटी को सांख्यिकीय अनुमान (statistical estimation) और फंक्शन एप्रोक्सिमेशन के मुद्दों से अलग करता है। सर्टिफिकेट $\hat{\delta}(\kappa)$ वास्तव में लोकल और मैसेज पासिंग के माध्यम से गणनीय है, जबकि इम्प्रूवमेंट स्टेप के लिए उपयोग किए जाने वाले ट्रंकेटेड पॉइसन सरोगेट को एक ओरकल ऑब्जेक्ट के रूप में माना गया है। पेपर का तर्क है कि यह स्ट्रक्चरल विश्लेषण विकेंद्रीकृत एल्गोरिदम विकसित करने के लिए आवश्यक आधार प्रदान करता है, यह नोट करते हुए कि सरोगेट को वास्तव में स्थानीय रूप से गणनीय बनाना भविष्य के कार्यों के लिए छोड़ा गया है।

यह कार्य पूरी तरह से स्केलेबिलिटी की समस्या को हल करने का दावा नहीं करता है, बल्कि यह निर्धारित करने के लिए एक कठोर सैद्धांतिक उपकरण प्रदान करता है कि लोकैलिटी को कब और कैसे प्रमाणित और उपयोग किया जा सकता है, विशेष रूप से सिस्टम स्थिरता और लोकैलिटी सुनिश्चित करने में पॉलिसी रेगुलराइजेशन (तापमान के माध्यम से) की भूमिका को उजागर करते हुए।