तकनीकी सारांश: HiComm: मल्टी-एजेंट सुदृढीकरण शिक्षण (Multi-agent Reinforcement Learning) के लिए पदानुक्रमित संचार (Hierarchical Communication)

समस्या विवरण (Problem Statement)

सहकारी मल्टी-एजेंट सुदृढीकरण शिक्षण (Cooperative Multi-Agent Reinforcement Learning - MARL) अक्सर आंशिक दृश्यता (partial observability) के तहत संचालित होता है, जहाँ एजेंटों को सीमित स्थानीय दृश्यों के आधार पर समन्वय करना होता है। हालाँकि संचार एक मानक तंत्र है जो इस कमी को कम करने में मदद करता है, मौजूदा प्रोटोकॉल आमतौर पर संदेशों को सपाट, सघन वेक्टर्स (flat, dense vectors) के रूप में मानते हैं। ये वेक्टर्स एजेंट के संपूर्ण अवलोकन (observation) के सीखे गए प्रोजेक्शन होते हैं, जो उस अवलोकन की अंतर्निहित संरचना से अलग होते हैं।

कई सहकारी वातावरण (जैसे साइबर रक्षा, टीम स्पोर्ट्स, या सूक्ष्म प्रबंधन) में एक स्वाभाविक पदानुक्रमित अवलोकन संरचना (hierarchical observation structure) होती है (जैसे समूहों के समूह, होस्ट वाले सबनेट्स, या विशिष्ट वर्गों की इकाइयाँ)। वर्तमान विधियाँ संदेश के शरीर के भीतर इस संरचना का लाभ उठाने में विफल रहती हैं। इसके बजाय, वे या तो असंरचित सारांश प्रसारित करती हैं या संचार ग्राफ या एजेंट भूमिकाओं (जैसे कि फेडरल आर्किटेक्चर) पर पदानुक्रम लागू करती हैं, न कि आदान-प्रदान किए जाने वाले डेटा पर। यह चूक एक समृद्ध इंडक्टिव बायस (inductive bias) की अनदेखी करती है, जिससे एजेंट रेडंडेंट या असंरचित जानकारी प्रसारित करते हैं।

कार्यप्रणाली: HiComm

लेखक HiComm का प्रस्ताव करते हैं, जो एक प्लग-इन संचार मॉड्यूल है जो संदेशों को सीधे प्रेषक (sender) के पदानुक्रमित अवलोकन से जोड़ता है। पारंपरिक प्रेषक-संचालित प्रोटोकॉल के विपरीत, जहाँ एक एजेंट अपने पूर्ण स्टेट को एनकोड करता है, HiComm संचार को संरचित सूचना पुनर्प्राप्ति (structured information retrieval) के रूप में मानता है।

मुख्य तंत्र (Core Mechanism)

प्रत्येक एजेंट $i$ के लिए अवलोकन स्थान को एक तीन-अक्षीय टेंसर $z_i \in G \times E \times F$ के रूप में मॉडल किया गया है, जहाँ:

• $G$: मोटा समूह अक्ष (Coarse group axis) (जैसे सबनेट्स, यूनिट क्लासेस)।
• $E$: सूक्ष्म इकाई अक्ष (Fine entity axis) (जैसे एक सबनेट के भीतर होस्ट, विशिष्ट इकाइयाँ)।
• $F$: फीचर वेक्टर अक्ष।

HiComm संचार को एक वेक्टर प्रसारित करने से बदलकर प्रेषक के अवलोकन टेंसर से एक विशिष्ट एड्रेस-वैल्यू पेयर (address-value pair) $((g, \ell), F)$ को खोजने (retrieving) में बदल देता है। यह प्रक्रिया डिस्क्रीट सिलेक्शन के लिए स्ट्रेट-थ्रू गम्बेल-सॉफ्टमैक्स (Straight-Through Gumbel-Softmax - ST-GS) का उपयोग करके तीन विभेदनीय (differentiable) चरणों में होती है:

1. चरण 1: क्वेरी जनरेशन (प्राप्तकर्ता-पक्ष/Receiver-side)
   प्राप्तकर्ता अपने स्थानीय अवलोकन संदर्भ और ऑब्जर्वेबिलिटी मास्क का सारांश लेकर एक क्वेरी वेक्टर $q_i$ बनाता है। यह क्वेरी प्राप्तकर्ता की सूचना संबंधी आवश्यकता का प्रतिनिधित्व करती है।

2. चरण 2: पदानुक्रमित प्रेषक चयन (प्राप्तकर्ता-पक्ष/Receiver-side)
   प्राप्तकर्ता एक प्रेषक चुनने के लिए पदानुक्रम में नीचे उतरता है:

   • चरण 1 (समूह चयन): प्राप्तकर्ता लर्न करने योग्य ग्रुप कीज़ $\kappa_g$ के विरुद्ध क्वेरी $q_i$ को स्कोर करके एक टॉपिक ग्रुप $g^*$ चुनता है।
   • चरण 2 (एजेंट चयन): $g^*$ पर आधारित, प्राप्तकर्ता एक कॉन्टेक्स्ट-कंडीशनड एफिनिटी फंक्शन $\Phi(j, g^*; h_i)$ के आधार पर टीम में से एक विशिष्ट प्रेषक $j^*$ (स्वयं को छोड़कर) चुनता है।
   • नोट: यह दो-चरणीय अवरोहण (descent) डिस्क्रीट निर्णय स्थान को $|G| \cdot |E| \cdot (N-1)$ से घटाकर $|G| + (N-1) + |E|$ कर देता है, जिससे क्रेडिट असाइनमेंट स्थानीयकृत हो जाता है।

3. चरण 3: इकाई पुनर्प्राप्ति (प्रेषक-पक्ष/Sender-side)
   प्राप्तकर्ता चयनित प्रेषक $j^*$ को $(q_i, g^*)$ प्रसारित करता है। इसके बाद प्रेषक:

   • अपने स्वयं के स्थानीय अवलोकन $z_{j^*}$ में समूह $g^*$ के भीतर एक विशिष्ट इकाई $\ell^*$ का चयन करता है, जो अनऑब्जर्व्ड एंट्रीज़ को मास्क करता है।
   • वर्batim फीचर वेक्टर $F = z_{j^*}[g^*, \ell^*, :]$ को प्राप्तकर्ता को वापस करता है।
   • महत्वपूर्ण बात यह है कि संदेश कच्चा अवलोकन प्रविष्टि (raw observation entry) है, न कि कोई सीखा गया संपीड़न (learned compression)।

प्रशिक्षण और एकीकरण (Training and Integration)

HiComm को एक हल्का, स्टेटलेस ट्रांसफॉर्म डिज़ाइन किया गया है जो अंडरलाइंग पॉलिसी या क्रिटिक आर्किटेक्चर को बदले बिना मानक MARL पाइपलाइनों (जैसे IPPO, MAPPO) में आसानी से एकीकृत हो जाता है।

• अनुकूलन (Optimization): संचार पैरामीटर्स $\theta_{comm}$ को सिंगल बैकवर्ड पास के माध्यम से पॉलिसी पैरामीटर्स $\theta_{pol}$ के साथ अपडेट किया जाता है।
• लॉस फंक्शन: ऑब्जेक्टिव स्टैंडर्ड PPO सरोगेट लॉस के साथ एक स्केलर इंफॉर्मेशन-गेन शेपिंग प्रायर (information-gain shaping prior) को जोड़ता है। यह प्रायर उन निर्देशांकों (coordinates) के चयन को प्रोत्साहित करता है जो प्राप्तकर्ता के वर्तमान स्टेट के सापेक्ष उच्च सूचना लाभ प्रदान करते हैं, जिससे प्रेषक कोलैप्स (sender collapse) को रोका जा सके।
• बैंडविड्थ: प्रोटोकॉल केवल एड्रेस (ग्रुप और एंटिटी इंडेक्स) और रॉ फीचर वेक्टर को प्रसारित करता है, जो पूरे अवलोकन सारांश को प्रसारित करने की तुलना में बैंडविड्थ को काफी कम कर देता है।

मुख्य योगदान (Key Contributions)

1. HiComm प्रोटोकॉल: एक प्राप्तकर्ता-संचालित संचार मॉड्यूल जो प्रेषक के अंतर्निहित पदानुक्रमित अवलोकन का उपयोग करता है। यह असंरचित वेक्टर ट्रांसमिशन को विशिष्ट अवलोकन स्लाइस की संरचित पुनर्प्राप्ति से बदल देता है।
2. विभेदनीय कार्यान्वयन (Differentiable Implementation): डिस्क्रीट सिलेक्शन के लिए ST-GS और एक साझा प्रोजेक्शन हेड का उपयोग करते हुए एक हल्का, प्लग-इन डिज़ाइन, जो कोर पॉलिसी आर्किटेक्चर को संशोधित किए बिना मानक MARL एल्गोरिदम के साथ सहजता से जुड़ने की अनुमति देता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): तीन विविध बेंचमार्क (CAGE Challenge 4, SMACv2, Google Research Football) में प्रदर्शन का प्रदर्शन, जो दिखाता है कि HiComm प्रतिनिधि सीखे गए संचार बेसलाइन्स (CACOM, T2MAC) के बराबर प्रदर्शन करता है या उनसे बेहतर होता है और साथ ही संचार वॉल्यूम को भी काफी कम करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने IPPO (विकेंद्रीकृत क्रिटिक) और MAPPO (केंद्रीकृत क्रिटिक) बैकबोन के साथ तीन बेंचमार्क पर HiComm का मूल्यांकन किया, जिनमें अलग-अलग अवलोकन संरचनाएं और समन्वय की मांगें थीं।

• प्रदर्शन (RQ1): HiComm आंशिक दृश्यता (कोई संचार नहीं) और पूर्ण दृश्यता (पूर्ण स्टेट शेयरिंग) के बीच प्रदर्शन के अंतर के एक बड़े हिस्से को पाट देता है। 10 में से 9 एल्गोरिदम-परिदृश्य सेल्स में, HiComm बेसलाइन्स के बराबर या उनसे बेहतर रहा। विशेष रूप से, CAGE Challenge 4 वातावरण में MAPPO के तहत, HiComm ने पूर्ण दृश्यता तक के अंतर को ~85% तक रिकवर किया, जो CACOM और T2MAC से काफी बेहतर है।
• बैंडविड्थ दक्षता (RQ2): HiComm इन परिणामों को प्राप्त करते हुए, प्रति रिसीवर प्रति एपिसोड बेसलाइन्स की तुलना में संचार वॉल्यूम को 5× से 23× तक कम करता है, और फुल स्टेट शेयरिंग की तुलना में 1000× से अधिक कम करता है। यह पूरे अवलोकन के फ्लैट प्रोजेक्शन के बजाय केवल प्रासंगिक फीचर स्लाइस को प्रसारित करके प्राप्त किया जाता है।
• सामान्यीकरण (RQ3): प्रदर्शन लाभ और बैंडविड्थ दक्षता विभिन्न क्रिटिक आर्किटेटेक्चर (IPPO बनाम MAPPO) और पदानुक्रम को परिभाषित करने के विभिन्न तरीकों (नेटिव सबनेट्स, सिमेंटिक यूनिट क्लासेस और सिमेंटिक प्लेयर रोल्स) में बनी रहती है।

महत्व और सीमाएँ (Significance and Limitations)

पेपर का दावा है कि HiComm MARL संचार में एक नया आयाम पेश करता है: अवलोकन-स्थान पदानुक्रम (observation-space hierarchy)। यह अनुमति देकर कि प्राप्तकर्ता प्रेषक के पदानुक्रमित अवलोकन स्थान में विशिष्ट निर्देशांकों (coordinates) को सक्रिय रूप से क्वेरी कर सकता है, प्रोटोकॉल "लॉसी प्रोजेक्शन" (lossy projection) से बचता है जो फ्लैट वेक्टर विधियों में निहित होता है। परिणाम बताते हैं कि अवलोकनों की स्वाभाविक संरचना का लाभ उठाने से अधिक कुशल और प्रभावी समन्वय होता है।

सीमाएँ:
लेखक स्पष्ट रूप से कहते हैं कि इस कार्य में संचार दक्षता का औपचारिक सैद्धांतिक विश्लेषण (formal theoretical analysis) की कमी है। प्रदर्शित बैंडविड्थ लाभ एक सूचना-सैद्धांतिक सीमा (information-theoretic bound) के बजाय अनुभवजन्य तुलना पर आधारित है जो यह सिद्ध करे कि पदानुक्रमित एड्रेसिंग समान कार्य प्रदर्शन पर फ्लैट एनकोडिंग की तुलना में क्यों अधिक कुशल है। ऐसे सिद्धांत को स्थापित करना भविष्य के कार्य के लिए एक प्राथमिक दिशा के रूप में पहचाना गया है।

निष्कर्ष:
HiComm यह प्रदर्शित करता है कि संचार को पदानुक्रमित अवलोकन स्थान से संरचित पुनर्प्राप्ति के रूप में मानना, पारंपरिक सीखे गए संचार प्रोटोकॉल के लिए एक व्यवहार्य और कुशल विकल्प है, जो सहयोग प्रदर्शन से समझौता किए बिना महत्वपूर्ण बैंडविड्थ बचत प्रदान करता है।