🤖 AI

Randomness is sometimes necessary for coordination

यह शोध पत्र डायमंड अटेंशन (Diamond Attention) का प्रस्ताव करता है, जो एक क्रॉस-अटेंशन आर्किटेक्चर है जो सैम्पल्ड रैंडम नंबरों का लाभ उठाकर क्षणिक रैंक ऑर्डरिंग (transient rank ordering) उत्पन्न करता है और समरूप एजेंटों के बीच समरूपता को तोड़ता है, जिससे उन सहकारी मल्टी-एजेंट सुदृढीकरण शिक्षण (cooperative multi-agent reinforcement learning) कार्यों में प्रभावी समन्वय और ज़ीरो-शॉट सामान्यीकरण सक्षम होता है जहाँ नियतात्मक नीतियां विफल हो जाती हैं।

मूल लेखक: Rohan Patil, Jai Malegaonkar, Henrik I. Christensen

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rohan Patil, Jai Malegaonkar, Henrik I. Christensen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप जुड़वा बच्चों की एक टीम का नेतृत्व कर रहे हैं जो एक मिशन पर हैं। वे सभी एक जैसा यूनिफॉर्म पहनते हैं, एक ही ट्रेनिंग मैनुअल का पालन करते हैं, और अपनी खिड़कियों से बिल्कुल एक जैसा दृश्य देखते हैं। समस्या क्या है? यदि वे सभी जो देखते हैं उसके आधार पर बिल्कुल एक ही निर्देशों का पालन करते हैं, तो वे सभी एक ही समय पर बिल्कुल एक ही काम करेंगे।

कंप्यूटर एजेंटों (रोबोट या सॉफ्टवेयर) की दुनिया में, यह एक बहुत बड़ी समस्या है। यदि दो एजेंटों को सफल होने के लिए अलग-अलग काम करने की आवश्यकता है (जैसे एक को बाईं ओर खड़ा होना है और दूसरे को दाईं ओर), लेकिन वे समान हैं और एक ही चीज़ देखते हैं, तो वे दोनों बाईं ओर खड़े होने की कोशिश करेंगे, आपस में टकरा जाएंगे और विफल हो जाएंगे। इसे "सिमिट्री प्रॉब्लम" (Symmetry Problem) कहा जाता है।

यह पेपर डायमंड अटेंशन (Diamond Attention) नामक एक चतुर समाधान प्रस्तावित करता है। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. समस्या: "मिरर" (दर्पण) का जाल

सोचिए कि एक समूह में समान रोबोट एक पहेली सुलझाने की कोशिश कर रहे हैं जहाँ उन्हें अलग-अलग रंगों की चाबियाँ चुननी हैं। यदि वे सभी एक ही कंप्यूटर प्रोग्राम चला रहे हैं और एक ही स्क्रीन देख रहे हैं, तो वे सभी लाल चाबी की ओर बढ़ेंगे। वे टकराएंगे, और कोई नहीं जीतेगा।

पिछले समाधानों ने इसे ठीक करने की कोशिश की:

उन्हें अलग-अलग ID देना: लेकिन एक वास्तव में विकेंद्रीकृत (decentralized) टीम में (जहाँ कोई बॉस नहीं होता), आप बिना किसी के पहले यह तय किए कि "आप एजेंट 1 हैं" और "आप एजेंट 2 हैं", केवल यह नहीं कह सकते।
बारी-बारी से काम करना: उन्हें एक के बाद एक काम करने के लिए बनाना। लेकिन यह धीमा है और इसके लिए एक सख्त क्रम की आवश्यकता होती है, जो हमें वापस उसी समस्या पर ले आता है कि "पहले कौन जाएगा?"

2. समाधान: "रैंडम नंबर" का खेल

लेखकों ने महसूस किया कि समान एजेंटों के बीच के अंतर को तोड़ने के लिए, आपको रैंडमनेस (यादृच्छिकता) की आवश्यकता है। लेकिन कोई भी रैंडमनेस नहीं—इसे एक विशिष्ट प्रकार की "संरचित" (structured) रैंडमनेस होनी चाहिए।

कल्पना कीजिए कि हर एजेंट हर एक सेकंड में एक टोपी से एक नंबर (0 और 1 के बीच एक रैंडम नंबर) निकालता है।

एजेंट A निकालता है 0.9।
एजेंट B निकालता है 0.2।
एजेंट C निकालता है 0.5।

भले ही वे समान जुड़वा हों, लेकिन इस विशिष्ट सेकंड के लिए, वे अब अलग हैं क्योंकि उनके नंबर अलग हैं।

3. तंत्र: "डायमंड अटेंशन"

यहीं पर जादू होता है। एजेंट इन रैंडम नंबरों का उपयोग एक अस्थायी पदानुक्रम (Hierarchy/लाइन-अप) बनाने के लिए करते हैं।

जिस एजेंट के पास सबसे अधिक नंबर (0.9) है, वह उस सेकंड के लिए "लीडर" बनेगा। वे लक्ष्य को देखते हैं और अन्य एजेंटों को अनदेखा करते हैं। वे स्वतंत्र रूप से कार्य करते हैं।
जिस एजेंट के पास मध्यम नंबर (0.5) है, वह लीडर को देखता है कि वे क्या कर रहे हैं, और फिर कार्य करता है।
जिस एजेंट के पास सबसे कम नंबर (0.2) है, वह लीडर और मध्यम एजेंट दोनों को देखता है, और फिर दूसरों के कार्यों के आधार पर कार्य करता है।

इसे डायमंड अटेंशन कहा जाता है। यह एक डायमंड (हीरे) के आकार जैसा है जहाँ शीर्ष एजेंट सब कुछ देखता है, मध्य वाला शीर्ष को देखता है, और नीचे वाला सभी को देखता है।

यह विशेष क्यों है?

यह तुरंत होता है: उन्हें लीडर तय करने के लिए घंटों तक बात करने की ज़रूरत नहीं है। वे बस अपना रैंडम नंबर साझा करते हैं, और पदानुक्रम तुरंत बन जाता है।
यह हर सेकंड बदलता है: अगले सेकंड, एजेंट B 0.9 निकाल सकता है और लीडर बन सकता है। भूमिकाएँ स्वाभाविक रूप से घूमती रहती हैं।
यह स्केल करता है: चाहे आपके पास 2 एजेंट हों या 100, वे यह सब कर सकते हैं। यदि आप टीम में अधिक सदस्य जोड़ते हैं, तो आपको उन्हें फिर से प्रशिक्षित करने की आवश्यकता नहीं है।

4. परिणाम: उन्होंने क्या सिद्ध किया?

लेखकों ने तीन अलग-अलग परिदृश्यों में इसका परीक्षण किया:

"XOR" गेम (एक आदर्श परीक्षण): दो एजेंटों को जीतने के लिए विपरीत क्रियाएं चुननी होती हैं।
- पुराने तरीके: एजेंट बार-बार एक ही क्रिया चुनते थे और 100% बार विफल हो जाते थे (या केवल रैंडम अनुमान लगाते थे, जिससे वे 50% बार जीतते थे)।
- डायमंड अटेंशन: एजेंटों ने यह तुरंत तय करने के लिए अपने रैंडम नंबरों का उपयोग किया कि कौन "बाएं" चुनेगा और कौन "दाएं"। वे 100% बार जीते।
- मुख्य निष्कर्ष: यदि आप "रैंडम नंबर" नियम को हटा देते हैं और केवल मानक शोर (noise) का उपयोग करते हैं (जैसे नेटवर्क के कुछ हिस्सों को रैंडमली हटा देना), तो वे फिर से विफल हो जाते हैं। यह सिद्ध करता है कि रैंडम क्रम का ढांचा ही मायने रखता है, न कि केवल शोर।
"फॉरैजिंग" (भोजन जुटाना) गेम (स्केल बढ़ाना): एजेंटों की एक टीम को भोजन एकत्र करना है।
- उन्होंने 4 एजेंटों के साथ टीम को प्रशिक्षित किया।
- उन्होंने बिना किसी पुन: प्रशिक्षण के 2 से 8 एजेंटों के साथ उनका परीक्षण किया।
- परिणाम: टीम ने किसी भी आकार में पूरी तरह से काम किया। रैंडम पदानुक्रम ने कितने भी साथी आए हों, उन्हें खुद को व्यवस्थित करने में मदद की।
"स्टारक्राफ्ट" टेस्ट (हार्ड मोड): एक जटिल युद्ध खेल जहाँ वे दुश्मन से लड़ते हैं।
- उन्होंने एक मैप पर प्रशिक्षण लिया और एक पूरी तरह से अलग, कठिन मैप पर परीक्षण किया जिसमें दुश्मनों की संख्या अलग थी।
- परिणाम: मानक AI पूरी तरह से विफल रहा। डायमंड अटेंशन अपने कौशल को स्थानांतरित करने और लगभग 50% बार जीतने में सफल रहा।
- महत्वपूर्ण विवरण: जब उन्होंने "स्ट्रक्चर्ड रैंडम मास्क" को हटाया, तो जीत की दर गिरकर 0% हो गई। इसने पुष्टि की कि जिस विशिष्ट तरीके से उन्होंने खुद को व्यवस्थित करने के लिए रैंडमनेस का उपयोग किया था, वही असली सफलता का राज था, न कि सामान्य रैंडमनेस।

सारांश

यह पेपर तर्क देता है कि समान एजेंटों को, बिना किसी बॉस या निश्चित ID के, एक साथ काम करने के लिए, उन्हें एक अंतर (tie) को तुरंत तोड़ने के तरीके की आवश्यकता होती है। डायमंड अटेंशन उन्हें हर सेकंड एक "रैंडम नंबर" देता है ताकि वे अस्थायी रूप से यह तय कर सकें कि कौन नेतृत्व करेगा और कौन अनुसरण करेगा। यह उन्हें पूरी तरह से समन्वय करने, आकार के अनुसार ढलने और नई स्थितियों के अनुकूल होने की अनुमति देता है, और यह सब बिना किसी पुन: प्रशिक्षण के होता है।

सीख: कभी-कभी, पूरी तरह से मिलकर काम करने के लिए, आपको एक सख्त योजना की आवश्यकता नहीं होती; आपको बस एक साझा, रैंडम तरीके की आवश्यकता होती है जिससे यह तय किया जा सके कि अभी नेतृत्व कौन करेगा।

तकनीकी सारांश: रैंडमनेस-संचालित समन्वय के लिए डायमंड अटेंशन (Diamond Attention)

समस्या विवरण
सहकारी मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (MARL) में, होमोजेनियस एजेंटों के लिए पूर्ण पैरामीटर शेयरिंग एक मानक दृष्टिकोण है, जिसे अक्सर सेंट्रलाइज्ड ट्रेनिंग एंड डिसेंट्रलाइज्ड एक्जीक्यूशन (CTDE) के साथ जोड़ा जाता है। हालांकि, यह दृष्टिकोण उन कार्यों में विफल रहता है जहाँ मल्टी-मोडल रिवॉर्ड स्ट्रक्चर (multi-modal reward structures) होते हैं, जहाँ कई समान रूप से इष्टतम संयुक्त रणनीतियाँ मौजूद होती हैं। परम्यूटेशन-सिमेट्रिक ऑब्जर्वेशन के तहत, एक साझा नियत नीति (deterministic policy) सभी एजेंटों के लिए समान एक्शन डिस्ट्रीब्यूशन उत्पन्न करती है, जिससे रोल डिफरेंशिएशन (role differentiation) असंभव हो जाता है। एंग्लुइन (1980) और केस एट अल. (2005) का सैद्धांतिक कार्य स्थापित करता है कि अनामित प्रोसेसर्स के बीच सिमेट्री ब्रेकिंग (symmetry breaking) नियत रूप से असंभव है; जब एजेंटों के पास अद्वितीय पहचानकर्ता (unique identifiers) नहीं होते हैं, तो समन्वय के लिए साझा रैंडम बिट्स तक पहुँच एक आवश्यक शर्त है। मौजूदा समाधान या तो एक्जीक्यूशन के समय नियत (deterministic) रहते हैं (सैद्धांतिक आवश्यकता को पूरा करने में विफल), या वे क्रमिक निष्पादन (sequential execution) के माध्यम से सिमेट्री ब्रेकिंग प्राप्त करते हैं, जो $O(N)$ इन्फरेंस लेटेंसी पेश करता है और एक बाहरी रूप से थोपे गए निष्पादन क्रम की आवश्यकता रखता है—जो वास्तव में विकेंद्रीकृत सेटिंग्स में एक सर्कुलर डिपेंडेंसी है।

कार्यप्रणाली: डायमंड अटेंशन (Diamond Attention)
लेखक डायमंड अटेंशन प्रस्तावित करते हैं, जो एक क्रॉस-अटेंशन आर्किटेक्चर है जो एक सिंगल ब्रॉडकास्ट राउंड में सिमेट्री को तोड़ने के लिए साझा रैंडमनेस की सैद्धांतिक आवश्यकता को क्रियान्वित करता है।

मुख्य तंत्र: प्रत्येक टाइमस्टेप पर, प्रत्येक एजेंट एक स्केलर रैंडम नंबर $r_i \sim \text{Uniform}[0, 1]$ सैंपल करता है। ये स्केलर एक सिंगल ब्रॉडकास्ट के माध्यम से टीम के साथ साझा किए जाते हैं।
स्ट्रक्चर्ड मास्किंग (Structured Masking): रैंडम नंबर एजेंट-टू-एजेंट क्रॉस-अटेंशन मैकेनिज्म में एक क्षणिक, सख्त रैंक ऑर्डरिंग (rank ordering) प्रेरित करते हैं। एक स्ट्रक्चर्ड अटेंशन मास्क एजेंट-टू-एजेंट क्रॉस-अटेंशन पर लागू किया जाता है:
- यदि एजेंट $j$ का रैंक एजेंट $i$ से कम है ( $r_j < r_i$ ), तो एजेंट $i$ , एजेंट $j$ को मास्क आउट कर देता है।
- एजेंट $i$ केवल उन एजेंटों पर ध्यान केंद्रित करता है जिनका रैंक $i$ के बराबर या अधिक है।
- टास्क-टू-एजेंट अटेंशन पूरी तरह से अनमास्क्ड रहता है, यह सुनिश्चित करते हुए कि सभी एजेंटों के पास ग्लोबल गोल स्ट्रक्चर तक पहुँच बनी रहे।
परिणामी विषमता (Resulting Asymmetry): यह मास्किंग एक गतिशील, प्रति-टाइमस्टेप पदानुक्रम (hierarchy) बनाती है। उच्च-रैंक वाले एजेंट काफी हद तक स्वतंत्र रूप से कार्य करते हैं (टास्क एम्बेडिंग्स पर ध्यान केंद्रित करते हुए), जबकि निम्न-रैंक वाले एजेंट उच्च-रैंक वाले साथियों के कार्यों पर अपनी स्थिति निर्धारित करते हैं। यह समान नेटवर्क पैरामीटर्स के बावजूद विभेदित लेटेंट रिप्रेजेंटेशन्स और एक्शन डिस्ट्रीबशंस को प्रेरित करता है।
स्केलेबिलिटी (Scalability): यह आर्किटेक्चर एजेंट और टास्क एम्बेडिंग्स के सेट्स पर संचालित होता है, जिससे यह बिना किसी संशोधन के किसी भी संख्या में एजेंटों और कार्यों को स्वीकार कर सकता है, जो विभिन्न टीम आकारों के लिए ज़ीरो-शॉट जनरलाइजेशन (zero-shot generalization) सक्षम बनाता है।

प्रमुख योगदान

सैद्धांतिक औपचारिकता (Theoretical Formalization): पेपर XOR समन्वय और रैंडम-बिट शेयरिंग के बीच समानता को औपचारिक रूप देता है, जो केस एट अल. (2005) के असंभवता परिणामों को आर्किटेक्चरल डिज़ाइन का आधार बनाता है।
आर्किटेक्चरल नवाचार: डायमंड अटेंशन एक सिंगल ब्रॉडकास्ट राउंड में रैंडम-बिट समन्वय प्रोटोकॉल को साकार करता है, जिसके लिए क्रमिक निष्पादन या बाहरी एजेंट पहचानकर्ताओं की आवश्यकता नहीं होती है। यह बाहरी व्यवस्था (ordering) की आवश्यकता को आंतरिक, स्ट्रक्चर्ड स्टोकास्टिसिटी से बदल देता है।
अनुभवजन्य सत्यापन (Empirical Validation): इस विधि को तीन अलग-अलग रेजिम्स में मान्य किया गया है जो विशिष्ट समन्वय पैथोलॉजी को अलग करते हैं:
- सिमेट्री ब्रेकिंग (XOR गेम): एक पूरी तरह से सिमेट्रिक XOR गेम में, नियत बेसलाइन्स रैंडम-एक्शन फ्लोर (N=2 के लिए 0.5 सफलता) के पास स्थिर हो जाते हैं। डायमंड अटेंशन 1.0 सफलता प्राप्त करता है।
- ज़ीरो-शॉट स्केलेबिलिटी (VMAS): $N=4$ एजेंटों पर प्रशिक्षित एक पॉलिसी $N \in [2, 8]$ की टीमों में स्टैटिक (Simple Spread) और डायनेमिक (Food Collection) दोनों वातावरणों में ज़ीरो-शॉट सामान्यीकरण करती है, जो अनदेखे टीम आकारों पर खराब होने वाले बेसलाइन्स से बेहतर प्रदर्शन करती है।
- एडवर्सरियल ट्रांसफर (SMACLite): आर्किटेक्चर 2s3z से 3s5z परिदृश्य में ज़ीरो-शॉट ट्रांसफर प्राप्त करता है, जहाँ मानक बेसलाइन्स संरचनात्मक सीमाओं के कारण पूरी तरह से विफल हो जाते हैं।

परिणाम और एब्लेशन अंतर्दृष्टि (Ablation Insights)

संरचना की आवश्यकता: स्ट्रक्चर्ड मास्क को स्टैंडर्ड ड्रॉपआउट-आधारित रैंडमनेस से बदलने पर SMAC ट्रांसफर टास्क में 0% जीत दर मिलती है। यह पुष्टि करता है कि ऑपरेटिव इंग्रेडिएंट केवल अनस्ट्रक्चर्ड नॉइज़ नहीं, बल्कि रैंडम ऑर्डरिंग का प्रोटोकॉल-स्पेस स्ट्रक्चर है।
जनरलाइजेशन सीमाएँ: जबकि यह विधि निरंतर नियंत्रण (VMAS) में अच्छा सामान्यीकरण करती है, यह तब भंगुर (brittle) हो जाती है जब इसे एक्शन स्पेस के एक सख्त सबसेट (जैसे, $N=2, K=3$ ) पर प्रशिक्षित किया जाता है और एक बड़ी टीम ( $N=3, K=3$ ) पर तैनात किया जाता है (XOR गेम में)। यह डायनेमिक वातावरण में इसकी मजबूती के विपरीत है जहाँ पर्यावरणीय संकेत अतिरिक्त विषमता प्रदान करते हैं।
ऑटोरिग्रेसिव मेथड्स के साथ तुलना: ऑटोरिग्रेसिव मॉडल्स (जैसे MAT) के विपरीत जो क्रमिक निष्पादन के माध्यम से सिमेट्री तोड़ते हैं, डायमंड अटेंशन $O(N)$ लेटेंसी या बाहरी व्यवस्था धारणाओं के बिना 1.0 सफलता प्राप्त करता है।

महत्व और दावे
पेपर दावा करता है कि डायमंड अटेंशन एक समन्वय प्रिमिटिव (coordination primitive) प्रदान करता है जहाँ ऑपरेटिव स्टेट प्रति स्टेप आंतरिक रूप से और स्टोकास्टिक रूप से उत्पन्न होती है, न कि पर्यावरणीय संकेतों पर निर्भर होकर। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण ग्लोबल सिंक्रोनाइज़ेशन या फिक्स्ड एजेंट आइडेंटिटी के बिना विकेंद्रीकृत समन्वय को सक्षम बनाता है।

इसका महत्व यह प्रदर्शित करने में है कि स्ट्रक्चर्ड रैंडमनेस, न कि नियत अनुकूलन (deterministic optimization) या अनस्ट्रक्चर्ड नॉइज़, सिमेट्रिक और अनामित सेटिंग्स में समन्वय के लिए महत्वपूर्ण कारक है। यह कार्य सुझाव देता है कि अविश्वसनीय बुनियादी ढांचे (जैसे आपदा प्रतिक्रिया) में समय-संवेदनशील तैनाती के लिए, आंतरिक रूप से सैम्पल किए गए समन्वय अवस्थाएं, पर्यावरणीय संकेतों पर निर्भर योजनाओं की तुलना में संचार विफलताओं और एडवर्सरियल जैमिंग के प्रति अधिक लचीली होती हैं। हालाँकि, लेखक वर्तमान में हाई-डायमेंशनल, स्पार्स-रिवॉर्ड सेटिंग्स ( $N > 5$ ) के तहत PPO के साथ सीखने की बाधाओं सहित सीमाओं को विनम्रतापूर्वक नोट करते हैं।

1. समस्या: "मिरर" (दर्पण) का जाल

2. समाधान: "रैंडम नंबर" का खेल

3. तंत्र: "डायमंड अटेंशन"

4. परिणाम: उन्होंने क्या सिद्ध किया?

सारांश

इसी तरह के और पेपर