💻 computer science

Counterfactual Conditional Likelihood Rewards for Multiagent Exploration

यह शोध पत्र काउंटरफैक्चुअल कंडिशनल लाइकलीहुड (CCL) रिवार्ड्स पेश करता है, जो एक नवीन विधि है जो व्यक्तिगत एजेंटों को टीम के संयुक्त अन्वेषण में उनके अद्वितीय योगदान के आधार पर स्कोर करके मल्टी-एजेंट अन्वेषण को बेहतर बनाती है, जिससे स्पार्स-रिवॉर्ड, समन्वय-गहन डोमेन में रेडंडेंसी कम होती है और लर्निंग की गति तेज होती है।

मूल लेखक: Ayhan Alp Aydeniz, Robert Loftin, Kagan Tumer

प्रकाशित 2026-02-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ayhan Alp Aydeniz, Robert Loftin, Kagan Tumer

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप रोबोटिक खोजकर्ताओं (robotic explorers) की एक टीम के कप्तान हैं जिन्हें एक विशाल, अंधेरे और धुंधले द्वीप का मानचित्र बनाने के लिए भेजा गया है। उनका मिशन छिपे हुए खजानों (रुचि के बिंदुओं) को खोजना है ताकि उन्हें बेस पर वापस लाया जा सके। हालाँकि, इसमें एक पेंच है: बेस दिन के अंत में तभी "अच्छा काम किया!" (एक इनाम) का संकेत भेजता है जब टीम सामूहिक रूप से खजाना खोज लेती है। यदि वे इसे चूक जाते हैं, तो उन्हें कुछ भी नहीं मिलता।

यह मल्टी-एजेंट सिस्टम में स्पार्स रिवॉर्ड्स (Sparse Rewards) की समस्या है। यह एक वीडियो गेम खेलने जैसा है जहाँ आपको अंतिम बॉस को हराने पर ही अंक मिलते हैं, लेकिन आपको पता ही नहीं होता कि वहाँ तक कैसे पहुँचना है, और आपको दोस्तों की एक ऐसी टीम के साथ खेलना है जो गेम के दौरान एक-दूसरे से बात नहीं कर सकती।

यहाँ बताया गया है कि यह पेपर काउंटरफैक्चुअल कंडिशनल लाइकलीहुड (Counterfactual Conditional Likelihood - CCL) नामक एक चतुर नए विचार का उपयोग करके इस समस्या को कैसे हल करता है।

समस्या: "अनावश्यक भीड़" (The Redundant Crowd)

अतीत में, शोधकर्ताओं ने इन रोबोटों को व्यक्तिगत रूप से कुछ नया देखने पर एक छोटा सा "जिज्ञासा बोनस" (curiosity bonus) देकर उन्हें अन्वेषण करने के लिए प्रोत्साहित करने की कोशिश की थी।

उपमा: कल्पना कीजिए कि संग्रहालय में पर्यटकों का एक समूह है। यदि आप प्रत्येक पर्यटक को कहते हैं, "हर बार जब आप कोई ऐसी पेंटिंग देखें जो आपने पहले नहीं देखी है, तो एक स्टिकर प्राप्त करें," तो वे सभी एक ही प्रसिद्ध पेंटिंग की ओर दौड़ेंगे, उसके चारों ओर भीड़ लगा लेंगे और बारी-बारी से उसे देखते रहेंगे। वे सभी "अन्वेषण" कर रहे हैं, लेकिन वे सभी एक ही चीज़ देख रहे हैं। वे पीछे की शांत और महत्वपूर्ण पेंटिंग्स को छोड़ देते हैं क्योंकि वे भीड़ का पीछा करने में बहुत व्यस्त हैं।

रोबोट की दुनिया में, इसका अर्थ है कि टीम समन्वय करने में विफल रहती है। वे सभी एक ही कोने में जा सकते हैं, जिससे द्वीप का दूसरा आधा हिस्सा पूरी तरह से अनछुआ रह जाता है। वे उस "गुप्त संकेत" (secret handshake) को कभी नहीं खोज पाते जिसकी आवश्यकता खजाना खोजने के लिए होती है क्योंकि वे एक साथ काम नहीं कर रहे होते हैं।

समाधान: "क्या-होता-अगर" वाला जासूस (The "What-If" Detective)

लेखक CCL पेश करते हैं, जो एक टीम जासूस की तरह कार्य करता है जो प्रत्येक रोबोट के लिए एक विशिष्ट प्रश्न पूछता है:

"यदि यह विशिष्ट रोबोट कल घर पर ही रहता, तो क्या टीम आज द्वीप का कम हिस्सा देख पाती?"

यही काउंटरफैक्चुअल (Counterfactual) भाग है (यह सोचने के बारे में कि "क्या होता अगर")।

यह सरल अंग्रेजी में कैसे काम करता है:

सेटअप: टीम धुंध के माध्यम से आगे बढ़ती है।
जांच: सिस्टम रोबोट A को देखता है। यह पूछता है, "टीम ने रोबोट A के साथ क्या देखा?" और फिर सिम्युलेट करता है, "टीम ने क्या देखा होता यदि रोबोट A बस स्थिर खड़ा रहता?"
इनाम (Reward):
- यदि रोबोट A केवल अन्य रोबोटों की भीड़ में खड़ा था, तो टीम ने बिना उसके भी वही चीज़ देखी होती। इनाम: शून्य। (आप अनावश्यक थे)।
- यदि रोबोट A एक नए, अंधेरे कोने में गया जहाँ कोई और नहीं था, और क्योंकि वह वहाँ गया, टीम ने मानचित्र का एक नया हिस्सा "देखा", तो इनाम: उच्च! (आप अद्वितीय और सहायक थे)।

जादुई सामग्री: "रैंडम ट्रांसलेटर" (The "Random Translator")

कंप्यूटर को सिरदर्द दिए बिना यह गणित करने के लिए, लेखक एक ट्रिक का उपयोग करते हैं। पूरे मानचित्र को याद करने की कोशिश करने के बजाय (जो बहुत बड़ा है), वे एक रैंडम एनकोडर (Random Encoder) का उपयोग करते हैं।

उपमा: कल्पना कीजिए कि प्रत्येक रोबकार के पास एक जादुई अनुवादक है जो धुंधले दृश्य को एक साधारण 4-अंकों के कोड में बदल देता है।

रोबोट A एक पेड़ देखता है $\rightarrow$ कोड: 1234
रोबोट B एक पत्थर देखता है $\rightarrow$ कोड: 5678
टीम का दृश्य बस कोड्स का संयोजन है: 12345678

सिस्टम को यह समझने की आवश्यकता नहीं है कि पेड़ या पत्थर क्या है। इसे बस यह जानने की आवश्यकता है कि 12345678 एक अनूठा संयोजन है। यदि रोबोट A अपना कोड बदलता है, तो क्या टीम का कुल कोड बदलता है? यदि हाँ, तो रोबोट A को टीम की "कहानी" में एक अद्वितीय योगदानकर्ता के रूप में इनाम मिलता है।

परिणाम: अराजकता से कोरियोग्राफी तक (From Chaos to Choreography)

पेपर ने इसे दो मुख्य परिदृश्यों में परखा:

रोवर डोमेन (द्वीप): रोबोटों को इनाम को ट्रिगर करने के लिए विशिष्ट स्थानों पर एकत्र होना था।
- पुराना तरीका (लोकल क्यूरियोसिटी): रोबोट एक साथ क्लस्टर (झुंड) बना लेते थे, जिससे द्वीप का आधा हिस्सा अनछुआ रह जाता था। वे विफल रहे।
- नया तरीका (CCL): रोबोट स्वाभाविक रूप से फैल गए। एक बाईं ओर गया, एक दाईं ओर गया, एक ऊपर गया। उन्होंने पूरे द्वीप को कुशलतापूर्वक कवर किया और खजाना खोज लिया।
पार्टिकल डोमेन (गेम): रोबोटों ने एक स्मार्ट प्रतिद्वंद्वी के खिलाफ "शिकारी बनाम शिकार" (Predator vs. Prey) या "कीप अवे" (Keep Away) जैसे खेल खेले।
- पुराना तरीका: टीम अव्यवस्थित थी और आसानी से हार गई।
- नया तरीका: टीम ने प्रतिद्वंद्वी को रोकने के लिए सीखा और मिलकर काम किया, जिससे वे अधिक बार जीत सके।

"दोनों दुनियाओं का सर्वश्रेष्ठ" बोनस (The "Best of Both Worlds" Bonus)

लेखकों ने यह भी पाया कि CCL इनाम (टीम समन्वय) को पुराने लोकल क्यूरियोसिटी इनाम (व्यक्तिगत अन्वेषण) के साथ मिलाने से एक "सुपर टीम" बनी।

लोकल क्यूरियोसिटी रोबोटों को ऊब जाने और एक ही जगह पर रुक जाने से रोकती है।
CCL यह सुनिश्चित करता है कि वे सभी एक ही स्थान पर न जाएँ।
साथ मिलकर: वे पूरे द्वीप का कुशलतापूर्वक अन्वेषण करते हैं और पूर्ण समन्वय के साथ काम करते हैं।

सारांश

CCL को एक ऐसे कोच के रूप में सोचें जो खिलाड़ियों को यह बताने के बजाय कि, "कुछ मजेदार खोजो!", यह कहता है, "कुछ ऐसा मजेदार खोजो जिसे कोई और नहीं खोज रहा है।"

एजेंटों को उनकी व्यक्तिगत जिज्ञासा के बजाय, टीम के सामूहिक ज्ञान में उनके अद्वितीय योगदान के लिए पुरस्कृत करके, सिस्टम रोबोटों को भीड़ लगाने के बजाय एक सिंक्रोनाइज्ड, कुशल टीम के रूप में काम करना सिखाता है। यह खोज और बचाव (search-and-rescue) रोबोटों, ग्रहों के खोजकर्ताओं और किसी भी ऐसे एजेंट समूह के लिए एक बड़ी प्रगति है जिन्हें निरंतर मार्गदर्शन के बिना कठिन पहेलियों को हल करने की आवश्यकता है।

यहाँ शोध पत्र "Counterfactual Conditional Likelihood Rewards for Multiagent Exploration" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र सहकारी मल्टी-एजेंट प्रणालियों (cooperative multiagent systems) में, विशेष रूप से विरल वैश्विक पुरस्कारों (sparse global rewards) वाले वातावरण (जैसे खोज और बचाव, या ग्रहों का सर्वेक्षण) में, कुशल अन्वेषण (efficient exploration) की महत्वपूर्ण चुनौती को संबोधित करता है।

मुख्य मुद्दा: विरल पुरस्कार सेटिंग्स में, एजेंटों को फीडबैक तभी मिलता है जब एक विशिष्ट टीम-स्तरीय लक्ष्य प्राप्त किया जाता है। मानक अन्वेषण विधियाँ अक्सर स्थानीय अवलोकन एंट्रॉपी मैक्सिमाइजेशन (local observation entropy maximization) (एजेंटों को विविध स्थानीय अवस्थाओं पर जाने के लिए प्रोत्साहित करना) पर निर्भर करती हैं।
सीमा: स्थानीय अन्वेषण से अनावश्यकता (redundancy) पैदा होती है। एजेंट साथियों के प्रति जागरूकता के बिना स्वतंत्र रूप से अन्वेषण करते हैं, जिससे वे अक्सर एक ही क्षेत्र में जमा हो जाते हैं या उस विशिष्ट समन्वित व्यवहार (coordinated behaviors) को खोजने में विफल रहते हैं जो विरल वैश्विक पुरस्कार को ट्रिगर करने के लिए आवश्यक होता है।
तकनीकी बाधा: संयुक्त अवस्था एंट्रॉपी (joint state entropy) का सीधा अनुमान लगाना कम्प्यूटेशनल रूप से कठिन है क्योंकि यह संयुक्त अवलोकन स्थान के कॉम्बिनेटोरियल विस्फोट और साथ में सीखने वाले एजेंटों के कारण होने वाली नॉन-स्टेशनैरिटी (non-stationarity) के कारण अस्थिर हो जाता है।

2. कार्यप्रणाली: काउंटरफैक्चुअल कंडिशनल लाइकलीहुड (CCL)

लेखक एक नया इंट्रिन्सिक रिवॉर्ड मैकेनिज्म प्रस्तावित करते हैं जिसे काउंटरफैक्चुअल कंडिशनल लाइकलीहुड (CCL) कहा जाता है, ताकि एक सीखे हुए जॉइंट एम्बेडिंग नेटवर्क की आवश्यकता के बिना समन्वित अन्वेषण को बढ़ावा दिया जा सके।

मुख्य अवधारणा (Key Concept)

CCL टीम के संयुक्त अवलोकन में एक एजेंट के अद्वितीय सूचनात्मक योगदान को मापता है। यह एक एजेंट को न केवल कुछ नया देखने के लिए पुरस्कृत करता है, बल्कि उसे यह देखने के लिए पुरस्कृत करता है कि वह टीम के संयुक्त अवलोकन की संभावना (likelihood) को कितना बदल देता है, उस स्थिति की तुलना में जहाँ वह एजेंट निष्क्रिय या स्थिर था।

तकनीकी कार्यान्वयन (Technical Implementation)

रैंडम एनकोडर (Random Encoders): एक जटिल जॉइंट एम्बेडिंग नेटवर्क (जो अस्थिर हो सकता है) को प्रशिक्षित करने के बजाय, सिस्टम प्रत्येक एजेंट के स्थानीय अवलोकन ( $o^i_t$ ) को एक निम्न-आयामी वेक्टर ( $z^i_t$ ) में मैप करने के लिए फिक्स्ड रैंडम एनकोडर्स ( $\phi$ ) का उपयोग करता है।
जॉइंट एम्बेडिंग (Joint Embedding): टीम की संयुक्त अवस्था को इन स्थानीय एम्बेडिंग्स को जोड़ने (concatenate) द्वारा दर्शाया जाता है: $z_t = [z^1_t, \dots, z^N_t]$ ।
काउंटरफैक्चुअल निर्माण (Counterfactual Construction): प्रत्येक एजेंट $i$ के लिए, एक काउंटरफैक्चुअल जॉइंट एम्बेडिंग $\tilde{z}^{(i)}_t$ बनाया जाता है, जिसमें एजेंट के वर्तमान एम्बेडिंग $z^i_t$ को उसके पिछले टाइमस्टेप के एम्बेडिंग $\tilde{z}^i_t = \phi(o^i_{t-1}$ से बदल दिया जाता है। यह सिमुलेट करता है कि एजेंट "कुछ नहीं कर रहा" है या बाकी टीम के चलते रहने के दौरान स्थिर है।
k-NN के माध्यम से लाइकलीहुड अनुमान:
- सिस्टम पिछले जॉइंट एम्बेडिंग्स का एक एपिसोडिक मेमोरी $M$ बनाए रखता है।
- यह वास्तविक जॉइंट एम्बेडिंग ( $z_t$ ) और काउंटरफैक्चुअल जॉइंट एम्बेडिंग ( $\tilde{z}^{(i)}_t$ ) के बीच की दूरी को $M$ में उनके $k$ -निकटतम पड़ोसियों (k-nearest neighbors) से मापता है।
- स्थिरता सुनिश्चित करने के लिए, दोनों अनुमानों के लिए एक साझा त्रिज्या (shared radius) ( $\epsilon_{shared} = \max(\epsilon_{act}, \epsilon_{cfact})$ ) का उपयोग किया जाता है (KSG एस्टिमेटर्स से प्रेरित)।
रिवॉर्ड गणना (Reward Calculation):
CCL रिवॉर्ड कंडीशनल लॉग-लाइकेलीहुड्स में अंतर है, जिसे पड़ोसी गणनाओं ( $n_{act}$ $n_{a c t}$ और $n_{cfact}$ $n_{c f a c t}$ ) के डिगामा फंक्शन ( $\psi$ $ψ$ ) का उपयोग करके अनुमानित किया जाता है:
$r^{CCL}_i = \psi(n_{act} + 1) - \psi(n_{cfact} + 1)$
- यदि एजेंट का वास्तविक अवलोकन संयुक्त अवस्था को अधिक संभावित (अधिक पड़ोसी) बनाता है, तो रिवॉर्ड सकारात्मक होता है।
- स्थिरीकरण (Stabilization): ग्रेडिएंट विस्फोट को रोकने और गैर-ऋणात्मकता सुनिश्चित करने के लिए कच्चे रिवॉर्ड को Softplus फंक्शन के माध्यम से पारित किया जाता है और क्लैंप (अधिकतम 5.0) किया जाता है।

हाइब्रिड दृष्टिकोण (Mixture Rewards)

लेखक एक मिक्सचर रिवॉर्ड (Mixture Reward) रणनीति भी प्रस्तावित करते हैं जो CCL को लोकल ऑब्जर्वेशन एंट्रॉपी मैक्सिमाइजेशन (OEM) के साथ जोड़ती है:
$r^{mix}_t = r_{team} + V(s_t) \cdot (r^{CCL}_i + \alpha \cdot r^{Local}_{OEM})$
यह एजेंटों को स्थानीय विविधता (OEM के माध्यम से) बनाए रखने के साथ-साथ समन्वित संयुक्त अन्वेषण (CCL के माध्यम से) की ओर निर्देशित करने की अनुमति देता है।

3. प्रमुख योगदान (Key Contributions)

नया रिवॉर्ड फंक्शन: CCL का परिचय, जो एक सीखा हुआ जॉइंट डेंसिटी एस्टिमेटर की आवश्यकता के बिना, काउंटरफैक्चुअल रीजनिंग का उपयोग करके एजेंट के मार्जिनल योगदान को अलग करता है।
स्केलेबिलिटी (Scalability): फिक्स्ड रैंडम एनकोडर्स और लोकल k-NN डेंसिटी एस्टिमेशन का उपयोग करके, यह विधि उच्च-आयामी और आंशिक रूप से दृश्यमान (partially observable) मल्टी-एजेंट सेटिंग्स में स्केल करती है जहाँ पारंपरिक जॉइंट एंट्रॉपी विधियाँ विफल हो जाती हैं।
समन्वय जागरूकता (Coordination Awareness): व्यक्तिगत विविधता को प्रोत्साहित करने वाले मानक नवीनता रिवॉर्ड्स के विपरीत, CCL स्पष्ट रूप से उन व्यवहारों को प्रोत्साहित करता है जो टीम के संदर्भ में सूचनात्मक होते हैं, जिससे अनावश्यक अन्वेषण कम होता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो प्रदर्शित करते हैं कि CCL, विरल और मजबूती से जुड़े कार्यों में लोकल एंट्रॉपी मैक्सिमाइजेशन से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो प्राथमिक डोमेन में CCL का मूल्यांकन किया: मल्टी-रोवर एक्सप्लोरेशन (निरंतर, विरल पुरस्कार) और पार्टिकल एनवायरनमेंट्स (आंशिक रूप से दृश्यमान, प्रतिकूल सेटिंग्स)।

विरल रिवॉर्ड डोमेन (Multi-Rover):
- सिंगल POI (Point of Interest): सबसे कठिन परिदृश्य (1 POI, उच्च कपलिंग फैक्टर) में, लोकल एंट्रॉपी का उपयोग करने वाले एजेंट पूरी तरह विफल रहे (शून्य रिवॉर्ड प्राप्त किया) क्योंकि वे समन्वय नहीं कर सके। CCL एजेंटों ने POI को देखने के लिए समन्वित रणनीतियों की सफलतापूर्वक खोज की।
- अनावश्यकता में कमी: हीट मैप्स ने दिखाया कि लोकल एंट्रॉनी एजेंट एक ही क्षेत्र में क्लस्टर हो गए, जबकि CCL एजेंटों ने पूरक रूप से वातावरण को कवर करने के लिए खुद को वितरित किया।
- स्केलिंग: CCL के प्रदर्शन में लाभ एजेंटों की संख्या और कपलिंग कारकों के बढ़ने के साथ सबसे अधिक स्पष्ट थे।
पार्टिकल एनवायरनमेंट्स (Adversarial):
- फिजिकल डसेप्शन (Physical Deception), कीप अवे (Keep Away), और प्रेडेटर-प्रे (Predator-Prey) जैसे कार्यों में, CCL ने टीम रिवॉर्ड और समन्वय की गुणवत्ता के मामले में लोकल एंट्रॉपी एजेंटों की तुलना में लगातार बेहतर प्रदर्शन किया।
- CCL एजेंटों ने केवल स्थानीय नवीनता पर निर्भर रहने वालों की तुलना में विरोधियों को रोकने या शिकार को पकड़ने में अधिक प्रभावी ढंग से सीखा।
मिक्सचर रिवॉर्ड्स (Mixture Rewards):
- मध्यम जटिलता वाले कार्यों में CCL को लोकल एंट्रॉपी के साथ मिलाने (Mixture) से अक्सर सबसे तेज़ अभिसरण (fastest convergence) और उच्चतम शिखर प्रदर्शन प्राप्त हुआ।
- हालांकि, अत्यंत विरल/उच्च रूप से जुड़े कार्यों (जैसे सिंगल POI) में, शुद्ध CCL बेहतर था, जो बताता है कि स्थानीय विविधता कभी-कभी उस महत्वपूर्ण समन्वय से भटका सकती है जो आवश्यक है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

स्थानीय और वैश्विक के बीच सेतु: CCL मल्टी-एजेंट सुदृढीकरण शिक्षण (MARL) में स्थानीय नवीनता प्रोत्साहन और वैश्विक समन्वय आवश्यकताओं के बीच के अंतर को पाटने का एक सिद्धांतपूर्ण तरीका प्रदान करता है।
क्रेडिट असाइनमेंट समस्या का समाधान: एजेंटों को उनके संयुक्त लाइकलीहुड में उनके अद्वितीय योगदान के आधार पर पुरस्कृत करके, CCL विरल रिवॉर्ड सेटिंग्स में बिना किसी स्पष्ट संचार या केंद्रीकृत नीति के क्रेडिट असाइनमेंट समस्या को प्रभावी ढंग से हल करता है।
भविष्य की दिशाएं: लेखक नोट करते हैं कि जैसे-जैसे टीम का आकार बढ़ता है, पार्टिकल-आधारित डेंसिटी एस्टिमेटर्स (k-NN) की सटीकता कम हो सकती है। भविष्य के कार्य इस सीमा को संबोधित करने के लिए मॉडल-आधारित अन्वेषण रणनीतियों को एकीकृत कर सकते हैं।

संक्षेप में, यह शोध पत्र मल्टी-एजेंट अन्वेषण के लिए एक मजबूत, स्केलेबल समाधान प्रस्तुत करता है जो व्यक्तिगत जिज्ञासा से आगे बढ़कर समन्वित, पूरक व्यवहारों को बढ़ावा देता है, जिससे विरल और जटिल सहकारी वातावरणों में लर्निंग की गति काफी बढ़ जाती है।