🤖 machine learning

Wonder Wins Ways: Curiosity-Driven Exploration through Multi-Agent Contextual Calibration

यह शोध पत्र CERMIC का प्रस्ताव करता है, जो एक नवीन मल्टी-एजेंट सुदृढीकरण शिक्षण (multi-agent reinforcement learning) ढांचा है जो शोर को फ़िल्टर करने और उच्च-सूचना वाले अवस्था संक्रमणों को प्राथमिकता देने के लिए पीयर-ऑब्जर्व्ड कॉन्टेक्स्ट (peer-observed context) के माध्यम से आंतरिक जिज्ञासा को गतिशील रूप से कैलिब्रेट करके स्पार्स-रिवॉर्ड एक्सप्लोरेशन को बढ़ाता है, जिससे अत्याधुनिक एल्गोरिदम की तुलना में बेहतर प्रदर्शन प्राप्त होता है।

मूल लेखक: Yiyuan Pan, Zhe Liu, Hesheng Wang

प्रकाशित 2026-02-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yiyuan Pan, Zhe Liu, Hesheng Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Wonder Wins Ways: Curiosity-Driven Exploration through Multi-Agent Contextual Calibration" (CERMIC) का सरल, रोजमर्रा की भाषा और रचनात्मक उपमाओं के साथ अनुवाद दिया गया है।

बड़ी समस्या: "नॉइज़ी टीवी" (Noisy TV) और अकेला खोजकर्ता

कल्पना कीजिए कि आप रोबोटों के एक समूह को एक जटिल फुटबॉल गेम खेलना सिखा रहे हैं, लेकिन आप उन्हें केवल तभी अंक देते हैं जब वे गोल करते हैं। गोलों के बीच में, उन्हें शून्य फीडबैक मिलता है। इसे "स्पार्स रिवॉर्ड" (sparse reward) वातावरण कहा जाता है।

सीखने के लिए, इन रोबोटों को जिज्ञासु होने की आवश्यकता है। उन्हें कुछ नया करने की कोशिश करनी चाहिए, सिर्फ यह देखने के लिए कि क्या होता है। इसे आर्टिफिशियल क्यूरियोसिटी (कृत्रिम जिज्ञासा) कहा जाता है।

हालाँकि, एक पेंच है। एक अराजक दुनिया में, चीजें समय-समय पर बेतरतीब ढंग से होती रहती हैं। एक रोबोट देख सकता है कि गेंद दीवार से अजीब तरीके से टकराकर वापस आई और वह सोच सकता है, "वाह, यह नया है! मुझे इसका अध्ययन करने की ज़रूरत है!" लेकिन वह केवल रैंडम शोर (random noise) था। इसे "नॉइज़ी टीवी" (Noisy TV) समस्या के रूप में जाना जाता है: रोबोट वास्तविक खेल सीखने के बजाय रैंडम स्टैटिक (शोर) से विचलित हो जाता है।

इसके अलावा, अधिकांश वर्तमान जिज्ञासा प्रणालियाँ प्रत्येक रोबोट को एक अकेले भेड़िये (lone wolf) की तरह मानती हैं। वे अपने साथियों के कार्यों पर ध्यान नहीं देती हैं। यदि कोई साथी कोई अजीब चाल चलता है, तो एक मानक रोबोट सोच सकता है, "यह एक आश्चर्य है! मैं जाकर इसकी जांच करूँगा!" भले ही वह साथी केवल एक गलती कर रहा हो। इससे अराजकता और समय की बर्बादी होती है।

समाधान: CERMIC ("सामाजिक रूप से जागरूक" जिज्ञासा)

लेखकों ने CERMIC नामक एक नई प्रणाली प्रस्तावित की है। इसे समझने के लिए, बच्चों के एक समूह की कल्पना करें जो खेल के मैदान में एक नया खेल सीख रहे हैं।

पुराना तरीका (नाइव क्यूरियोसिटी - Naive Curiosity): एक बच्चा देखता है कि उसका दोस्त पत्थर से टकराकर गिर गया। बच्चा सोचता है, "ओह! गिरना नया है! मुझे भी पत्थरों से टकराकर गिरने की कोशिश करनी चाहिए!" वे शोर से विचलित हो जाते हैं।
CERMIC का तरीका (कॉन्टेक्स्टुअल कैलिब्रेशन - Contextual Calibration): एक बच्चा देखता है कि उसका दोस्त गिरा। गिरने के बजाय, वह सोचता, "रुको, मेरा दोस्त इसलिए गिरा क्योंकि वहाँ जमीन फिसलन भरी थी। यह उपयोगी जानकारी है। लेकिन हवा के झोंके से एक पत्ता उड़ गया? वह तो बस शोर है, मैं उसे अनदेखा कर दूँगा।"

CERMIC एजेंटों को उनके साथियों के कार्यों को देखकर अपनी जिज्ञासा को कैलिब्रेट (समायोजित) करना सिखाता है। यह "शोर" को फ़िल्टर करता है और "सिग्नल" (महत्वपूर्ण सूचना) पर ध्यान केंद्रित करता है।

यह कैसे काम करता है: तीन जादुई सामग्रियाँ

1. "सोशल रडार" (इरादों को समझना)

CERMIC प्रत्येक एजेंट को एक "सोशल रडार" देता है। यह केवल दुनिया को नहीं देखता; यह अनुमान लगाने की कोशिश करता है कि उसके साथी क्या सोच रहे हैं या क्या योजना बना रहे हैं।

उपमा: कल्पना कीजिए कि आप एक पार्टी में हैं। एक सामान्य व्यक्ति केवल लोगों को इधर-उधर घूमते हुए देखता है। एक "सोशल रडर" वाला व्यक्ति नोटिस करता है, "ओह, सारा दरवाजे की ओर देख रही है, वह शायद बाहर जाना चाहती है," या "माइक ने ड्रिंक पकड़ी हुई है, वह शायद बातचीत के लिए किसी को ढूंढ रहा है।"
शोध पत्र में: सिस्टम अन्य एजेंटों के स्थान और उनकी संभावित गतिविधियों को ट्रैक करने के लिए एक गतिशील "ग्राफ" (संबंधों का मानचित्र) बनाता है।

2. "ट्रस्ट फ़िल्टर" (संदर्भ अंशांकन)

एक बार जब रोबोट के पास अपने दोस्तों के बारे में एक अनुमान होता है, तो वह उसका उपयोग अपनी जिज्ञासा को समायोजित करने के लिए करता है।

उपमा: यदि आपका दोस्त एक विशेषज्ञ ड्राइवर है और वह अचानक गाड़ी मोड़ता है, तो आप उन पर भरोसा करते हैं और आप भी गाड़ी मोड़ते हैं (उच्च विश्वास)। यदि आपका दोस्त एक छोटा बच्चा है और वह गाड़ी मोड़ता है, तो आपको एहसास होता है कि वह बस अराजक व्यवहार कर रहा है और आप उसे अनदेखा कर देते हैं (कम विश्वास)।
शोध पत्र में: CERMIC एक "ट्रस्ट स्कोर" की गणना करता है। यदि टीम का व्यवहार रैंडम और अविश्वसनीय लगता है, तो रोबोट विचलित होने से बचने के लिए अपनी जिज्ञासा को कम कर देता है। यदि टीम समन्वित और सार्थक तरीके से कार्य कर रही है, तो रोबोट उनसे सीखने के लिए अपनी जिज्ञासा को बढ़ा देता है।

3. "सीखने के लिए इनाम" (आंतरिक प्रेरणा)

यह प्रणाली रोबोट को केवल जीतने के लिए नहीं, बल्कि टीम के बारे में कुछ नया सीखने के लिए एक छोटा "बोनस पॉइंट" (आंतरिक इनाम) देती है।

उपमा: एक वीडियो गेम की कल्पना करें जहाँ आपको अपने साथियों के चलने के तरीके के बारे में पता लगाने के लिए XP (अनुभव अंक) मिलते हैं। यदि आप उनके खेलने के पैटर्न में एक नया पैटर्न खोज लेते हैं, तो आपको बोनस मिलता है। यह रोबोट को खेल के "सामाजिक" पक्ष को खोजने के लिए प्रेरित रखता है, भले ही मुख्य खेल (गोल करना) शांत हो।

यह गेम चेंजर क्यों है

शोध पत्र ने कई कठिन परिदृश्यों (जैसे रोबोट सॉकर, नेविगेशन और रणनीति के खेल) पर इसका परीक्षण किया जहाँ पुरस्कार बहुत दुर्लभ होते हैं।

परिणाम: CERMIC का उपयोग करने वाले रोबोटों ने मानक जिज्ञासा का उपयोग करने वाले रोबोटों की तुलना में बहुत तेज़ी से सीखा और बेहतर प्रदर्शन किया।
सीक्रेट सॉस (गुप्त मंत्र): वे केवल अंधे होकर अन्वेषण नहीं कर रहे थे। वे साथ मिलकर अन्वेषण कर रहे थे। उन्होंने "दिलचस्प आश्चर्यों" (जैसे एक साथी द्वारा नई रणनीति आज़माना) और "परेशान करने वाले शोर" (जैसे रैंडम ग्लिच) के बीच अंतर करना सीख लिया।

निष्कर्ष

मल्टी-एजेंट सुदृढीकरण लर्निंग (Multi-Agent Reinforcement Learning - समूहों को एक साथ काम करना सिखाना) की दुनिया में, जिज्ञासा एक शक्तिशाली उपकरण है, लेकिन इसे एक फ़िल्टर की आवश्यकता है।

CERMIC अन्वेषकों के एक समूह को एक सामाजिक दिशा-सूचक (social compass) देने जैसा है। हर उस चीज़ की ओर भागने के बजाय जो नयी दिखती है, वे अपने दोस्तों को देखते हैं, यह समझते हैं कि वास्तव में क्या महत्वपूर्ण है, और फिर उन चीजों का अन्वेषण करते हैं जो वास्तव में मायने रखती हैं। यह उन्हें जटिल और कठिन समस्याओं को बहुत तेज़ी से हल करने की अनुमति देता है, भले ही उन्हें लगातार प्रशंसा या पुरस्कार न मिलें।

संक्षेप में: CERMIC एजेंटों को केवल शोर के प्रति नहीं, बल्कि एक-दूसरे के प्रति जिज्ञासु होना सिखाता है।

यहाँ शोध पत्र "Wonder Wins Ways: Curiosity-Driven Exploration through Multi-Agent Contextual Calibration" (CERMIC) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र स्पार्स रिवॉर्ड्स (sparse rewards) और पार्शियल ऑब्जर्वेबिलिटी (partial observability) की स्थितियों के तहत मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (MARL) में प्रभावी अन्वेषण (effective exploration) की महत्वपूर्ण चुनौती को संबोधित करता है।

"नोइजी-टीवी" (Noisy-TV) समस्या: मौजूदा क्यूरियोसिटी-ड्रिवन (curiosity-driven) विधियाँ अक्सर पर्यावरणीय स्टोकेस्टिसिटी (यादृच्छिक शोर/random noise) को सार्थक नवीनता (meaningful novelty) समझकर भ्रमित हो जाती हैं, जिससे एजेंट सीखने योग्य अवस्थाओं के बजाय अनलर्नेबल (unlearnable) अवस्थाओं को खोजने में अपने संसाधन बर्बाद कर देते हैं।
यूनिफॉर्म नोवेलटी बायस (Uniform Novelty Bias): वर्तमान एल्गोरिदम सभी अप्रत्याशित अवलोकनों (observations) के साथ समान व्यवहार करते हैं, और वे "स्पूरियस" (spurious) शोर और "सामाजिक रूप से सूचनात्मक" नवीनता (जैसे कि साथियों के व्यवहार में परिवर्तन जो कार्य की गतिशीलता को दर्शाते हैं) के बीच अंतर करने में विफल रहते हैं।
विकेंद्रीकृत सीमाएँ (Decentralized Limitations): संचार-मुक्त, विकेंद्रीकृत सेटिंग्स में, एजेंट अन्य एजेंटों की लेटेंट स्टेट्स (latent states) के बारे में सटीक विश्वास बनाने के लिए संघर्ष करते हैं। यह अनिश्चितता-आधारित अन्वेषण विधियों को अस्थिर बना देता है क्योंकि एजेंट दूसरों के इरादों (intentions) की अनिश्चितता का विश्वसनीय अनुमान नहीं लगा सकते।

2. कार्यप्रणाली: CERMIC फ्रेमवर्क (Methodology: CERMIC Framework)

लेखक CERMIC (Curiosity Enhancement via Robust Multi-Agent Intention Calibration) का प्रस्ताव करते हैं, जो एक प्लग-एंड-प्ले मॉड्यूल है जिसे इनफर्ड मल्टी-एजेंट कॉन्टेक्स्ट (inferred multi-agent context) का उपयोग करके क्यूरियोसिटी को कैलिब्रेट करने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क इन्फॉर्मेशन बॉटलनेक (Information Bottleneck - IB) सिद्धांत और बेयसियन सरप्राइज (Bayesian Surprise) पर आधारित है।

मुख्य घटक (Core Components):

मल्टी-एजेंट कॉन्टेक्स्टुअल रिप्रेजेंटेशन (इन्टेंशन मॉडलिंग):
- CERMIC आसपास के एजेंटों के अनुमानित इरादों को मॉडल करने के लिए एक ग्राफ न्यूरल नेटवर्क (GNN) का उपयोग करता है।
- नोड्स एजेंटों के लेटेंट स्टेट रिप्रेजेंटेशन (स्वयं और साथी) का प्रतिनिधित्व करते हैं, और एजेस (edges) स्थानिक संबंधों (spatial relationships) का प्रतिनिधित्व करते हैं।
- यह एक कॉन्टेक्स्टुअल फीचर वेक्टर ( $f^o_n$ ) उत्पन्न करता है जो वातावरण के "सोशल कॉन्टेक्स्ट" को समाहित करता है।
चांस कंस्ट्रेंट्स के माध्यम से रोबस्ट कैलिब्रेशन (Robust Calibration via Chance Constraints):
- क्यूरियोसिटी को केवल एक रॉ नोवेलटी सिग्नल के रूप में मानने के बजाय, CERMIC इनफर्ड कॉन्टेक्स्ट का उपयोग क्यूरियोसिटी सिग्नल को कैलिब्रेट करने के लिए करता है।
- यह एक डिस्ट्रीब्यूशनली रोबस्ट चांस कंस्ट्रेंट (distributionally robust chance constraint) को फॉर्म्युलेट करता है। सिस्टम यह सुनिश्चित करता है कि "सरप्राइज" सिग्नल ( $\Psi_t$ ) इनफर्ड कॉन्टेक्स्ट की स्थिति में, उच्च प्रायिकता के साथ एक रोबस्ट बाउंड के भीतर रहे।
- यह प्रभावी रूप से शोर को फ़िल्टर करता है: यदि कॉन्टेक्स्ट यह सुझाव देता है कि कोई घटना केवल रैंडम शोर है, तो क्यूरियोसिटी सिग्नल को कम (dampen) कर दिया जाता है; यदि कॉन्टेक्स्ट साथियों के व्यवहार में एक सार्थक बदलाव का सुझाव देता है, तो सिग्नल को बढ़ाया (amplify) जाता है।
टास्क-एडाप्टिव कैलिब्रेशन फैक्टर ( $\gamma$ ):
- यह कैलिब्रेशन गतिशील (dynamic) है। एक फैक्टर $\gamma$ की गणना टास्क कॉन्टेक्स्ट (पिछले इरादे + एक्सट्रिंसिक रिवॉर्ड्स) और इनफर्ड इन्टेंशन के बीच म्यूचुअल इंफॉर्मेशन के रूप में की जाती है।
- अनुकूलन तर्क (Adaptation Logic):
  - प्रशिक्षण के शुरुआती चरण में: यदि इन्टेंशन मॉडल सटीक नहीं है (कम $\gamma$ ), तो सिस्टम अस्थिरता को रोकने के लिए पीयर कॉन्टेक्स्ट के प्रभाव को कम कर देता है।
  - प्रशिक्षण के बाद के चरण में: जैसे-जैसे मॉडल सीखता है, $\gamma$ बढ़ता है, जिससे एजेंट अधिक परिष्कृत अन्वेषण के लिए सोशल क्यूज़ (social cues) का लाभ उठा पाते हैं।
- ऑप्टिमाइजेशन: चूंकि म्यूचुअल इंफॉर्मेशन गणना कठिन (intractable) है, लेखक $\gamma$ के लिए ट्रैक्टेबल लोअर और अपर बाउंड प्रदान करने के लिए InfoNCE लॉस (कॉन्ट्रास्टिव लर्निंग) का उपयोग करते हैं।
इंट्रिंसिक रिवॉर्ड जनरेशन (Intrinsic Reward Generation):
- इंट्रिंसिक रिवॉर्ड ( $r^i_t$ ) बेयसियन सरप्राइज से प्राप्त होता है, जो एक ट्रांजिशन को देखने के बाद मॉडल के पैरामीटर्स में होने वाले परिवर्तन को मापता है।
- सैद्धांतिक रूप से, लीनियर MDPs में, यह रिवॉर्ड UCB-DB (Upper Confidence Bound - Distributional Bayesian) बोनस द्वारा सीमित (bounded) है, जिसका उपयोग LSVI-UCB जैसे एल्गोरिदम में किया जाता है।
- यह सुनिश्चित करता है कि जैसे-जैसे एजेंट सीखता है, इंट्रिंसिक रिवॉर्ड स्वाभाविक रूप से कम होता जाता है, जिससे वातावरण को समझने के बाद निरंतर और अस्थिर क्यूरियोसिटी को रोका जा सके।
लॉस फंक्शन (Loss Function):
कुल ऑब्जेक्टिव निम्नलिखित का संयोजन है:
- एक्सप्लोरेशन लॉस (Exploration Loss): लेटेंट रिप्रेजेंटेशन और अगले स्टेट के बीच म्यूचुअल इंफॉर्मेशन को अधिकतम करना ( $I(X_t; S_{t+1})$ )।
- एक्सप्लोइटेशन लॉस (Exploitation Loss): वर्तमान स्टेट-एक्शन पेयर और रिप्रेजेंटेशन के बीच म्यूचुअल इंफॉर्मेशन को न्यूनतम करना ( $I(X_t; [S_t, A_t])$ ), जो GNN कॉन्टेक्स्ट से प्राप्त रोबस्ट चांस कंस्ट्रेंट्स के अधीन है।

3. मुख्य योगदान (Key Contributions)

नया फ्रेमवर्क (CERMIC): डायनामिकली इनफर्ड मल्टी-एजेंट कॉन्टेक्स्ट के साथ क्यूरियोसिटी को कैलिब्रेट करके शोर वाले सरप्राइज सिग्नल्स को फ़िल्टर करने के लिए एक सिद्धांत आधारित विधि पेश करता है।
रोबस्ट कैलिब्रेशन मैकेनिज्म: एक चांस-कंस्ट्रेंट-आधारित दृष्टिकोण प्रस्तावित करता है जो इंटेंशन मॉडलिंग की विश्वसनीयता के अनुसार अनुकूलित होता है, जिससे पार्शियल ऑब्जर्वेबिलिटी में होने वाली अस्थिरता की समस्याओं को हल किया जाता है।
सैद्धांतिक आधार (Theoretical Grounding): यह सैद्धांतिक गारंटी प्रदान करता है कि इंट्रिंसिक रिवॉर्ड लीनियर MDPs में UCB-आधारित एक्सप्लोरेशन बोनस से संबंधित है, जो कन्वर्जेंस प्रॉपर्टीज सुनिश्चित करता है।
प्लग-एंड-प्ले डिज़ाइन: यह मॉड्यूल हल्का है और इसे बिना सेंट्रलाइज्ड ट्रेनिंग या कम्युनिकेशन के मौजूदा MARL एल्गोरिदम (जैसे MAPPO, QMIX) में एकीकृत किया जा सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन बेंचमार्क सूट्स पर CERMIC का मूल्यांकन किया: VMAS, MeltingPot, और SMACv2, जिन्हें विशेष रूप से स्पार्स-रिवॉर्ड कॉन्फ़िगरेशन के लिए अनुकूलित किया गया था।

प्रदर्शन: CERMIC-ऑगमेंटेड एल्गोरिदम (जैसे MAPPO-CERMIC, QMIX-CERMIC) ने 12 में से 16 मूल्यांकित परिदृश्यों में स्टेट-ऑफ-द-आर्ट (SoTA) प्रदर्शन हासिल किया, जो स्टैंडर्ड बेसलाइन्स (MAPPO, QMIX) और अन्य क्यूरियोसिटी-ड्रिवन विधियों (MAPPO-DB, MACE, ICES) से काफी बेहतर रहा।
स्पार्स रिवॉर्ड दक्षता: उन वातावरणों में जहाँ रिवॉर्ड केवल कार्य पूरा होने पर दिए जाते हैं, CERMIC ने यूनिफॉर्म नोवेलिटी पर निर्भर करने वाली विधियों की तुलना में बेहतर सैंपल एफिशिएंसी और फाइनल रिटर्न्स प्रदर्शित किए।
शोर के प्रति मजबूती (Robustness to Noise): जोड़े गए पर्यावरणीय शोर ("रैंडम बॉक्स" शोर) वाले प्रयोगों में, CERMIC ने स्थिर लर्निंग कर्व बनाए रखे, जबकि बेसलाइन क्यूरियोसिटी विधियाँ उच्च वेरिएंस और अस्थिरता से ग्रस्त रहीं।
स्केलेबिलिटी: बैलेंस (Balance) कार्य में, जैसे-जैसे एजेंटों की संख्या बढ़ी, पारंपरिक क्यूरियोसिटी विधियों में प्रति-एजेंट योगदान कम होता गया। CERMIC ने इस गिरावट को कम किया, जिससे पता चला कि इसका सोशल कैलिब्रेशन एजेंट काउंट के साथ बेहतर स्केल करता है।
सामान्यीकरण (Generalization): CER起来 (CERMIC) के साथ प्रशिक्षित एजेंटों ने स्पार्स सेटिंग्स में डेन्स सेटिंग्स में और डेन्स सेटिंग्स में स्पार्स सेटिंग्स में बेहतर ट्रांसफर क्षमताएं दिखाईं, जिसका श्रेय केवल ट्रायल-एंड-एरर के बजाय पीयर ऑब्जर्वेशन के माध्यम से टास्क डायनेमिक्स को सीखने की उनकी क्षमता को जाता है।

5. महत्व (Significance)

सोशल लर्निंग और RL को जोड़ना: यह शोध पत्र सफलतापूर्वक विकासात्मक मनोविज्ञान (बच्चे साथियों को देखकर सीखते हैं) के सिद्धांतों को MARL के लिए एक गणितीय ढांचे में अनुवादित करता है।
मल्टी-एजेंट सेटिंग्स में "नोइजी-टीवी" को हल करना: यह पर्यावरणीय शोर और सामाजिक रूप से महत्वपूर्ण नवीनता के बीच अंतर करने की समस्या के लिए एक ठोस समाधान प्रदान करता है, जो विकेंद्रीकृत MARL में एक बड़ी बाधा है।
वास्तविक दुनिया में अनुप्रयोग: बिना संचार और पार्शियल ऑब्जर्वेबिलिटी के प्रभावी ढंग से काम करके, CERMIC जटिल, वास्तविक दुनिया के परिदृश्यों (जैसे रोबोटिक्स स्वार्म, ऑटोनॉमस ड्राइविंग) में स्वायत्त एजेंट टीमों को तैनात करने का एक व्यवहार्य मार्ग प्रदान करता है जहाँ संचार अविश्वसनीय है और रिवॉर्ड्स स्पार्स हैं।