💻 computer science

R2BC: Multi-Agent Imitation Learning from Single-Agent Demonstrations

यह शोध पत्र राउंड-रॉबिन बिहेवियर क्लोनिंगिंग (R2BC) को प्रस्तुत करता है, जो एक विधि है जो एक एकल मानव ऑपरेटर को व्यक्तिगत एजेंटों पर क्रमवार कार्यों का प्रदर्शन करके मल्टी-रोबोट प्रणालियों को प्रभावी ढंग से प्रशिक्षित करने में सक्षम बनाती है, जिससे सिंक्रोनाइज्ड मल्टी-एजेंट प्रदर्शन की आवश्यकता वाले दृष्टिकोणों के तुलनीय या बेहतर प्रदर्शन प्राप्त होता है।

मूल लेखक: Connor Mattson, Varun Raveendra, Ellen Novoseller, Nicholas Waytowich, Vernon J. Lawhern, Daniel S. Brown

प्रकाशित 2026-06-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Connor Mattson, Varun Raveendra, Ellen Novoseller, Nicholas Waytowich, Vernon J. Lawhern, Daniel S. Brown

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप तीन रोबोटों की एक टीम को एक भारी बॉक्स हिलाने या भूलभुलैया (maze) से निकलने के लिए मिलकर काम करना सिखाने की कोशिश कर रहे हैं। पुराने तरीके (जिसे "जॉइंट बिहेवियर क्लोनिंग" कहा जाता है) में, आपको एक सुपर-ह्यूमन शिक्षक की आवश्यकता होगी जो तीनों रोबोटों को एक ही समय में, पूरी सटीकता के साथ नियंत्रित कर सके।

यह कुछ ऐसा है जैसे आप अपने हाथों से एक साथ एक ऑर्केस्ट्रा के तीन अलग-अलग वाद्य यंत्रों को बजाने की कोशिश कर रहे हों। यह शारीरिक रूप से असंभव है कि एक व्यक्ति यह सब पूरी तरह से कर सके। यदि आप ऐसा करने का प्रयास करेंगे, तो रोबोट भ्रमित हो जाएंगे और प्रशिक्षण डेटा अव्यवस्थित हो जाएगा।

समस्या:
वास्तविक मनुष्य एक समय में केवल एक ही रोबोट को नियंत्रित कर सकते हैं। यदि आप केवल एक रोबोट को यह सिखाने की कोशिश करते हैं कि उसे क्या करना चाहिए, जबकि अन्य बस बैठे रहते हैं या बेतरतीब ढंग से चलते रहते हैं, तो टीम आमतौर पर सहयोग करना नहीं सीख पाती है।

समाधान: R2BC (राउंड-रॉबिन बिहेवियर क्लोनिंग)
लेखकों ने एक चतुर विधि विकसित की है जिसे R2BC कहा जाता है। वे इसकी तुलना "राउंड-रॉबिन" शैली के शिक्षण से करते हैं, जैसे कि एक रिले रेस जहाँ बैटन (baton) को बारी-बारी से घुमाया जाता है।

यह कैसे काम करता है, इसके लिए एक सरल उदाहरण यहाँ दिया गया है:

"कंडक्टर और ऑर्केस्ट्रा" का उदाहरण

कल्पना कीजिए कि आप संगीत शिक्षक हैं और तीन संगीतकारों (रोबोटों) को एक साथ एक गाना बजाना सिखा रहे हैं।

पुराना तरीका (असंभव): आप एक साथ तीनों संगीतकारों को संचालित करने की कोशिश करते हैं, उन्हें ठीक-ठीक बताते हैं कि उन्हें एक साथ कौन से सुर लगाने हैं। चूंकि आपके पास केवल दो हाथ हैं, इसलिए आप यह पूरी तरह से नहीं कर सकते। परिणाम एक शोर भरा रिकॉर्डिंग होता है जिससे कोई भी सीख नहीं सकता।
R2BC का तरीका:
- चरण 1: आप पूरी तरह से वायलिन वादक (रोबोट A) पर ध्यान केंद्रित करते हैं। आप उनके लिए सटीक सुर बजाते हैं। इस बीच, सेलो वादक (रोबोट B) और ड्रमर (रोबोट C) वह बजा रहे हैं जो उन्होंने अब तक सीखा है (जो शुरुआत में थोड़ा अनाड़ी हो सकता है)।
- चरण 2: आप रिकॉर्ड करते हैं कि वायलिन वादक ने कैसे बजाया जब अन्य लोग शोर मचा रहे थे। यह वायलिन वादक को एक वास्तविक, अपूर्ण बैंड के साथ तालमेल बिठाना सिखाता है।
- चरण 3: अब, आप स्विच करते हैं। आप सेलो वादक पर ध्यान केंद्रित करते हैं। आप उनके लिए सटीक सुर बजाते हैं, जबकि वायलिन वादक (जिसने अभी सीखा है) और ड्रमर अपनी भूमिका निभाते हैं।
- चरण 4: अब आप ड्रमर की ओर बढ़ते हैं, और इसी तरह प्रक्रिया चलती रहती है।

आप रोबोटों के माध्यम से चक्र (cycle) घुमाते रहते हैं। हर बार जब आप एक रोबोट को सिखाते हैं, तो अन्य रोबोट अपने कौशल का अभ्यास कर रहे होते हैं। समय के साथ, रोबोट न केवल अपना हिस्सा सीखते हैं, बल्कि यह भी सीखते हैं कि दूसरों के साथ कैसे तालमेल बिठाना है, खासकर तब जब दूसरे गलतियाँ कर रहे हों।

यह एक बड़ी बात क्यों है

पेपर का दावा है कि यह तरीका "परफेक्ट" तरीके (जहाँ एक कंप्यूटर एक साथ सभी रोबोटों को नियंत्रित करने वाले एक आदर्श शिक्षक की नकल करता है) की तुलना में वास्तव में बेहतर है।

यथार्थवाद (Realism): "परफेक्ट" सिमुलेशन में, रोबोट कभी गलती नहीं करते, इसलिए वे यह नहीं सीख पाते कि चीजें बिगड़ने पर उन्हें कैसे ठीक किया जाए। R2BC में, क्योंकि अन्य रोबोट सीख रहे हैं और गलतियाँ कर रहे हैं, वर्तमान में सिखाया जा रहा रोबोट अराजकता से उभरना (recover) सीखता है। यह खाली ट्रैक के बजाय ट्रैफिक में गाड़ी चलाने सीखने जैसा है, जहाँ अन्य कारें अचानक मुड़ सकती हैं।
मानवीय व्यवहार्यता (Human Feasibility): इसके लिए किसी सुपर-ह्यूमन की आवश्यकता नहीं है। एक सामान्य व्यक्ति बस एक कंट्रोलर उठा सकता है और एक समय में एक रोबोट को सिखा सकता है।

परिणाम (पेपर में क्या पाया गया)

शोधकर्ताओं ने दो तरीकों से इसका परीक्षण किया:

कंप्यूटर सिमुलेशन में: उन्होंने चार अलग-अलग टीम कार्यों (जैसे भूलभुलैया में घूमना, तार पर गेंद को संतुलित करना और एक भारी वस्तु को धकेलना) को बनाया। उन्होंने पाया कि R2BC इन कार्यों को "परफेक्ट" कंप्यूटर-जनित शिक्षण पद्धति के समान या उससे भी बेहतर तरीके से सीख गया।
वास्तविक रोबोट के साथ: उन्होंने वास्तविक दुनिया में भौतिक रोबोटों (HeRo+ रोबोट) का उपयोग करके नेविगेशन और ब्लॉक को धकेलने का परीक्षण किया।
- जब उन्होंने वास्तविक मानव डेटा के साथ पुराने "जॉइंट" तरीके का उपयोग किया, तो रोबोट संघर्ष करते रहे।
- जब उन्होंने R2BC का उपयोग किया, तो रोबोट पुराने तरीके की तुलना में 3 से 6 गुना बेहतर प्रदर्शन कर रहे थे।
- यहाँ तक कि जब रोबोट फंस गए (जो कंप्यूटर से वास्तविक दुनिया में जाने पर होता है), तो एक मानव पर्यवेक्षक को उन्हें वापस पटरी पर लाने के लिए केवल एक छोटा सा "धक्का" देने की आवश्यकता थी, और R2BC रोबोट तेजी से रिकवर कर गए।

सारांश

यह पेपर रोबोट टीमों को सिखाने का एक तरीका पेश करता है जिसमें एक मानव शिक्षक एक घूमते हुए चक्र में एक समय में एक रोबोट पर ध्यान केंद्रित करता है। यह रोबोटों को एक अस्त-व्यस्त, वास्तविक दुनिया के वातावरण में सहयोग करना सिखाता है जहाँ गलतियाँ होती हैं। परिणाम एक ऐसी रोबोट टीम है जो एक "परफेक्ट" लेकिन अवास्तविक शिक्षक द्वारा सिखाए जाने की तुलना में बहुत बेहतर तरीके से मिलकर काम करती है।

तकनीकी सारांश: R2BC – एकल-एजेंट प्रदर्शनों से मल्टी-एजेंट इमिटेशन लर्निंग

समस्या विवरण
इमिटेशन लर्निंग (IL) एकल-रोबोट एजेंटों को प्रशिक्षित करने के लिए एक आधार बन गया है, फिर भी इसका मल्टी-एजेंट सिस्टम (MAS) में अनुप्रयोग एक महत्वपूर्ण बाधा का सामना करता है: समन्वित, सिंक्रोनस प्रदर्शनों (demonstrations) की आवश्यकता। पारंपरिक मल्टी-एजेंट इमिटेशन लर्निंग (MAIL) यह मानती है कि एक विशेषज्ञ जॉइंट एक्शन स्पेस में प्रदर्शन प्रदान कर सकता है, जहाँ सभी एजेंट एक साथ इष्टतम रूप से कार्य करते हैं। वास्तविक दुनिया के परिदृश्यों में, यह धारणा अवास्तविक है; एक मानव ऑपरेटर संज्ञानात्मक भार (cognitive load) और अंडरएक्टुएटेड कंट्रोल इंटरफेस के कारण एक साथ कई रोबोटों को विश्वसनीय रूप से टेलीऑपरेट नहीं कर सकता है। मौजूदा विधियाँ अक्सर अवास्तविक धारणाओं पर निर्भर करती हैं, जैसे कि सभी एजेंटों के लिए सिंक्रनाइज़्ड ह्यूमन टेलीऑपरेशन या 'ओरेकल' प्रदर्शनकर्ता के रूप में कार्य करने वाली प्री-ट्रेन्ड रिइन्फोर्समेंट लर्निंग (RL) नीतियां। यह शोध पत्र इस शोध प्रश्न को संबोधित करता है: हम इमिटेशन लर्निंग को मल्टी-एजेंट सिस्टम तक कैसे विस्तारित कर सकते हैं जब मनुष्य केवल एक समय में एक ही एजेंट को प्रदर्शन (demonstration) देने में सक्षम हो?

कार्यप्रणाली: राउंड-रॉबिन बिहेवियर क्लोनिंग (R2BC)
लेखक राउंड-रॉबिन बिहेवियर क्लोनिंग (R2BC) प्रस्तावित करते हैं, जो एक ऑनलाइन इमिटेशन लर्निंग एल्गोरिदम है जिसे केवल क्रमिक, सिंगल-एजेंट प्रदर्शनों का उपयोग करके सहकारी मल्टी-रोबोट टीमों को प्रशिक्षित करने के लिए डिज़ाइन किया गया है।

मुख्य तंत्र: R2BC राउंड-रॉबिन आधार पर कार्य करता है। एक मानव प्रदर्शनकर्ता एक विशिष्ट एजेंट ( $i$ ) को टेलीऑपरेट करता है जबकि शेष $N-1$ एजेंट अपने वर्तमान में सीखे गए नीतियों (policies) को स्वायत्त रूप से निष्पादित करते हैं।
डेटा संग्रह: सिस्टम एजेंटों ( $i = 1 \dots N$ ) के माध्यम से चक्रित होता है। एजेंट $i$ के प्रदर्शन के दौरान, पर्यावरण की स्थिति विशेषज्ञ-नियंत्रित एजेंट और स्वायत्त एजेंटों के जॉइंट एक्शन के आधार पर विकसित होती है। परिणामी स्टेट-एक्शन पेयर्स $(o_{i,t}, a_{i,t})$ एजेंट $i$ के लिए एक समर्पित बफर $D_i$ में संग्रहीत किए जाते हैं।
प्रशिक्षण: आवधिक रूप से (प्रत्येक $k$ प्रदर्शनों के बाद), प्रत्येक एजेंट की नीति $\pi_i$ को उसके विशिष्ट डेटासेट $D_i$ पर मानक बिहेवियर क्लोनिंग (BC) का उपयोग करके स्वतंत्र रूप से अपडेट किया जाता है। लॉस फंक्शन नीति के आउटपुट और प्रदर्शित एक्शन के बीच स्क्वेयर्ड एरर को कम करता है: $L(\theta_i) = \sum \|\pi_{\theta_i}(o_i) - a_i\|_2^2$ ।
विकेंद्रीकरण (Decentralization): उन केंद्रीकृत दृष्टिकोणों के विपरीत जो ग्लोबल स्टेट को जॉइंट एक्शन्स में मैप करते हैं, R2BC विकेंद्रीकृत नीतियों को बनाए रखता है जहाँ प्रत्येक एजेंट अपने स्थानीय ऑब्जर्वेशन को अपने व्यक्तिगत एक्शन में मैप करता है।
ऑनलाइन लर्निंग: यह विधि एक ऑनलाइन रिजीम में कार्य करती है। जैसे-जैसे प्रदर्शनकर्ता एजेंटों को बदलता है, स्वायत्त एजेंटों (जो अपूर्ण, सीखी हुई नीतियों को निष्पादित कर रहे हैं) द्वारा पेश की गई "नॉइज़" या परिवर्तनशीलता, प्रदर्शित एजेंट को स्टेट्स के एक विविध वितरण (distribution) के संपर्क में लाती है। यह नॉइज़ इंजेक्ट करने (DART के समान) या सुधारात्मक लेबल प्रदान करने (DAgger के समान) के प्रभाव की नकल करता है, जिसमें किसी ओरेकल की आवश्यकता नहीं होती है।

प्रमुख योगदान

नया समस्या परिवेश: यह पेपर "सिंगल-एजेंट प्रदर्शनों से मल्टी-एजेंट इमिटेशन लर्निंग" को परिभाषित करता है और इसे संबोधित करता है, जिससे समन्वित जॉइंट प्रदर्शनों की अवास्तविक आवश्यकता समाप्त हो जाती है।
एल्गोरिदम प्रस्ताव: R2BC का परिचय, जो एक एकल मानव को नियंत्रण चक्र के माध्यम से एक मल्टी-एजेंट सिस्टम को पुनरावृत्ति से सिखाने में सक्षम बनाता है, जिससे सिस्टम जॉइंट एक्शन स्पेस तक पहुंच के बिना सहकारी व्यवहार सीख सकता है।
प्रदर्शन समानता और श्रेष्ठता: लेखक चार सिम्युलेटेड मल्टी-एजेंट डोमेन में प्रिविलेज्ड, सिंक्रनाइज़्ड जॉइंट प्रदर्शनों पर प्रशिक्षित "ओरेकल" जॉइंट बिहेवियर क्लोनिंग (JBC) पद्धति के प्रदर्शन के बराबर या उससे अधिक प्रदर्शन प्रदर्शित करते हैं।
वास्तविक दुनिया में तैनाती: विधि को भौतिक रोबोटों (HeRo+) पर सफलतापूर्वक तैनात किया गया है, जिसे वास्तविक मानव प्रदर्शनों का उपयोग करके प्रशिक्षित किया गया है, और यह सेंट्रलाइज्ड BC बेसलाइन्स से काफी बेहतर प्रदर्शन करती है।

प्रायोगिक परिणाम
पेपर R2BC का तीन बेसलाइन्स के विरुद्ध मूल्यांकन करता है: ओरेकल JBC (सेंट्रलाइज्ड, सिंक्रनाइज़्ड प्रदर्शन), ओरेकल DAgger, और ओरेकल DART (प्रिविलेज्ड जॉइंट करेक्शन के लिए आवश्यक ऑनलाइन IL विधियाँ)।

सिम्युलेटेड प्रयोग: वेक्टरकृत मल्टी-एजेंट सिम्युलेटर (VMAS) का उपयोग करके, R2BC का परीक्षण चार कार्यों पर किया गया: नेविगेशन (3 एजेंट), बैलेंस (भार ढोने वाले 3 एजेंट), बज़ वायर (युग्मित गतिकी वाले 2 एजेंट), और ट्रांसपोर्ट (एक भारी वस्तु को धकेलने वाले 3 एजेंट)।
- R2BC ने लगातार ओरेकल JBC बेसलाइन के साथ प्रदर्शन समानता प्राप्त की या उससे बेहतर प्रदर्शन किया, बावजूद इसके कि इसके पास जॉइंट एक्शन प्रदर्शन तक पहुंच नहीं थी।
- R2BC ने DART और DAgger जैसे ऑनलाइन बेसलाइन्स के समान ट्रेन-टेस्ट लॉस गैप (कोवेरिएट शिफ्ट) में कमी प्रदर्शित की।
- एब्लेशन स्टडीज: विकेंद्रीकरण (एक सेंट्रलाइज्ड नेटवर्क का उपयोग करना) या ऑनलाइन लर्निंग के पहलू (गैर-अपडेटिंग एजेंटों का उपयोग करना) को हटाने के परिणामस्वरूप प्रदर्शन में गिरावट या अविश्वसनीय परिणाम मिले, जो पुष्टि करता है कि दोनों तत्व R2BC की सफलता के लिए आवश्यक हैं।
भौतिक रोबोट प्रयोग: लेखकों ने तीन HeRo+ रोबोटों पर नेविगेशन और ब्लॉक पुशिंग कार्यों के लिए R2BC और JBC को तैनात किया।
- नीतियां सिमुलेशन में एकत्र किए गए वास्तविक मानव प्रदर्शनों का उपयोग करके प्रशिक्षित की गईं और सीधे हार्डवेयर पर तैनात की गईं।
- नेविगेशन: R2BC ने बिना मानवीय हस्तक्षेप के JBC से 3.25x बेहतर प्रदर्शन किया। एक मानव हस्तक्षेप (एक "अटक" गए रोबोट को ठीक करने) के साथ, यह अंतर बढ़कर 3.92x हो गया।
- ब्लॉक पुशिंग: R2BC ने बिना हस्तक्षेप के JBC से 5.9x बेहतर प्रदर्शन किया।
- वेलच टी-टेस्ट (Welch t-test) के सांख्यिकीय विश्लेषण ने पुष्टि की कि जब सुपरवाइजर हस्तक्षेप की अनुमति दी गई, तो R2BC के पक्ष में महत्वपूर्ण अंतर ( $p < 0.05$ ) था।

महत्व और दावे
यह पेपर दावा करता है कि यह मल्टी-एजेंट सिस्टम के लिए बिहेवियर क्लोनिंग विधि प्रस्तावित करने और तैनात करने वाला पहला तरीका है जो पूरी तरह से ऑनलाइन सिंगल-एजेंट प्रदर्शनों से सीखता है। R2BC का महत्व इस बात में निहित है कि यह समन्वित मानव टेलीऑपरेशन की धारणा को शिथिल करके सिंगल-एजेंट IL और स्केलेबल मल्टी-एजेंट परिनियोजन के बीच के अंतर को पाटता है।

लेखक तर्क देते हैं कि R2BC वास्तविक दुनिया के सेटिंग्स (जैसे खोज और बचाव, वेयरहाउस ऑटोमेशन) में मल्टी-रोबोट टीमों को सिखाने के लिए एक व्यावहारिक मार्ग प्रदान करता है जहाँ मानव ऑपरेटर एक साथ कई एजेंटों को नियंत्रित नहीं कर सकते हैं। प्रदर्शन चरण के दौरान स्वायत्त एजेंटों की परिवर्तनशीलता का लाभ उठाकर, R2BC स्वाभाविक रूप से कोवेरिएट शिफ्ट और संचयी त्रुटियों (compounding errors) को कम करता है, और अक्सर उन तरीकों से बेहतर प्रदर्शन करता है जो "सुपर-ह्यूमन" या ओरेकल जॉइंट प्रदर्शनों पर निर्भर करते हैं। यह कार्य सुझाव देता है कि यथार्थवादी, विकेंद्रीकृत प्रदर्शन संग्रह न केवल व्यवहार्य है, बल्कि पारंपरिक केंद्रीकृत दृष्टिकोणों की तुलना में बेहतर मजबूती भी प्रदान कर सकता है।

"कंडक्टर और ऑर्केस्ट्रा" का उदाहरण

यह एक बड़ी बात क्यों है

परिणाम (पेपर में क्या पाया गया)

सारांश

इसी तरह के और पेपर