Learning Communication-Conditioned Generative Policies for Decentralized Multi-Agent Collision Avoidance

उन भीड़भाड़ वाले स्थानों में जहाँ मशीनें और लोग एक साथ चलते हैं—चाहे वह एक व्यस्त गोदाम का फर्श हो, शहर की सड़क हो, या ऊपर आसमान में—सुरक्षा एक सरल लेकिन कठिन सत्य पर टिकी है: हर चलती हुई वस्तु को यह अनुमान लगाना होगा कि दूसरे क्या करेंगे। दशकों से, इंजीनियरों ने रोबोट के व्यवहार के लिए सख्त नियम लिखकर इसे हल करने की कोशिश की है, ठीक वैसे ही जैसे कारों के लिए यातायात कानून होते हैं। ये नियम तब अच्छी तरह काम करते हैं जब हर कोई एक ही पटकथा का पालन करता है और वातावरण पूर्वानुमानित होता है। लेकिन वास्तविक दुनिया में, भीड़ अव्यवस्थित होती है, और रोबोट अक्सर सब कुछ नहीं देख पाते। वे किसी दीवार से बाधित हो सकते हैं, या उनके सेंसर किसी तेज़ गति से चलते साथी को पहचानने में विफल हो सकते हैं। जब एक रोबोट पूरी तस्वीर नहीं देख पाता, तो उसे अपने सीमित दृश्य पर निर्भर रहना पड़ता है, जिससे बिना किसी केंद्रीय कंप्यूटर के निर्देश के टकराव से बचना मुश्किल हो जाता है। कई स्वतंत्र मशीनों को बिना किसी बीच के 'बॉस' के सुरक्षित रूप से एक साथ चलाने की यह चुनौती, रोबोटिक्स की एक मौलिक समस्या है।

कॉर्नेल यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इन मशीनों को ऐसी भीड़ में रास्ता खोजने का एक नया तरीका विकसित किया है। कठोर नियम प्रोग्राम करने के बजाय, उन्होंने रोबोटों के एक समूह को अनुभव से सीखना सिखाया, विशेष रूप से एक "विशेषाधिकार प्राप्त" (privileged) विशेषज्ञ को देखकर जो सब कुछ देख सकता था। मुख्य नवाचार यह है कि रोबोटों ने एक-दूसरे से बात करना सीखा, लेकिन शब्दों या मानक रेडियो संकेतों के माध्यम से नहीं। इसके बजाय, उन्होंने अदृश्य, अमूर्त संदेशों को साझा करने के लिए सीखा जो उनके इरादों का सारांश देते हैं। इन छिपे हुए संदेशों को अपने स्थानीय दृश्य के साथ जोड़कर, रोबोटों ने यह सीखा कि दूसरों के कैसे हिलने-डुलने का अनुमान लगाया जाए और टकराव से बचने के लिए अपने स्वयं के पथ को कैसे समायोजित किया जाए। परिणाम एक ऐसा सिस्टम है जहाँ प्रत्येक रोबोट स्वतंत्र रूप से कार्य करता है, फिर भी समूह के साथ सामंजस्य में चलता है, भले ही उनके बीच का संपर्क टूट जाए या शोर भरा हो।

शोधकर्ताओं ने चार रोबोटों से भरे एक डिजिटल प्रशिक्षण मैदान का निर्माण करके शुरुआत की। उन्होंने एक शक्तिशाली कंप्यूटर प्रोग्राम को इस स्थान में नेविगेट करने दिया, जिसके पास सिमुलेशन में प्रत्येक रोबोट की सटीक स्थिति और गति तक पहुंच थी। यह "विशेषज्ञ" कभी दुर्घटनाग्रस्त नहीं हुआ क्योंकि वह प्रत्येक एजेंट के भविष्य को जानता था। शोधकर्ताओं ने फिर अपने नए, सरल रोबोटों को इस विशेषज्ञ के व्यवहार से सीखने के लिए कहा। हालाँकि, इसमें एक पेच था: नए रोबलों को पूरी दुनिया देखने की अनुमति नहीं थी। वे केवल अपनी स्थिति और निकटतम पड़ोसी को देख सकते थे, ठीक वैसे ही जैसे एक वास्तविक रोबोट अंधेरे या भीड़भाड़ वाले कमरे में होगा। इस अंतर को पाटने के लिए, शोधकर्ताओं ने रोबोटों को एक-दूसरे को छोटे, संकुचित संकेत भेजने का एक तरीका दिया। ये संकेत पूर्व-प्रोग्राम नहीं किए गए थे; रोबोटों को खुद यह पता लगाना था कि टकराव से बचने के लिए कौन सी जानकारी साझा करना उपयोगी है।

सीखने की प्रक्रिया समझ और क्रिया के दो चरणों वाले नृत्य की तरह थी। पहले, रोबोटों ने अपने स्थानीय अवलोकन को एक छोटे से संदेश में संकुचित करना सीखा जो उनके "इरादे" को दर्शाता था—अनिवार्य रूप से, वे आगे क्या करने की योजना बना रहे थे। फिर उन्होंने इन संदेशों को पास के रोबोटों के साथ साझा किया। दूसरे, प्रत्येक रोबोट ने प्राप्त संदेशों का उपयोग अपने स्वयं के स्थानीय दृश्य के साथ किया, ताकि गति की एक संक्षिप्त योजना तैयार की जा सके। केवल एक मोड़ या गति तय करने के बजाय, रोबोट ने अगले कुछ सेकंड के लिए गतिविधियों के एक अनुक्रम की कल्पना की। फिर उसने उस अनुक्रम से पहला कदम चुना, उसे क्रियान्वित किया, और तुरंत नई जानकारी के आधार पर अगले कुछ सेकंड की योजना बनाना शुरू कर दिया। इस निरंतर चक्र ने रोबोटों को लचीला रहने और भीड़ में बदलावों के प्रति तुरंत प्रतिक्रिया करने में सक्षम बनाया।

इस दृष्टिकोण को जो चीज़ विशेष रूप से चतुर बनाती है, वह है जिस तरह से रोबोटों ने संवाद करना सीखा। शोधकर्ताओं ने उन्हें यह नहीं बताया कि उन्हें क्या कहना है। इसके बजाय, रोबोटों ने खोजा कि दुर्घटना से बचने के लिए, उन्हें अपने भविष्य के पथों के बारे में एक विशिष्ट प्रकार की छिपी हुई जानकारी साझा करने की आवश्यकता है। सिस्टम को इस तरह प्रशिक्षित किया गया था कि रोबोट इन संदेशों के बिना भी कार्य कर सकें, और केवल अपने स्थानीय अवलोकन पर कार्य कर सकें। इस डिज़ाइन का अर्थ था कि यदि संचार लिंक विफल हो जाता, तो रोबोट रुक नहीं जाते या दुर्घटनाग्रस्त नहीं होते; वे बस स्वतंत्र रूप से कार्य करना शुरू कर देते, अपने स्वयं के पहले से बनाए गए पथों पर निर्भर रहते। शोधकर्ताओं ने पाया कि यह सिस्टम अविश्वसनीय रूप से मजबूत था। यहाँ तक कि जब उन्होंने एक ऐसा परिदृश्य सिम्युलेट किया जहाँ रोबोटों ने आपस में बात करने की क्षमता 75% समय तक खो दी, तब भी वे बिना टकराए अपने लक्ष्यों तक पहुँचने में सफल रहे। रोबोटों ने बस उसी क्षण पहले बनाई गई अपनी योजनाओं का सहारा लिया, जिससे उनकी गति सुचारू और सुरक्षित बनी रही।

टीम ने चार, छह और आठ रोबोटों के समूहों के साथ सिमुलेशन में इस पद्धति का परीक्षण किया। उल्लेखनीय रूप से, उन्होंने सिस्टम को केवल चार रोबोटों के समूह पर प्रशिक्षित किया, फिर भी यह बिना किसी अतिरिक्त प्रशिक्षण के अधिक रोबोट जोड़ने पर भी उतना ही प्रभावी रहा। यह सुझाव देता है कि रोबोटों ने चार एजेंटों के लिए एक विशिष्ट पैटर्न को याद करने के बजाय भीड़ नेविगेशन के एक सामान्य सिद्धांत को सीखा है। सिमुलेशन में, रोबोटों ने चार एजेंटों वाले सहयोगात्मक परिदृश्यों में लगभग 97% सफलता दर हासिल की, और समूह का आकार दोगुना होने पर भी उच्च सफलता दर बनाए रखी। उन्होंने यह भी प्रदर्शन किया कि जब समूह के कुछ रोबोटों को स्वार्थी होने और दूसरों को अनदेखा करने के लिए प्रोग्राम किया गया था, तो सिस्टम सहयोगात्मक और गैर-सहयोगात्मक व्यवहारों के मिश्रण को संभाल सकता था।

यह साबित करने के लिए कि यह केवल एक कंप्यूटर ट्रिक नहीं था, शोधकर्ताओं ने पूरी तरह से डिजिटल दुनिया में प्रशिक्षित सॉफ्टवेयर को एक वास्तविक प्रयोगशाला में चार छोटे, भौतिक रोबोटों पर स्थापित किया। उन्होंने कोड में कोई बदलाव नहीं किया या रोबोटों को वास्तविक दुनिया के लिए पुन: प्रशिक्षित नहीं किया। भौतिक रोबोटों को, जो अपने स्वयं के सेंसर और प्रोसेसर से लैस थे, एक तंग जगह में एक-दूसरे के स्थान बदलने थे और एक-दूसरे के रास्ते काटने थे। वास्तविक दुनिया के शोर और खामियों के बावजूद, रोबलेट सफलतापूर्वक कार्य को पूरा करने, एक-दूसरे से बचने और अपने गंतव्य तक पहुँचने में सफल रहे। यह 'जीरो-शॉट ट्रांसफर', जहाँ एक सिस्टम सिमुलेशन में प्रशिक्षण के तुरंत बाद वास्तविक दुनिया में काम करता है, एक महत्वपूर्ण प्रगति है। यह प्रदर्शित करता है कि रोबोटों ने वास्तव में सुरक्षित संपर्क के अंतर्निहित तर्क को सीखा था, न कि केवल एक डिजिटल वातावरण के विशिष्ट विवरणों को।

अध्ययन ने इस सीखने की पद्धति की एक अनूठी विशेषता को भी उजागर किया: समन्वय के स्तर को नियंत्रित करने की क्षमता। चूंकि रोबोटों ने अपने स्वयं के अवलोकन और दूसरों के संदेशों के मिश्रण के आधार पर अपनी गतिविधियों को उत्पन्न करना सीखा था, इसलिए शोधकर्ता यह नियंत्रित कर सकते थे कि रोबोट समूह के संकेतों को कितना महत्व देते हैं। एक साधारण डायल घुमाकर, वे रोबोटों को पूरी तरह से स्वतंत्र रूप से कार्य करने (एक-दूसरे को अनदेखा करते हुए), या अत्यधिक समन्वित होकर, एक-दूसरे के चारों ओर सटीकता से घूमते हुए, चलने के लिए प्रेरित कर सकते थे। यह लचीलापन बताता है कि सिस्टम विभिन्न स्थितियों के अनुकूल हो सकता है, जैसे कि एक शांत कमरा जहाँ रोबोट स्वतंत्र रूप से घूम सकते हैं, या एक अराजक भीड़ जहाँ निरंतर संचार आवश्यक है।

शोधकर्ता तर्क देते हैं कि यह दृष्टिकोण स्वायत्त प्रणालियों के लिए एक नया मार्ग प्रदान करता है। पारंपरिक तरीके अक्सर जटिल, हस्तलिखित नियमों पर निर्भर करते हैं या उन्हें यातायात प्रबंधित करने के लिए एक केंद्रीय कंप्यूटर की आवश्यकता होती है, जो नाजुक और धीमा हो सकता है। एक जेनेरेटिव मॉडल का उपयोग करके जो कार्यों के अनुक्रम की भविष्यवाणी करना सीखता है और अमूर्त संकेतों के माध्यम से संवाद करता है, रोबोट पक्षियों के झुंड या मछलियों के समूह की तरह बन जाते हैं, जहाँ जटिल समूह व्यवहार सरल स्थानीय अंतःक्रियाओं से उत्पन्न होता है। यह कार्य दर्शाता है कि मशीनें बिना किसी साझा भाषा या केंद्रीय मस्तिष्क के एक-दूसरे के इरादों को समझना सीख सकती हैं, जो हमारे साझा स्थानों में रोबोटों के सुरक्षित और कुशल बेड़े के लिए मार्ग प्रशस्त करता है।