⚡ electrical engineering

Learning Altruistic Collaboration in Heterogeneous Multi-Team Systems

यह शोधपत्र एक ग्राफ न्यूरल नेटवर्क-आधारित ढांचे का प्रस्ताव करता है जो विषम बहु-टीम प्रणालियों में गतिशील रोबोट आवंटन की NP-hard समस्या को हल करने के लिए हैमिल्टन के नियम का लाभ उठाता है, जिससे अग्निशमन जैसे परिदृश्यों में लगभग इष्टतम परोपकारी सहयोग प्राप्त होता है।

मूल लेखक: Riwa Karam, Ruoyu Lin, Brooks A. Butler, Magnus Egerstedt

प्रकाशित 2026-05-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Riwa Karam, Ruoyu Lin, Brooks A. Butler, Magnus Egerstedt

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि शहर के अलग-अलग हिस्सों में आग बुझाने वाली विभिन्न टीमों का एक समूह बिखरा हुआ है, जिनमें से प्रत्येक अपने पड़ोस में लगी आग से जूझ रहा है। कुछ टीमों के पास पानी के ट्रक तो बहुत हैं लेकिन आग के हॉटस्पॉट (केंद्रों) को पहचानने वाला कोई नहीं है। दूसरों के पास बेहतरीन स्काउट्स (खोजकर्ता) हैं लेकिन पानी नहीं है। एक आदर्श दुनिया में, इन टीमों को तुरंत पता चल जाना चाहिए कि किसे मदद की ज़रूरत है और समस्या को ठीक करने के लिए रोबोट्स का आदान-प्रदान करना चाहिए। लेकिन सैकड़ों रोबोट्स को दर्जनों टीमों के बीच बदलने के सबसे अच्छे तरीके को तय करना एक ऐसा जटिल गणितीय पहेली है जिसे सुपरकंप्यूटर भी वास्तविक समय (real-time) में उपयोगी होने के लिए हल नहीं कर सकते।

यह शोध पत्र एक चतुर समाधान प्रस्तावित करता है: रोबोट्स को प्रकृति से उधार लिए गए एक नियम का उपयोग करके "परोपकारी" (altruistic) बनना सिखाना, और फिर उन्हें इस तरह के जटिल निर्णय तुरंत लेने के लिए एक विशेष प्रकार की आर्टिफिशियल इंटेलिजेंस (AI) का उपयोग करके प्रशिक्षित करना।

यहाँ यह शोध पत्र इसे सरल उपमाओं (analogies) का उपयोग करके समझाता है:

1. समस्या: "बहुत अधिक विकल्पों" की पहेली

अतीत में, शोधकर्ताओं ने सभी रोबोट्स को समान माना था (जैसे कि 50 समान पानी की बाल्टियाँ होना)। यदि आपको बाल्टियाँ स्थानांतरित करने की आवश्यकता होती, तो आप बस उन्हें गिन लेते। लेकिन वास्तविक दुनिया में, रोबोट अलग-अलग होते हैं। कुछ "स्काउट्स" (सेंसर) होते हैं और कुछ "फाइटर्स" (पानी ले जाने वाले) होते हैं।

जब रोबोट अलग होते हैं, तो एक टीम का मूल्य केवल इस बात पर निर्भर नहीं करता कि उसमें कितने लोग हैं, बल्कि इस पर निर्भर करता है कि वे कौन हैं। 10 स्काउट्स वाली टीम बेकार है यदि वहाँ आग बुझाने के लिए कोई न हो। 10 पानी ले जाने वालों वाली टीम भी बेकार है यदि वे यह नहीं खोज पाते कि आग कहाँ है।

शोध पत्र बताता है कि हर टीम के लिए स्काउट्स और फाइटर्स का सही मिश्रण निकालना एक NP-hard समस्या है। सरल शब्दों में कहें तो, इसका मतलब है कि संभावित संयोजनों की संख्या इतनी विशाल है कि यह रेगिस्तान में रेत के एक विशिष्ट कण को खोजने जैसा है, जहाँ आपको हर एक कण को एक-एक करके जांचना होगा। जब तक आप उत्तर खोज लेंगे, तब तक आग सब कुछ जला चुकी होगी।

2. प्रेरणा: प्रकृति का "पारिवारिक नियम"

इस असंभव गणित को हल करने के बजाय, लेखकों ने देखा कि जानवर कैसे व्यवहार करते हैं। उन्होंने हैमिल्टन के नियम (Hamilton's Rule) का उपयोग किया, जो जीव विज्ञान की एक अवधारणा है जो बताती है कि जानवर कभी-कभी अपने रिश्तेदारों की मदद के लिए खुद का बलिदान क्यों देते हैं।

उपमा: एक परिवार की कल्पना करें जहाँ हर कोई आपस में संबंधित है। यदि एक भाई अपनी बहन की मदद करता है, तो वह अप्रत्यक्ष रूप से अपने जीन को जीवित रखने में मदद कर रहा है। नियम कहता है: "किसी दूसरे की मदद तब करें जब उन्हें होने वाला लाभ, और आपके बीच का संबंध (kinship), आपके द्वारा चुकाई गई लागत (cost) से अधिक हो।"

शोध पत्र इसे रोबोट्स के लिए अनुकूलित करता है। "जीन" के बजाय, रोबोट्स "टीम के महत्व" को देखते हैं। यदि टीम A एक बड़ी आग से जूझ रही है (उच्च महत्व) और टीम B के पास अतिरिक्त रोबोट हैं, तो टीम B को एक रोबोट भेजना चाहिए यदि उस रोबोट को भेजने से टीम A को मिलने वाली मदद, उस रोबोट को वहां तक ले जाने की लागत (जैसे कि यात्रा में लगने वाला समय) से अधिक मूल्यवान है।

3. समाधान: एक "स्मार्ट मस्तिष्क" (GNN) को प्रशिक्षित करना

चूंकि गणित मौके पर हल करना बहुत कठिन है, इसलिए लेखकों ने रोबोट्स को ये निर्णय लेना सिखाने का फैसला किया।

प्रशिक्षण: उन्होंने कंप्यूटर पर हजारों नकली आग के परिदृश्य (scenarios) बनाए। छोटे परिदृश्यों के लिए, उन्होंने एक सुपरकंप्यूटर का उपयोग करके परफेक्ट उत्तर खोजा। फिर उन्होंने इन "परफेक्ट उत्तरों" को एक न्यूरल नेटवर्क (एक प्रकार का AI मस्तिष्क) को दिखाया और कहा, "इसे सीखो।"
मस्तिष्क (ग्राफ न्यूरल नेटवर्क - GNN): यह AI एक सोशल नेटवर्क की तरह डिज़ाइन किया गया है। प्रत्येक टीम एक 'नोड' (node) है, और उनके बीच के संबंध 'एजेस' (edges) हैं। AI पड़ोसियों के बीच संदेश भेजता है (जैसे कि एक लाइन में धीरे से फुसफुसाना) ताकि वह बिना किसी केंद्रीय बॉस के पूरे परिदृश्य को समझ सके।
परिणाम: एक बार प्रशिक्षित होने के बाद, AI एक नए, विशाल आग के परिदृश्य को देख सकता है जिसमें 50 टीमें और 150 रोबोट हैं और तुरंत निर्णय ले सकता है कि कौन से रोबोट को कहाँ जाना चाहिए। यह हर बार परफेक्ट उत्तर की गणना नहीं करता है; इसके बजाय, यह जो कुछ भी इसने सीखा है, उसका उपयोग करके एक सेकंड के अंश में एक "लगभग-परफेक्ट" अनुमान लगाता है।

4. परीक्षण: कोड से वास्तविक रोबोट तक

शोधकर्ताओं ने केवल कंप्यूटर सिमुलेशन तक ही सीमित नहीं रहे। उन्होंने वास्तविक रोबोट्स के साथ एक भौतिक परीक्षण मंच (testbed) बनाया।

सेटअप: उनके पास अलग-अलग भूमिकाओं (स्काउट्स और पानी ले जाने वाले) वाले रोबोट्स की टीमें और सिम्युलेटेड आग थी।
परिणाम: AI ने सफलतापूर्वक कार्यभार को संतुलित करने के लिए टीमों के बीच रोबोट्स को स्थानांतरित करने के लिए निर्देशित किया। यहाँ तक कि जब उन्होंने इसे उस पैमाने से कहीं बड़े स्तर पर टेस्ट किया जिस पर इसे प्रशिक्षित किया गया था (जैसे कि एक छात्र जिसने 5वीं कक्षा के टेस्ट के लिए पढ़ाई की लेकिन हाई स्कूल की परीक्षा में टॉप किया), तब भी यह अच्छी तरह से काम करता रहा।

सारांश

यह शोध पत्र मूल रूप से कहता है: "हमारे पास एक गणितीय समस्या है जिसे वास्तविक समय में हल करना बहुत कठिन है। इसलिए, हमने रोबोट्स को एक सरल, प्रकृति-प्रेरित 'परोपकार' के नियम का उपयोग करके एक-दूसरे की मदद करने का निर्णय लेने के लिए प्रशिक्षित किया। हमने एक AI मस्तिष्क को प्रशिक्षित किया जो परफेक्ट समाधान की नकल कर सके, और यह बड़े समूहों के विभिन्न रोबलों को प्रबंधित करने के लिए पर्याप्त तेज़ है।"

मुख्य बात यह है कि आधुनिक AI के साथ एक जैविक नियम को जोड़कर, उन्होंने एक असंभव गणितीय समस्या को रोबोट टीमों के प्रबंधन के लिए एक तेज़, स्केलेबल और व्यावहारिक समाधान में बदल दिया है।

तकनीकी सारांश: विषम बहु-टीम प्रणालियों में परोपकारी सहयोग सीखना

समस्या विवरण

यह शोध पत्र विषम बहु-रोबोट प्रणालियों (heterogeneous multi-robot systems) में संसाधन और कार्य आवंटन की चुनौती को संबोधित करता है, विशेष रूप से उन परिदृश्यों पर ध्यान केंद्रित करता है जहाँ रोबोटों के पास विशिष्ट क्षमताएं (जैसे, सेंसिंग बनाम एक्चुएशन) होती हैं और उन्हें एक वैश्विक मिशन को अनुकूलित करने के लिए कई टीमों के बीच सहयोग करना होता है। उन पारंपरिक स्वरूपों के विपरीत जो समरूप एजेंटों (homogeneous agents) को मानते हैं जहाँ टीम का प्रदर्शन रोबोटों की संख्या के साथ रैखिक रूप से बढ़ता है, यह कार्य सेट-डिपेंडेंट मिशन इवैल्यूएशन फंक्शन्स (set-dependent mission evaluation functions) पर विचार करता है। ऐसी प्रणालियों में, एक रोबोट का योगदान उस टीम के विशिष्ट संयोजन पर निर्भर करता है जिसमें वह शामिल होता है, जो एजेंटों के बीच कॉम्बिनेटोरियल कपलिंग (combinatorial coupling) पेश करता है।

मुख्य समस्या को एक विषम बहु-टीम सहयोगात्मक संसाधन आवंटन (heterogeneous multi-team collaborative resource allocation) समस्या के रूप में तैयार किया गया है। रोबोटों को हस्तांतरणीय संसाधनों के रूप में माना जाता है जिन्हें क्षमताओं को संतुलित करने के लिए टीमों के बीच प्रवास (migrate) करने की अनुमति है। उद्देश्य एक वैश्विक मिशन मूल्यांकन फंक्शन को अधिकतम करना और रोबोट स्थानांतरण से जुड़े लागतों (जैसे, यात्रा का समय/दूरी) को न्यूनतम करना है। लेखक इसे एक इवेंट-ट्रिगर्ड हाइब्रिड सिस्टम के रूप में मॉडल करते हैं जिसमें निरंतर-समय मिशन गतिकी (continuous-time mission dynamics) और डिस्क्रीट-टाइम रोबोट विनिमय शामिल हैं।

महत्वपूर्ण रूप से, यह शोध पत्र स्थापित करता है कि यह विषम आवंटन समस्या NP-hard है। इसे 'पार्टिशन समस्या' (Partition problem) से रिडक्शन के माध्यम से सिद्ध किया गया है, जो यह दर्शाता है कि बड़े पैमाने पर सटीक इष्टतम समाधान खोजना कम्प्यूटेशनल रूप से कठिन है, विशेष रूप से जब मिशन मूल्यांकन फंक्शन मनमाने सेट-डिपेंडेंट फंक्शन हों और ट्रांसफर लागत गैर-शून्य हो।

कार्यप्रणाली

1. सैद्धांतिक ढांचा: विषम परोपकारिता (Heterogeneous Altruism)

लेखक एक पूर्व समरूप ढांचे [7] का विस्तार करते हैं जो विकेंद्रीकृत निर्णय लेने वाले तंत्र के रूप में विकासवादी जीव विज्ञान से हैमिल्टन के नियम (Hamilton's rule) का उपयोग करता था। मूल ढांचे में, टीम $i$ से टीम $j$ को एक स्थानांतरण स्वीकार्य है यदि $r_{ij}B_j > C_i$ है, जहाँ $r_{ij}$ एक संबंधितता कारक (relatedness factor - जिसे मिशन भार के अनुपात के रूप में मॉडल किया गया है) है, $B_j$ प्राप्त करने वाली टीम के लिए सीमांत लाभ है, और $C_i$ दान करने वाली टीम के लिए सीमांत लागत है।

इस शोध पत्र में, इस ढांचे को विषम परिवेशों (heterogeneous settings) के लिए विस्तारित किया गया है:

क्षमता वेक्टर (Capability Vectors): प्रत्येक रोबोट $r$ को एक क्षमता वेक्टर $\kappa_r \in \{0, 1\}^Q$ द्वारा वर्णित किया जाता है।
सेट-डिपेंडेंट इवैल्यूएशन: मिशन मूल्यांकन फंक्शन $F_v(S_v)$ टीम $v$ को सौंपे गए रोबोटों के विशिष्ट सेट $S_v$ पर निर्भर करता है, न कि केवल उनकी संख्या पर।
स्थानांतरण लागत (Transfer Costs): माइग्रेशन दूरी और रोबोट की गति के आधार पर स्पष्ट लागत $C(X^k, X^{k+1})$ पेश की गई है।
हैमिल्टन-एडेमिबल ट्रांसफर्स (Hamilton-Admissible Transfers): निर्णय नियम को रोबोट-विशिष्ट बनाया गया है। टीम $i$ से $j$ में रोबोट $r$ का स्थानांतरण तब स्वीकार्य है यदि $r_{ij} B_{r,j}(S_j) > C_{r,i}(S_i)$ हो, जहाँ लाभ और लागत सेट में विशिष्ट रोबोट के योगदान के आधार पर गणना की जाती है।

2. लर्निंग-आधारित समाधान: CTDE के तहत GNN

अनुकूलन समस्या की NP-hardness को देखते हुए, लेखक इष्टतम आवंटन को अनुमानित करने के लिए सेंट्रलाइज्ड ट्रेनिंग एंड डिसेंट्रलाइज्ड एक्जीक्यूशन (CTDE) प्रतिमान के तहत प्रशिक्षित एक ग्राफ न्यूरल नेटवर्क (GNN) नीति का प्रस्ताव करते हैं।

डेटा जनरेशन: चूंकि बड़े सिस्टम के लिए सटीक समाधान कठिन है, लेखक विस्तृत खोज (exhaustive search) के माध्यम से छोटे पैमाने के उदाहरणों (3-7 टीमें) को हल करके सिंथेटिक डेटा उत्पन्न करते हैं। ये सटीक समाधान प्रशिक्षण के लिए सुपरवाइजरी लेबल के रूप में कार्य करते हैं।
GNN आर्किटेक्चर:
- इनपुट: सिस्टम स्टेट को एक ग्राफ के रूप में एनकोड किया जाता है जिसमें टीम नोड्स (विशेषताएं: भार, आकार, क्षमता गणना), रोबोट नोड्स (विशेषताएं: क्षमता वेक्टर), और एज (विशेषताएं: दूरी, भार अनुपात) होते हैं।
- मैसेज पासिंग: GNN स्थानीय और प्रासंगिक जानकारी को एकत्रित करने के लिए टीम इंटरेक्शन ग्राफ पर $L$ राउंड मैसेज पासिंग करता है।
- एक्शन स्कोरिंग: प्रत्येक रोबोट के लिए, नीति हैमिल्टन-एडेमिबल डेस्टिनेशन टीमों के लिए संभावित स्थानांतरणों को स्कोर करती है।
- मास्किंग: एक "हैमिल्टन मास्क" एक्शन स्पेस को केवल व्यवहार्य (feasible) स्थानांतरणों तक सीमित करता है, यह सुनिश्चित करता है कि नीति परोपकारी निर्णय नियम का पालन करे।
- आउटपुट: नीति प्रत्येक रोबोट के लिए अगले टीम असाइनमेंट की भविष्यवाणी करती है, जो प्रभावी रूप से एक-चरणीय अनुकूलन समस्या को हल करती है।
अनुमान (Inference): निष्पादन के दौरान, प्रशिक्षित GNN स्थानीय रूप से कार्य करता है। टीमें स्थानीय और प्रासंगिक जानकारी की गणना करने के लिए केवल अपने एक-हॉप पड़ोसियों के साथ संदेशों का आदान-प्रदान करती हैं। एक स्थानीय चयन नियम संघर्षों को हल करता है (जैसे, एक टीम से कई रोबोटों का जाना) ताकि व्यवहार्यता बाधाओं (जैसे, टीमें खाली नहीं रहनी चाहिए) को पूरा किया जा सके।

3. अनुप्रयोग: फायर-फाइटिंग परिदृश्य

इस ढांचे को दो प्रकार के रोबोटों वाले अग्निशमन परिदृश्य में लागू किया गया है:

सेंसिंग रोबोट: लोकेशनल कॉस्ट को कम करने के लिए वोरोनोई-आधारित नियंत्रण का उपयोग करके क्षेत्र कवरेज को अनुकूलित करते हैं।
फायर-फाइटिंग रोबोट: आग की तीव्रता को कम करने के लिए जल क्षमता (water capacity) प्रदान करते हैं।
मिशन मूल्यांकन फंक्शन सेंसिंग प्रभावशीलता (कवरेज गुणवत्ता से प्राप्त) और फायर-फाइटिंग पावर को जोड़ता है, जो दोनों क्षमताओं की पूरकता (complementarity) को पकड़ता है। दोनों में से कोई भी क्षमता अकेले पर्याप्त नहीं है; प्रभावी प्रदर्शन के लिए उनके संयुक्त योगदान की आवश्यकता होती है।

मुख्य योगदान

विषम परोपकारी ढांचा: विषम बहु-टीम प्रणालियों के लिए परोपकारी सहयोग ढांचे का विस्तार, जिसमें क्षमता-निर्भर मिशन मूल्यांकन फंक्शन और स्पष्ट स्थानांतरण लागत शामिल हैं।
जटिलता विश्लेषण: पार्टिशन समस्या से रिडक्शन के माध्यम से औपचारिक रूप से सिद्ध किया गया है कि विषम बहु-रोबोट आवंटन समस्या NP-hard है, जो लर्निंग-आधारित अनुमानों की आवश्यकता को प्रेरित करती है।
स्केलेबल लर्निंग दृष्टिकोण: CTDE के तहत एक GNN नीति का विकास जो हैमिल्टन-एडेमिबल आवंटन का अनुमान लगाती है। मॉडल टीम इंटरेक्शन ग्राफ पर कार्य करता है, और वास्तविक समय में रोबोट-स्तरीय स्थानांतरण निर्णयों की भविष्यवाणी करता है।
वैधीकरण: फायर-फाइटिंग डोमेन में सिमुलेशन और हार्डवेयर प्रयोगों के माध्यम से व्यापक सत्यापन, जो विषम सेंसिंग और एक्चुएशन क्षमताओं को संभालने में ढांचे की क्षमता को प्रदर्शित करता है।

परिणाम

सुपरवाइज्ड लर्निंग प्रदर्शन: GNN नीति को 18,000 सिंथेटिक इंस्टेंस पर प्रशिक्षित किया गया। इसने इष्टतम एक-चरणीय आवंटन की भविष्यवाणी करने में उच्च सटीकता प्राप्त की:
- Top-3 Accuracy: टेस्ट सेट पर ~99.5%, जो दर्शाता है कि इष्टतम गंतव्य लगभग हमेशा उच्च रैंक पर होता है।
- Move/Stay Accuracy: ~91.3%।
- Move Target Accuracy: ~63.3% (स्थानांतरण कार्यों पर आधारित)।
- मॉडल ने विभिन्न रैंडम सीड्स के बीच मजबूत सामान्यीकरण और मजबूती प्रदर्शित की।
स्केलेबिलिटी (Scalability):
- सटीक अनुकूलन (Exact Optimization): 7 टीमों और 21 रोबोटों वाले सिस्टम के लिए कम्प्यूटेशनल रूप से कठिन (टाइमआउट) हो जाता है।
- GNN नीति: वास्तविक समय का प्रदर्शन बनाए रखती है। 50 टीमों और 150 रोबोटों के सिस्टम के लिए (जो प्रशिक्षण वितरण से बहुत आगे है), GNN ने संपूर्ण पुनरावृत्त सहयोग प्रक्रिया को लगभग 55.3 सेकंड में पूरा किया, जबकि सटीक अनुकूलन असंभव था।
हार्डवेयर प्रयोग: नीति को 15 रोबोटों (सेंसिंग और फायर-फाइटिंग प्रकार) के भौतिक टेस्टबेड पर तैनात किया गया। सिस्टम ने सफलतापूर्वक विकेंद्रीकृत माइग्रेशन को निष्पादित किया, टीमों के बीच क्षमताओं को संतुलित किया और आग की तीव्रता को कम किया, जो वास्तविक दुनिया के रोबोटिक बाधाओं में ढांचे की व्यवहार्यता को प्रमाणित करता है।

महत्व और दावे

यह शोध पत्र दावा करता है कि प्रस्तावित लर्निंग-आधारित ढांचा परोपकारी संसाधन आवंटन की सैद्धांतिक इष्टतमता और विषम, बड़े पैमाने की बहु-रोबोट प्रणालियों की व्यावहारिक बाधाओं के बीच के अंतर को सफलतापूर्वक पाटता है। हैमिल्टन के नियम को एक स्ट्रक्चरल प्रायर (structural prior) के रूप में उपयोग करके और स्टेट-टू-एक्शन मैपिंग को सीखने के लिए GNN का उपयोग करके, यह दृष्टिकोण निकट-इष्टतम प्रदर्शन (near-optimal performance) प्राप्त करता है जहाँ सटीक कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन विफल हो जाता है।

लेखक इस बात पर जोर देते हैं कि निष्पादन के दौरान इस ढांचे को केंद्रीकृत समन्वय की आवश्यकता नहीं होती है, बल्कि यह स्थानीय मैसेज पासिंग पर निर्भर करता है। यह इसे आपदा प्रतिक्रिया जैसे गतिशील, विकेंद्रीकृत वातावरण के लिए उपयुक्त बनाता है। परिणाम बताते हैं कि सीखे गए नीतियां जटिल, सेट-डिपेंडेंट ऑप्टिमाइज़ेशन समस्याओं को प्रभावी ढंग से अनुमानित कर सकती हैं, जिससे विषम बहु-टीम प्रणालियों में स्केलेबल सहयोग संभव होता है।