🤖 AI

M $^{2}$ GRPO: Mamba-based Multi-Agent Group Relative Policy Optimization for Biomimetic Underwater Robots Pursuit

यह शोध पत्र M $^{2}$ GRPO का प्रस्ताव करता है, जो बायोमिमेटिक अंडरवॉटर रोबॉट्स के सहयोगात्मक पीछा करने वाले कार्यों (cooperative pursuit tasks) के लिए दीर्घकालिक निर्णय लेने (long-horizon decision-making), अंतर-एजेंट समन्वय और प्रशिक्षण स्थिरता को बढ़ाने हेतु एक CTDE प्रतिमान के तहत ग्रूप रिलेटिव पॉलिसी ऑप्टिमाइजेशन के साथ मम्बा-आधारित नीतियों को संयोजित करने वाला एक नवीन ढांचा है।

मूल लेखक: Yukai Feng, Zhiheng Wu, Zhengxing Wu, Junwen Gu, Junzhi Yu

प्रकाशित 2026-04-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yukai Feng, Zhiheng Wu, Zhengxing Wu, Junwen Gu, Junzhi Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप रोबोटिक मछलियों के एक स्कूल को एक तेज़, फिसलन भरी और चतुर "शिकार" मछली को पकड़ने के लिए मिलकर काम करना सिखाने की कोशिश कर रहे हैं। यह वह चुनौती है जिसका सामना शोधकर्ताओं ने इस पेपर में किया है।

यहाँ उनके समाधान, M2GRPO की कहानी है, जिसे सरल अवधारणाओं और रोजमर्रा के उपमाओं (analogies) में तोड़कर समझाया गया है।

1. समस्या: गहरे पानी का "विस्मृति" (Amnesia) और "शोर" (Noise)

पारंपरिक रोबोट टीमें एक धुंधले कमरे में गेंद पकड़ने की कोशिश करने वाले दोस्तों के समूह की तरह होती हैं।

धुंध (आंशिक अवलोकन/Partial Observability): रोबट पूरे पूल को नहीं देख सकते; वे केवल वही देखते हैं जो उनके ठीक सामने होता है।
विस्मृति (लंबी अवधि के निर्णय/Long-Horizon Decisions): यदि कोई रोबोट भूल जाता है कि 10 सेकंड पहले शिकार कहाँ था, तो वह भविष्यवाणी नहीं कर सकता कि शिकार आगे कहाँ होगा। पुराने रोबोट दिमाग (जिन्हें MLPs कहा जाता है) अल्पकालिक स्मृति की तरह होते हैं; वे अतीत को जल्दी भूल जाते हैं।
शोर (तालमेल/Coordination): यदि एक रोबोट घबरा जाता है, तो पूरी टीम भ्रमित हो सकती है।

शोधकर्ताओं को एक ऐसे सिस्टम की आवश्यकता थी जो अतीत को याद रख सके, बिना बोले एक-दूसरे से बात कर सके, और बिना सुपरकंप्यूटर की आवश्यकता के तेजी से सीख सके।

2. मस्तिष्क: "माम्बा" (Mamba) (सुपर-शॉर्ट-टर्म मेमोरी)

शोधकर्ताओं ने रोबोटों को Mamba नामक एक नया प्रकार का मस्तिष्क दिया।

उपमा: कल्पना कीजिए कि एक मानक रोबốt मस्तिष्क एक ऐसे व्यक्ति की तरह है जो एक बार में एक पन्ना पढ़ता है, और दसवें पन्ने तक पहुँचते-पहुँचते पहला पन्ना भूल जाता है।
Mamba अपग्रेड: Mamba उस व्यक्ति की तरह है जो पूरी किताब पढ़ सकता है, हर पात्र के इरादों को याद रख सकता है, और मैराथन दौड़ते हुए भी अंत की भविष्यवाणी कर सकता है। यह एक "चयनात्मक अवस्था-स्थान" (selective state-space) तंत्र का उपयोग करता है। इसे एक स्मार्ट फिल्टर के रूप में सोचें जो केवल महत्वपूर्ण यादों (जैसे "शिकार बाईं ओर मुड़ा") को रखता है और शोर (जैसे "एक बुलबुला तैर कर आया") को भूल जाता है।
यह क्यों मायने रखता है: यह रोबोटों को भविष्य की योजना बनाने में सक्षम बनाता है। वे केवल शिकार की वर्तमान स्थिति का पीछा नहीं करते; वे उस स्थान का पीछा करते हैं जहाँ शिकार भविष्य में होगा।

3. टीम वर्क: "ग्रुप रिलेटिव" लर्निंग (Group Relative Learning)

आमतौर पर, एक टीम को सिखाने के लिए, आपको एक कोच (एक "क्रिटिक") की आवश्यकता होती है जो किनारे पर खड़ा होकर सबको ठीक-ठीक बताए कि उन्होंने कैसा प्रदर्शन किया। लेकिन अंडरवॉटर रोबोटिक्स में, एक कोच रखना महंगा और धीमा होता है।

शोधकर्ताओं ने ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) नामक एक ट्रिक का उपयोग किया।

उपमा: एक ऐसी कक्षा की कल्पना करें जहाँ शिक्षक ग्रेड (अंक) किसी पूर्ण टेस्ट स्कोर के आधार पर नहीं देता। इसके बजाय, शिक्षक कहता है, "आज कक्षा के औसत से बेहतर किसने किया?"
यह कैसे काम करता है: रोबोट एक ही समय में (समानांतर में) 10 बार एक ही पीछा करने वाला खेल खेलते हैं। अंत में, वे अपने स्कोर की तुलना करते हैं। यदि रोबोट A ने समूह के औसत से तेज़ी से शिकार पकड़ा, तो उसे "हाई फाइव" (सकारात्मक इनाम) मिलता है। यदि वह धीमा था, तो उसे "थम्स डाउन" मिलता है।
लाभ: उन्हें "परफेक्ट" स्कोर की गणना करने के लिए एक जटिल कोच की आवश्यकता नहीं है। वे बस एक-दूसरे से तुलना करते हैं। यह प्रशिक्षण को तेज़, सस्ता और अधिक स्थिर बनाता है।

4. आर्किटेक्चर: CTDE ("स्टडी हॉल" बनाम "परीक्षा")

यह सिस्टम CTDE (सेंट्रलाइज्ड ट्रेनिंग, डिसेंट्रलाइज्ड एक्जीक्यूशन) नामक एक विधि का उपयोग करता है।

प्रशिक्षण (स्टडी हॉल): अभ्यास के दौरान, सभी रोबोट अपने नोट्स साझा करते हैं। वे पूरे पूल को देखते हैं और मिलकर सबसे अच्छी रणनीति बनाने के लिए एक-दूसरे से बात करते हैं।
एक्जीक्यूशन (परीक्षा): जब वास्तविक खेल शुरू होता है, तो रोबोट पानी में अकेले होते हैं। वे कोच से बात नहीं कर सकते या पूरे पूल को नहीं देख सकते। उन्हें निर्णय लेने के लिए केवल अपनी आँखों और अपनी याददाश्त (Mamba मस्तिष्क) पर निर्भर रहना पड़ता है।
परिणाम: रोबोट स्टडी हॉल में एक जटिल टीम रणनीति सीखते हैं, लेकिन वे अंधेरे में अकेले होने पर भी इसे पूरी तरह से लागू कर सकते हैं।

5. वास्तविक दुनिया का परीक्षण: रोबोटिक शार्क

शोधकर्ताओं ने इसे केवल कंप्यूटर पर सिम्युलेट नहीं किया; उन्होंने असली रोबोटिक शार्क बनाए।

इन शार्क्स की पूंछ असली मछली की तरह हिलती है, जिससे वे शांत और फुर्तीले बनते हैं।
उन्होंने उन्हें 4x4 मीटर के पूल में रखा।
परिणाम: M2GRPO शार्क्स अविश्वसनीय रूप से सफल रहे। उन्होंने "शिकार" को 97% बार पकड़ा (पुराने तरीकों के 80-90% की तुलना में) और उन्होंने यह काम तेज़ी से किया।
रणनीति: वीडियो में, आप देख सकते हैं कि शार्क्स भेड़ियों के झुंड की तरह काम करते हैं। वे केवल सीधी रेखा में नहीं दौड़ते; वे भागने के रास्तों को काट देते हैं, शिकार को घेर लेते हैं, और बारी-बारी से पीछा करते हैं।

सारांश: यह एक बड़ी बात क्यों है?

यह पेपर ऐसा है जैसे रोबोटिक मछलियों के एक स्कूल को सुपर-मेमोरी और एक टीम स्पिरिट देना, जिसके लिए किसी केंद्रीय बॉस की आवश्यकता नहीं है।

पुराना तरीका: रोबोट कम दृष्टि वाले, भूलक्कड़ और तालमेल बिठाने के लिए सुपरकंप्यूटर पर निर्भर होते हैं।
नया तरीका (M2GRPO): रोबोट अतीत को याद रखते हैं, भविष्य की भविष्यवाणी करते हैं, अपने साथियों के साथ तुलना करके सीखते हैं, और सीमित शक्ति के साथ भी कुशलता से काम कर सकते हैं।

इस तकनीक का उपयोग जल्द ही वास्तविक दुनिया के कार्यों के लिए किया जा सकता है जैसे खोए हुए गोताखोरों की तलाश करना, अंडरवॉटर पाइपलाइनों का निरीक्षण करना, या महासागर के स्वास्थ्य की निगरानी करना, जहाँ रोबोटों को गहरे, अंधेरे पानी में चुपचाप और बुद्धिमानी से मिलकर काम करने की आवश्यकता होती है।

यहाँ शोध पत्र "M2GRPO: Mamba-based Multi-Agent Group Relative Policy Optimization for Biomimetic Underwater Robots Pursuit" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र बायोमिमेटिक अंडरवॉटर रोबोट्स (विशेष रूप से रोबोटिक शार्क) के शामिल सहकारी पीछा करने (cooperative pursuit-evasion - PE) कार्यों से जुड़ी चुनौतियों को संबोधित करता है। इस क्षेत्र में मुख्य कठिनाइयाँ निम्नलिखित हैं:

लॉन्ग-होरिज़न निर्णय लेना (Long-Horizon Decision Making): पीछा करने के कार्यों के लिए विस्तारित समय-सीमा के भीतर योजना बनाने की आवश्यकता होती है, जो मानक मॉडलों के लिए कठिन है जो दीर्घकालिक निर्भरताओं (long-term dependencies) के साथ संघर्ष करते हैं।
आंशिक अवलोकनशीलता (Partial Observability): रोबट सीमित स्थानीय संवेदन (local sensing) के साथ कार्य करते हैं, जिससे उन्हें पर्यावरण और इवेडर (evader) की स्थिति का अनुमान लगाने के लिए ऐतिहासिक अवलोकन अनुक्रमों (historical observation sequences) पर निर्भर रहना पड़ता है।
एजेंट-बीच समन्वय (Inter-Agent Coordination): प्रभावी कैप्चर के लिए विकसित होते इंटरैक्शन टोपोलॉजी के साथ कई पीछा करने वाले एजेंटों के बीच गतिशील समन्वय की आवश्यकता होती है।
संसाधन बाधाएं (Resource Constraints): अंडरवॉटर रोबोटों में सीमित कंप्यूटिंग शक्ति होती है, जिसके लिए ऐसे एल्गोरिदम की आवश्यकता होती है जो अभिव्यंजक (expressive) होने के साथ-साथ कंप्यूटेशनल रूप से कुशल भी हों।

मौजूदा विधियाँ अक्सर मल्टी-लेयर पर्सेप्ट्रॉन्स (MLPs) पर निर्भर करती हैं जो दीर्घकालिक अस्थायी निर्भरताओं (long-term temporal dependencies) को पकड़ने में विफल रहती हैं, या ट्रांसफॉर्मर (Transformers) पर जो उच्च कंप्यूटेशनल लागत ( $O(N^2)$ जटिलता) वहन करते हैं, जो ऑनबोर्ड डिप्लॉयमेंट के लिए अनुपयुक्त हैं।

2. कार्यप्रणाली: M2GRPO (Methodology: M2GRPO)

लेखक M2GRPO का प्रस्ताव करते हैं, जो सेंट्रलाइज्ड ट्रेनिंग विद डिसेंट्रलाइज्ड एक्जीक्यूशन (CTDE) प्रतिमान के तहत एक Mamba-आधारित पॉलिसी नेटवर्क को मल्टी-एजेंट ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (MAGRPO) के साथ एकीकृत करता है।

A. Mamba-आधारित पॉलिसी नेटवर्क (Mamba-Based Policy Network)

मानक MLPs या ट्रांसफॉर्मर के बजाय, पॉलिसी नेटवर्क टेम्पोरल और रिलेशनल डेटा को कुशलतापूर्वक संभालने के लिए Mamba (Selective State Space Models) का उपयोग करता है।

टेम्पोरल मॉडलिंग (Temporal Modeling): ऐतिहासिक अवलोकन अनुक्रमों ( $h_t$ ) को प्रोसेस करने के लिए Mamba2 मॉड्यूल का उपयोग करता है। यह लंबी दूरी की टेम्पोरल निर्भरताओं को पकड़ने के लिए इनपुट-डिपेंडेंट गेटिंग और सेगमेंटेड रिकर्सन का लाभ उठाता है, जो ट्रांसफॉर्मर की क्वाड्रेटिक जटिलता के स्थान पर लीनियर टाइम कॉम्प्लेक्सिटी प्रदान करता है।
रिलेशनल मॉडलिंग (Relational Modeling): वर्तमान स्थानीय अवलोकनों (स्व-अवस्था, इवेडर की जानकारी, और पड़ोसियों की सामूहिक विशेषताएं) को प्रोसेस करने और इंटरैक्शन फीचर्स निकालने के लिए BiMamba2 (Bidirectional Mamba) मॉड्यूल का उपयोग करता है।
फ्यूजन (Fusion): एक Multi-Head Attention (MHA) मैकेनिज्म टेम्पोरल फीचर्स (Key/Value) और रिलेशनल फीचर्स (Query) को फ्यूज करके एक एकीकृत लेटेंट रिप्रेजेंटेशन बनाता है।
एक्शन आउटपुट (Action Output): फ्यूज किए गए रिप्रेजेंटेशन को निरंतर, बाउंडेड एक्शन्स को सैंपल करने के लिए गाऊसी वितरण ( $\mu, \sigma$ ) के मापदंडों में मैप किया जाता है।

B. मल्टी-एजेंट ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (MAGRPO)

प्रशिक्षण स्थिरता में सुधार करने और कंप्यूटेशनल लागत को कम करने के लिए, लेखक ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) को मल्टी-एजेंट सेटिंग्स में विस्तारित करते हैं।

वैल्यू नेटवर्क का उन्मूलन (Elimination of Value Networks): पारंपरिक PPO या MAPPO के विपरीत, MAGRPO के लिए अलग से क्रिटिक/वैल्यू नेटवर्क की आवश्यकता नहीं होती है।
ग्रुप-नॉर्मलाइज्ड एडवांटेज (Group-Normalized Advantages): प्रत्येक एजेंट के लिए, एडवांटेज की गणना एक समूह के भीतर समानांतर वातावरण के एपिसोडिक रिटर्न्स को नॉर्मलाइज़ करके की जाती है।
$A^i_j = \frac{R^i_j - \bar{R}^i}{\text{Std}(R) + \tau}$
जहाँ $R^i_j$ $j$ -वें वातावरण में रिटर्न है, और $\bar{R}^i$ ग्रुप मीन है।
PPO-Clip ऑब्जेक्टिव (PPO-Clip Objective): पॉलिसी को इन रिलेटिव एडवांटेज के आधार पर क्लिप्ड ऑब्जेक्टिव फंक्शन का उपयोग करके अपडेट किया जाता है, जो मल्टी-एजेंट सिस्टम में अक्सर जुड़ी अस्थिरता के बिना स्थिर अपडेट सुनिश्चित करता है।

C. रिवॉर्ड डिज़ाइन (Reward Design)

रिवॉर्ड फंक्शन सीखने के मार्गदर्शन के लिए तीन घटकों को जोड़ता है:

कैप्चर रिवॉर्ड ( $r_{cap}$ ): सफल कैप्चर होने पर एक निश्चित सकारात्मक रिवॉर्ड।
ऑक्सिलरी रिवॉर्ड ( $r_{aux}$ ): इवेडर से दूरी कम करने के लिए प्रोत्साहित करता है।
सेफ्टी रिवॉर्ड ( $r_{safe}$ ): असुरक्षित व्यवहार को रोकने के लिए एजेंटों को पूल सीमाओं के करीब जाने पर दंडित करता है।

3. प्रमुख योगदान (Key Contributions)

नवल आर्किटेक्चर (Novel Architecture): अंडरवॉटर रोबोटिक्स के लिए मल्टी-एजेंट पॉलिसी में Mamba (Selective SSM) के एकीकरण का प्रस्ताव करता है, जो लीनियर कंप्यूटेशनल कॉम्प्लेक्सिटी के साथ लॉन्ग-होरिज़न टेम्पोरल डिपेंडेंसी और इंटर-एजेंट रिलेशनशिप को प्रभावी ढंग से मॉडल करता है।
एल्गोरिद्मिक इनोवेशन (Algorithmic Innovation): MAGRPO विकसित करता है, जो GRPO का एक मल्टी-एजेंट विस्तार है जो स्पष्ट वैल्यू नेटवर्क की आवश्यकता को समाप्त करता है, जिससे मेमोरी उपयोग और प्रशिक्षण जटिलता काफी कम हो जाती है और स्थिरता बनी रहती है।
रियल-वर्ल्ड वैलिडेशन (Real-World Validation): वास्तविक दुनिया के पूल वातावरण में भौतिक बायोमिमेटिक रोबोटिक शार्क प्रोटोटाइप पर सीखे गए पॉलिसी का सफलतापूर्वक परिनियोजन (deployment) किया गया, जो दृष्टिकोण की व्यवहार्यता को सिमुलेशन से परे प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस फ्रेमवर्क का मूल्यांकन मजबूत बेसलाइन्स (MAPPO, HAPPO, MASAC) के विरुद्ध व्यापक सिमुलेशन और वास्तविक दुनिया के प्रयोगों के माध्यम से किया गया।

प्रभावशीलता (सफलता दर - Effectiveness/Success Rate):
- M2GRPO ने एक सीखे गए इवेडर के विरुद्ध 97% सफलता दर और एक रैंडम इवेडर के विरुद्ध 93% सफलता दर प्राप्त की।
- इसने सभी बेसलाइन्स (MAPPO, HAPPO, MASAC) को महत्वपूर्ण अंतर से पीछे छोड़ दिया, जिसका श्रेय इसकी दीर्घकालिक इरादे (intent) को मॉडल करने और एजेंटों को समन्वित करने की बेहतर क्षमता को जाता है।
दक्षता (कैप्चर स्टेप्स - Efficiency/Capture Steps):
- M2GRPO को इवेडर को पकड़ने के लिए सबसे कम औसत स्टेप्स की आवश्यकता पड़ी, जो बेसलाइन्स की तुलना में अधिक फॉरवर्ड-लुकिंग प्लानिंग को प्रदर्शित करता है जो अक्सर अनावश्यक चालें चलते हैं।
स्केलेबिलिटी (Scalability):
- जैसे-जैसे पीछा करने वालों की संख्या बढ़ी (2 से 6 तक), M2GRPO ने उच्चतम सफलता दर बनाए रखी।
- MASAC और MHPPO जैसे बेसलाइन्स ने एजेंट काउंट बढ़ने के साथ प्रदर्शन में गिरावट या प्रशिक्षण ओवरहेड में रैखिक वृद्धि दिखाई, जबकि M2GRPO का अटेंशन-आधारित फ्यूजन कुशलतापूर्वक स्केल हुआ।
एब्लेशन स्टडीज (Ablation Studies):
- इंटरैक्शन एनकोडिंग को हटाने से सबसे बड़ी गिरावट (92% से 81%) हुई, जो रिलेशनल मॉडलिंग की महत्वपूर्ण भूमिका को उजागर करती है।
- Mamba को एक मानक MLP से बदलने के परिणामस्वरूप भारी गिरावट (66% तक) हुई, जो टेम्पोरल रीजनिंग के लिए SSM बैकबोन की आवश्यकता की पुष्टि करती है।
वास्तविक दुनिया के प्रयोग (Real-World Experiments):
- रोबोटिक शार्क के साथ भौतिक परीक्षणों ने गतिशील जल स्थितियों के अनुकूल होने की एल्गोरिदम की क्षमता की पुष्टि की, जिसमें मोबाइल इवेडर को पकड़ने के लिए "कॉर्नरिंग" और "एनसर्कलमेंट" जैसी जटिल रणनीतियों को सफलतापूर्वक निष्पादित किया गया।

5. महत्व (Significance)

यह कार्य अंडरवॉटर मल्टी-रोबोट सहयोग में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। Mamba की लीनियर-टाइम एफिशिएंसी को ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन की सैंपल एफिशिएंसी के साथ जोड़कर, M2GRPO एक्सप्रेसिवनेस और कंप्यूटेशनल लागत के बीच के ट्रेड-ऑफ को हल करता है।

व्यावहारिक अनुप्रयोग (Practical Application): यह अंडरवॉटर निरीक्षण, खोज-बचाव और पर्यावरणीय निगरानी जैसे वास्तविक कार्यों के लिए एक स्केलेबल समाधान प्रदान करता है जहाँ रोबोटों को सीमित ऑनबोर्ड कंप्यूट और आंशिक अवलोकनशीलता के साथ कार्य करना होता है।
सैद्धांतिक प्रभाव (Theoretical Impact): यह प्रदर्शित करता है कि स्टेट-स्पेस मॉडल्स (SSMs) प्रभावी रूप से मल्टी-एजेंट सुदृढीकरण शिक्षण (RL) में ट्रांसफॉर्मर की जगह ले सकते हैं, जो संसाधन-बाधित रोबोटिक सिस्टम के लिए एक नया दिशा प्रदान करते हैं।