🤖 AI

Safe and Generalizable Hierarchical Multi-Agent RL via Constraint Manifold Control

यह शोध पत्र एक पदानुक्रमित बहु-एजेंट सुदृढीकरण शिक्षण ढांचा प्रस्तावित करता है जो निचले स्तर पर एक बाधा मैनिफोल्ड (constraint manifold) के माध्यम से कठोर बाधाओं को लागू करके सैद्धांतिक सुरक्षा गारंटी और स्थिर प्रशिक्षण सुनिश्चित करता है, जबकि उच्च-स्तरीय नीति शिक्षण के माध्यम से प्रभावी समन्वय सक्षम करता है, जिसके परिणामस्वरूप एक ऐसी विधि प्राप्त होती है जो लगभग पूर्ण सुरक्षा दरों और विभिन्न एजेंट एवं बाधा विन्यासों में मजबूत सामान्यीकरण के साथ प्रतिस्पर्धी प्रदर्शन प्राप्त करती है।

मूल लेखक: Zihao Guo, Jianing Zhao, Ling Li, Hao Liang, Giuseppe Loianno, Yali Du

प्रकाशित 2026-06-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zihao Guo, Jianing Zhao, Ling Li, Hao Liang, Giuseppe Loianno, Yali Du

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक व्यस्त गोदाम की कल्पना करें जो दर्जनों डिलीवरी रोबोटों से भरा हुआ है। उनका काम पैकेज उठाना और उन्हें विशिष्ट स्थानों पर छोड़ना है। उन्हें कुशलतापूर्वक मिलकर काम करने की आवश्यकता है, लेकिन एक गैर-परक्राम्य नियम है: उन्हें कभी भी एक-दूसरे से या शेल्फ (shelves) से नहीं टकराना चाहिए।

यह वही समस्या है जिसे यह शोध पत्र (paper) हल करता है। यह दो प्रतिस्पर्धी लक्ष्यों के बीच संतुलन बनाने का खेल है:

होशियार होना: कुशलतापूर्वक चलना और मिलकर काम करना सीखना (जिसके लिए आमतौर पर प्रयास और त्रुटि यानी trial and error की आवश्यकता होती है, जैसे कि कोई इंसान नृत्य करना सीखता है)।
सुरक्षित होना: यह गारंटी देना कि वे कभी नहीं टकराएंगे, यहाँ तक कि जब वे अभी सीख ही रहे हों (जिसके लिए आमतौर पर कठोर, धीमी नियमों की आवश्यकता होती है)।

मौजूदा तरीके आमतौर पर आपको चुनने के लिए मजबूर करते हैं: या तो आपको होशियार लेकिन जोखिम भरे रोबोट मिलेंगे, या आपको सुरक्षित लेकिन अनाड़ी रोबोट मिलेंगे जो कीचड़ में चलते हुए भारी कदमों से चलते हैं।

यह शोध पत्र एक नई प्रणाली पेश करता है जिसे HMM (Hierarchical Manifold Multi-Agent PPO) कहा जाता है। इसे एक दो-स्तरीय प्रबंधन प्रणाली के रूप में समझें जो दोनों दुनियाओं का सर्वश्रेष्ठ प्रदान करती है।

दो-स्तरीय प्रणाली: "मस्तिष्क" और "प्रतिवर्त" (The Brain and The Reflex)

लेखकों ने रोबोट के निर्णय लेने की प्रक्रिया को दो स्तरों में विभाजित किया है, जैसे एक CEO और एक बॉडीगार्ड।

1. उच्च-स्तरीय "मस्तिष्क" (The CEO)

यह क्या करता है: यह सीखने वाला हिस्सा है। यह बड़ी तस्वीर को देखता है और निर्णय लेता है, "ठीक है, रोबोट A, तुम्हें उस कोने की ओर बढ़ना चाहिए। रोबोट B, तुम वहाँ जाओ।" यह रणनीति बनाता है और टीम के साथ समन्वय कैसे करना है, यह तय करता है।
यह कैसे सीखता है: यह एक मानक AI सीखने की विधि (Reinforcement Learning) का उपयोग करता है ताकि समय के साथ काम में बेहतर हो सके। इसे गलतियाँ करने की अनुमति है, जब तक कि यह सुरक्षा नियमों को नहीं तोड़ता।
उपमा: कल्पना कीजिए कि एक नृत्य प्रशिक्षक (dance instructor) नर्तकों के एक समूह को बताता है कि उन्हें आगे कहाँ जाना है। प्रशिक्षक सबसे अच्छी कोरियोग्राफी सीखने की कोशिश कर रहा है ताकि नृत्य शानदार दिखे।

2. निम्न-स्तरीय "प्रतिवर्त" (The Bodyguard/Reflex)

यह क्या करता है: यह सुरक्षा वाला हिस्सा है। यह सीखता नहीं है; यह एक निश्चित, गणितीय नियम है। इसका एकमात्र काम "मस्तिष्क" के आदेश को लेना और यह सुनिश्चित करना है कि उसे बिना टकराए निष्पादित करना भौतिक रूप से संभव है।
यह कैसे काम करता है: शोध पत्र एक अवधारणा का उपयोग करता है जिसे "कन्स्ट्रेंट मैनिफोल्ड" (Constraint Manifold) कहा जाता है।
- रूपक (Metaphor): कल्पना करें कि रोबोट के लिए सुरक्षित स्थान हवा में तैरते हुए कांच की एक चिकनी, अदृश्य शीट की तरह है। "मस्तिष्क" रोबोट को कांच से बाहर धकेलने की कोशिश कर सकता है (टकराव की ओर)। "प्रतिवर्त" एक चुंबकीय रेल की तरह कार्य करता है। यदि मस्तिष्क रोबोट को कांच से बाहर धकेलने की कोशिश करता है, तो प्रतिवर्त तुरंत रोबोट की गति को वापस कांच की सतह पर ले आता है।
- यह रोबोट की गति को "टैंजेंट स्पेस" (कांच की सतह) पर प्रोजेक्ट करके ऐसा करता है। यह बर्फ पर फिसलते हुए पक्क (puck) की तरह है; पक्क बर्फ पर कहीं भी चल सकता है, लेकिन वह बर्फ से नीचे नहीं गिर सकता।
परिणाम: चाहे "मस्तिष्क" सीखते समय कितना भी अनियंत्रित क्यों न हो जाए, "प्रतिवर्त" यह सुनिश्चित करता है कि रोबोट सुरक्षित पथ पर बना रहे।

यह एक बड़ी बात क्यों है

यह शोध पत्र दावा करता है कि यह दृष्टिकोण उन तीन सिरदर्दों को हल करता है जिनका सामना अन्य तरीके करते हैं:

1. "सुरक्षा बनाम गति" का समझौता (The "Safety vs. Speed" Trade-off)

पुराना तरीका: सुरक्षित रहने के लिए, रोबोटों को अक्सर हर एक सेकंड में एक जटिल गणितीय पहेली (जिसे क्वाड्रेटिक प्रोग्राम कहा जाता है) को हल करना पड़ता था। यह धीमा था और इससे रोबोट सुस्त होकर चलते थे।
नया तरीका: क्योंकि "प्रतिवर्त" एक सरल, पूर्व-गणना किए गए सूत्र (एक "closed-form" समाधान) का उपयोग करता है, यह अविश्वसनीय रूप से तेज़ है। शोध पत्र कहता है कि उनका सिस्टम पुराने तरीकों की तुलना में 14 गुना तेज़ी से प्रशिक्षित होता है। यह हर सेकंड सुडोकू पहेली हल करने के बजाय केवल एक मानचित्र पर नज़र डालने जैसा है।

2. "सीखने की अस्थिरता" की समस्या (The "Learning Instability" Problem)

पुराना तरीका: कई AI प्रणालियों में, जैसे-जैसे रोबोट सीखता है, खेल के नियम बदलते जाते हैं, जिससे कुछ भी स्थिर रूप से सीखना कठिन हो जाता है। यह साइकिल चलाने सीखने की कोशिश करने जैसा है जहाँ ज़मीन बार-बार खिसक रही हो।
नया तरीका: क्योंकि "प्रतिवर्त" (सुरक्षा नियम) कभी नहीं बदलता, इसलिए "मस्तिष्क" हमेशा एक स्थिर वातावरण में सीखता है। शोध पत्र का दावा है कि इससे बहुत अधिक सहज और विश्वसनीय प्रशिक्षण मिलता है।

3. "स्केलिंग" की समस्या (The "Scaling" Problem)

पुराना तरीका: यदि आपने 3 रोबोटों के साथ एक सिस्टम को प्रशिक्षित किया, तो अक्सर यह विफल हो जाता था जब आप इसमें 20 रोबोट जोड़ देते थे। जटिलता बहुत अधिक हो जाती थी।
नया तरीका: लेखकों ने अपने सिस्टम का परीक्षण केवल 3 रोबोटों और 3 बाधाओं के साथ किया। फिर, उन्होंने इसे 21 रोबोटों और 21 बाधाओं वाले कमरे में डाल दिया।
परिणाम: सिस्टम केवल जीवित ही नहीं रहा; इसने लगभग पूर्ण सुरक्षा रिकॉर्ड (लगभग 100% सुरक्षित) बनाए रखा और वास्तव में काम में बेहतर प्रदर्शन किया। यह अच्छी तरह से सामान्यीकृत (generalize) हुआ क्योंकि "प्रतिवर्त" प्रत्येक रोबोट के लिए स्थानीय सुरक्षा को व्यक्तिगत रूप से संभालता है, इसलिए अधिक रोबोट जोड़ने से सिस्टम टूटता नहीं है।

मुख्य निष्कर्ष (The Bottom Line)

यह शोध पत्र एक ऐसा ढांचा प्रस्तुत करता है जहाँ एक सीखने वाला AI रणनीति और टीम वर्क को संभालता है, जबकि एक गणितीय सुरक्षा जाल टकराव न होने के भौतिक विज्ञान को संभालता है।

सुरक्षा: यह गारंटी देता है कि रोबोट नहीं टकराएंगे (सैद्धांतिक और व्यावहारिक रूप से) क्योंकि वे एक "सुरक्षित सतह" पर बने रहते हैं।
दक्षता: यह बहुत तेज़ी से प्रशिक्षित होता है क्योंकि इसे हर चरण पर भारी गणितीय पहेलियों को हल करने की आवश्यकता नहीं होती है।
स्केलेबिलिटी: यह रोबोटों की एक छोटी टीम के साथ भी उतना ही अच्छा काम करता है जितना कि रोबोटों के एक विशाल झुंड के साथ।

संक्षेप में, उन्होंने एक ऐसी प्रणाली बनाई है जहाँ रोबोट एक सुव्यवस्थित मशीन बनने के लिए सीख सकते हैं, बिना कभी सुरक्षा नियमों को तोड़ने की चिंता किए, क्योंकि नियम उनकी गति में ही गहराई से समाहित हैं।

तकनीकी सारांश: बाधा मैनिफोल्ड नियंत्रण के माध्यम से सुरक्षित और सामान्यीकरण योग्य पदानुक्रमित मल्टी-एजेंट आरएल (HMM)

समस्या विवरण

मल्टी-एजेंट सिस्टम (MAS) वेयरहाउस रोबोटिक्स, स्वायत्त वाहनों और ड्रोन स्वार्म्स जैसे सुरक्षा-महत्वपूर्ण अनुप्रयोगों के लिए अत्यंत महत्वपूर्ण हैं। इन परिदृश्यों में एजेंटों को सख्त सुरक्षा बाधाओं (जैसे टकराव से बचना) का पालन करते हुए कुशलतापूर्वक सहयोग करने की आवश्यकता होती है। मौजूदा दृष्टिकोण एक मौलिक ट्रेड-ऑफ का सामना करते हैं:

सीखने पर आधारित विधियाँ (जैसे, Constrained Markov Decision Processes, CMDPs) मजबूत अनुभवजन्य प्रदर्शन प्राप्त करती हैं लेकिन उनमें औपचारिक सुरक्षा गारंटी का अभाव होता है और वे अक्सर प्रशिक्षण अस्थिरता से ग्रस्त होती हैं।
नियंत्रण-सिद्धांत आधारित विधियाँ (जैसे, Control Barrier Functions, CBFs) सुरक्षा गारंटी प्रदान करती हैं लेकिन अक्सर अत्यधिक रूढ़िवादी व्यवहार, उप-इष्टतम पथ चयन और डेडलॉक (deadlock) का परिणाम देती हैं। इसके अलावा, कई CBF-आधारित दृष्टिकोणों में प्रत्येक टाइमस्टेप पर एक क्वाड्रेटिक प्रोग्राम (QP) को हल करने की आवश्यकता होती है, जो प्रशिक्षण दक्षता में बाधा डालने वाला महत्वपूर्ण कम्प्यूटेशनल ओवरहेड पेश करता है।
पदानुक्रमित (Hierarchical) दृष्टिकोण समन्वय और सुरक्षा को अलग करने का प्रयास करते हैं लेकिन अक्सर पदानुक्रमित आरएल (RL) की नॉन-स्टेशनैरिटी समस्याओं या क्यूपी (QP) सॉल्वर की कम्प्यूटेशनल लागतों को विरासत में प्राप्त करते हैं।

मुख्य चुनौती एक ऐसा ढांचा विकसित करना है जो सैद्धांतिक सुरक्षा गारंटी, प्रशिक्षण दक्षता (प्रति-स्टेप QP समाधान से बचना) और जटिल मल्टी-एजेंट परिवेशों में स्केलेबल समन्वय को एक साथ सुनिश्चित कर सके।

कार्यप्रणाली: पदानुक्रमित मैनिफोल्ड मल्टी-एजेंट PPO (HMM)

लेखक HMM का प्रस्ताव करते हैं, जो एक पदानुक्रमित सुदृढीकरण शिक्षण (Reinforcement Learning) ढांचा है जो दो स्तरों पर सहयोग और सुरक्षा को अलग करता है:

1. उच्च-स्तरीय: सहकारी उप-लक्ष्य योजना (Cooperative Subgoal Planning)

वास्तुकला: मल्टी-एजेंट PPO (MAPPO) पर आधारित सेंट्रलाइज्ड ट्रेनिंग विद डिसेंट्रलाइज्ड एक्जीक्यूशन (CTDE) प्रतिमान का उपयोग करता है।
कार्य: प्रत्येक निर्णय युग (प्रत्येक $\tau$ टाइमस्टेप पर), उच्च-स्तरीय नीति प्रत्येक एजेंट के लिए एक उप-लक्ष्य (एक लक्ष्य स्थिति) उत्पन्न करती है।
समन्वय: नीति पड़ोसी एजेंटों और बाधाओं से जानकारी एकत्र करने के लिए अटेंशन-आधारित मैसेज पासिंग के साथ एक ग्राफ न्यूरल नेटवर्क (GNN) का उपयोग करती है। यह एजेंटों और बाधाओं की परिवर्तनशील संख्या के बीच परम्यूटेशन इनवेरिएंस (permutation invariance) और सामान्यीकरण सुनिश्चित करता है।
उद्देश्य: सेमी-मार्कोव निर्णय प्रक्रिया (CSMDP) पर अपेक्षित डिस्काउंटेड रिटर्न को अधिकतम करना, जबकि सुरक्षा को एक हार्ड कंस्ट्रेंट के रूप में माना जाता है जिसे निम्न-स्तर द्वारा संभाला जाता है।

2. निम्न-स्तरीय: कंस्ट्रेंट मैनिफोल्ड सेफ कंट्रोलर

तंत्र: QP को हल करने के बजाय, निम्न-स्तरीय नियंत्रक एक कंस्ट्रेंट मैनिफोल्ड पर नाममात्र कार्यों (nominal actions) को प्रोजेक्ट करके सुरक्षा लागू करता है।
बाधा सूत्रीकरण: सुरक्षा बाधाओं (जैसे, टकराव से बचना) को असमानता बाधाओं $h(s) \leq 0$ के रूप में परिभाषित किया गया है। इन्हें स्लैक वेरिएबल्स $\mu$ का उपयोग करके समानता बाधाओं $c(s, \mu) = h(s) + \mu = 0$ में परिवर्तित किया जाता है, जो एक संवर्धित स्टेट स्पेस में एक मैनिफोल्ड $\mathcal{M}$ को परिभाषित करता है।
नियंत्रण नियम: नियंत्रक यह सुनिश्चित करता है कि सिस्टम स्टेट $\mathcal{M}$ $M$ पर बना रहे, इसके लिए वह कार्यों को मैनिफोल्ड के स्पर्श रेखा स्थान (tangent space) तक सीमित करता है। नियंत्रण इनपुट $u_s$ $u_{s}$ को एक क्लोज्ड-फॉर्म समाधान के माध्यम से परिकलित किया जाता है:
$u_s = \underbrace{-J_u^\dagger \psi}_{\text{ड्रिफ्ट कंपनसेशन}} - \underbrace{\lambda J_u^\dagger c}_{\text{मैनिफोल्ड कॉन्ट्रैक्शन}} + \underbrace{B_u u_{\text{ref}}}_{\text{टैन्जेंशियल एक्शन}}$
- ड्रिफ्ट कंपनसेशन (Drift Compensation): प्राकृतिक सिस्टम ड्रिफ्ट को रद्द करता है।
- मैनिफोल्ड कॉन्ट्रैक्शन (Manifold Contraction): यदि संख्यात्मक त्रुटियां होती हैं, तो स्टेट को मैनिफोल्ड की ओर वापस खींचता है।
- टैन्जेंशियल एक्शन (Tangential Action): एजेंट को सुरक्षित स्पर्श रेखा स्थान के भीतर उच्च-स्तरीय उप-लक्ष्य ( $u_{\text{ref}}$ ) का स्वतंत्र रूप से पालन करने की अनुमति देता है।
दक्षता: यह दृष्टिकोण पुनरावृत्ति वाले QP सॉल्वरों के बजाय कुशल टेंगेंट स्पेस प्रोजेक्शन (pseudoinverses का उपयोग करके) को प्रतिस्थापित करता है।

मुख्य योगदान

नया ढांचा: HMM का परिचय, जो एक सीखने योग्य उच्च-स्तरीय समन्वय नीति को मॉडल-आधारित, कंस्ट्रेंट-मैनिफोल्ड निम्न-स्तरीय नियंत्रक के साथ एकीकृत करता है।
सैद्धांतिक सुरक्षा गारंटी: पेपर यह औपचारिक प्रमाण प्रदान करता है कि, सौम्य मान्यताओं के तहत, सभी एजेंटों का संयुक्त प्रक्षेपवक्र (trajectory) प्रशिक्षण और निष्पादन दोनों के दौरान प्रत्येक टाइमस्टेप पर वैश्विक सुरक्षित सेट के भीतर रहता है।
स्थिर शिक्षण गतिकी (Stationary Learning Dynamics): सुरक्षा को एक निश्चित निम्न-स्तरीय नियंत्रक को सौंपकर, यह ढांचा पदानुक्रमित आरएल में विकसित होने वाली निम्न-स्तरीय नीतियों के कारण होने वाली नॉन-स्टेशनैरिटी को समाप्त करता है। यह समस्या को एक स्थिर उच्च-स्तरीय MDP में बदल देता है, जिससे स्थिर अभिसरण (convergence) सुनिश्चित होता है।
कम्प्यूटेशनल दक्षता: यह विधि प्रति-टाइमस्टेप QP समाधानों से बचती है, इसके बजाय कुशल क्लोज्ड-फॉर्म प्रोजेक्शन का उपयोग करती है।

प्रयोगात्मक परिणाम

लेखकों ने विभिन्न डायनेमिक्स (पॉइंट-मास, बाइसिकल, क्वाड्रोटर) वाले नेविगेशन कार्यों सहित छह LiDAR-आधारित वातावरणों (2D और 3D) पर HMM का मूल्यांकन किया।

प्रदर्शन और सुरक्षा: HMM ने सभी वातावरणों में लगभग पूर्ण सुरक्षा दर (अक्सर >99%) प्राप्त की, जो DGPPO, InforMARL और MAPPO-Lagrangian जैसे बेसलाइन से काफी बेहतर प्रदर्शन करती है। सीखने पर आधारित बेसलाइनों के विपरीत, जो प्रशिक्षण के शुरुआती चरणों के दौरान भी सुरक्षा का उल्लंघन करते हैं, HMM ने पूरे प्रशिक्षण के दौरान सुरक्षा बनाए रखी।
सफलता दर: HMM ने उत्कृष्ट कार्य सफलता दर प्रदर्शित की, जो यह दर्शाता है कि उच्च-स्तरीय प्लानर एजेंटों को डेडलॉक और उप-इष्टतम पथों से बचने के लिए प्रभावी ढंग से समन्वय करता है, जैसा कि "Nominal + Manifold" संस्करण में देखा गया था जिसमें उच्च-स्तरीय समन्वय की कमी थी।
कम्प्यूटेशनल दक्षता: NVIDIA H200 GPU पर, HMM ने QP-आधारित CBF बेसलाइन की तुलना में प्रशिक्षण थ्रूपुट में 14.4× की तेजी हासिल की। एक प्रशिक्षण रन जिसे CBF बेसलाइन के लिए ~5 दिन की आवश्यकता थी, उसे HMM द्वारा 8-10 घंटों में पूरा कर लिया गया।
सामान्यीकरण: 3 एजेंटों और 3 बाधाओं के साथ प्रशिक्षित नीतियां 21 एजेंटों या बाधाओं तक के परिदृश्यों में प्रभावी ढंग से सामान्यीकृत हुईं। जबकि बेसलाइन ने एजेंट/बाधाओं की संख्या बढ़ने के साथ अपने सुरक्षा और सफलता दरों में काफी गिरावट दिखाई, HMM ने उच्च प्रदर्शन बनाए रखा।

महत्व और दावे

पेपर का दावा है कि HMM सीखने पर आधारित विधियों की अनुभवजन्य सफलता और नियंत्रण-सिद्धांत आधारित दृष्टिकोणों की कठोर सुरक्षा के बीच के अंतर को पाटता है। सीखने पर आधारित समन्वय के साथ नियंत्रण-सिद्धांत आधारित सुरक्षा तंत्रों को एकीकृत करके, यह ढांचा मल्टी-एजेंट सिस्टम के लिए एक स्केलेबल और विश्वसनीय समाधान प्रदान करता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण:

बिना QP सॉल्वर के कम्प्यूटेशनल बोझ के औपचारिक सुरक्षा गारंटी प्रदान करता है।
स्थिर शिक्षण गतिकी को प्रेरित करके स्थिर प्रशिक्षण को सक्षम बनाता है।
विविध कार्य पैमानों के साथ मजबूत सामान्यीकरण प्रदर्शित करता है, जो इसे वास्तविक दुनिया की तैनाती के लिए उपयुक्त बनाता है जहाँ एजेंटों की संख्या और पर्यावरणीय जटिलता बदल सकती है।

पेपर एक सीमा को स्वीकार करता है: निम्न-स्तरीय नीति नियंत्रण-सिद्धांत आधारित तंत्रों पर निर्भर करती है जो उन कार्यों के लिए कम उपयुक्त हो सकते हैं जिनमें जटिल भौतिक संपर्क शामिल हैं, जैसे कि संपर्क-समृद्ध हेरफेर (contact-rich manipulation) या वस्तु परिवहन, जहाँ सुरक्षा बाधाओं को विश्लेषणात्मक रूप से परिभाषित करना कठिन होता है।