💻 computer science

CrazyMARL: Decentralized Direct Motor Control Policies for Cooperative Aerial Transport of Cable-Suspended Payloads

यह शोध पत्र CrazyMARL को प्रस्तुत करता है, जो एक विकेंद्रीकृत सुदृढीकरण लर्निंग (reinforcement learning) ढांचा है जो जटिल गैररेखीय गतिकी (nonlinear dynamics), केबल ढीले-तनाव संक्रमणों (cable slack-taut transitions) और बाहरी व्यवधानों को ज़ीरो-शॉट सिम-टू-रियल ट्रांसफर के माध्यम से सफलतापूर्वक संभालते हुए, अनस्ट्रक्चर्ड वातावरण में मल्टी-UAV टीमों को मजबूती से केबल-लटकते पेलोड को ले जाने में सक्षम बनाता है।

मूल लेखक: Viktor Lorentz, Khaled Wahba, Sayantan Auddy, Marc Toussaint, Wolfgang Hönig

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Viktor Lorentz, Khaled Wahba, Sayantan Auddy, Marc Toussaint, Wolfgang Hönig

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास दो नन्हे, हमिंगबर्ड के आकार के ड्रोन (जिन्हें क्रेजीफ्लाईज़ कहा जाता है) हैं जिन्हें एक भारी, लटकते हुए वजन को मिलकर ढोना है जो एक रस्सी से लटका हुआ है। यह सिर्फ एक साधारण उठाने जैसा नहीं है; वजन एक पेंडुलम की तरह झूलता है, रस्सी ढीली हो सकती है और फिर अचानक खिंच सकती है, और हवा उन्हें एक-दूसरे से दूर धकेलने की कोशिश कर रही है।

यह शोध पत्र, CrazyMARL, बताता है कि कैसे शोधकर्ताओं ने इन नन्हे ड्रोनों को इस काम को करने के लिए "रीइन्फोर्समेंट लर्निंग" (Reinforcement Learning) नामक एक विशेष प्रकार की "टीम ट्रेनिंग" का उपयोग करके सिखाया। उन्हें कठोर नियमों के साथ प्रोग्राम करने के बजाय, शोधकर्ताओं ने उन्हें एक सुपर-फास्ट वीडियो गेम सिमुलेशन में 'गलतियों से सीखने' (trial and error) के माध्यम से उड़ना सिखाया, जिससे अंततः वे इतनी अच्छी तरह से उड़ने में सक्षम हो गए कि वे बिना किसी मानवीय मदद के वास्तविक दुनिया को संभाल सकें।

यहाँ बताया गया है कि उन्होंने इसे कैसे किया, सरल उपमाओं का उपयोग करते हुए:

1. चुनौती: "झूमते हुए झूमर" की समस्या (The "Swinging Chandelier" Problem)

आमतौर पर, जब रोबोट चीजें ढोते हैं, तो वे मान लेते हैं कि वस्तु उनके साथ एक बैकपैक की तरह जुड़ी हुई है। लेकिन यहाँ, भार (payload) एक केबल पर लटका हुआ है।

समस्या: यदि ड्रोन बहुत तेज़ चलते हैं, तो वजन झूलने लगता है। यदि केबल ढीली होती है, तो वजन नीचे गिर जाता है; यदि वह अचानक खिंचती है, तो वह ड्रोनों को झटका देती है। यह एक झूमर को बंजी कॉर्ड पर ले जाने जैसा है जबकि कोई आपको धक्का दे रहा हो और हवा गरज रही हो।
पुराना तरीका: पिछले तरीकों ने जटिल गणितीय सूत्रों (जैसे कठोर छड़ों) के साथ इसे हल करने की कोशिश की। उन्होंने माना कि केबल सख्त और अपरिवर्तित थी। यह शांत मौसम में ठीक काम करता था, लेकिन जब चीजें अस्त-व्यस्त हुईं या केबल ढीली हुई, तो यह पूरी तरह विफल हो गया।

2. समाधान: "मसल मेमोरी" दृष्टिकोण (The "Muscle Memory" Approach)

शोधकर्ताओं ने ड्रोनों के लिए कोई मैनुअल नहीं लिखा। इसके बजाय, उन्होंने रीइन्फोर्समेंट लर्निंग (RL) का उपयोग किया।

उपमा: इसे एक कुत्ते को प्रशिक्षित करने जैसा समझें। आप कुत्ते को यह नहीं बताते कि "अपना बायां पैर 3 इंच आगे बढ़ाओ।" आप तब "गुड बॉय!" कहते हैं जब वह सही काम करता है और जब वह गलती करता है तो "नो" कहते हैं। समय के साथ, कुत्ता सही चाल की अनुभूति करना सीख जाता है।
ट्रेनिंग: ड्रोनों ने लाखों बार एक वीडियो गेम (सिमुलेशन) खेला। हर बार जब उन्होंने वजन गिराया या क्रैश हुआ, तो उन्हें "खराब स्कोर" मिला। हर बार जब उन्होंने वजन को स्थिर रखा, तो उन्हें "अच्छा स्कोर" मिला।
गति: उन्होंने एक शक्तिशाली कंप्यूटर (GPU) का उपयोग करके केवल 70 मिनट में 2 अरब स्टेप्स की ट्रेनिंग पूरी की। यह एक जीवनभर के अभ्यास को एक दोपहर में देखने जैसा है।

3. गुप्त मंत्र: "डायरेक्ट मसल कंट्रोल" (The "Direct Muscle Control")

अधिकांश रोबोटों का एक "दिमाग" होता है जो "रीढ़ की हड्डी" को बताता है कि क्या करना है, और "रीढ़ की हड्डी" "मांसपेशियों" (मोटरों) को बताती है कि क्या करना है। यह पेपर उस रीढ़ की हड्डी को छोड़ देता है।

उपमा: एक पियानो वादक की कल्पना करें। एक सामान्य रोबोट किसी ऐसे व्यक्ति की तरह है जो शीट म्यूजिक पढ़ रहा है, नोट के बारे में सोच रहा है, और फिर अपनी उंगली को हिलने के लिए कह रहा है। CrazyMARL एक जैज़ संगीतकार की तरह है जो लय को महसूस करता है और उसकी उंगलियां तुरंत जान जाती हैं कि कहाँ जाना है।
परिणाम: AI सीधे 250 बार प्रति सेकंड मोटरों से बात करता है। यह सीधे मोटरों को कच्चा विद्युत संकेत (PWM) भेजता है। यह ड्रोनों को हवा के झोंकों या अचानक लगने वाले धक्कों के प्रति तुरंत प्रतिक्रिया करने की अनुमति देता है, जिससे वे बिना क्रैश हुए अपनी भौतिक सीमाओं के बिल्कुल किनारे पर काम कर पाते हैं।

4. जादुई ट्रिक: "सिम-टू-रियल ट्रांसफर" (The "Magic Trick": Sim-to-Real Transfer)

आमतौर पर, वीडियो गेम में प्रशिक्षित रोबोट वास्तविक दुनिया में विफल हो जाते हैं क्योंकि गेम का भौतिक विज्ञान (physics) सटीक नहीं होता।

ट्रिक: शोधकर्ताओं ने डोमेन रैंडमाइजेशन (Domain Randomization) का उपयोग किया। उन्होंने ड्रोनों को केवल एक आदर्श दुनिया में प्रशिक्षित नहीं किया। उन्होंने उन्हें हजारों थोड़ी खराब दुनियाओं में प्रशिक्षित किया:
- कभी मोटर कमजोर थी।
- कभी हवा पागलपन भरी थी।
- कभी केबल बहुत लंबी या बहुत छोटी थी।
- कभी ड्रोन जमीन से या उलटे शुरू हुए थे।
परिणाम: क्योंकि उन्होंने इतनी अराजक और विविध स्थितियों में प्रशिक्षण लिया, इसलिए ड्रोनों ने एक "सुपर-स्किल" सीखी जो हर जगह काम करती है। जब उन्हें वास्तविक Crazyflie ड्रोनों पर लगाया गया, तो उन्हें पुन: प्रशिक्षण की आवश्यकता नहीं पड़ी। वे बस काम करने लगे। इसे ज़ीरो-शॉट ट्रांसफर (Zero-Shot Transfer) कहा जाता है।

5. परिणाम: उन्होंने वास्तव में क्या हासिल किया

शोध पत्र विशिष्ट, प्रभावशाली परिणाम का दावा करता है:

डिस्टर्बेंस रिजेक्शन (Disturbance Rejection): जब शोधकर्ताओं ने ड्रोनों को जोर से धक्का दिया या उन पर हवा चलाई (3.5 m/s हवा की गति), तो ड्रोन 80% समय रिकवर करने में सफल रहे। पुराना तरीका केवल 44% समय ही रिकवर कर पाया।
चपलता (Agility): ड्रोन जमीन से उड़ान भरने, वजन उठाने और फिगर-एट (figure-eight) पैटर्न में उड़ने में सक्षम थे, भले ही वजन तेजी से झूल रहा हो।
विकेंद्रीकृत टीम वर्क (Decentralized Teamwork): दोनों ड्रोनों को आपस में बात करने या किसी केंद्रीय कमांडर की आवश्यकता नहीं थी। प्रत्येक ड्रोन का अपना "दिमाग" (पॉलिसी) था जो अपने सेंसर और अपने साथी की स्थिति को देखता था, और वे बस तालमेल बिठा लेते थे।

सारांश

संक्षेप में, CrazyMARL एक ऐसी प्रणाली है जो ड्रोनों को एक अराजक, उच्च-गति वाले वीडियो गेम में अभ्यास कराकर झूलते हुए भार को ढोने के लिए प्रशिक्षित करती है। उन्हें सीधे अपने मोटरों को नियंत्रित करने के लिए सिखाकर और उन्हें हर संभावित आपदा परिदृश्य में प्रशिक्षित करके, शोधकर्ताओं ने ड्रोनों की एक ऐसी टीम बनाई है जो एक साथ उड़ सकती है, तेज हवाओं को झेल सकती है, और क्रैश से बेहतर तरीके से उबर सकती है, और वह भी बिना किसी इंसान के उन्हें चलाने के।

तकनीकी सारांश: CrazyMARL

समस्या विवरण

अनमैन्ड एरियल व्हीकल्स (UAVs) की टीमों द्वारा केबल-लटके हुए पेलोड का सहयोगात्मक परिवहन, पेलोड क्षमता बढ़ाने और अनियमित भार के अनुकूल होने के लिए महत्वपूर्ण क्षमता प्रदान करता है। हालांकि, ऐसे सिस्टम को नियंत्रित करना चुनौतीपूर्ण है क्योंकि इसमें जटिल पेंडुलम डायनेमिक्स, टेंशन कपलिंग और "स्लैक" (ढीले) से "टॉट" (तनावपूर्ण) केबल मोड के बीच संक्रमण शामिल है। मौजूदा नियंत्रण रणनीतियोंों में विशिष्ट सीमाएँ हैं:

मॉडल-आधारित दृष्टिकोण (Model-based approaches): ये अक्सर केबलों के लिए रिजिड-रॉड धारणाओं पर निर्भर करते हैं, जो हाइब्रिड डायनेमिक्स (स्लैक-टॉट ट्रांजिशन) को पकड़ने में विफल रहते हैं और चपलता (agility) को सीमित करते हैं। केंद्रीकृत तरीके स्केलेबिलिटी की बाधाओं और सिंगल पॉइंट ऑफ फेलियर से ग्रस्त होते हैं, जबकि विकेंद्रीकृत मॉडल-आधारित नियंत्रक प्रदर्शन गारंटी की कमी का सामना कर सकते हैं या इटरेटिव कम्युनिकेशन में संघर्ष कर सकते हैं।
सुदृढीकरण शिक्षण (Reinforcement Learning - RL) दृष्टिकोण: एकल-एजेंट परिदृश्यों और कुछ मल्टी-एजेंट कार्यों में आशाजनक रहे हैं, लेकिन मल्टी-UAV पेलोड परिवहन में पिछले कार्यों ने मुख्य रूप से रिजिड-लिंक धारणाओं या संचार ओवरहेड की आवश्यकता वाले सेंट्रलाइज्ड ट्रेनिंग विद डिकसेंट्रलाइज्ड एक्जीक्यूशन (CTDE) आर्किटेक्चर पर भरोसा किया है।
हार्डवेयर बाधाएं: अधिकांश मौजूदा तरीके संसाधन-बाधित माइक्रोकंट्रोलर्स (जैसे, Crazyflie 2.1) पर काम करने वाले कई रोबोटों के नियंत्रण को संबोधित नहीं करते हैं, जहाँ मोटर सैचुरेशन के करीब कम थ्रस्ट-टू-वेट अनुपात के कारण संचालन सामान्य होता है।

कार्यप्रणाली (Methodology)

लेखक CrazyMARL प्रस्तावित करते हैं, जो एक विकेंद्रीकृत मल्टी-एजेंट सुदृढीकरण शिक्षण (MARL) फ्रेमवर्क है जिसे यथार्थवादी केबल डायनेमिक्स के साथ सहकारी हवाई परिवहन के लिए डिज़ाइन किया गया है।

1. फ्रेमवर्क और आर्किटेक्चर

एल्गोरिदम: सिस्टम पैरामीटर शेयरिंग के साथ इंडिपेंडेंट प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (IPPO) का उपयोग करता है। यह पूरी तरह से विकेंद्रीकृत निष्पादन शासन का पालन करता है जहाँ प्रत्येक एजेंट बिना किसी इंटर-रोबोट संचार के स्थानीय अवलोकनों के आधार पर कार्य करता है, जिससे स्केलेबिलिटी संबंधी बाधाओं से बचा जा सके।
ट्रेनिंग पाइपलाइन: प्रशिक्षण JAX और MuJoCo MJX का उपयोग करके GPU पर एंड-टू-एंड किया जाता है, जो हजारों समानांतर वातावरणों की अनुमति देता है। यह उच्च-थ्रूपुट सेटअप कम समय में व्यापक डोमेन रैंडमाइजेशन (DR) को सक्षम बनाता है (70 मिनट में 2 बिलियन स्टेप्स)।
ऑब्जर्वेशन स्पेस: प्रत्येक एजेंट $i$ $i$ को एक स्थानीय अवलोकन $o^i_t$ $o_{t}^{i}$ प्राप्त होता है जिसमें शामिल है:
- पेलोड एरर ( $e^P_t$ ) और वेलोसिटी ( $v^P_t$ )।
- एजेंट का सापेक्ष स्थान ( $\delta^i_t$ ), ओरिएंटेशन ( $vec(R^i_t)$ ), और वेलोसिटी ( $v^i_t, \omega^i_t$ )।
- एजेंट का पिछला एक्शन ( $a^i_{t-1}$ )।
- समन्वय के लिए टीम के साथियों के सापेक्ष स्थान ( $\{\delta^j_t\}_{j \neq i}$ )।
एक्शन स्पेस: एजेंट सीधे पल्स विड्थ मॉड्यूलेशन (PWM) ड्यूटी साइकल पर मैप किए गए नॉर्मलाइज्ड मोटर कमांड आउटपुट करते हैं जो 250 Hz पर चलते हैं। पॉलिसी लो-लेवल कैस्केडेड कंट्रोलर्स (जैसे, PID या थ्रस्ट मिक्सिंग) को बायपास करती है, सीधे मोटर एक्चुएशन से मैप होती है ताकि भौतिक सीमाओं के पास प्रभावी ढंग से संचालित किया जा सके।

2. सिमुलेशन और डायनेमिक्स

हाइब्रिड केबल मॉडल: रिजिड रॉड्स का उपयोग करने वाले पिछले कार्यों के विपरीत, सिमुलेशन में Mujoco टेंडन का उपयोग किया गया है जो केवल तनावपूर्ण होने पर ही बल (tension) लगाते हैं और ढीले होने पर शून्य बल लगाते हैं। यह हाइब्रिड स्लैक-टॉट डायनेमिक्स को कैप्चर करता है जो फुर्तीले युद्धाभ्यास (maneuvers) के लिए आवश्यक है।
डोमेन रैंडमाइजेशन (DR): सिम-टू-रियल ट्रांसफर को सुनिश्चित करने के लिए, प्रशिक्षण में निम्नलिखित का रैंडमाइजेशन शामिल है:
- प्रारंभिक अवस्थाएं (ग्राउंड स्टार्ट और स्लैक केबल सहित)।
- एक्चुएटर पैरामीटर्स (थ्रस्ट कैप्स, टाइम कांस्टेंट्स, मोटर ऑफसेट्स)।
- ऑब्जर्वेशन नॉइज़ और स्टोकेस्टिक बाहरी विक्षोभ (हवा, धक्के)।
- लक्ष्य स्थितियां।

3. रिवॉर्ड डिज़ाइन

एक मॉड्यूलर, कंपोजिट रिवॉर्ड फंक्शन $r = r_{track} \cdot r_{stable} + r_{safe}$ का उपयोग किया जाता है:

ट्रैकिंग ( $r_{track}$ ): पेलोड एरर को कम करता है और पेलोड वेलोसिटी को टारगेट के साथ संरेखित करता है।
स्थिरता ( $r_{stable}$ ): अत्यधिक स्विंग, टिल्ट और वेलोसिटी को दंडित करता है, जबकि टॉट केबल्स को प्रोत्साहित करता है।
सुरक्षा ( $r_{safe}$ ): स्मूथ एक्शन्स, संतुलित मोटर थ्रस्ट और टकराव से बचने के लिए प्रोत्साहित करता है।
रिवॉर्ड टर्म्स को [0, 1] के बीच बाउंड किया गया है ताकि स्मूथ ग्रेडिएंट्स की सुविधा मिल सके और एजेंट को एपिसोड को समय से पहले समाप्त करने के लिए सीखने से रोका जा सके।

मुख्य योगदान

एंड-टू-एंड विकेंद्रीकृत नियंत्रण: मल्टी-UAV केबल-सस्पेंडेड ट्रांसपोर्ट के लिए पूरी तरह से विकेंद्रीकृत MARL पॉलिसी का पहला प्रदर्शन, जो सीधे मोटर PWM कमांड आउटपुट करता है और लो-लेवल कैस्केड्स का उपयोग नहीं करता है, विशेष रूप से Crazyflie 2.1 जैसे संसाधन-बाधित प्लेटफॉर्म के लिए तैयार किया गया है।
हाइब्रिड केबल डायनेमिक्स: फ्रेमवर्क स्पष्ट रूप से स्लैक और टॉट केबल मोड के बीच संक्रमण को मॉडल करता है और उसे नियंत्रित करना सीखता है, जो कि एक ऐसी क्षमता है जिसे मल्टी-UAV संदर्भों में पहले अनअड्रेस्ड रखा गया था जहाँ आमतौर पर रिजिड लिंक्स को माना जाता था।
ज़ीरो-शॉट सिम-टू-रियल ट्रांसफर: बिना किसी फाइन-ट्यूनिंग के वास्तविक हार्डवेयर (Crazyflie 2.1) पर सीखे गए पॉलिसी का सफल परिनियोजन, जो हवा, बाहरी धक्कों और कठिन प्रारंभिक स्थितियों के विरुद्ध मजबूती प्रदर्शित करता है।
हाई-थ्रूपुट ट्रेनिंग पाइपलाइन: एक GPU-पैरेललाइज्ड JAX/MJX पाइपलाइन जो मिनटों में जटिल मल्टी-रोबोट पॉलिसी को प्रशिक्षित करती है, जो पारंपरिक तरीकों की तुलना में इटरेशन साइकिल को काफी तेज करती है।

प्रयोगात्मक परिणाम

सिमुलेशन

डिस्टरबेंस रिजेक्शन: कठोर रिकवरी परिदृश्यों (रैंडमाइज्ड इनिशियल स्टेट्स, जिसमें ग्राउंड स्टार्ट और स्लैक केबल शामिल हैं) में, CrazyMARL पॉलिसी ने 80% रिकवरी रेट (797/1000 ट्रायल्स) प्राप्त किया, जो बेसलाइन मॉडल-बेस्ड कंट्रोलर (44% सफलता दर) से काफी बेहतर है।
चपलता (Agility): सीखी गई पॉलिसी ने बेसलाइन के 0.27 m/s की तुलना में 0.58 m/s की औसत गति बनाए रखी, जिसमें पेलोड स्विंग का तेजी से डैम्पिंग और अधिक प्रत्यक्ष प्रक्षेप पथ (trajectories) देखे गए।
सामान्यीकरण (Generalization): पॉलिसी केबल की लंबाई, पेलोड मास और ऑब्जर्वेशन नॉइज़ में बदलावों के साथ अच्छी तरह से सामान्यीकृत हुई, हालांकि बहुत लंबे केबल (>1m) या अत्यधिक नॉइज़ स्केल के साथ प्रदर्शन कम हो गया।
स्केलेबिलिटी: सिस्टम 1 से 3 क्वाड्रोटर तक सफलतापूर्वक स्केल हुआ। जबकि 6-क्वाड्रोटर टीमों ने समन्वय सीमाएं (अर्ली टर्मिनेशन) दिखाईं, फ्रेमवर्क ने छोटी टीमों के लिए प्रभावी लोड शेयरिंग और रिकवरी प्रदर्शित की।

हार्डवेयर (वास्तविक दुनिया)

प्लेटफॉर्म: दो Crazyflie 2.1 क्वाड्रोटर पर तैनात किया गया जो 10g पेलोड ले जा रहे थे।
प्रदर्शन: सिस्टम ने स्वायत्त टेक-ऑफ निष्पादित किया और 3.5 m/s की औसत हवा की गति के तहत स्थिर उड़ान बनाए रखी।
सटीकता: पॉलिसी ने हवा में 0.077 m का पोजीशन-होल्डिंग रूट मीन स्क्वायर एरर (RMSE) बनाए रखा, जो शांत स्थितियों में 0.064 m RMSE की तुलना में मामूली वृद्धि है।
मजबूती: रोबोटों ने मजबूत बाहरी धक्कों से सफलतापूर्वक रिकवरी की और पेलोड के साथ फिगर-एट (figure-eight) प्रक्षेप पथ बनाए रखा, जो ऐसी क्षमताएं हैं जिन्हें बेसलाइन कंट्रोलर हासिल नहीं कर सका।

महत्व और दावे

पेपर दावा करता है कि CrazyMARL अनस्ट्रक्चर्ड वातावरण में सहकारी हवाई हेरफेर के लिए एक स्केलेबल, लचीला समाधान प्रदान करता है। विकेंद्रीकृत निष्पादन को डायरेक्ट मोटर कंट्रोल और यथार्थवादी हाइब्रिड केबल डायनेमिक्स के साथ जोड़कर, यह कार्य UAV टीमों को उनके भौतिक एक्चुएशन लिमिट के करीब संचालित करने में सक्षम बनाता है जहाँ पारंपरिक मॉडल-बेस्ड कंट्रोलर मॉडलिंग की अशुद्धियों और संचार ओवरहेड के कारण संघर्ष करते हैं। लेखकों ने इसे उन जटिल पेलोड मिशनों के लिए एक कदम के रूप में प्रस्तुत किया है जहाँ पारंपरिक मॉडल-बेस्ड कंट्रोलर संघर्ष करते हैं। कम थ्रस्ट-टू-वेट अनुपात वाले रोबोटों के साथ ज़ीरो-शॉट ट्रांसफर का सफल कार्यान्वयन उच्च-आवृत्ति, एंड-टू-एंड RL पॉलिसी की व्यावहारिक व्यवहार्यता को उजागर करता है।