🤖 machine learning

Cross-Platform Control for Autonomous Surface Vehicles via Adaptive Reinforcement Learning

यह शोध पत्र एक अनुकूलन योग्य सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) ढांचे को प्रस्तुत करता है जो इंटरैक्शन हिस्ट्री से गुप्त प्लेटफॉर्म डायनेमिक्स का अनुमान लगाने के लिए टीचर-स्टूडेंट आर्किटेक्चर का उपयोग करके स्वायत्त सतह वाहनों (एएसवी) के लिए ज़ीरो-शॉट क्रॉस-प्लेटफॉर्म ट्रैजेक्टरी ट्रैकिंग को सक्षम बनाता है, जो सरलीकृत सिमुलेशन मॉडल पर निर्भर होने के बावजूद बिना फाइन-ट्यूनिंग के वास्तविक जहाजों पर बेहतर प्रदर्शन प्राप्त करता है।

मूल लेखक: Ruiheng Jiang, Thomas Bi, Raffaello D'Andrea, Aswin Ramachandran

प्रकाशित 2026-07-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ruiheng Jiang, Thomas Bi, Raffaello D'Andrea, Aswin Ramachandran

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास अलग-अलग नावों का एक बेड़ा है। कुछ छोटी और फुर्तीली हैं जैसे कि एक स्पीडबोट, जबकि कुछ भारी और सुस्त हैं जैसे कि एक बार्ज (बड़ा मालवाहक जहाज)। उन सभी के इंजन अलग हैं और वे पानी के साथ अनूठे तरीके से प्रतिक्रिया करते हैं।

आमतौर पर, यदि आप चाहते हैं कि कोई नाव एक विशिष्ट पथ का अनुसरण करे (जैसे कि मानचित्र पर खींची गई एक रेखा), तो आपको प्रत्येक नाव के लिए एक कस्टम "मस्तिष्क" बनाना पड़ता है। आपको उस नाव के विशिष्ट वजन, पानी में उसके खिंचाव और उसके इंजन के धक्के का अध्ययन करना होगा। यदि आप नाव को बदलते हैं, तो पुराना मस्तिष्क काम नहीं करेगा और आपको फिर से शुरुआत करनी होगी।

समस्या:
ETH ज्यूरिख के शोधकर्ता एक "सार्वभौमिक मस्तिष्क" (यूनिवर्सल ब्रेन) बनाना चाहते थे जिसे उनके बेड़े की किसी भी नाव पर तुरंत डाला जा सके और वह बिना किसी नई नाव का अध्ययन किए उसे चलाना सीख जाए। इसे "ज़ीरो-शॉट" परिनियोजन (डिप्लॉयमेंट) कहा जाता है—जिसका अर्थ है कि यह नई विशिष्ट नाव पर बिना किसी अभ्यास के तुरंत काम करता है।

समाधान: "शिक्षक" और "छात्र"
टीम ने मानव सीखने के तरीके से प्रेरित एक चतुर दो-चरणीय प्रशिक्षण पद्धति का उपयोग किया, जिसमें एक "शिक्षक" और एक "छात्र" का दृष्टिकोण अपनाया गया।

शिक्षक (सर्वज्ञ मार्गदर्शक):
सबसे पहले, उन्होंने कंप्यूटर सिमुलेशन में एक "शिक्षक" AI बनाया। यह शिक्षक थोड़ा बेईमानी कर रहा था: उसके पास एक गुप्त 'चीट शीट' थी। वह उस नाव के सटीक भौतिक विज्ञान (कि वह कितनी भारी है, वह कितनी तेजी से मुड़ सकती है, आदि) को जानता था जिसे वह नियंत्रित कर रहा था। इन रहस्यों को जानने के कारण, उसने किसी भी नाव को चलाने का सही तरीका सीख लिया।
छात्र (जासूस):
इसके बाद, उन्होंने एक "छात्र" AI बनाया। छात्र को "चीट शीट" देखने की अनुमति नहीं थी। उसे अंधे होकर नाव चलानी थी, ठीक वैसे ही जैसे वास्तविक दुनिया में एक वास्तविक नाव चलती है।
यहाँ असली जादू है: छात्र को इतिहास को देखने के लिए प्रशिक्षित किया गया था कि क्या हुआ था। उसने देखा: "मैंने इंजन को बाईं ओर जाने के लिए कहा, लेकिन नाव केवल थोड़ा सा मुड़ी। फिर मैंने इसे दाईं ओर जाने के लिए कहा और यह बहुत तेजी से घूम गई।" इन पिछले अनुभवों का विश्लेषण करके, छात्र ने नाव के "व्यक्तित्व" (इसके छिपे हुए भौतिक विज्ञान) का अनुमान लगाना सीख लिया। इसने अनिवार्य रूप से चलते समय ही नाव का एक मानसिक मॉडल तैयार कर लिया।

उपमा: अलग-अलग कारों को चलाना सीखना
इसे गाड़ी चलाना सीखने के रूप में सोचें।

शिक्षक एक ड्राइविंग इंस्ट्रक्टर की तरह है जो दुनिया की हर कार के सटीक हॉर्सपावर और ब्रेक संवेदनशीलता को जानता है। वे एक फेरारी या ट्रक को पूरी तरह से चला सकते हैं क्योंकि वे उनकी विशिष्टताओं (specs) को जानते हैं।
छात्र एक नए ड्राइवर की तरह है जो ऐसी कार के पीछे बैठा है जिसे उसने पहले कभी नहीं देखा। वह विशिष्टताओं को नहीं जानता। लेकिन, कुछ सेकंड गाड़ी चलाने के बाद, उसे महसूस होता है कि स्टीयरिंग व्हील कैसे प्रतिक्रिया दे रहा है और ब्रेक कैसा महसूस हो रहा है। वह तुरंत उस "एहसास" के आधार पर अपनी ड्राइविंग शैली को बदल लेता है।
परिणाम: छात्र उस नई कार को उतनी ही अच्छी तरह से चलाना सीख जाता है जितना कि शिक्षक, भले ही उसने कार का मैनुअल कभी न देखा हो।

उन्होंने वास्तविक दुनिया में क्या किया
शोधकर्ताओं ने इसका परीक्षण दो बहुत अलग वास्तविक नावों (प्लेटफॉर्म A और प्लेटफॉर्म B) पर किया।

उन्होंने एक बहुत ही सरल, तेज़ कंप्यूटर मॉडल का उपयोग करके AI को प्रशिक्षित किया (कोई बहुत जटिल, धीमा भौतिकी सिम्युलेटर नहीं)।
इसके बाद, उन्होंने बिना किसी अतिरिक्त ट्यूनिंग के AI को वास्तविक नावों पर उतारा।
परिणाम: "छात्र" AI ने लगभग उतना ही अच्छा प्रदर्शन किया जितना कि एक कस्टम-ट्यून्ड कंट्रोलर जो विशेष रूप से उस नाव के लिए बनाया गया था। वास्तव में, एक नाव पर, इसने मानक AI (जिसमें यह "जासूसी" क्षमता नहीं थी) की तुलना में त्रुटि (नाव पथ से कितनी दूर गई) को 58% तक कम कर दिया।

यह क्यों महत्वपूर्ण है
इसका मतलब है कि हमें हर नई नाव बनाने के लिए हफ्तों तक नया कंट्रोलर इंजीनियर करने की आवश्यकता नहीं है। हम एक स्मार्ट सिस्टम बना सकते हैं जो जिस भी नाव पर उतरे, उसके अनुकूल हो जाए, जिससे विभिन्न स्वायत्त (ऑटोनॉमस) नावों के बेड़े को तैनात करना बहुत आसान हो जाता है, चाहे वह पानी की गुणवत्ता की निगरानी करना हो, जीवित बचे लोगों की तलाश करना हो, या बस पानी पर मज़ा करना हो।

सीमाएँ
पेपर में उल्लेख किया गया है कि यह सामान्य गति से चलने वाली नावों के लिए सबसे अच्छा काम करता है। यह "प्लेनिंग" (तेज गति से पानी की सतह पर तैरने) वाली नावों या अत्यधिक लहरों से निपटने में संघर्ष कर सकता है, क्योंकि प्रशिक्षण के लिए उपयोग किए गए सरल मॉडल में ये चरम भौतिक विज्ञान शामिल नहीं हैं। लेकिन मानक संचालन के लिए, यह पानी पर रोबोट को नियंत्रित करने का एक शक्तिशाली नया तरीका है।

तकनीकी सारांश: अनुकूली सुदृढीकरण शिक्षण (Adaptive Reinforcement Learning) के माध्यम से स्वायत्त सतही वाहनों (ASVs) के लिए क्रॉस-प्लेटफॉर्म नियंत्रण

1. समस्या विवरण

स्वायत्त सतही वाहन (ASVs) हाइड्रोडायनामिक और एक्चुएशन विशेषताओं में महत्वपूर्ण विविधता प्रदर्शित करते हैं। वर्तमान नियंत्रण रणनीतियाँ एक परिनियोजन बाधा (deployment bottleneck) का सामना करती हैं:

मॉडल-आधारित नियंत्रक (जैसे, MPC) सटीक सिस्टम पहचान (system identification) और प्लेटफॉर्म-विशिष्ट ट्यूनिंग की मांग करते हैं, जो विषम बेड़े (heterogeneous fleets) के लिए श्रम-साध्य है।
मानक सुदृढीकरण शिक्षण (RL) दृष्टिकोण आमतौर पर एक एकल, निश्चित प्लेटफॉर्म या एक ऐसे सिम्युलेटर पर प्रशिक्षित होते हैं जिसे लक्षित प्लेटफॉर्म की विशिष्ट गतिशीलता को सटीक रूप से कैप्चर करना चाहिए। इन नीतियों को एक नए पोत पर तैनात करने के लिए आमतौर पर पुन: पहचान (re-identification) और पुन: प्रशिक्षण की आवश्यकता होती है।

मुख्य चुनौती एक एकल, सामान्यज्ञ नियंत्रक (single, generalist controller) विकसित करने की है जो बिना किसी पूर्व ज्ञान या प्रति-प्लेटफॉर्म फाइन-ट्यूनिंग के, एक ही श्रेणी के विभिन्न ASV प्लेटफॉर्म्स पर ज़ीरो-शॉट परिनियोजन (zero-shot deployment) करने में सक्षम हो। इसे एक आंशिक अवलोकन समस्या (partial observability problem) के रूप में फ्रेम किया गया है, जहाँ परिनियोजन के समय वास्तविक सिस्टम डायनेमिक्स ( $\theta$ ) अज्ञात होता है, जिससे भौतिकी की मार्कोवियन प्रकृति के बावजूद सिस्टम आंशिक रूप से दृश्य (partially observable) हो जाता है।

2. कार्यप्रणाली

लेखक एक टीचर-स्टूडेंट आर्किटेक्चर का उपयोग करते हुए एक अनुकूली सुदृढीकरण शिक्षण ढांचे का प्रस्ताव करते हैं, जो इंटरेक्शन हिस्ट्री (interaction history) से लेटेंट डायनेमिक्स (latent dynamics) को निकालने के लिए बनाया गया है।

A. सिस्टम डायनेमिक्स और फॉर्मूलेशन

मॉडल: सिस्टम फोसेन (Fossen) के फॉर्मूलेशन पर आधारित एक सरलीकृत 3-DoF (सर्ज, स्वै, याव) हॉरिजॉन्टल-प्लेन मॉडल का उपयोग करता है। डायनेमिक्स को सात भौतिक मापदंडों ( $\theta$ ) द्वारा पैरामीटराइज किया गया है, जिसमें मास, एडेड-मास गुणांक, लीनियर डैम्पिंग और इनरशिया शामिल हैं।
MDP फॉर्मूलेशन: ट्रैजेक्टरी ट्रैकिंग को एक पार्टियली ऑब्जर्वेबल मार्कोव डिसीजन प्रोसेस (POMDP) के रूप रूप में तैयार किया गया है। स्टेट $s_t$ दृश्य (observable) है, लेकिन डायनेमिक्स पैरामीटर $\theta$ नहीं है। नीति (policy) मार्कोवियनिटी को बहाल करने के लिए इंटरेक्शन हिस्ट्री पर निर्भर करती है।
एक्शन स्पेस: नीति बॉडी-फ्रेम फोर्स और टॉर्क कमांड्स के सामान्यीकृत (normalized) मान ( $\bar{\tau} \in [-1, 1]^3$ ) आउटपुट करती है। इन्हें परिनियोजन के समय प्लेटफॉर्म-विशिष्ट एक्चुएटर सीमाओं द्वारा स्केल किया जाता है, जिससे नीति को पूर्ण बल परिमाण (absolute force magnitudes) से अलग किया जा सके।

B. टीचर-स्टूडेंट आर्किटेक्चर

यह दृष्टिकोण प्रिविलेज्ड लर्निंग (privileged learning) से प्रेरित एक दो-चरणीय प्रशिक्षण पाइपलाइन का उपयोग करता है:

चरण 1: टीचर ट्रेनिंग (प्रिविलेज्ड लर्निंग)
- एक "टीचर" नीति को सिमुलेशन में एक प्रिविलेज्ड वेक्टर $e \in \mathbb{R}^9$ के एक्सेस के साथ प्रशिक्षित किया जाता है। यह वेक्टर 3-DoF समीकरणों से प्राप्त सामान्यीकृत डायनेमिक्स मापदंडों (पीक एक्सेलरेशन, डैम्पिंग दर और कोरिओलिस कपलिंग गुणांक) को एनकोड करता है।
- टीचर डायनेमिक्स के एक लेटेंट रिप्रेजेंटेशन $z = \mu(e)$ को सीखता है।
- प्रशिक्षण का उपयोग डायनेमिक्स मापदंडों की एक विस्तृत श्रृंखला पर डोमेन रैंडमाइजेशन के साथ PPO (Proximal Policy Optimization) के माध्यम से किया जाता है।
चरण 2: स्टूडेंट ट्रेनिंग (अनुकूलन)
- प्रिविलेजेड वेक्टर $e$ को हटा दिया जाता है। एनकोडर $\mu$ को एक एडैप्टर (Adapter) मॉड्यूल $\phi$ द्वारा बदल दिया जाता है।
- एडैप्टर, जिसे एक गेटेड रिकरेंट यूनिट (GRU) और एक MLP के रूप में लागू किया गया है, केवल इंटरेक्शन हिस्ट्री $h_t$ (हालिया स्टेट अंतर, वेग और सामान्यीकृत क्रियाएं) से लेटेंट रिप्रेजेंटेशन $\hat{z}$ का अनुमान लगाता है।
- स्टूडेंट पॉलिसी (फ्रीज़्ड टीचर का एक्टर) एडैप्टर के अनुमान $\hat{z}$ पर आधारित होती है।
- एडैप्टर को सुपरवाइज्ड लर्निंग के माध्यम से $\|\hat{z} - z\|^2$ के रिकंस्ट्रक्शन एरर को कम करने के लिए प्रशिक्षित किया जाता है, जहाँ $z$ चरण 1 से प्राप्त ग्राउंड ट्रुथ लेटेंट है।

C. प्रशिक्षण सेटअप

सिमुलेशन: प्रशिक्षण एक हाई-फिडेलिटी हाइड्रोडायनामिक सिम्युलेटर के बजाय एक लाइटवेट एनालिटिकल डायनेमिक्स मॉडल पर निर्भर करता है।
करिकुलम: एक प्रोग्रेसिव करिकुलम (progressive curriculum) कठिनाई को बढ़ाता है, जिसमें रैंडमाइज्ड डायनेमिक्स मापदंडों की रेंज और ट्रैजेक्टरी की जटिलता (सीधी रेखाओं से लेकर तीखे मोड़ों तक) का विस्तार किया जाता है।
डिस्टर्बेंस (Disturbances): पर्यावरणीय विक्षोभ (धाराएं, हवा, लहरें) को ऑर्नस्टीन-उलेनबैक (Ornstein–Uhlenbeck) प्रक्रियाओं के रूप में मॉडल किया गया है। एक्चुएटर डिले को रैंडमाइज किया गया है।
रिवॉर्ड: एक कंपोजिट रिवॉर्ड फंक्शन में पोजीशन, हेडिंग और वेलोसिटी ट्रैकिंग के साथ-साथ फॉरवर्ड मोशन के लिए बोनस और लेटरल ड्रिफ्ट, अत्यधिक याव (yaw), और एक्शन मैग्नीट्यूड/स्मूथनेस के लिए दंड (penalties) शामिल हैं।

3. प्रमुख योगदान

ज़ीरो-शॉट क्रॉस-प्लेटफॉर्म पॉलिसी: एक ही RL पॉलिसी को बिना पुन: प्रशिक्षण या सिस्टम पहचान के, समान श्रेणी के विभिन्न ASV प्लेटफॉर्म्स पर ज़ीरो-शॉट परिनियोजित करने का पहला प्रदर्शन।
टीचर-स्टूडेंट एडैप्टेशन: लेग्ड लोकोमोशन टीचर-स्टूडेंट फ्रेमवर्क का समुद्री रोबोटिक्स में अनुकूलन, जो इंटरेक्शन हिस्ट्री से ही लेटेंट डायनेमिक्स को निकालने में सक्षम बनाता है।
सरलीकृत प्रशिक्षण पाइपलाइन: यह विधि केवल एक सरल 3-DoF एनालिटिकल मॉडल का उपयोग करके उच्च प्रदर्शन प्राप्त करती है, जिससे हाई-फिडेलिटी हाइड्रोडायनामिक सिम्युलेटर्स की कम्प्यूटेशनल लागत और जटिलता से बचा जा सके।
व्याख्यात्मकता (Interpretability): सीखा गया लेटेंट स्पेस प्रभावी रूप से प्रासंगिक डायनेमिक्स को कैप्चर करता है, जिसमें प्रिंसिपल कंपोनेंट एनालिसिस (PCA) दिखाता है कि 9-डायमेंशनल लेटेंट एक लो-डायमेंशनल सबस्पेस में स्थित है।

4. प्रयोगात्मक परिणाम

A. वास्तविक दुनिया के प्रयोग

प्रयोग दो अलग-अलग फिजिकल प्लेटफॉर्म (प्लेटफॉर्म A और प्लेटफॉर्म B) पर किए गए, जिनमें अलग-अलग मास, इनरशिया और एक्चुएशन लिमिट्स थे।

प्रदर्शन: अडैप्टिव स्टूडेंट पॉलिसी ने दोनों प्लेटफॉर्म्स पर पोजीशन मीन एब्सोल्यूट एरर (MAE) के 4.0 सेमी प्राप्त किए।
तुलना:
- नॉन-अडैप्टिव जनरल PPO बेसलाइन की तुलना में 58% तक बेहतर प्रदर्शन किया (प्लेटफॉर्म B: 4.0 सेमी बनाम 9.5 सेमी)।
- प्लेटफॉर्म-विशिष्ट PPO बेसलाइन (जो केवल एक प्लेटफॉर्म पर प्रशिक्षित था) की तुलना में भी बेहतर स्थिति त्रुटि (position error) दिखाई।
- प्लेटफॉर्म-विशिष्ट ट्यून्ड मॉडल प्रेडिक्टिव कंट्रोलर (MPC) की ट्रैकिंग सटीकता के करीब पहुँचा (स्टूडेंट: 4.0 सेमी बनाम MPC: 4.1–4.6 सेमी)।
हेडिंग: स्टूडेंट ने नॉन-अडैप्टिव बेसलाइन्स की तुलना में बेहतर या तुलनीय हेडिंग सटीकता प्राप्त की।

B. सिमुलेशन प्रयोग

आदर्श स्थितियों में पांच प्लेटफॉर्म्स (रोबोट वेरिएंट सहित) के तहत सिमुलेशन ने वास्तविक दुनिया के निष्कर्षों की पुष्टि की:

स्टूडेंट ने नॉन-अडैप्टिव जनरल PPO की तुलना में पोजीशन एरर में 44% और हेडिंग एरर में 55% की कमी की।
स्टूडेंट लगभग "टीचर" (ओरेकल) पॉलिसी के समान प्रदर्शन करता है, जो यह प्रमाणित करता है कि एडैप्टर आवश्यक लेटेंट जानकारी को सफलतापूर्वक रिकवर करता है।
एब्लेशन स्टडीज (Ablation studies) ने दिखाया कि एडैप्टर के आउटपुट को एक स्टैटिक मीन लेटेंट ("Student avg. z") से बदलने पर ट्रैकिंग एरर दोगुने से अधिक हो गया, जो ऑनलाइन एडैप्टेशन की आवश्यकता की पुष्टि करता है।

5. महत्व और दावे

यह शोध दावा करता है कि यह कार्य जनरलिस्ट ASV कंट्रोल के लिए एक व्यावहारिक रेसिपी प्रदान करता है। इंटरेक्शन हिस्ट्री पर आधारित होने के कारण, एक एकल नीति बिना प्रति-प्लेटफॉर्म ट्यूनिंग या पहचान के इंजीनियरिंग ओवरहेड के, विषम जहाजों के बेड़े में सामान्यीकरण कर सकती है।

दक्षता: संपूर्ण प्रशिक्षण पाइपलाइन (टीचर और स्टूडेंट चरण) एक सिंगल कंज्यूमर GPU (NVIDIA RTX 4090) पर लगभग 30 मिनट में पूरी हो जाती है।
स्केलेबिलिटी: यह दृष्टिकोण "प्रति-प्लेटफॉर्म बॉटलनेक" को हटा देता है, जिससे एक एकीकृत नियंत्रण रणनीति का उपयोग करके विषम बेड़े को तैनात करना संभव हो जाता है।
सीमाओं पर विनम्रता: लेखक स्वीकार करते हैं कि वर्तमान 3-DoF लीनियर-डैम्पिंग मॉडल कम गति वाले डिस्प्लेसमेंट रिजीम के लिए मान्य है। एडैप्टर वेलोसिटी-डिपेंडेंट प्रभावों (जैसे क्वाड्रेटिक ड्रैग) को रैंडमाइज्ड रेंज के भीतर प्रभावी डैम्पिंग को पुन: अनुमानित करके संभालता है, लेकिन यह अभी तक हाई-स्पीड प्लेनिंग या स्ट्रॉन्ग हीव/रोल/पिच कपलिंग को कवर नहीं करता है। भविष्य के कार्य के रूप में ऑनलाइन निरंतर अनुकूलन (online continual adaptation) और मॉडल-आधारित नियंत्रण उद्देश्यों के साथ घनिष्ठ एकीकरण का सुझाव दिया गया है।