💻 computer science

LAR-MoE: Latent-Aligned Routing for Mixture of Experts in Robotic Imitation Learning

LAR-MoE एक दो-चरणीय ढांचा है जो अनसुपरवाइज्ड स्किल डिस्कवरी को पॉलिसी लर्निंग से अलग करता है, जो एक्सपर्ट रूटिंग को एक सीखे हुए लेटेंट रिप्रेजेंटेशन के साथ संरेखित करने के लिए रेगुलराइज करता है, जिससे रोबोट्स को बिना किसी मैनुअल स्किल एनोटेशन की आवश्यकता के हेटेरोजीनियस मैनिपुलेशन टास्क में उच्च सफलता दर प्राप्त करने में सक्षम बनाया जा सके।

मूल लेखक: Ariel Rodriguez, Chenpan Li, Lorenzo Mazza, Rayan Younis, Ortrun Hellig, Sebastian Bodenstedt, Martin Wagner, Stefanie Speidel

प्रकाशित 2026-03-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ariel Rodriguez, Chenpan Li, Lorenzo Mazza, Rayan Younis, Ortrun Hellig, Sebastian Bodenstedt, Martin Wagner, Stefanie Speidel

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल सर्जरी करना सिखाने की कोशिश कर रहे हैं, जैसे कि बड़ी कोमलता से आंत के एक टुकड़े को खींचना और पकड़ना। यह केवल एक एकल गति नहीं है; यह कई अलग-अलग चरणों वाला एक नृत्य है: सही जगह ढूँढना, उसे पकड़ना, मानव सर्जन द्वारा दूसरे छोर को पकड़ने का इंतज़ार करना, उसे सावधानी से खींचना और उसे स्थिर रखना।

यदि आप एक रोबोट को मानक "एक ही आकार के सभी के लिए" (one-size-fits-all) मस्तिष्क का उपयोग करके सिखाने की कोशिश करते हैं, तो वह अक्सर भ्रमित हो जाता है। वह सब कुछ एक साथ करने की कोशिश करता है, जिससे गतियाँ औसत निकल आती हैं। इसका परिणाम क्या होता है? वह बहुत ज़ोर से पकड़ सकता है, बहुत तेज़ी से खींच सकता है, या बस जम सकता है क्योंकि वह प्रत्येक चरण में विशेषज्ञ होने के बजाय एक साथ सभी चरणों में अच्छा होने की कोशिश कर रहा है।

यह पेपर एक नया तरीका पेश करता है जिससे रोबोट को सिखाया जाता है जिसे LAR-MoE कहा जाता है। इसे एक रोबोट को एक सामान्य रसोइया देने के बजाय विशेषज्ञ शेफ की एक टीम देने के रूप में समझें।

समस्या: "औसत" रोबोट

आज के अधिकांश रोबोट उस छात्र की तरह हैं जो पूरी किताब को हर पेज को एक ही गति से पढ़कर याद करने की कोशिश करता है। जब वे किसी विशिष्ट परीक्षा प्रश्न पर पहुँचते हैं, तो वे एक अस्पष्ट, "औसत" उत्तर देते हैं जो विशिष्ट समस्या के लिए बिल्कुल सही नहीं होता। रोबकी में, यह कार्य के विभिन्न हिस्सों के बीच स्विच करते समय अनाड़ी गतिविधियों की ओर ले जाता है।

समाधान: "विशेषज्ञ टीम" (Mixture of Experts)

लेखक एक Mixture of Experts (MoE) सिस्टम प्रस्तावित करते हैं। कल्पना कीजिए कि एक रेस्टोरेंट की रसोई है जहाँ आपके पास है:

शेफ A: केवल सब्जियाँ काटना जानता है।
शेफ B: केवल मांस को भूनना (sear) जानता है।
शेफ C: केवल डेज़र्ट को सजाना (plate) जानता है।

एक शेफ के सब कुछ करने के बजाय, आपके पास एक मैनेजर (द "रूटर") है जो ऑर्डर को देखता है और तुरंत सही शेफ को बुलाता है। यदि ऑर्डर "प्याज काटना" है, तो मैनेजर शेफ A को बुलाता है। यदि ऑर्डर "स्टीक भूनना" है, तो वह शेफ B को बुलाता है।

पेच: मैनेजर को कैसे पता चलता है कि किसे बुलाना है?

आमतौर पर, आपको मैनेजर को मैन्युअल रूप से बताना पड़ता है, "जब आप चाकू देखें, तो शेफ A को बुलाएं।" लेकिन सर्जरी में, हमारे पास हर संभावित स्थिति के लिए हर एक कदम लिखने का समय नहीं होता। हम चाहते हैं कि रोबोट इसे खुद से समझे।

यहीं LAR-MoE काम आता है। यह एक चतुर दो-चरणीय प्रशिक्षण प्रक्रिया का उपयोग करता है:

चरण 1: "शैडो ट्रेनिंग" (Unsupervised Learning)

इससे पहले कि रोबोट सर्जरी का अभ्यास करना शुरू करे, वह एक "शैडो ट्रेनिंग" चरण से गुजरता है।

शिक्षक: एक स्मार्ट AI एक मानव सर्जन के वीडियो और उनके हाथों की गतिविधियों को देखता है। वह यह सीखता है कि सर्जन क्या देखता है और उसके बाद क्या करता है।
छात्र: एक सरल AI केवल वीडियो (दृश्य दृश्य) को देखता है और अनुमान लगाने की कोशिश करता है कि शिक्षक क्या जानता है।

"मैं क्या सोच रहा हूँ, इसका अनुमान लगाओ" के इस खेल के माध्यम से, छात्र कार्य का एक गुप्त नक्शा (एक "लेटेंट स्पेस") सीख जाता है। वह चरणों के नाम (जैसे "चरण 1: पकड़ना") नहीं जानता, लेकिन वह कार्य के "अहसास" को समझता है। वह जानता है, "ओह, दृश्य ऐसा है कि हम कुछ पकड़ने वाले हैं," या "दृश्य ऐसा है कि हम खींच रहे हैं।"

चरण 2: "गाइडेड टीम" (Latent-Aligned Routing)

अब, रोबोट अपने विशेषज्ञों (Experts) की टीम के साथ वास्तविक सर्जरी सीखना शुरू करता है।

मैनेजर (Router) वर्तमान दृश्य को देखता है।
अंदाजे से अनुमान लगाने के बजाय, मैनेजर चरण 1 में सीखे गए गुप्त नक्शे की जाँच करता है।
मैनेजर पूछता है: "क्या यह दृश्य नक्शे के 'पकड़ने' वाले हिस्से जैसा दिखता है? यदि हाँ, तो कार्य को 'पकड़ने' वाले शेफ को भेजें।"

जादू यह है कि मैनेजर को नक्शे का पालन करने के लिए मजबूर किया जाता है। यह "एक्सपर्ट कोलैप्स" को रोकता है, जो एक सामान्य समस्या है जहाँ एक आलसी शेफ सब कुछ करने की कोशिश करता है, और अन्य को निकाल दिया जाता है (अनदेखा किया जाता है)। मैनेजर को गुप्त नक्शे से जोड़कर, यह प्रणाली सुनिश्चित करती है कि हर शेफ को अपना प्रदर्शन करने का मौका मिले और वह अपने स्वयं के क्षेत्र में विशेषज्ञ बन सके।

यह एक बड़ी बात क्यों है?

मैन्युअल लेबल की आवश्यकता नहीं: आपको हज़ारों वीडियो के लिए "चरण 1: पकड़ना, चरण 2: प्रतीक्षा करना" लिखने के लिए बैठने की ज़रूरत नहीं है। रोबोट डेटा को देखकर खुद चरणों को समझ लेता है।
छोटा लेकिन शक्तिशाली: यह प्रणाली आश्चर्यजनक रूप से छोटी है (केवल 150 मिलियन पैरामीटर)। इसे संदर्भ में रखने के लिए, यह एक कॉम्पैक्ट स्पोर्ट्स कार की तरह है जो एक विशाल 3.5-बिलियन-पैरामीटर सुपर-टैंक (जैसे प्रसिद्ध $\pi_0$ मॉडल) की तरह तेज़ दौड़ सकती है।
वास्तविक दुनिया में सफलता: उन्होंने एक वास्तविक सर्जिकल रोबोट पर इसका परीक्षण किया।
- एक नकली बोवेल (फैंटम) पर: यह 95% बार सफल रहा।
- असली सूअर के ऊतकों (जीरो-शॉट) पर: हालाँकि इसने पहले कभी असली सूअर के ऊतकों को नहीं देखा था, फिर भी यह अपने कौशल को सफलतापूर्वक स्थानांतरित करने में सफल रहा, 45% बार सफलता मिली। यह बहुत बड़ी बात है क्योंकि असली ऊतक फिसलन भरे और अप्रत्याशित होते हैं, जबकि नकली प्लास्टिक मॉडल अलग होते हैं।

निचोड़

LAR-MoE एक रोबोट को एक ऑर्केस्ट्रा के कंडक्टर को सिखाने जैसा है। हर वाद्य यंत्र को एक ही स्वर बजाने के लिए मजबूर करने के बजाय, यह संगीत के मूड (दृश्य दृश्य) को पहचानना सीखता है और सही भाग (विशेषज्ञ) को बजाने के लिए सही अनुभाग को संकेत देता है। यह बिना किसी पूर्व-लिखित संगीत के, रोबोट को जटिल, वास्तविक दुनिया के कौशल सीखने का एक शक्तिशाली, कुशल और अनुकूलनीय तरीका प्रदान करता है।

यहाँ शोध पत्र "LAR-MoE: Latent-Aligned Routing for Mixture of Experts in Robotic Imitation Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

इमिटेशन लर्निंग (IL) रोबोट को प्रदर्शनों (demonstrations) से कौशल प्राप्त करने में सक्षम बनाती है, लेकिन विषम गतिकी (heterogeneous dynamics) वाले कार्यों (जैसे कि रीचिंग, ग्रैस्पिंग और रिट्रैक्टिंग वाले सर्जिकल कार्य) में एक एकल पॉलिसी को तैनात करना चुनौतीपूर्ण बना हुआ है। मानक मॉडल विशिष्ट व्यवहार मोड के बजाय उन्हें औसत (average) करने की प्रवृत्ति रखते हैं, जिससे प्रदर्शन उप-इष्टतम (suboptimal) हो जाता है।

जबकि Mixture-of-Experts (MoE) आर्किटेक्चर विशेषज्ञ उप-नेटवर्कों (specialized subnetworks) को सक्रिय करके एक समाधान प्रदान करते हैं, वे रोबोटिक्स में दो महत्वपूर्ण बाधाओं का सामना करते हैं:

रूटिंग निर्भरता (Routing Dependency): प्रभावी MoE के लिए सार्थक कौशल अपघटन (skill decompositions/expert routing) की आवश्यकता होती है ताकि यह निर्धारित किया जा सके कि किस विशेषज्ञ (expert) को सक्रिय किया जाए।
सुपरविजन की कमी (Supervision Scarcity): मौजूदा विधियाँ अक्सर स्पष्ट कार्य-चरण एनोटेशन (task-phase annotations) या मैन्युअल प्रिमिटिव परिभाषाओं पर निर्भर करती हैं, जो सर्जिकल रोबोटिक्स जैसे डोमेन में महंगी और दुर्लभ होती हैं।
एक्सपर्ट कोलैप्स (Expert Collapse): मानक प्रशिक्षण अक्सर "एक्सपर्ट कोलैप्स" की ओर ले जाता है, जहाँ कुछ विशेषज्ञ हावी हो जाते हैं जबकि अन्य कम उपयोग किए जाते हैं, या असंतुलित ग्रेडिएंट अपडेट के कारण ओवरफिटिंग होती है।

2. कार्यप्रणाली: LAR-MoE (Methodology: LAR-MoE)

लेखक LAR-MoE का प्रस्ताव करते हैं, जो एक दो-चरणीय ढांचा है जो अनसुपरवाइज्ड स्किल डिस्कवरी को पॉलिसी लर्निंग से अलग करता है। मुख्य नवाचार लेटेंट-अलाइन्ड रूटिंग (Latent-Aligned Routing) है, जो बिना किसी स्पष्ट चरण लेबल के, विशेषज्ञ चयन को निर्देशित करने के लिए एक अनसुपरवाइज्ड लेटेंट स्पेस का उपयोग करता है।

चरण 1: अनसुपरवाइज्ड प्री-ट्रेनिंग (स्टूडेंट-टीचर को-ट्रेनिंग)

इसका लक्ष्य एक संयुक्त लेटेंट रिप्रेजेंटेशन सीखना है जो विजुअल ऑब्जर्वेशन और भविष्य के मोशन ट्राजेक्टरीज के बीच संबंध को कैप्चर करता है।

टीचर नेटवर्क (Teacher Network): वर्तमान ऑब्जर्वेशन ( $o_t$ ) और भविष्य के एक्शन चंक ( $a_{t:t+H}$ ) दोनों को प्राप्त करता है। यह एक लेटेंट वेक्टर $z_t$ से एक्शन चंक को पुनर्गठित (reconstruct) करना सीखता है।
स्टूडेंट नेटवर्क (Student Network): केवल वर्तमान ऑब्जर्वेशन ( $o_t$ ) प्राप्त करता है और लेटेंट वेक्टर $\hat{z}_t$ का अनुमान लगाने का प्रयास करता है।
उद्देश्य (Objective): स्टूडेंट अपने अनुमानित लेटेंट $\hat{z}_t$ और टीचर के लेटेंट $z_t$ के बीच मीन स्क्वेर्ड एरर (MSE) को कम करता है। यह स्टूडेंट को एक संरचित लेटेंट स्पेस सीखने के लिए मजबूर करता है जो केवल विजुअल इनपुट के आधार पर कार्य चरणों और भविष्य की गतियों को अंतर्निहित रूप से एनकोड करता है।

चरण 2: पोस्ट-ट्रेनिंग और एक्सपर्ट रूटिंग (Post-training & Expert Routing)

इस चरण में, सीखा गया लेटेंट स्ट्रक्चर MoE पॉलिसी को निर्देशित करता है।

आर्किटेक्चर (Architecture): पॉलिसी में एक विजन/लैंग्वेज एनकोडर और उसके बाद $N$ एक्शन एक्सपर्ट्स (इम्प्लीमेंटेड एज ट्रांसफार्मर डिकोडर्स के रूप में) होते हैं।
सॉफ्ट गेटिंग (Soft Gating): चरण 1 से प्राप्त फ्रीज किया गया स्टूडेंट मॉडल लेटेंट वेक्टर $\hat{z}_t$ का अनुमान लगाता है। एक रूटिंग नेटवर्क इस वेक्टर को सॉफ्ट-गेटिंग मैकेनिज्म (लर्नेबल टेम्परेचर के साथ Softmax) का उपयोग करके विशेषज्ञों पर एक प्रोबेबिलिटी डिस्ट्रीब्यूशन $p_t$ में मैप करता है।
रेगुलराइजेशन रणनीति (Regularization Strategy): एक्सपर्ट कोलैप्स को रोकने और विशेषज्ञता लागू करने के लिए, रूटिंग को सीखे गए लेटेंट स्पेस की ज्यामिति (geometry) के साथ संरेखित (align) करने के लिए रेगुलराइज किया जाता है।
- डिस्टेंस कंसिस्टेंसी लॉस ( $L_{DC}$ ): यह विशेषज्ञ चयन की संभावनाओं के वितरण को प्री-ट्रेन्ड स्पेस में लेटेंट वेक्टर्स के बीच की दूरी से मेल खाने के लिए प्रोत्साहित करता है। यदि दो ऑब्जर्वेशन लेटेंट स्पेस में पास हैं, तो उन्हें समान विशेषज्ञों को सक्रिय करना चाहिए।
- एन्ट्रॉपी रेगुलराइजेशन ( $L_H$ ): यह विशेषज्ञों को समान रूप से कार्य करने के बजाय विशेषज्ञता (लो एन्ट्रॉपी) के लिए प्रोत्साहित करता है।
- ग्रुप स्पार्स रेगुलराइजेशन ( $L_G$ ): इमेज क्लासिफिकेशन MoE तकनीकों से प्रेरित होकर, यह पड़ोसी विशेषज्ञों को ग्रुप करने द्वारा स्थिरता को बढ़ावा देता है।

3. प्रमुख योगदान (Key Contributions)

अनसुपरवाइज्ड को-ट्रेनिंग स्ट्रैटेजी: एक वर्णनात्मक संयुक्त लेटेंट स्पेस सीखने के लिए एक नवीन स्टूडेंट-टीचर दृष्टिकोण, जो बिना स्पष्ट चरण सुपरविजन के ऑब्जर्वेशन-फ्यूचर मोशन एलाइनमेंट का उपयोग करता है।
लेटेंट-अलाइन्ड रूटिंग: एक रेगुलराइजेशन तकनीक जो सॉफ्ट एक्सपर्ट रूटिंग को सीखे गए लेटेंट स्पेस की संरचना से जोड़ती है। यह एक्सपर्ट कोलैप्स को रोकता है और पैरामीटर दक्षता में काफी सुधार करता है।
जीरो-शॉट जनरलाइजेशन: यह प्रमाण कि रूटिंग स्ट्रक्चर को शुद्ध रूप से ऑब्जर्वेशन-फ्यूचर मोशन एलाइनमेंट से सीखा जा सकता है, जिसे सिमुलेशन बेंचमार्क और वास्तविक हार्डवेयर पर जटिल, लॉन्ग-होरिजन सर्जिकल कार्यों पर सत्यापित किया गया है।

4. प्रयोगात्मक परिणाम (Experimental Results)

सिमुलेशन बेंचमार्क (LIBERO)

प्रदर्शन (Performance): LIBERO बेंचमार्क पर LAR-MoE ने 95.2% औसत सफलता दर हासिल की।
दक्षता (Efficiency): केवल 150M पैरामीटर्स होने के बावजूद, इसने काफी बड़े पैरामीटर काउंट वाले कई विजन-लैंग्वेज-एक्शन (VLA) मॉडल्स (जैसे 8B के साथ OpenVLA, 3.5B के साथ $\pi_0$ ) को पछाड़ दिया और $\pi_0.5$ (3.5B) के प्रदर्शन के करीब पहुँच गया।
एब्लेशन स्टडीज (Ablation Studies):
- स्टूडेंट एनकोडर को फ्रीज करने और लेटेंट-अलाइनमेंट रेगुलराइजेशन लागू करने से बेसलाइन की तुलना में 16.4% का सुधार हुआ।
- प्रदर्शन 16 विशेषज्ञों तक अच्छी तरह से स्केल हुआ; 32 विशेषज्ञों ने गिरावट दिखाई, जो संभवतः अपर्याप्त ट्रेनिंग इपोक के कारण है।

हार्डवेयर प्रयोग (सर्जिकल बाउल ग्रास्पिंग और रिट्रैक्शन)

कार्य (Task): एक जटिल, 5-फेज वाला सर्जिकल कार्य जिसमें रोबोट और सर्जन के बीच समन्वित इंटरेक्शन की आवश्यकता होती है।
डेटा (Data): बिना किसी फेज एनोटेशन के 120 प्रदर्शनों पर प्रशिक्षित।
परिणाम (Results):
- एक बाउल फैंटम (bowel phantom) पर सुपरवाइज्ड MoE बेसलाइन (जिसके लिए स्पष्ट फेज लेबल की आवश्यकता थी) के बराबर सफलता दर प्राप्त की।
- जीरो-शॉट ट्रांसफर: एक्स विवो पोर्क टिश्यू (ex vivo porcine tissue) पर 45% सफलता दर (9/20 रोलआउट) के साथ सफलतापूर्वक ट्रांसफर हुआ, जो बिना रिट्रेनिंग के विजुअल और मैकेनिकल डोमेन शिफ्ट के प्रति मजबूती प्रदर्शित करता है।
- व्याख्यात्मकता (Interpretability): विशेषज्ञ एक्टिवेशन पैटर्न ने मानव-एनोटेटेड कार्य चरणों के साथ मजबूत टेम्पोरल और स्पेशियल एलाइनमेंट दिखाया, जबकि उन्हें कभी भी उन पर प्रशिक्षित नहीं किया गया था। विभिन्न विशेषज्ञों ने कार्य स्थान के विशिष्ट क्षेत्रों (जैसे अप्रोच बनाम रिट्रैक्शन) में विशेषज्ञता हासिल की।

5. महत्व (Significance)

पैराडाइम शिफ्ट: LAR-MoE सुपरवाइज्ड स्किल डीकंपोजिशन के लिए एक सिद्धांतपूर्ण विकल्प प्रदान करता है। यह सिद्ध करता है कि जटिल रोबोटिक व्यवहार को अनलेबल डेटा का उपयोग करके विशेषज्ञ विशेषज्ञों में विभाजित किया जा सकता है, जिससे सर्जिकल रोबोटिक्स जैसे क्षेत्रों में महंगी मैनुअल एनोटेशन की आवश्यकता काफी कम हो जाती है।
पैरामीटर दक्षता: यह दर्शाता है कि उच्च-प्रदर्शन वाली रोबोटिक पॉलिसी के लिए अरबों (billions) के विशाल पैरामीटर काउंट की आवश्यकता नहीं है, यदि आर्किटेक्चर स्पार्स कंप्यूटेशन और स्ट्रक्चर्ड लेटेंट रिप्रेजेंटेशन का प्रभावी ढंग से लाभ उठाता है।
मजबूत सामान्यीकरण (Robust Generalization): सिमुलेशन/फैंटम से वास्तविक जैविक ऊतक (ex vivo) तक सामान्य होने की क्षमता, उन क्षेत्रों में तैनाती की क्षमता को उजागर करती है जहाँ डेटा दुर्लभ है और लेबलिंग कठिन है।