💻 computer science

Morphologically Equivariant Flow Matching for Bimanual Mobile Manipulation

यह शोध पत्र एक रूपात्मक रूप से सममित (morphologically equivariant) फ्लो मैचिंग फ्रेमवर्क प्रस्तुत करता है जो द्वि-हस्त मोबाइल रोबोटों (bimanual mobile robots) की अंतर्निहित द्विपक्षीय समरूपता का लाभ उठाकर नमूना दक्षता (sample efficiency) में उल्लेखनीय सुधार करता है और दर्पण प्रतिबिंब वाले कार्य विन्यासों (mirrored task configurations) के लिए ज़ीरो-शॉट सामान्यीकरण (zero-shot generalization) को सक्षम बनाता है।

मूल लेखक: Max Siebenborn, Daniel Ordoñez Apraez, Sophie Lueth, Giulio Turrisi, Massimiliano Pontil, Claudio Semini, Georgia Chalvatzaki

प्रकाशित 2026-05-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Max Siebenborn, Daniel Ordoñez Apraez, Sophie Lueth, Giulio Turrisi, Massimiliano Pontil, Claudio Semini, Georgia Chalvatzaki

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक दो हाथों वाले रोबोट (इंसान की तरह) को एक कठिन काम करना सिखा रहे हैं, जैसे कि एक भारी बॉक्स उठाना या कैबिनेट खोलना। आमतौर पर, एक रोबोट को सिखाने के लिए, आपको उसे बार-बार एक ही काम दिखाना पड़ता है जब तक कि वह उसे सही ढंग से न कर ले। यदि आप उसे बाईं ओर से बॉक्स उठाने का तरीका दिखाते हैं, तो वह भ्रमित हो सकता है यदि आप उसे उसी बॉक्स को दाईं ओर से उठाने के लिए कहते हैं, भले ही रोबोट का शरीर पूरी तरह से सममित (एक दर्पण छवि) हो।

यह शोध पत्र इसे तेजी से और स्मार्ट तरीके से सीखने के लिए एक चतुर शॉर्टकट पेश करता है। यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. "मिरर ट्रिक" (आकार संबंधी सममिति - Morphological Symmetry)

सोचिए कि रोबोट का एक सटीक दर्पण प्रतिबिंब (mirror image) है। शोध पत्र का तर्क है कि यदि रोबक को पता है कि अपने बाएं हाथ से पहेली को कैसे हल करना है, तो वह स्वतः ही जानता है कि उस पहेली के दर्पण संस्करण को अपने दाएं हाथ से कैसे हल करना है। यह वैसा ही है जैसे यदि आपने अपने दाहिने हाथ से अपना नाम लिखना सीखा है; आपको यह जानने के लिए कि अक्षर वही हैं, बस उलटे हैं, अपने बाएं हाथ से उल्टा लिखने का अभ्यास करने की आवश्यकता नहीं है।

शोधकर्ता इसे एक "सिमेट्री प्रायर" (symmetry prior) कहते हैं। यह एक नियम है जिसे वे रोबोट के मस्तिष्क में डालते हैं: "यदि आप ऐसी स्थिति देखते हैं जो पहले देखी गई किसी चीज़ की दर्पण छवि जैसी दिखती है, तो बस दर्पण में दिखने वाले प्रतिबिंब की तरह अपने कार्यों को पलट दें।"

2. सिखाने की विधि (फ्लो मैचिंग - Flow Matching)

रोबोट को सिखाने के लिए, लेखक "फ्लो मैचिंग" नामक विधि का उपयोग करते हैं। कल्पना कीजिए कि आप एक छात्र को एक आदर्श वृत्त (circle) बनाना सिखा रहे हैं।

पुराना तरीका: आप उन्हें 1,000 वृत्त दिखाते हैं और कहते हैं, "इनकी नकल करो।"
फ्लो मैचिंग तरीका: आप ड्राइंग की प्रक्रिया को एक अव्यवस्थित रेखाचित्र (random noise) से एक आदर्श वृत्त में बहती हुई एक चिकनी नदी के रूप में देखते हैं। आप रोबोट को उस नदी की "धारा" (वेग/velocity) सिखाते हैं जो रेखाचित्र को वृत्त की ओर निर्देशित करती है।

शोध पत्र इस नदी में एक विशेष नियम जोड़ता है: नदी को सममित रूप से बहना चाहिए। यदि नदी एक कार्य के लिए बाएं-से-दाएं बहती है, तो उसे दूसरे दर्पण कार्य के लिए दाएं-से-बाएं बहना चाहिए।

3. नियम सिखाने के तीन तरीके

शोध पत्र इस बात का परीक्षण करता है कि रोबोट को दर्पण नियम का पालन करने के लिए सुनिश्चित करने के तीन अलग-अलग तरीके क्या हैं:

"डबल एक्सपोजर" विधि (डेटा ऑग्मेंटेशन - Data Augmentation): वे रोबोट को कार्य और उसके दर्पण प्रतिबिंब, दोनों को एक साथ दिखाते हैं। यह एक छात्र को एक कमरे की फोटो दिखाने और फिर तुरंत उसे उसी कमरे की दर्पण प्रतिबिंब वाली फोटो दिखाने जैसा है, और कहना, "वही करो, बस उल्टा।"
"गिल्ट ट्रिप" विधि (रेगुलराइजेशन - Regularization): वे रोबोट को सामान्य रूप से सीखने देते हैं लेकिन यदि वह दर्पण नियम को भूल जाता है तो एक "जुर्माना" जोड़ते हैं। यदि रोबoret ऐसा कुछ करने की कोशिश करता है जो उसके प्रतिबिंब से मेल नहीं खाता है, तो शिक्षक कहता है, "नहीं, यह गलत है," और उसे फिर से प्रयास करने के लिए कहता है।
"बिल्ट-इन मिरर" विधि (इक्विवेरिएंट नेटवर्क - Equivariant Network): वे रोबोट के मस्तिष्क (न्यूरल नेटवर्क) को विशेष भागों से बनाते हैं जो भौतिक रूप से दर्पण नियम को तोड़ नहीं सकते। यह एक ऐसी कार बनाने जैसा है जिसके पहिए केवल आगे की ओर घूम सकते हैं; यह असंभव है कि कार गलती से पीछे की ओर चले।

4. परिणाम: तेज़, स्मार्ट और ज़ीरो-शॉट

शोध पत्र दिखाता है कि इस मिरर ट्रिक का उपयोग करना चमत्कारिक परिणाम देता है:

सैंपल एफिशिएंसी (तेजी से सीखना): रोबोट को कार्य सीखने के लिए बहुत कम अभ्यास प्रयासों की आवश्यकता होती है। यह उस छात्र की तरह है जिसे गणित की समस्या को केवल एक बार देखने की आवश्यकता होती है क्योंकि वह अंतर्निlying पैटर्न को समझता है, न कि हर एक उदाहरण को रटने की।
ज़ीरो-शॉट जनरलाइजेशन (जादुई छलांग): यह सबसे प्रभावशाली हिस्सा है। रोबोट को केवल "मूल" पक्ष (जैसे, बायां पक्ष) पर प्रशिक्षित किया गया था। जब उन्होंने बिना किसी अतिरिक्त अभ्यास के इसे "दर्पण" पक्ष (दायां पक्ष) पर टेस्ट किया, तो यह तुरंत सफल रहा। इसे फिर से सीखने की आवश्यकता नहीं थी; इसने बस दर्पण नियम को लागू किया जो यह पहले से जानता था।
कठिन कार्य: कार्य जितना कठिन होता है (जैसे, किसी चीज़ की ओर बहुत दूर तक पहुँचना), दर्पण नियम उतना ही अधिक सहायक होता जाता है।

5. वास्तविक दुनिया का प्रमाण

शोधकर्ताओं ने इसे केवल कंप्यूटर सिमुलेशन में नहीं परखा। उन्होंने इसे एक वास्तविक रोबोट (जिसे TIAGo++ कहा जाता है) पर एक वास्तविक लैब में आजमाया।

परीक्षण: उन्होंने रोबोट को अपने बाएं हाथ से एक डिब्बा उठाने और उसे एक कटोरे में रखने के लिए प्रशिक्षित किया।
परिणाम: फिर उन्होंने रोबोट से उसी काम को अपने दाएं हाथ (दर्पण संस्करण) से करने के लिए कहा। रोबोट बिना किसी नए प्रशिक्षण के पूरी तरह से सफल रहा।

सारांश

संक्षेप में, यह शोध पत्र कहता है: "केवल रोबोट को यह न सिखाएं कि क्या करना है; उसे यह सिखाएं कि उसका शरीर सममित है।" रोबोट को यह समझने के लिए मजबूर करके कि "बाएं" और "दाएं" एक-दूसरे के दर्पण प्रतिबिंब हैं, रोबोट तेजी से सीखता है, कम गलतियां करता है, और तुरंत उन कार्यों को संभाल सकता है जिन्हें उसने पहले कभी नहीं देखा है, बस अपनी रणनीति को पलटकर।

तकनीकी सारांश: द्विपक्षीय मोबाइल हेरफेर के लिए रूपात्मक रूप से सममित प्रवाह मिलान (Morphologically Equivariant Flow Matching)

समस्या विवरण

द्विपक्षीय रोबोटों के लिए मोबाइल मैनिपुलेशन (MoMa) में उच्च-आयामी प्रणालियों के समन्वित नियंत्रण की आवश्यकता होती है। जबकि इमिटेशन लर्निंग (IL), विशेष रूप से बिहेवियर क्लोनिंग (BC), इन कार्यों को हल करने के लिए एक मानक दृष्टिकोण है, यह अक्सर कम सैंपल दक्षता और खराब सामान्यीकरण (generalization) से ग्रस्त होता है, जिसके लिए विशेषज्ञ प्रदर्शन डेटा (expert demonstration data) की विशाल मात्रा की आवश्यकता होती है। एक महत्वपूर्ण, फिर भी अक्सर अनदेखा किया जाने वाला इंडक्टिव बायस (inductive bias) द्विपक्षीय प्रणालियों में द्विपक्षीय रूपात्मक समरूपता (bilateral morphological symmetry) है। अधिकांश द्विपक्षीय रोबोट, मनुष्यों की तरह, अपने सैजिट्टल प्लेन (sagittal plane) के सापेक्ष प्रतिबिंब समरूपता (reflection symmetry) रखते हैं। वर्तमान IL विधियाँ आमतौर पर इस पूर्व ज्ञान (prior) को अनदेखा करती हैं, यह विफल रहती हैं कि एक नीति जो एक विन्यास (configuration) में कार्य को हल करती है, उसे स्वाभाविक रूप से उसके दर्पण प्रतिरूप (mirrored counterpart) को भी हल करना चाहिए। यह शोध पत्र द्विपक्षीय MoMa में सैंपल दक्षता, सामान्यीकरण और इष्टतमता (optimality) में सुधार के लिए इस समरूपता को औपचारिक रूप देने की चुनौती को संबोधित करता है।

कार्यप्रणाली

लेखक नीति सीखने की समस्या को फ्लो मैचिंग (Flow Matching - FM) ढांचे के भीतर एक समरूपता-बाधित अनुकूलन (symmetry-constrained optimization) के रूप में फ्रेम करते हैं।

1. समस्या का निरूपण

कार्य को एक आंशिक रूप से अवलोकन योग्य मार्कोव निर्णय प्रक्रिया (POMDP) के रूप में मॉडल किया गया है। मुख्य परिकल्पना यह है कि POMDT में रोबोट की आकृति विज्ञान (morphology) द्वारा प्रेरित एक अद्वितीय प्रतिबिंब समरूपता ( $g_r$ ) मौजूद है। यह समरूपता स्टेट ( $S$ ), एक्शन ( $A$ ), और ऑब्जर्वेशन ( $O$ ) स्पेस पर कार्य करती है। लेखक तर्क देते हैं कि एक इष्टतम नीति $\pi_\theta$ को एक $C_2$ -इनवेरियंस बाधा (invariance constraint) को संतुष्ट करना चाहिए:
$\pi_\theta(a|x) = \pi_\theta(g_r \triangleright_A a | g_r \triangleright_X x)$
इसका तात्पर्य यह है कि यदि इनपुट ऑब्जर्वेशन को प्रतिबिंबित किया जाता है, तो आउटपुट एक्शन डिस्ट्रीब्यूशन को भी तदनुसार प्रतिबिंबित होना चाहिए, जिसके परिणामस्वरूप एक उभयहस्त (ambidextrous) नीति प्राप्त होती है।

2. समरूपता के साथ फ्लो मैचिंग (Flow Matching with Equivariance)

लेखक फ्लो मैचिंग का उपयोग करते हैं, जहाँ नीति को एक निरंतर-समय साधारण अवकल समीकरण (ODE) को एकीकृत करने के रूप में मॉडल किया जाता है, जो एक वेलोसिटी फील्ड $v_\theta$ द्वारा नियंत्रित होता है। लक्ष्य एक ऐसा वेलोसिटी फील्ड सीखना है जो एक प्राय (prior) वितरण (गौसियन नॉइज़) को विशेषज्ञ एक्शन डिस्ट्रीब्यूशन में परिवर्तित करे।

समरूपता बाधा को लागू करने के लिए, वेलोसिटी फील्ड $v_\theta$ को $G$ -इक्विवैरिएंट (G-equivariant) होना चाहिए। शोध पत्र इन बाधाओं को FM ऑब्जेक्टिव के भीतर लागू करने के लिए तीन अलग-अलग रणनीतियों का प्रस्ताव करता है:

डेटा ऑग्मेंटेशन (SymAug): प्रशिक्षण डेटासेट को प्रतिबिंबित ऑब्जर्वेशन-एक्शन पेयर्स जोड़कर संवर्धित (augment) किया जाता है। यह मॉडल को प्रशिक्षण के दौरान मिरर किए गए उदाहरणों के संपर्क में लाकर बाधा को नरम करता है।
इक्विवेरिएंट कंसिस्टेंसी लॉस (EquivReg): प्रशिक्षण हानि (loss) में एक नियमितीकरण पद (regularization term) जोड़ा जाता है। यह टर्म वेलोसिटी फील्ड के आउटपुट और मूल इनपुट पर वेलोसिटी फील्ड के आउटपुट के प्रतिबिंब के बीच की दूरी को कम करके इक्विवेरिएंस से विचलन को दंडित करता है।
स्पष्ट इक्क्विवैरिएंट नेटवर्क (EquivNet): वेलोसिटी फील्ड $v_\theta$ को एक नवीन $G$ -इक्विवैरिएंट ट्रांसफार्मर का उपयोग करके पैरामीट्रिक बनाया जाता है। इस आर्किटेक्चर में, सभी मॉड्यूल को एक यादृच्छिक कॉम्पैक्ट ग्रुप $G$ (विशेष रूप से प्रतिबिंब के लिए $C_2$ ) के प्रति इक्क्विवैरिएंट होने के लिए डिज़ाइन किया गया है, जो यह गारंटी देता है कि इक्विवेरिएंस बाधा सभी इनपुट के लिए, जिसमें आउट-ऑफ-डिस्ट्रीब्यूशन भी शामिल हैं, लागू होती है।

मुख्य योगदान

FM में समरूपता का औपचारिकीकरण: शोध पत्र FM ढांचे के भीतर इमिटेशन लर्निंग के लिए प्रतिबिंब समरूपता-प्रेरित इक्क्विवेरिएंस को औपचारिक रूप देता है और इन बाधाओं को लागू करने के लिए दो प्राथमिक रणनीतियों को प्रदर्शित करता है: इक्क्विवैरिएंट न्यूरल नेटवर्क या रेगुलाइजेशन के माध्यम से।
नवीन आर्किटेक्चर: लेखक एक $G$ -इक्विवैरिएंट ट्रांसफार्मर पेश करते हैं जो यादृच्छिक परिमित समूहों (finite groups) को संभालने में सक्षम है, जो विशेष रूप से उभयहस्त द्विपक्षीय नियंत्रण को सक्षम करने के लिए तैयार किया गया है।
अनुभवजन्य सत्यापन (Empirical Validation): अध्ययन प्रदर्शित करता है कि रूपात्मक समरूपता का उपयोग करने से सैंपल दक्षता, सामान्यीकरण और मिरर किए गए कार्यों में ज़ीरो-शॉट ट्रांसफर (जो प्रशिक्षण वितरण में अनुपस्थित थे) में सुधार होता है।

प्रयोगात्मक परिणाम

प्रस्तावित विधियों का मूल्यांकन पुश-टी (Push-T) बेंचमार्क, TIAGo++ रोबोट का उपयोग करके सिम्युलेटेड द्विपक्षीय MoMa कार्यों (बॉक्स लिफ्टिंग, कैबिनेट ओपनिंग, रीचिंग) और एक वास्तविक दुनिया के TIAGo++ कार्य पर किया गया।

सैंपल दक्षता: एक साझा-डेटा शासन (shared-data regime) में (जहाँ मूल और प्रतिबिंबित दोनों प्रदर्शन उपलब्ध हैं), समरूपता-सूचित नीतियां (SymAug, EquivReg, EquivNet) समरूपता-अज्ञेय (symmetry-agnostic) बेसलाइन (FM-BL) से लगातार बेहतर प्रदर्शन करती हैं। औसतन, उन्होंने 2× लाभ में सैंपल दक्षता प्राप्त की।
ज़ीरो-शॉट सामान्यीकरण: मूल कॉन्फ़िगरेशन पर प्रशिक्षित नीतियां बिना किसी अतिरिक्त प्रशिक्षण के मिरर किए गए कॉन्फ़िगरेशन ( $g_r$ $g_{r}$ ) में सफलतापूर्वक स्थानांतरित हुईं।
- सिमुलेशन: बॉक्स लिफ्टिंग कार्य में, बेसलाइन ने मिरर किए गए कार्यों पर 0% सफलता प्राप्त की, जबकि समरूपता-जागरूक विधियों ने ~66–72% सफलता प्राप्त की। कैबिनेट ओपनिंग में, मिरर की गई सफलता दर बेसलाइन के 0% से बढ़कर ~83–88% हो गई।
- वास्तविक दुनिया: एक वास्तविक TIAGo++ रोबोट पर पिक-एंड-प्लेस कार्य करने पर, बाएं हाथ (मूल) पर प्रशिक्षित नीति ने ज़ीरो-शॉट सेटिंग में दाएं हाथ (मिरर्ड) पर परीक्षण करने पर 100% सफलता प्राप्त की।
इष्टतमता और कठिनाई स्केलिंग: शोध पत्र नोट करता है कि इक्विव-रेग (EquivReg) और इक्विव-नेट (EquivNet) के माध्यम से समरूपता बाधा को एक इष्टतमता बाधा के रूप में लागू करने से सरल डेटा ऑग्मेंटेशन की तुलना में बेहतर परिणाम मिले, विशेष रूप से बॉक्स लिफ्टिंग जैसे चुनौतीपूर्ण कार्यों में। इसके अलावा, बेसलाइन की तुलना में प्रदर्शन सुधार कठिन कार्यों (जैसे व्यापक लक्ष्य वितरण) के साथ बढ़ता है, जो बताता है कि समरूपता का पूर्व ज्ञान (prior) जटिलता के साथ अच्छी तरह से स्केल करता है।

महत्व और दावे

शोध पत्र का दावा है कि रूपात्मक समरूपता (morphological symmetry) उभयहस्त जनरेटिव पॉलिसी लर्निंग के लिए एक प्रभावी, सामान्यीकरण योग्य और स्केलेबल इंडक्टिव बायस है। द्विपक्षीय समरूपता की भौतिक वास्तविकता को सीखने के एल्गोरिदम में स्पष्ट रूप से शामिल करके, लेखक प्रदर्शित करते हैं कि रोबोट अतिरिक्त डेटा संग्रह की आवश्यकता के बिना अधिक कुशलता से सीख सकते हैं और अनदेखे मिरर किए गए परिदृश्यों में सामान्यीकरण कर सकते हैं।

यह कार्य पूर्व समरूपता-आधारित IL (जो अक्सर SE(3) इक्क्विवेरिएंस या लोकोमोशन पर केंद्रित था) से खुद को अलग करता है, जो विशेष रूप से द्विपक्षीय मोबाइल मैनिपुलेशन को लक्षित करता है और स्पष्ट इक्क्विवैरिएंट आर्किटेक्चर के साथ फ्लो मैचिंग (Flow Matching) का उपयोग करता है। लेखक निष्कर्ष निकालते हैं कि समरूपता को केवल डेटा ऑग्मेंटेशन के रूप में मानने के बजाय इसे एक हार्ड कंस्ट्रेंट (इक्विवैरिएंट नेटवर्क के माध्यम से) या एक मजबूत रेगुलराइज़र के रूप में मानना बेहतर है, जो अधिक सक्षम और डेटा-कुशल सर्विस रोबोटों की ओर एक मजबूत मार्ग प्रदान करता है।