💻 computer science

MVP-LAM: Learning Action-Centric Latent Action via Cross-Viewpoint Reconstruction

यह शोध पत्र MVP-LAM का प्रस्ताव करता है, जो एक मल्टी-व्यूपॉइंट मॉडल है जो VLA प्रीट्रेनिंग और डाउनस्ट्रीम रोबोटिक मैनिपुलेशन प्रदर्शन को बेहतर बनाने के लिए क्रॉस-व्यूपॉइंट रिकंस्ट्रक्शन के माध्यम से एक्शन-सेंट्रिक लेटेंट एक्शन्स सीखता है।

मूल लेखक: Jung Min Lee, Dohyeok Lee, Seokhun Ju, Taehyun Cho, Jin Woo Koo, Li Zhao, Sangwoo Hong, Jungwoo Lee

प्रकाशित 2026-05-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jung Min Lee, Dohyeok Lee, Seokhun Ju, Taehyun Cho, Jin Woo Koo, Li Zhao, Sangwoo Hong, Jungwoo Lee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: रोबोट को सीखने की ज़रूरत है, लेकिन वीडियो झूठ बोलते हैं

कल्पना कीजिए कि आप एक रोबोट को सैंडविच बनाना सिखाना चाहते हैं। सीखने का सबसे अच्छा तरीका आमतौर पर किसी इंसान को ऐसा करते हुए देखना होता है। लेकिन यहाँ एक पेंच है: वीडियो के साथ कोई "रिमोट कंट्रोल" जुड़ा हुआ नहीं आता।

जब आप किसी को सैंडविच बनाते हुए वीडियो देखते हैं, तो आप परिणाम देखते हैं (ब्रेड हिल रही है, चाकू कट रहा है), लेकिन आप वे सटीक मांसपेशी हलचलें (यानी "एक्शन") नहीं देख पाते जिनका उपयोग इंसान ने किया था। रोबोट को सीखने के लिए आमतौर पर उन सटीक मांसपेशी हलचलों की आवश्यकता होती है।

इससे बचने के लिए, वैज्ञानिक कंप्यूटर को यह "अनुमान" लगाने के लिए प्रशिक्षित करने की कोशिश कर रहे हैं कि वीडियो एक फ्रेम से दूसरे फ्रेम में कैसे बदलता है। वे इन अनुमानों को "लेटेंट एक्शन्स" (Latent Actions) कहते हैं। इन्हें एक गुप्त कोड की तरह समझें जिसे कंप्यूटर यह बताने के लिए बनाता है कि "इन दो तस्वीरों के बीच क्या हुआ।"

द ट्रैप (जाल):
समस्या यह है कि वीडियो शोर (noisy) से भरे होते हैं। यदि कोई व्यक्ति कप पकड़ने के लिए अपना हाथ हिलाता है, तो वीडियो बदल जाता है। लेकिन अगर कैमरा भी हिल जाता है, तो वीडियो फिर से बदल जाता है।

गलती: कंप्यूटर वीडियो को देखकर सोच सकता है, "आह, कप इसलिए हिला क्योंकि कैमरा घूम गया!" बजाय इसके कि "कप इसलिए हिला क्योंकि हाथ ने उसे धक्का दिया।"
परिणाम: रोबोट गलत सबक सीख जाता है। वह वास्तविक हाथ की हलचल के बजाय कैमरा मूवमेंट पर प्रतिक्रिया करना सीख जाता है। यह एक छात्र की तरह है जो उत्तरों के बजाय प्रश्नों के फॉन्ट साइज (लिखावट के आकार) को याद करके परीक्षा की तैयारी कर रहा है।

समाधान: MVP-LAM (द "टू-कैमरा" ट्रिक)

लेखकों ने एक नई विधि प्रस्तावित की है जिसे MVP-LAM (Multi-ViewPoint Latent Action Model) कहा जाता है। उनका मुख्य मंत्र एक ही घटना को रिकॉर्ड करने के लिए दो कैमरों (या कई दृष्टिकोणों) का उपयोग करना है।

यहाँ इसकी उपमा (analogy) दी गई है:
कल्पना कीजिए कि आप एक जादूगर को उसका करतब दिखाते हुए देख रहे हैं।

कैमरा A बाईं ओर खड़ा है।
कैमरा B दाईं ओर खड़ा है।

यदि जादूगर अपना हाथ हिलाता है, तो दोनों कैमरे हाथ को हिलते हुए देखते हैं।
यदि जादूगर नहीं हिलता है, लेकिन कैमरा A को टक्कर लगती है और वह हिल जाता है, तो केवल कैमरा A को झटका महसूस होगा। कैमरा B एक स्थिर छवि देखेगा।

MVP-LAM कैसे काम करता है:
सिर्फ एक कैमरा देखकर एक्शन का अनुमान लगाने के बजाय, MVP-LAM "क्रॉस-चेकिंग" का खेल खेलता है:

यह कैमरा A से एक्शन को देखता है।
यह अनुमान लगाने की कोशिश करता है कि अगले सेकंड में कैमरा B क्या देखेगा।
नियम: यदि "गुप्त कोड" (लेटेंट एक्शन) केवल कैमरा A के हिलने के बारे में है, तो यह कैमरा B के दृश्य की भविष्यवाणी करने में मदद नहीं करेगा। एकमात्र चीज़ जिस पर दोनों कैमरे सहमत होते हैं, वह है वस्तुओं की वास्तविक हलचल।

कैमरा A के एक्शन का उपयोग करके व्यू B के भविष्य को समझाने के लिए मजबूर करके, कंप्यूटर को कैमरा मूवमेंट को अनदेखा करने और केवल वास्तविक एक्शन (जैसे हाथ द्वारा कप को हिलाना) पर ध्यान केंद्रित करने के लिए मजबूर किया जाता है। यह दो लोगों से एक रहस्य बताने के लिए कहने जैसा है; यदि वे केवल उन हिस्सों पर सहमत होते हैं जो वास्तव में सच हैं, तो आप जान जाते हैं कि आपने सच्चाई ढूंढ ली है।

उन्होंने क्या पाया

लेखकों ने इस पद्धति का परीक्षण Bridge V2 (रोबोट वीडियो का एक संग्रह) नामक डेटासेट पर किया और अन्य तरीकों से तुलना की।

बेहतर "गुप्त कोड": MVP-LAM द्वारा बनाए गए कोड वास्तविक रोबोट मूवमेंट का वर्णन करने में बहुत बेहतर थे। उनमें पिछले तरीकों की तुलना में वास्तविक क्रियाओं के बारे में 62% अधिक उपयोगी जानकारी थी।
मजबूती (Robustness): भले ही कैमरा एंगल थोड़ा बदल गया हो (जैसे कि रोबोट का सिर झुक गया हो), सिस्टम अभी भी जानता था कि रोबोट क्या कर रहा है। वह नए एंगल से भ्रमित नहीं हुआ।
बेहतर रोबोट प्रदर्शन: जब उन्होंने इन "बेहतर कोड्स" का उपयोग करके एक रोबोट को कार्य (जैसे ब्लॉक को स्टैक करना या वस्तुओं को उठाना) करने के लिए प्रशिक्षित किया, तो रोबोट ने तेजी से सीखा और बेहतर प्रदर्शन किया।
- परिणाम: MVP-LAM के साथ प्रशिक्षित रोबोट अन्य रोबोटों की तुलना में 3 गुना कम ट्रेनिंग डेटा का उपयोग करके जटिल पहेलियों (एक सिमुलेशन में) को हल कर सका। यह उस छात्र की तरह था जो 1 घंटे पढ़ाई करके परीक्षा पास कर सकता है, जबकि दूसरों को 3 घंटे की आवश्यकता होती है।

यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

पेपर का दावा है कि कई कोणों से वीडियो का उपयोग करके, हम रोबकों को "कारण और प्रभाव" (मैंने हाथ हिलाया -> कप हिला) को समझने के लिए प्रशिक्षित कर सकते हैं, बिना किसी महंगे मानवीय लेबल की आवश्यकता के जो उन्हें ठीक से हिलने के निर्देश दे।

उपमा: यह एक ऐसे छात्र के बीच का अंतर है जो कक्षा की विशिष्ट लाइटिंग (रोशनी) को याद रखता है (और रोशनी बदलने पर फेल हो जाता है) बनाम एक छात्र जो पाठ की अवधारणा (concept) को समझता है (और किसी भी कमरे में टेस्ट पास कर सकता है)।

सारांश

समस्या: वीडियो से सीखते समय रोबोट कैमरा मूवमेंट से भ्रमित हो जाते हैं।
समाधान: दो कैमरों का उपयोग करें और AI को एक कैमरे के एक्शन का उपयोग करके दूसरे कैमरे के दृश्य को समझाने के लिए मजबूर करें।
परिणाम: AI "शुद्ध" (pure) एक्शन सीखता है, कैमरा शोर को अनदेखा करता है, और रोबोट को कम डेटा के साथ तेजी से कार्य करने के लिए सिखाता है।

पेपर निष्कर्ष निकालता है कि यह विधि "यूनिवर्सल" रोबोट दिमाग बनाने की दिशा में एक महत्वपूर्ण कदम है, जो इंटरनेट पर पहले से मौजूद मानव वीडियो के विशाल भंडार से सीख सकते हैं, बिना हर एक चाल को लेबल करने के लिए किसी इंसान की आवश्यकता के।

तकनीकी सारांश: MVP-LAM

समस्या विवरण

सामान्यवादी रोबोट नीतियों (generalist robot policies) को प्रशिक्षित करना वास्तविक दुनिया के, एक्शन-लेबल वाले प्रदर्शनों (action-labeled demonstrations) की उच्च लागत और दुर्लभता के कारण बाधित होता है। बड़े पैमाने पर मानव हेरफेर वीडियो (human manipulation videos) हस्तांतरणीय पूर्ववृत्त (transferable priors) सीखने के लिए एक आशाजनक विकल्प प्रदान करते हैं, लेकिन उनमें ग्राउंड-ट्रुथ एक्शन लेबल की कमी होती है, जो मानक सुपरवाइज्ड इमिटेशन लर्निंग को रोकता है। हाल के दृष्टिकोण लेटेंट एक्शन मॉडल्स (Latent Action Models - LAMs) को सीखने का प्रयास करते हैं, जो फ्रेम-टू-फ्रेम ट्रांजिशन को कॉम्पैक्ट रिप्रेजेंटेशन में एनकोड करते हैं, जिनका उपयोग विजन-लैंग्वेज-एक्शन (VLA) प्रीट्रेनिंग के लिए छद्म-एक्शन लेबल (pseudo-action labels) के रूप में किया जाता है।

हालाँकि, एक महत्वपूर्ण चुनौती बनी हुई है: सिंगल-व्यू वीडियो से सीखे गए लेटेंट एक्शन अक्सर अंतर्निहित ग्राउंड-ट्रुथ एक्शंस के बारे में सूचनात्मक रहने में विफल रहते हैं। वे एक्सोजेनस शोर (exogenous noise), विशेष रूप से व्यूपॉइंट वेरिएशन (viewpoint variation) के प्रति ओवरफिट होने की प्रवृत्ति रखते हैं। मानव वीडियो में (जो अक्सर एर्गोसेंट्रिक होते हैं), कैमरा मोशन एजेंट के एक्शंस के साथ उलझा हुआ होता है। फलस्वरूप, मानक LAMs व्यूपॉइंट-विशिष्ट संकेतों (जैसे बैकग्राउंड मूवमेंट या कैमरा शिफ्ट) को एनकोड कर सकते हैं, न कि एजेंट के वास्तविक कंट्रोल सिग्नल्स को, जिससे डाउनस्ट्रीम कंट्रोल के लिए उनकी उपयोगिता कम हो जाती है।

कार्यप्रणाली: MVP-LAM

लेखक मल्टी-व्यूपॉइंट लेटेंट एक्शन मॉडल (Multi-ViewPoint Latent Action Model - MVP-LAM) का प्रस्ताव करते हैं, जो एक अनसुपरवाइज्ड फ्रेमवर्क है जिसे टाइम-सिंक्रोनाइज्ड मल्टी-व्यू वीडियो का लाभ उठाकर एक्शन-सेंट्रिक लेटेंट एक्शंस सीखने के लिए डिज़ाइन किया गया है।

मुख्य उद्देश्य

लक्ष्य लेटेंट एक्शन $Z_t$ और ग्राउंड-ट्रूथ एक्शन $A_t$ के बीच म्यूचुअल इंफॉर्मेशन $I(Z_t; A_t)$ को अधिकतम करना है, जबकि $Z_t$ द्वारा व्यूपॉइंट $V_t$ के बारे में रखे जाने वाले इंफॉर्मेशन को न्यूनतम करना है। सैद्धांतिक रूप से, एक निश्चित-क्षमता बॉटलनेक (जैसे वेक्टर क्वांटाइजेशन) के तहत, व्यूपॉइंट जानकारी को एनकोड करने से एक्शन-प्रासंगिक डायनेमिक्स के लिए उपलब्ध क्षमता कम हो जाती है।

आर्किटेक्चर और ट्रेनिंग

MVP-LAM एक वेक्टर क्वांटाइज्ड वेरिएशनल ऑटोएनकोडर (VQ-VAE) आर्किटेक्चर पर आधारित है, जो UniVLA जैसे पिछले कार्यों के समान है, लेकिन एक नया क्रॉस-व्यूपॉइंट रिकंस्ट्रक्शन ऑब्जेक्टिव पेश करता है:

इनपुट: टाइम-सिंक्रोनाइज्ड मल्टी-व्यू वीडियो पेयर्स $(I^{v_1}_t, I^{v_2}_t)$ ।
फीचर एक्सट्रैक्शन: विजुअल फीचर्स $o^v_t$ को एक फ्रोजन एनकोडर (DINOv2) का उपयोग करके निकाला जाता है।
लेटेंट एक्शन इन्फरेंस: एक एनकोडर $E_\theta$ एक विशिष्ट व्यू $v$ के क्रमिक फीचर्स $(o^v_t, o^v_{t+1})$ से एक निरंतर लेटेंट $e^v_t$ का अनुमान लगाता है, जिसे फिर एक डिस्क्रीट टोकन $z^v_t$ में वेक्टर-क्वांटाइज किया जाता है।
रिकंस्ट्रक्शन लॉसेस: मॉडल को दो पूरक उद्देश्यों के साथ प्रशिक्षित किया जाता है:
- सेल्फ-व्यूपॉइंट रिकंस्ट्रक्शन ( $L_{self}$ ): वर्तमान फ्रेम और उसी व्यू के लेटेंट टोकन ( $z^v_t$ ) का उपयोग करके अगले फ्रेम $o^v_{t+1}$ को रिकंस्ट्रक्ट करना।
- क्रॉस-व्यूपॉइंट रिकंस्ट्रक्शन ( $L_{cross}$ ): वर्तमान फ्रेम और एक अलग, सिंक्रोनाइज्ड व्यू के लेटेंट टोकन ( $z^{\tilde{v}}_t$ जहाँ $v \neq \tilde{v}$ ) का उपयोग करके अगले फ्रेम $o^v_{t+1}$ को रिकंस्ट्रक्ट करना।

एक्शन-सेंट्रिसिटी का तंत्र:
क्रॉस-व्यूपॉइंट ऑब्जेक्टिव लेटेंट टोकन $z^v_t$ को एक अलग कैमरा व्यू के भविष्य के स्टेट को समझाने के लिए मजबूर करता है। चूंकि व्यूपॉइंट-विशिष्ट कारक (जैसे कैमरा $v$ के अद्वितीय बैकग्राउंड मोशन) व्यू $\tilde{v}$ में ट्रांजिशन को नहीं समझा सकते, इसलिए मॉडल को उन्हें एनकोड करने से रोका जाता है। इसके बजाय, $z^v_t$ को उन साझा, एक्शन-ड्रिवन डायनेमिक्स को कैप्चर करना चाहिए जो सभी व्यूज में सुसंगत हैं। यह प्रभावी रूप से बिना एक्शन लेबल की आवश्यकता के एक्सोजेनस शोर को फिल्टर करता है।

प्रमुख योगदान

MVP-LAM फ्रेमवर्क: मल्टी-व्यू वीडियो और एक क्रॉस-व्यूपॉइंट रिकंस्ट्रक्शन ऑब्जेक्टिव का उपयोग करके अत्यधिक सुसंगत ग्राउंड-ट्रुथ एक्शंस के साथ संरेखित डिस्क्रीट लेटेंट एक्शंस सीखने के लिए एक अनसुपरवाइज्ड लर्निंग फ्रेमवर्क का परिचय।
बेहतर एक्शन-सेंट्रिसिटी: यह प्रदर्शन करना कि MVP-LAM ब्रिज V2 डेटासेट पर सिंगल-व्यू बेसलाइन्स (UniVLA, LAPA, Moto) की तुलना में काफी अधिक म्यूचुअल इंफॉर्मेशन (MI) और बेहतर लीनियर एक्शन प्रेडिक्शन सटीकता प्राप्त करता है।
व्यूपॉइंट परटर्बेशन के प्रति मजबूती: साक्ष्य कि MVP-LAM के लेटेंट एक्शंस व्यूपॉइंट-परटर्बड ट्रांजिशन्स से भी इन्फर किए जाने पर भी ट्रांजिशन-रेलेवेंट जानकारी बनाए रखते हैं, और विभिन्न व्यूज के बीच सुसंगत डायनेमिक्स बनाए रखते हैं।
कुशल VLA प्रीट्रेनिंग: सत्यापन कि MVP-LAM के लेटेंट एक्शंस के साथ प्रीट्रेन्ड VLAs, हेरफेर बेंचमार्क (SIMPLER और LIBERO) पर बेसलाइन्स से बेहतर प्रदर्शन करते हैं, जबकि उन्हें बहुत कम प्रीट्रेनिंग डेटा (जैसे OXE-आधारित बेसलाइन्स की तुलना में 3 $\times$ छोटा डेटासेट) की आवश्यकता होती है।

प्रयोगात्मक परिणाम

लेखकों ने लेटेंट एक्शन लर्निंग के लिए Bridge V2 डेटासेट पर और डाउनस्ट्रीम VLA प्रदर्शन के लिए SIMPLER और LIBERO सूट्स पर MVP-LAM का मूल्यांकन किया।

एक्शन-सेंट्रिसिटी (Bridge V2):
- म्यूचुअल इंफॉर्मेशन (MI): MVP-LAM ने UniVLA, LAPA, और Moto की तुलना में KSG, BA, और MINE एस्टिमेटर्स के माध्यम से उच्चतम अनुमानित MI ( $I(Z; A)$ ) प्राप्त किया।
- लीनियर प्रोबिंग: एक साधारण लीनियर लेयर जिसे लेटेंट टोकन से ग्राउंड-ट्रुथ एक्शंस प्रेडिक्ट करने के लिए प्रशिक्षित किया गया था, ने MVP-LAM के लिए सबसे कम नॉर्मलाइज्ड मीन स्क्वेर्ड एरर (NMSE) प्राप्त किया, जो बेहतर एक्शन इंफॉर्मेशन रिटेंशन को दर्शाता है।
डाउनस्ट्रीम मैनिपुलेशन (SIMPLER & LIBERO):
- SIMPLER: MVP-LAM प्रीट्रेन्ड VLAs ने 60.4% की औसत सफलता दर प्राप्त की, जो सभी चार कार्यों में UniVLA (39.6%) और अन्य बेसलाइन्स से काफी बेहतर है।
- LIBERO: MVP-LAM ने 94.1% की औसत सफलता दर प्राप्त की, जो UniVLA (92.5%) से बेहतर है और $\pi_0$ (94.2%) जैसे स्टेट-ऑफ-द-आर्ट मॉडल्स के साथ प्रतिस्पर्धी है, बावजूद इसके कि इसे बहुत छोटे डेटासेट (केवल Bridge V2, $\le$ 60k ट्रेजेक्टरीज बनाम OXE के $\ge$ 970k) पर प्रीट्रेन किया गया था।
- आउट-ऑफ-डिस्ट्रीब्यूशन (OOD): MVP-LAM ने स्पैटियल, ऑब्जेक्ट, गोल, लॉन्ग जैसे OOD कार्यों पर मजबूत प्रदर्शन दिखाया, विशेष रूप से चुनौतीपूर्ण LIBERO-Long सूट पर उत्कृष्ट रहा।
रोबस्टनेस और स्केलिंग:
- व्यूपॉइंट परटर्बेशन: नोवेल-व्यू सिंथेसाइज्ड ट्रांजिशन्स पर परीक्षण किए जाने पर, MVP-LAM ने उच्च MI और कम NMSE बनाए रखा, जबकि UniVLA जैसे बेसलाइन्स ने महत्वपूर्ण गिरावट दिखाई।
- सिंक्रोनाइजेशन एरर: मॉडल सिंथेटिक सिंक्रोनाइजेशन लैग्स ( $\ell \in \{0, 2, 4\}$ फ्रेम्स) के प्रति मजबूत रहा।
- स्केलिंग: व्यूपॉइंट्स, डेटासेट रेश्यो और मॉडल साइज में वृद्धि के साथ प्रदर्शन लगातार सुधरा।

महत्व और दावे

लेखक दावा करते हैं कि MVP-LAM एक यूनिवर्सल लेटेंट एक्शन मॉडल की दिशा में एक कदम है, जो एक्शन सुपरविजन की आवश्यकता के बिना वीडियो-आधारित प्रीट्रेनिंग में एक्सोजेनस शोर की समस्या को हल करता है।

डेटा दक्षता: प्राथमिक महत्व वेब-स्केल, मल्टी-व्यू ह्यूमन वीडियो से उच्च-गुणवत्ता वाले, एक्शन-सेंट्रिक रिप्रेजेंटेशन सीखने की क्षमता में निहित है, जो पिछले विशाल रोबोट डेटासेट पर निर्भर तरीकों की तुलना में कई गुना कम डेटा के साथ प्रभावी VLA प्रीट्रेनिंग सक्षम बनाता है।
सामान्यीकरण (Generalization): व्यूपॉइंट-विशिष्ट संकेतों से एक्शन डायनेमिक्स को अलग करके, MVP-LAM ऐसे रिप्रेजेंटेशन बनाता है जो नए व्यूपॉइंट्स और वातावरणों में बेहतर तरीके से सामान्यीकृत होते हैं।
व्यावहारिकता: यह विधि मौजूदा मल्टी-व्यू डेटा (जैसे EgoExo4D, Open X-Embodiment) का लाभ उठाती है और वर्तमान एम्बोडीड AI पाइपलाइनों में स्वाभाविक रूप से एकीकृत होती है, जो जनरल गेलिस्ट रोबोट लर्निंग के लिए एक स्केलेबल मार्ग प्रदान करती है।

लेखक सीमाओं का उल्लेख करते हैं, जिसमें सिंक्रोनाइज्ड मल्टी-व्यू डेटा पर निर्भरता (जिसे सिंगल-व्यू की तुलना में एकत्र करना कठिन है) शामिल है, और वर्तमान मूल्यांकन सिमुलेशन तक सीमित है, हालांकि वे बताते हैं कि SIMPLER वास्तविक दुनिया के प्रदर्शन के साथ सह-संबंध रखता है। भविष्य के कार्य के रूप में कमजोर रूप से सिंक्रोनाइज्ड या छद्म-पेयर्ड मल्टी-व्यू डेटा का पता लगाने का सुझाव दिया गया है ताकि इंस्ट्रूमेंटेशन आवश्यकताओं को और कम किया जा सके।