🤖 AI

VITA: Vision-to-Action Flow Matching Policy

VITA एक नवीन, शोर-मुक्त (noise-free), और बिना कंडीशनिंग वाला फ्लो मैचिंग फ्रेमवर्क है जो एक संयुक्त रूप से प्रशिक्षित ऑटोएन्कोडर और फ्लो लेटेंट डिकोडिंग के माध्यम से विजुअल रिप्रेजेंटेशन्स को सीधे स्ट्रक्चर्ड लेटेंट एक्शन्स में मैप करके इन्फरेंस को तेज करता है, जिससे विविध रोबोटिक कार्यों पर अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Dechen Gao, Boqi Zhao, Andrew Lee, Ian Chuang, Hanchu Zhou, Hang Wang, Zhe Zhao, Junshan Zhang, Iman Soltani

प्रकाशित 2026-03-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dechen Gao, Boqi Zhao, Andrew Lee, Ian Chuang, Hanchu Zhou, Hang Wang, Zhe Zhao, Junshan Zhang, Iman Soltani

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक बहुत ही सूक्ष्म कार्य करना सिखा रहे हैं, जैसे सुई में धागा पिरोना या एक छोटी सी गेंद को नली में डालना। रोबोट को दुनिया को देखना (दृष्टि/vision) होगा और फिर यह तय करना होगा कि उसके हाथ बिल्कुल कैसे हिलेंगे (क्रिया/action)।

लंबे समय तक, रोबोट को सिखाने का सबसे अच्छा तरीका यह था जैसे एक छात्र को चित्र बनाना सिखाना, जिसमें उसे एक खाली, स्थिर पृष्ठ से शुरू करना होता है और चरण-दर-चरण अनुमान लगाना होता है।

पुराना तरीका: "अनुमान और जाँच" करने वाला कलाकार

पारंपरिक तरीके (जिन्हें डिफ्यूजन या फ्लो मैचिंग कहा जाता है) इस तरह काम करते हैं:

रोबोट "स्टैटिक नॉइज़" (जैसे टीवी पर दिखने वाली बर्फ जैसी हलचल) से भरे दिमाग के साथ शुरू करता है।
वह कार्य की एक फोटो देखता है।
वह खुद से पूछता है: "ठीक है, अगर मैं इस फोटो को देखूँ, तो इस शोर (noise) का क्या होगा यदि मैं इसमें से थोड़ा सा हिस्सा हटा दूँ?"
वह इस प्रक्रिया को 20 या 30 बार दोहराता है, धीरे-धीरे इस स्टैटिक शोर को एक योजना (plan) में बदल देता है।
समस्या: हर बार जब वह एक कदम उठाता है, तो उसे रुकना पड़ता है, फोटो को फिर से देखना पड़ता है, और पूछना पड़ता है, "क्या यह कदम फोटो से मेल खाता है?" यह धीमा है, गणनात्मक रूप से महंगा है, और ऐसा है जैसे हर चौराहे पर बार-बार मैप चेक करते हुए कार चलाने की कोशिश करना।

नया तरीका: VITA (द "डायरेक्ट पाथ" ड्राइवर)

यह शोध पत्र VITA (विज़न-टू-एक्शन) पेश करता है। स्टैटिक नॉइज़ से शुरू करने और अनुमान लगाने के बजाय, VITA फोटो स्वयं से शुरू होता है और सीधे क्रिया की योजना (action plan) में प्रवाहित होता है।

यहाँ इसकी उपमा (analogy) दी गई है:

पुराना तरीका: आप एक अंधेरे कमरे में हैं (शोर)। आपके पास एक टॉर्च है (फोटो)। आपको टॉर्च जलानी पड़ती है, अनुमान लगाना पड़ता है कि दरवाजा कहाँ है, एक कदम लेना पड़ता है, फिर से टॉची जलानी पड़ती है, फिर से अनुमान लगाना पड़ता है, और दरवाजा खोजने तक यही दोहराना पड़ता है।
VITA: आप दरवाजे के ठीक बगल में खड़े हैं (फोटो)। आप बस सीधे निकास की ओर चलते हैं। आपको हर बार टॉर्च चेक करने की ज़रूरत नहीं है क्योंकि आप पहले से ही दृश्य वास्तविकता (visual reality) में "ग्राउंडेड" हैं।

तीन बड़ी बाधाएं (और कैसे VITA ने उन्हें पार किया)

1. आयाम का अंतर (द "विशाल बनाम चींटी" समस्या)

समस्या: एक कैमरा इमेज विशाल और विस्तृत होती है (लाखों पिक्सेल)। एक रोबोट की गति बहुत सूक्ष्म और सरल होती है (जोड़ों के कोणों के लिए बस कुछ संख्याएँ)। आप एक विशाल महासागर (इमेज) को सीधे एक चाय के कप (एक्शन) में बिना सब कुछ बिखेरे नहीं बदल सकते।
VITA का समाधान: उन्होंने एक अनुवादक (एक एक्शन ऑटोएनकोडर) बनाया। यह अनुवादक रोबोट की सूक्ष्म गतिविधियों को लेता है और उन्हें एक विशाल, संरचित दुनिया में "लिफ्ट" करता है जो बिल्कुल इमेज जैसा दिखता है। अब, इमेज और एक्शन का आकार समान है, इसलिए वे सीधे एक-दूसरे में प्रवाहित हो सकते हैं।

2. "फ्रोजन" (जमा हुआ) जाल

समस्या: आमतौर पर, जब आप एक रोबोट को प्रशिक्षित करते हैं, तो आप पहले अनुवादक को सिखाते हैं, उसे फ्रीज़ कर देते हैं (ताकि वह बदले नहीं), और फिर रोबोट को फ्लो करना सिखाते हैं। लेकिन रोबोट की गतिविधियाँ दुर्लभ और अव्यवस्थित होती हैं। यदि आप अनुवादक को बहुत जल्दी फ्रीज़ कर देते हैं, तो वह अनुवाद करने में खराब हो जाता है, और रोबोट विफल हो जाता है।
VITA का समाधान: उन्होंने अनुवादक और रोबोट को एक साथ प्रशिक्षित किया। लेकिन इससे एक नई समस्या पैदा हुई: अनुवादक भ्रमित हो गया क्योंकि रोबोट एक ऐसी भाषा सीख रहा था जिसकी अनुवादक को उम्मीद नहीं थी।

3. "प्रशिक्षण बनाम वास्तविकता" का अंतर

समस्या: प्रशिक्षण के दौरान, रोबोट अनुवादक के सटीक आउटपुट से सीखता है। लेकिन वास्तविक दुनिया में, रोबोट को अपना स्वयं का मार्ग बनाना होता है। इस अंतर के कारण रोबोट गलत हरकतें (hallucinations) करने लगता था।
VITA का समाधान: उन्होंने फ्लो लेटेंट डिकोडिंग पेश किया। कल्पना कीजिए कि एक कोच केवल खिलाड़ी को अभ्यास करते हुए नहीं देखता; कोच खिलाड़ी को अभ्यास के दौरान ही वास्तविक खेल का सिमुलेशन चलाने के लिए मजबूर करता है और यदि वह लड़खड़ाता है तो तुरंत सुधार करता है। VITA रोबोट को प्रशिक्षण के दौरान ही अपने स्वयं के उत्पन्न पथ को वास्तविक गतिविधियों में वापस डिकोड करने के लिए मजबूर करता है, जिससे यह सुनिश्चित होता है कि वह पहले दिन से ही सटीक होना सीखे।

यह एक बड़ी बात क्यों है?

गति: क्योंकि VITA को हर कदम पर "मैप चेक" (कंडीशनिंग) करने की आवश्यकता नहीं होती है, इसलिए यह 1.5 से 2 गुना तेज़ है। यह एक ऐसी कार में स्विच करने जैसा है जो हर रेड लाइट पर रुकती है बनाम एक समर्पित ट्रैक पर चलने वाली हाई-स्पीड ट्रेन।
सरलता: पुराने तरीकों को चेकिंग संभालने के लिए विशाल, जटिल नेटवर्क (जैसे विशाल ट्रांसफॉर्मर्स) की आवश्यकता थी। VITA इतना कुशल है कि यह एक साधारण, हल्के नेटवर्क (एक MLP) पर चल सकता है, जो इसे बनाना और चलाना बहुत सस्ता है।
सटीकता: वास्तविक दुनिया में, एक मिलीमीटर की त्रुटि भी विफलता का कारण बन सकती है (जैसे सुई के छेद को मिस करना)। VITA अविश्वसनीय रूप से सटीक है क्योंकि यह शोर से अनुमान लगाने के बजाय सीधे दृश्य वास्तविकता से प्रवाहित होता है।

निष्कर्ष

VITA रोबोट को हिलना-डुलना सिखाने का एक नया तरीका है। अराजकता (chaos) से शुरू करने और समाधान तक पहुँचने के लिए अनुमान लगाने के बजाय, यह दृश्य वास्तविकता से शुरू होता है और सीधे क्रिया में प्रवाहित होता है। यह तेज़, सरल और अधिक सटीक है, जो उन रोबोटों के लिए एक बड़ा कदम है जिन्हें वास्तविक समय में वास्तविक दुनिया में काम करने की आवश्यकता होती है।

यहाँ शोध पत्र "VITA: Vision-to-Action Flow Matching Policy" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विज़ुओमोटर कंट्रोल (रोबोटिक्स) के लिए पारंपरिक फ्लो मैचिंग और डिफ्यूजन-आधारित नीतियां महत्वपूर्ण अक्षमताओं और वास्तुशिल्प जटिलताओं से ग्रस्त हैं:

शोर से पुनरावृत्ति डिनोइजिंग (Iterative Denoising from Noise): मानक विधियाँ मानक शोर वितरण (जैसे, गाऊसी शोर) से शुरू होकर और लक्ष्य एक्शन स्पेस में इसे बार-बार "डिनोइज" करके एक्शन उत्पन्न करती हैं।
कंडीशनिंग ओवरहेड (Conditioning Overhead): विज़ुअल जानकारी को शामिल करने के लिए, इन मॉडलों को प्रत्येक डैनोइजिंग स्टेप पर विज़ुअल फीचर्स को इंजेक्ट करने के लिए कंडीशनिंग मॉड्यूल (जैसे, क्रॉस-अटेंशन, AdaLN, FiLM) की आवश्यकता होती है। इससे पर्याप्त समय और मेमोरी ओवरहेड होता है, जिसके परिणामस्वरूप अक्सर द्विघाती जटिलता (quadratic complexity) होती है या अतिरिक्त मॉड्यूलेशन नेटवर्क की आवश्यकता होती है।
रियल-टाइम बाधाएं (Real-Time Constraints): उच्च-आवृत्ति रोबोट नियंत्रण (जैसे, 50Hz–200Hz) कम-विलंबता (low-latency) इन्फरेंस की मांग करता है, जो वर्तमान अत्याधुनिक (SOTA) विधियों में उपयोग किए जाने वाले जटिल आर्किटेक्चर (जैसे ट्रांसफॉर्मर या U-Nets) और बार-बार होने वाली कंडीशनिंग के कारण बाधित होता है।
मोडैलिटी गैप (Modality Gap): विज़न और एक्शन के बीच सामंजस्य बिठाना कठिन है क्योंकि विज़ुअल रिप्रजेंटेशन उच्च-आयामी (high-dimensional) और संरचित होते हैं, जबकि एक्शन डेटा निम्न-आयामी (low-dimensional), विरल (sparse) और असंरचित होता है। इसके अलावा, फ्लो मैचिंग के लिए स्रोत और लक्ष्य वितरणों का समान आयामीता (dimensionality) वाला होना आवश्यक है।

2. कार्यप्रणाली: VITA फ्रेमवर्क (Methodology: VITA Framework)

VITA (VIsion-To-Action) एक शोर-मुक्त, कंडीशनिंग-मुक्त फ्लो मैचिंग पॉलिसी का प्रस्ताव करता है जो विज़ुअल रिप्रजेंटेशन को सीधे लेटेंट एक्शन्स में विकसित करता है।

मुख्य आर्किटेक्चर (Core Architecture)

शोर-मुक्त स्रोत (Noise-Free Source): पारंपरिक विधियों के विपरीत जो गाऊसी शोर से शुरू होती हैं, VITA लेटेंट विज़ुअल रिप्रेसेंटेशन ( $z_0$ ) को फ्लो के स्रोत के रूप में मानता है। पॉलिसी एक वेलोसिटी फील्ड $v_\theta(z_t, t)$ सीखती है जो $z_0$ को सीधे लक्ष्य लेटेंट एक्शन $z_1$ तक ले जाती है।
कंडीशनिंग-मुक्त (Conditioning-Free): चूंकि फ्लो स्वयं विज़ुअल इनपुट से उत्पन्न होता है, इसलिए जनरेशन प्रक्रिया के दौरान विज़ुअल डेटा को इंजेक्ट करने के लिए किसी बाहरी कंडीशनिंग मॉड्यूल (जैसे क्रॉस-अटेंशन) की आवश्यकता नहीं है।
एक्शन ऑटोएनकोडर (Action Autoencoder): उच्च-आयामी विज़ुअल लेटेंट्स और निम्न-आयामी रॉ एक्शन्स के बीच आयामीता के अंतर को हल करने के लिए, VITA एक एक्शन ऑटोएनकोडर पेश करता है:
- एनकोडर ( $E_a$ ): रॉ एक्शन चंक्स को एक संरचित, उच्च-आयामी लेटेंट एक्शन स्पेस ( $z_1$ ) में मैप करता है जो विज़ुअल लेटेंट्स की आयामीता से मेल खाता है।
- डिकोडर ( $D_a$ ): उत्पन्न लेटेंट एक्शन्स से रॉ एक्शन्स को पुनर्गठित (reconstruct) करता है।

मुख्य नवाचार: फ्लो लेटेंट डिकोडिंग (Key Innovation: Flow Latent Decoding - FLD)

एंड-टू-एंड ट्रेनिंग में एक महत्वपूर्ण चुनौती ट्रेनिंग-इन्फरेंस गैप है:

ट्रेनिंग: डिकोडर एनकोडर-आधारित लेटेंट्स ( $z_1$ ) से एक्शन्स को पुनर्गठित करता है।
इन्फरेंस: डिकोडर को ODE-जनरेटेड लेटेंट्स ( $\hat{z}_1$ ) से एक्शन्स को पुनर्गठित करना होता है, जो कि अनुमान (approximations) हैं।
समाधान: V-ITA फ्लो लेटेंट डिकोडिंग (FLD) पेश करता है। ट्रेनिंग के दौरान, मॉडल $\hat{z}_1$ उत्पन्न करने के लिए फ्लो ODE को हल करता है और डिकोडर को $\hat{z}_1$ से ग्राउंड-ट्रुथ एक्शन को पुनर्गठित करने के लिए मजबूर करता है। रिकंस्ट्रक्शन लॉस को ODE सॉल्वर स्टेप्स के माध्यम से फ्लो नेटवर्क और विज़न एनकोडर में बैकप्रोपैगेट किया जाता है। यह लेटेंट जनरेशन प्रक्रिया को "एंकर" करता है, जिससे लेटेंट स्पेस कोलैप्स को रोकने में मदद मिलती है और यह सुनिश्चित होता है कि ODE-जनरेटेड लेटेंट्स डिकोडेबल हों।

लर्निंग ऑब्जेक्टिव्स (Learning Objectives)

कुल लॉस फंक्शन तीन घटकों को जोड़ता है:

फ्लो मैचिंग लॉस ( $L_{FM}$ ): प्रेडिक्टेड वेलोसिटी और ग्राउंड-ट्रुथ वेलोसिटी ( $z_1 - z_0$ ) के बीच के अंतर को कम करता है।
फ्लो लेटेंट डिकोडिंग लॉस ( $L_{FLD}$ ): ट्रेनिंग-इन्फरेंस गैप को पाटने के लिए ODE-जनरेटेड लेटेंट्स ( $\hat{z}_1$ ) से एक्शन्स को पुनर्गठित करता है।
ऑटोएनकोडर लॉस ( $L_{AE}$ ): यह सुनिश्चित करता है कि एक्शन एनकोडर/डिकोडर लेटेंट स्पेस से रॉ एक्शन्स को पुनर्गठित कर सके।

3. मुख्य योगदान (Key Contributions)

शोर-मुक्त फ्लो मैचिंग (Noise-Free Flow Matching): VITA रोबोटिक्स के लिए फ्लो मैचिंग में शोर प्रायर (noise priors) और कंडीशनिंग मॉड्यूल की आवश्यकता को समाप्त करने वाली पहली पॉलिसी है, जो सीधे विज़ुअल लेटेंट्स से एक्शन लेटेंट्स तक फ्लो करती है।
फ्लो लेटेंट डिकोडिंग (FLD): फ्लो मॉडल और लेटेंट एक्शन स्पेस की स्थिर एंड-टू-एंड जॉइंट ट्रेनिंग को सक्षम करने के लिए एक नवीन तंत्र, जो लेटेंट एक्शन मैनिफोल्ड के पतन (collapse) को रोकता है।
आर्किटेक्चरल सरलीकरण (Architectural Simplification): कंडीशनिंग मॉड्यूल को हटाकर, VITA हल्के वजन वाले आर्किटेक्चर की अनुमति देता है। वेक्टर-आधारित फीचर्स के लिए, यह पॉलिसी को एक सरल MLP-ओनली आर्किटेक्चर तक सीमित कर देता है, फिर भी जटिल कार्यों पर SOTA प्रदर्शन प्राप्त करता है।
दक्षता (Efficiency): VITA पारंपरिक विधियों की तुलना में इन्फरेंस लेटेंसी और मेमोरी उपयोग को काफी कम कर देता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

VITA का मूल्यांकन 9 सिम्युलेटेड कार्यों (Robomimic, PushT, CloseBox सहित) और 5 रियल-वर्ल्ड कार्यों (ALOHA और AV-ALOHA द्विपक्षीय हेरफेर सहित) पर किया गया।

दक्षता (Efficiency):
- इन्फरेंस स्पीड: VITA कंडीशनिंग मॉड्यूल वाले पारंपरिक फ्लो मैचिंग की तुलना में 1.5× से 2× तेज़ इन्फरेंस प्राप्त करता है।
- मेमोरी उपयोग: यह पीक मेमोरी उपयोग को 18.6% से 28.7% तक कम करता है।
- आर्किटेक्चर: वेक्टर-आधारित सेटिंग्स में, VITA (MLP-ओनली) गति में ट्रांसफॉर्मर-आधारित बेसलाइन्स से बेहतर प्रदर्शन करता है और उनकी सटीकता के बराबर रहता है।
प्रदर्शन (Performance):
- सफलता दर (Success Rates): VITA सभी कार्यों में SOTA पॉलिसियों (डिफ्यूजन पॉलिसी, फ्लो मैचिंग, ACT) की बराबरी करता है या उनसे बेहतर प्रदर्शन करता है।
- परिशुद्धता (Precision): उच्च-परिशुद्धता वाले कार्यों (जैसे, ThreadNeedle, PourTestube) पर, VITA उत्कृष्ट नियंत्रण परिशुद्धता प्रदर्शित करता है, जो डिफ्यूजन पॉलिसी (DP) और एक्शन चंकिंग ट्रांसफॉर्मर (ACT) से बेहतर सफलता दर प्राप्त करता है, जो अक्सर मिलीमीटर-स्तर की त्रुटियों के कारण विफल हो जाते हैं।
- अभिसरण (Convergence): VITA डिफ्यूजन-आधारित बेसलाइन्स की तुलना में तेज़ी से और अधिक स्थिरता से अभिसरित (converge) होता है।
रियल-वर्ल्ड डिप्लॉयमेंट (Real-World Deployment): एक्टिव विज़न और 21-DoF हाई-डायमेंशनल एक्शन्स वाले द्विपक्षीय AV-ALOHA कार्यों पर सफलतापूर्वक प्रदर्शित किया गया।

5. महत्व (Significance)

रियल-टाइम व्यवहार्यता (Real-Time Viability): इटरेटिव कंडीशनिंग के कम्प्यूटेशनल बॉटलनेक को हटाकर, VITA जनरेटिव फ्लो पॉलिसियों को उच्च-आवृत्ति, रियल-टाइम रोबोट कंट्रोल (जैसे, 50Hz–200Hz) के लिए व्यवहार्य बनाता है।
पैराडाइम शिफ्ट (Paradigm Shift): यह इस धारणा को चुनौती देता है कि जनरेटिव पॉलिसियों को अनिवार्य रूप से शोर से शुरू होना चाहिए और उन्हें जटिल कंडीशनिंग की आवश्यकता होती है। यह प्रदर्शित करता है कि यदि लेटेंट स्पेस को ठीक से संरेखित किया जाए, तो विज़ुअल रिप्रजेंटेशन एक्शन जनरेशन के लिए एक पर्याप्त प्रायर (prior) के रूप में काम कर सकते हैं।
स्केलेबिलिटी (Scalability): जटिल द्विपक्षीय हेरफेर कार्यों के लिए सरल MLPs का उपयोग करने की क्षमता यह सुझाव देती है कि पिछले तरीकों की "जटिलता" अक्सर अक्षम कंडीशनिंग तंत्र का परिणाम थी, न कि कार्य की अंतर्निहित कठिनाई का।
सामान्यीकरण (Generalizability): FLD तंत्र लेटेंट स्पेस के साथ जनरेटिव मॉडल्स की एंड-टू-एंड ट्रेनिंग के लिए एक सिद्धांत-आधारित दृष्टिकोण प्रदान करता है, जो रोबोटिक्स से परे अन्य डोमेन में भी लागू हो सकता है।

संक्षेप में, VITA जनरेटिव प्रक्रिया को सीधा, शोर-मुक्त और आर्किटेक्चरल रूप से सुव्यवस्थित बनाकर कुशल, उच्च-परिशुद्धता रोबोटिक नियंत्रण की दिशा में एक महत्वपूर्ण कदम है।