💻 computer science

Cross-View Action Consistency for Camera-Robust Vision-Language-Action Policies

यह शोध पत्र एक क्रॉस-व्यू एक्शन कंसिस्टेंसी पद्धति प्रस्तावित करता है जो केवल RGB छवियों और प्रोप्रियोसेप्शन का उपयोग करके, कैमरा व्यूपॉइंट परिवर्तनों के विरुद्ध मजबूती प्राप्त करने के लिए फ्लो-आधारित विजन-लैंग्वेज-एक्शन पॉलिसियों को नियमित करता है, जिससे बिना किसी कैमरा लेबल या डेप्थ इनपुट के सिम्युलेटेड और वास्तविक दुनिया के रोबोट कार्यों पर प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Bingqi Huang, Bingchuan Wei, Xuan Wang, Yingkai Cai, Zhaokui Wang

प्रकाशित 2026-09-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bingqi Huang, Bingchuan Wei, Xuan Wang, Yingkai Cai, Zhaokui Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मानव प्रदर्शनों से सीखने वाले रोबोट तेजी से सक्षम होते जा रहे हैं, फिर भी वे एक अजीब सी नाजुकता से ग्रस्त होते हैं: वे उस विशिष्ट दृष्टिकोण (व्यूपॉइंट) से बंधे होते हैं जिससे उन्हें सिखाया गया था। कल्पना कीजिए कि एक रोबोट को एक कप उठाने के लिए प्रशिक्षित किया गया है जबकि एक कैमरा मेज के ऊपर एक शेल्फ पर रखा है। यदि वह कैमरा टकरा जाए, बगल में खिसक जाए, या ऊपर की ओर उठ जाए, तो रोबोट अचानक विफल हो सकता है, भले ही कप, मेज और रोबोट का अपना शरीर बिल्कुल नहीं बदला हो। ऐसा इसलिए होता है क्योंकि रोबोट का "मस्तिष्क", जो एक प्रकार का कृत्रिम बुद्धिमत्ता है जो यह जोड़ता है कि वह क्या देखता है और उसे क्या करना चाहिए, मूल कैमरे के सटीक कोण के आधार पर कार्य को पहचानना सीख गया है। वास्तविक दुनिया में, कैमरे टकरा जाते हैं, रोबले चलते हैं, और रोशनी बदल जाती है, इसलिए एक प्रणाली जो शिफ्ट हुए व्यूपॉइंट के अनुकूल नहीं हो सकती, वह वास्तव में उपयोगी नहीं है। शोधकर्ताओं ने रोबोटों को अधिक जटिल सेंसर देने के लिए, जैसे कि गहराई मापने वाले कैमरे (डेप्थ कैमरा) जो 3D में देखते हैं, या उन्हें कमरे की ज्यामिति (जियोमेट्री) को समझने के लिए सिखाने के माध्यम से इसे हल करने का प्रयास किया है, लेकिन इन समाधानों के लिए अक्सर महंगे हार्डवेयर या जटिल अंशांकन (कैलिब्रेशन) की आवश्यकता होती है जिसे बनाए रखना कठिन होता है।

त्सिंहहुआ विश्वविद्यालय और एम्स्टर्डम विश्वविद्यालय के शोधकर्ताओं की एक टीम ने बिना किसी नए सेंसर को जोड़े या वास्तविक दुनिया में रोबोट के संचालन के तरीके को बदले, कैमरा मूवमेंट के प्रति इन रोबोटिक नीतियों को मजबूत बनाने का एक तरीका खोज निकाला है। उन्होंने एक विशिष्ट प्रकार के रोबोट कंट्रोलर पर ध्यान केंद्रित किया जो केवल अगले कदम का अनुमान लगाने के बजाय, कार्यों के एक "प्रवाह" (फ्लो) की भविष्यवाणी करके सीखता है, ठीक वैसे ही जैसे पानी एक गंतव्य की ओर बहता है। उनकी खोज का मुख्य केंद्र एक प्रशिक्षण पद्धति है जो रोबोट को खुद के साथ सहमत होने के लिए मजबूर करती है। उन्होंने प्रशिक्षण छवियों के जोड़े बनाए जो दो अलग-अलग कोणों से एक ही भौतिक दृश्य को दिखाते थे: एक मूल कैमरा स्थिति से और दूसरा थोड़ी बदली हुई स्थिति से। महत्वपूर्ण रूप से, उन्होंने यह सुनिश्चित किया कि रोबोट को दोनों छवियों के लिए बिल्कुल समान क्रिया करने के लिए कहा जाए। दोनों दृश्यों के लिए गति के समान प्रवाह की भविष्यवाणी करने के लिए रोबोट को प्रशिक्षित करके, उन्होंने उसे कैमरे की स्थिति में बदलाव को अनदेखा करने और केवल कार्य पर ध्यान केंद्रित करने के लिए सिखाया।

शोधकर्ताओं ने इस विचार का परीक्षण एक सिम्युलेटेड वातावरण में LIBERO-Plus नामक एक बेंचमार्क का उपयोग करके किया, जिसे विशेष रूप से कैमरा शिफ्ट को संभालने की रोबोट की क्षमता देखने के लिए डिज़ाइन किया गया है। उन्होंने अपने नए तरीके की तुलना मानक प्रशिक्षण तकनीकों से की। जब कैमरा हिलाया गया, तो मानक तरीकों से प्रशिक्षित रोबोट केवल लगभग 17% प्रयासों में सफल रहा। एक रोबोट जिसे उनके विशेष निरंतरता नियम के बिना कई अलग-अलग कैमरा कोणों पर प्रशिक्षित किया गया था, उसकी सफलता दर बढ़कर लगभग 75% हो गई। हालांकि, उनके नए क्रॉस-व्यू कंसिस्टेंसी नियम के साथ प्रशिक्षित रोबोट ने 87.2% की सफलता दर प्राप्त की। यह सुधार महत्वपूर्ण था और प्रशिक्षण के विभिन्न यादृच्छिक (रैंडम) शुरुआती बिंदुओं पर सुसंगत था। शोधकर्ताओं ने यह भी सिद्ध किया कि सफलता पूरी तरह से इस तथ्य पर निर्भर थी कि दो छवियां एक ही भौतिक अवस्था को दिखाती थीं। जब उन्होंने प्रशिक्षण डेटा को अस्त-व्यस्त कर दिया ताकि रोबोट एक अलग अवस्था के लिए निर्धारित क्रिया को एक दृश्य के साथ मिलाने का प्रयास करे, तो प्रदर्शन गिरकर केवल 25.8% रह गया, जिससे पता चलता है कि रोबोट केवल अपने उत्तरों को सुचारू (स्मूथ) नहीं बना रहा था, बल्कि वास्तव में एक ही वास्तविकता के विभिन्न दृश्यों को एक ही क्रिया से जोड़ने के लिए सीख रहा था।

यह सुनिश्चित करने के लिए कि यह केवल कंप्यूटर सिमुलेशन का परिणाम नहीं है, टीम ने अपने तरीके को एक प्रयोगशाला में एक वास्तविक रोबोटिक आर्म तक पहुँचाया। उन्होंने एक ही मेज को देख रहे तीन सिंक्रोनाइज्ड कैमरों का उपयोग करके प्रशिक्षण डेटा एकत्र किया, जिससे वे वास्तविक दुनिया से दृश्यों के जोड़े बना सके। इसके बाद उन्होंने एक एकल कैमरे का उपयोग करके रोबोट का परीक्षण किया जिसे प्रशिक्षण के दौरान कभी नहीं देखा गया था। उनके नए तरीके से प्रशिक्षित रोबोट ने इन अनदेखे कैमरा परीक्षणों में 74.4% की सफलता दर हासिल की, जबकि मानक पद्धति केवल 53.3% सफल रही। सुधार सबसे कठिन कार्यों में सबसे नाटकीय था, जैसे कि स्टैंड से हेडफ़ोन हटाना, जहाँ मानक पद्धति नई कैमरा स्थितियों में पूरी तरह विफल रही, लेकिन नया तरीका लगभग आधे प्रयासों में सफल रहा। यह अध्ययन पुष्टि करता है कि रोबोट को विभिन्न कोणों से अपनी क्रियाओं की निरंतरता देखने के लिए सिखाकर, वह वास्तविक दुनिया में बहुत अधिक विश्वसनीय हो सकता है, और वह भी बिना किसी अतिरिक्त कैमरे, डेप्थ सेंसर या जटिल ज्यामितीय मानचित्रों के। रोबोट बस यह सीख जाता है कि कार्य वही रहता है, भले ही तस्वीर बदल जाए।

तकनीकी सारांश: कैमरा-रोबस्ट विजन-लैंग्वेज-एक्शन पॉलिसी के लिए क्रॉस-व्यू एक्शन कंसिस्टेंसी

समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज-एक्शन (VLA) पॉलिसियाँ, विशेष रूप से जो एक निश्चित सीन कैमरा से एकत्र किए गए प्रदर्शनों (demonstrations) से फाइन-ट्यून की गई हैं, अक्सर विफल हो जाती हैं जब कैमरे को हिलाया जाता है, टकराया जाता है, या फिर से लगाया जाता है, भले ही भौतिक कार्य की स्थिति (physical task state), भाषा निर्देश और रोबोट प्रोप्रियोसेप्शन अपरिवर्तित रहे। मौजूदा समाधान इस मजबूती (robustness) की समस्या को हल करने के लिए आमतौर पर इन्फरेंस कॉन्ट्रैक्ट (inference contract) को बदलते हैं, जिसमें डेप्थ सेंसर, पॉइंट क्लाउड्स, कैलिब्रेटेड मल्टी-व्यू इनपुट, कैमरा लेबल, या ज्योमेट्री-अवेयर आर्किटेक्चर की आवश्यकता होती है। ये दृष्टिकोण तैनाती (deployment) के समय हार्डवेयर निर्भरता या कम्प्यूटेशनल ओवरहेड पेश करते हैं।

यह शोध पत्र केवल एक सिंगल सीन RGB इमेज, भाषा निर्देशों और प्रोप्रियोसेप्टिव स्टेट का उपयोग करके, फ्लो-आधारित VLAs के लिए सीन-कैमरा व्यूपॉइंट मजबूती प्राप्त करने की चुनौती को संबोधित करता है। लक्ष्य यह है कि जब कैमरा पोज़ बदल जाए, तो डेप्थ डेटा, कैमरा एक्सट्रिंसिक्स, या नवीन-व्यू रेंडरिंग पर निर्भर किए बिना प्रदर्शन में गिरावट को रोका जा सके।

कार्यप्रणाली: क्रॉस-व्यू एक्शन-फ्लो कंसिस्टेंसी (Methodology: Cross-View Action-Flow Consistency)

प्रस्तावित विधि एक प्रशिक्षण-समय उद्देश्य (training-time objective) पेश करती है जो मध्यवर्ती फीचर रिप्रजेंटेशन के बजाय सीधे एक्शन-फ्लो वेलोसिटी फील्ड को रेगुलराइज़ करती है। मुख्य अंतर्दृष्टि यह है कि फ्लो-आधारित पॉलिसियों के लिए, क्रियाएं (actions) एक सीखे गए वेलोसिटी फील्ड $v_\theta$ को इंटीग्रेट करके उत्पन्न की जाती हैं। यदि दो अलग-अलग कैमरा व्यू एक ही भौतिक अवस्था को देखते हैं, तो पॉलिसी को समान फ्लो कोऑर्डिनेट्स पर सुसंगत (consistent) वेलोसिटी वेक्टर्स का अनुमान लगाना चाहिए, जिससे सुसंगत एक्शन चंक्स (action chunks) प्राप्त हों।

1. एक्शन-इक्विवेलेंट पेयर्स (Action-Equivalent Pairs)

यह विधि $(o_0, o_p, l, q, a)$ जैसे प्रशिक्षण युग्मों के निर्माण पर निर्भर करती है जहाँ:

$o_0$ और $o_p$ एक समान भौतिक अवस्था $s$ के RGB ऑब्जर्वेशन हैं, जिन्हें एक नाममात्र (nominal) कैमरा $c_0$ और एक विचलित (perturbed) कैमरा $c_p$ से रेंडर किया गया है।
$l$ (भाषा), $q$ (प्रोप्रियोसेप्शन), और $a$ (प्रदर्शित एक्शन चंक) दोनों व्यूज के लिए समान हैं।
सिमुलेशन में, ये पेयर्स संग्रहीत अवस्थाओं को रीसेट करके और पुनः रेंडर करके MuJoCo एनवायरनमेंट में उत्पन्न किए जाते हैं। वास्तविक रोबोट्स पर, इन्हें एक ही टाइमस्टैम्प को देखने वाले सिंक्रोनाइज्ड मल्टी-कैमरा सेटअप का उपयोग करके एकत्र किया जाता है।
महत्वपूर्ण रूप से, ट्रेनिंग और इन्फरेंस दोनों के दौरान रिस्ट-कैमरा स्ट्रीम को मास्क किया जाता है ताकि पॉलिसी अनपरटर्बड विजुअल शॉर्टकट का उपयोग न कर सके।

2. लॉस फंक्शन (Loss Function)

एक जोड़ी व्यूज के लिए, पॉलिसी सैम्पल्ड फ्लो कोऑर्डिनेट्स $(t_k, \epsilon_k)$ पर वेलोसिटी फील्ड्स $v_0$ और $v_p$ का अनुमान लगाती है। कुल लॉस $\mathcal{L}$ दो टर्म्स को जोड़ता है:

स्टैंडर्ड फ्लो मैचिंग ( $\mathcal{L}_{FM}$ ): दोनों व्यूज को प्रदर्शित एक्शन टारगेट $u_{t_k}$ से मेल खाने के लिए सुपरवाइज किया जाता है।
$\mathcal{L}_{FM} = \frac{1}{2} (\|v_0 - u_{t_k}\|^2 + \|v_p - u_{t_k}\|^2)$
क्रॉस-व्यू कंसिस्टेंसी ( $\mathcal{L}_{CV}$ ): दो व्यूज के अनुमानित वेलोसिटीज को सक्रिय एक्शन डायमेंशन्स पर सहमत होने के लिए प्रोत्साहित किया जाता है।
$\mathcal{L}_{CV} = \|v_p[\cdot, : A_{act}] - v_0[\cdot, : A_{act}]\|^2$

कुल ऑब्जेक्टिव $\mathcal{L} = \frac{1}{K}\sum \mathcal{L}_{FM} + \lambda_{CV} \frac{1}{K}\sum \mathcal{L}_{CV}$ है।

3. सैद्धांतिक औचित्य (Theoretical Justification)

पेपर तर्क देता है कि फीचर-लेवल इनवेरिएंस (invariance) एक्शन-लेवल इनवेरिएंस की गारंटी नहीं देता है। वेलोसिटी फील्ड को स्वयं रेगुलराइज़ करके, यह विधि सीधे एक्शन चंक्स के विचलन (divergence) को सीमित करती है। एक लोकल लिप्सचिट्ज़ (Lipschitz) धारणा के तहत, नाममात्र और विचलित व्यूज से उत्पन्न एक्शन चंक्स के बीच अपेक्षित वर्ग अंतर (expected squared difference) उनके वेलोसिटी प्रेडिक्शन के बीच अपेक्षित वर्ग अंतर द्वारा सीमित होता है।

4. कंट्रोल मैकेनिज्म (Control Mechanisms)

यह सत्यापित करने के लिए कि लाभ जेनेरिक स्मूथिंग से नहीं बल्कि एक्शन-इक्विवेलेंट पेयरिंग से आया है, लेखक एक शफल-पेयर कंट्रोल (shuffled-pair control) का उपयोग करते हैं। इस एब्लेशन में, क्रॉस-व्यू लॉस अलग-अलग भौतिक अवस्थाओं से आने वाले वेलोसिटीज की तुलना करता है (जो एक्शन इक्विवेलेंस को तोड़ता है), जबकि फ्लो-मैचिंग लेबल्स को सही रखता है। यह कंट्रोल प्रदर्शन को ध्वस्त (collapse) कर देता है, जिससे पुष्टि होती है कि विधि वास्तविक स्टेट कोरेस्पोंडेंस (state correspondence) पर निर्भर करती है।

मुख्य योगदान (Key Contributions)

फॉर्मूलेशन: पेपर कैमरा-रोबस्ट VLAs को एक्शन-इक्विवेलेंट व्यूज के माध्यम से एक लोकल एक्शन-फ्लो कंसिस्टेंसी समस्या के रूप में फॉर्म्युलेट करता है।
ऑब्जेक्टिव: यह एक क्रॉस-व्यू एक्शन-फ्लो कंसिस्टेंसी ऑब्जेक्टिव प्रस्तावित करता है जो सीधे वेलोसिटी फील्ड को रेगुलराइज़ करता है। यह दृष्टिकोण इन्फरेंस के समय कोई अतिरिक्त सेंसर, कैलिब्रेशन, या कैमरा-विशिष्ट इनपुट नहीं जोड़ता है।
अनुभवजन्य सत्यापन (Empirical Validation): नियंत्रित एब्लेशन्स के माध्यम से, लेखक प्रदर्शित करते हैं कि:
- सुधार एक्शन-इक्विवेलेंट पेयरिंग पर निर्भर करता है (शफल किए गए पेयर्स विफल हो जाते हैं)।
- लाभ उन कैमरा पोज़ तक विस्तृत है जो ट्रेनिंग पेयर्स में कवर नहीं थे (एक्सट्रपलेशन)।
- विधि नाममात्र कैमरा व्यू पर प्रदर्शन से समझौता किए बिना मजबूती में सुधार करती है।

प्रायोगिक परिणाम (Experimental Results)

सिमुलेशन (LIBERO-Plus)

LIBERO-Plus कैमरा-परटर्बेशन बेंचमार्क (C1: दूरी/स्केल, C2: गोलाकार स्थिति, C3: एंडपॉइंट ओरिएंटेशन) पर मूल्यांकन:

प्रस्तावित विधि: कैमरा-परटर्बेशन ट्रैक पर 87.2 ± 0.4% सफलता प्राप्त की।
बेसलाइन्स:
- "सेम-डेटा" फ्लो मैचिंग (FM) केवल कंट्रोल (79.8%) की तुलना में +7.4 प्रतिशत पॉइंट्स (pp) अधिक।
- स्टैंडर्ड मिक्सड-कैमरा सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) (74.7%) की तुलना में +12.5 pp अधिक।
- नाममात्र-ओनली बेसलाइन (16.8%) की तुलना में +70.4 pp अधिक।
नाममात्र प्रदर्शन (Nominal Performance): विधि ने मानक नाममात्र कैमरा बेंचमार्क (FM-ओनली कंट्रोल के 93.6% के मुकाबले 94.2%) पर उच्च सफलता बनाए रखी, जो दर्शाता है कि नाममात्र प्रदर्शन में कोई समझौता नहीं हुआ।
एब्लेशन्स: शफल किए गए पेयर्स ने प्रदर्शन को 25.8% तक गिरा दिया, जो एक्शन-इक्विवेलेंट कोरेस्पोंडेंस की आवश्यकता को सिद्ध करता है।

रियल-रोबोट इवैल्यूएशन (Real-Robot Evaluation)

तीन टेबलटॉप कार्यों (Pick & Place, Contact Rich, Dexterous Operation) पर सिंक्रोनाइज्ड मल्टी-कैमरा ट्रेनिंग और होल्ड-आउट कैमरा डिप्लॉयमेंट के साथ मूल्यांकन:

होल्ड-आउट कैमरा सफलता: FM-ओनली (53.3%) से सुधरकर प्रस्तावित विधि (74.4%) तक पहुँची।
कार्य विशिष्टता: लैपटॉप लिड टास्क ने प्रस्तावित विधि के साथ होल्ड-आउट कैमरों पर 100% सफलता प्राप्त की। हेडफोन स्टैंड टास्क ने सबसे बड़ा सापेक्ष लाभ (16.7% से 46.7% तक) दिखाया, हालांकि पूर्ण प्रदर्शन ऑब्जर्वेबिलिटी (पतली वस्तुओं के ऑक्लूजन) के कारण सीमित रहा।
जनरलाइजेशन: लाभ सबसे अधिक ज्यामितीय रूप से आक्रामक होल्ड-आउट प्लेसमेंट (जैसे, ऊंचे, टॉप-डाउन व्यू) के लिए देखे गए।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि कैमरा मजबूती के लिए फीचर-लेवल इनवेरिएंस की तुलना में एक्शन-लेवल कंसिस्टेंसी एक अधिक प्रभावी लक्ष्य है। वेलोसिटी फील्ड को रेगुलराइज़ करके, जो सीधे एक्शन जेनरेट करता है, यह विधि सुनिश्चित करती है कि एक ही स्टेट के अलग-अलग व्यू एक ही इच्छित व्यवहार प्रदान करें।

इस कार्य का महत्व यह है कि यह इन्फरेंस कॉन्ट्रैक्ट को बदले बिना कैमरा मजबूती में सुधार करता है। अन्य विधियों के विपरीत जिन्हें डेप्थ सेंसर, कैमरा लेबल, या 3D रिकंस्ट्रक्शन की आवश्यकता होती है, यह दृष्टिकोण एक सिंगल RGB कैमरा के साथ VLA को तैनात करने की अनुमति देता है। लेखक इस बात पर जोर देते हैं कि यह एक ट्रेनिंग-टाइम रेसिपी है जो देखे गए एक्शन-इक्विवेलेंट व्यूज का लाभ उठाती है, जिससे यह मौजूदा फ्लो-आधारित VLA आर्किटेक्चर जैसे कि $\pi_0.5$ के लिए लागू करने योग्य बन जाती है।

पेपर अपनी सीमाओं के प्रति विनम्र रहता है: यह उस जानकारी को रिकवर नहीं करता है जो कैमरे द्वारा बाधित (occluded) है (जैसे, पतली वस्तुओं के लिए कॉन्टैक्ट के पास डेप्थ संकेत) और इसके लिए प्रशिक्षण के लिए वास्तविक एक्शन-इक्विवेलेंट पेयर्स की आवश्यकता होती है, जो मानक सिंगल-कैमरा डेटासेट्स को बाहर करता है। फिर भी, यह एक कैमरा-रोबस्ट VLA ट्रेनिंग के लिए एक नया बेसलाइन स्थापित करता है जो मानक RGB-ओनली इन्फरेंस के अनुकूल है।