💻 computer science

VistaBot: View-Robust Robot Manipulation via Spatiotemporal-Aware View Synthesis

VistaBot एक नवीन फ्रेमवर्क है जो कैमरा कैलिब्रेशन की आवश्यकता के बिना व्यू-इनवेरिएंट क्लोज्ड-लूप कंट्रोल और उच्च गुणवत्ता वाले नोवल व्यू सिंथेसिस को सक्षम करने के लिए वीडियो डिफ्यूजन मॉडल के साथ 4D ज्योमेट्री एस्टीमेशन को एकीकृत करके एंड-टू-एंड रोबोटिक मैनिपुलेशन की व्यू-रोबस्टनेस को बढ़ाता है।

मूल लेखक: Songen Gu, Yuhang Zheng, Weize Li, Yupeng Zheng, Yating Feng, Xiang Li, Yilun Chen, Pengfei Li, Wenchao Ding

प्रकाशित 2026-04-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Songen Gu, Yuhang Zheng, Weize Li, Yupeng Zheng, Yating Feng, Xiang Li, Yilun Chen, Pengfei Li, Wenchao Ding

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को सैंडविच बनाना सिखा रहे हैं। आप उसके सामने खड़े होते हैं, उसे बिल्कुल दिखा रहे हैं कि ब्रेड को कैसे पकड़ना है, पीनट बटर फैलाना है, और जैली रखना है। रोबोट आपको देखता है, आपकी चालों को सीखता है, और इसमें बहुत माहिर हो जाता है।

समस्या: "एक-कोण" का जाल (The "One-Angle" Trap)
अब, कल्पना कीजिए कि आप नैपकिन लेने के लिए मेज से थोड़ा हटकर किनारे पर जाते हैं। अचानक, रोबोट घबरा जाता है। उसे लगता है कि ब्रेड गायब हो गई है या चाकू किसी दूसरी जगह पर है। क्यों? क्योंकि उसने दुनिया को केवल आपके विशिष्ट कोण (angle) से देखना सीखा था। रोबोट के लिए, परिप्रेक्ष्य (perspective) में मामूली बदलाव भी एक पूरी तरह से अलग, भ्रमित करने वाली वास्तविकता जैसा दिखता है।

वास्तविक दुनिया में, रोबोट आमतौर पर तब विफल होते हैं जब कैमरा हिलता है, रोशनी बदलती है, या ऑपरेटर पीछे हट जाता है। वे एक ऐसे व्यक्ति की तरह होते हैं जो कार तभी चला सकता है जब वह ड्राइवर की सीट पर बैठा हो; यदि आप कैमरे को पैसेंजर सीट पर ले जाते हैं, तो उन्हें समझ नहीं आता कि स्टीयरिंग कैसे मोड़ना है।

समाधान: विस्टाबॉट (VistaBot)
यह शोध पत्र VistaBot को पेश करता है, जो एक नया "दिमाग" है जो इस समस्या को हल करता है। केवल एक कोण से चीजों के दिखने को याद रखने के बजाय, VistaBot यह सीखता है कि किसी भी कोण से दृश्य कैसा दिखेगा, वह तुरंत कल्पना कर सके।

VistaBot को एक ऐसे रोबोट के रूप में सोचें जिसके पास एक सुपरपावर है: मानसिक समय यात्रा (Mental Time Travel) और 3D कल्पना।

यह इस प्रकार काम करता है, जिसे तीन सरल चरणों में विभाजित किया गया है:

1. "3D जासूस" (ज्यामिति अनुमान - Geometry Estimation)

जब रोबोट एक नए, अजीब कोण से दुनिया को देखता है (जैसे कि बगल से देखना), तो वह केवल 2D तस्वीर को घूरता नहीं है। वह एक जासूस की तरह काम करता है।

उपमा: कल्पना कीजिए कि आप कॉफी कप की एक सपाट फोटो देख रहे हैं। एक सामान्य रोबलेट एक वृत्त (circle) देखता है। हालाँकि, VistaBot एक "3D जासूस" टूल का उपयोग करके तुरंत अनुमान लगाता है: "ठीक है, वह वृत्त वास्तव में एक सिलेंडर है, और कैमरा 30 डिग्री दाईं ओर झुका हुआ है।"
यह गहराई (depth) और कोण की गणना करता है, प्रभावी रूप से उस सपाट तस्वीर को वापस एक 3D मानसिक मॉडल में बदल देता है।

2. "समय-यात्रा करने वाला कलाकार" (दृश्य संश्लेषण - View Synthesis)

अब जब रोबोट को 3D आकार का पता चल गया है, तो उसे दृश्य को मूल प्रशिक्षण कोण (जिससे उसने सीखा था) से देखने की आवश्यकता है।

उपमा: कल्पना कीजिए कि आप एक पेंटिंग को बगल से देख रहे हैं, और वह विकृत (warped) दिख रही है। VistaBot के अंदर एक जादुई कलाकार है जो कहता है, "मुझे पता है कि यह पेंटिंग सामने से कैसी दिखती है।" यह दृश्य के लुप्त हिस्सों को "पेंट" करने और परिप्रेक्ष्य को ठीक करने के लिए एक वीडियो डिफ्यूजन मॉडल (AI का एक प्रकार जो वीडियो बनाता है) का उपयोग करता है।
यह केवल अनुमान नहीं लगाता; यह उन खाली जगहों को भर देता है (जैसे कॉफी कप का पिछला हिस्सा जो आप बगल से नहीं देख सकते) और एक आदर्श, उच्च-गुणवत्ता वाली छवि बनाता है कि दृश्य कैसा दिखता यदि कैमरा मूल स्थान पर होता।

3. "सपनों का योजनाकार" (लेटेंट एक्शन लर्निंग - Latent Action Learning)

यही सबसे चतुर हिस्सा है। पूरी तस्वीर को पेंट करने का इंतज़ार करने के बजाय (जिसमें समय लगता है), VistaBot उस "कच्चे चित्र" या "ब्लूप्रिंट" को पकड़ लेता है जिस पर कलाकार काम कर रहा था।

उपमा: यदि आप कार चला रहे हैं, तो आपको आगे की सड़क देखने के लिए तैयार होने की आवश्यकता नहीं है कि किस तरफ मुड़ना है; आपको बस सड़क के लेआउट का अच्छा अंदाजा होना चाहिए। VistaBot एक पूर्ण वीडियो बनाने की धीमी प्रक्रिया को छोड़ देता है। यह "ब्लूप्रिंट" (छिपे हुए डेटा फीचर्स) को देखता है और तुरंत जान जाता है, "ठीक है, इस लेआउट के आधार पर, मुझे अपना हाथ बाईं ओर ले जाना चाहिए।"
यह रोबोट को तेज़ और कुशल बनाता है, जिससे वह वास्तविक समय (real-time) में प्रतिक्रिया दे पाता है।

यह एक बड़ी बात क्यों है?

शोधकर्ताओं ने इसका परीक्षण दो बहुत स्मार्ट रोबोट सिस्टम (जिन्हें ACT और $\pi_0$ कहा जाता है) पर किया।

VistaBot के बिना: जब उन्होंने कैमरा 45 डिग्री घुमाया, तो रोबोट लगभग 100% बार विफल रहे। वे भ्रमित थे।
VistaBot के साथ: भले ही कैमरे को पूरी तरह से अलग कोण पर ले जाया गया हो, रोबोट 2.6 से 2.8 गुना अधिक बार सफल रहे।

उन्होंने रोबोटों के लिए मापने हेतु एक नया स्कोर भी बनाया जिसे VGS (View Generalization Score) कहा जाता है। यह रोबोट के लिए एक "ड्राइवर लाइसेंस टेस्ट" की तरह है: क्या आप अभी भी गाड़ी चला सकते हैं यदि सड़क को अलग कोण से देखा जा रहा हो? VistaBot ने इसमें शानदार सफलता प्राप्त की।

निचोड़ (The Bottom Line)

VistaBot रोबोटों को "अल्पदृष्टि" (केवल एक कोण देखना) से हटकर "सर्वज्ञ" (पूरी 3D दुनिया को समझना) बनने की शिक्षा देता है। यह ज्यामिति (चीजें अंतरिक्ष में कहाँ हैं यह जानना) को कल्पना (जो आप नहीं देख सकते उसे भरना) के साथ जोड़ता है ताकि एक ऐसा रोबोट बनाया जा सके जो कहीं भी, कभी भी काम कर सके, बिना हर बार कैमरा बदलने पर फिर से प्रशिक्षित हुए।

यह एक ऐसे रोबोट के बीच का अंतर है जो एक विशिष्ट कैमरा कोण द्वारा नियंत्रित एक "कठपुतली" है, और एक ऐसे "पायलट" के बीच है जो कॉकपिट में किसी भी सीट से दुनिया का नेविगेशन कर सकता है।

यहाँ "VistaBot: View-Robust Robot Manipulation via Spatiotemporal-Aware View Synthesis" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

एंड-टू-एंड रोबोटिक मैनिपुलेशन मॉडल (जैसे इमिटेशन लर्निंग पॉलिसी और विजन-लैंग्वेज-एक्शन मॉडल) ने स्केलेबिलिटी में बड़ी क्षमता दिखाई है। हालाँकि, वे एक गंभीर बाधा का सामना करते हैं: कैमरा व्यूपॉइंट्स के बीच खराब सामान्यीकरण (poor generalization across camera viewpoints)।

समस्या: लाइटिंग या टेक्सचर में बदलाव के विपरीत, कैमरा परिप्रेक्ष्य (perspective) में बदलाव धारणा (perception) और क्रिया (action) के बीच स्थानिक ग्राउंडिंग (spatial grounding) को बाधित कर देता है। प्रशिक्षण कैमरा कोण से मामूली विचलन भी पॉलिसी की विफलता का कारण बन सकता है।
मौजूदा समाधानों की सीमाएँ:
- रिकंस्ट्रक्शन-आधारित विधियाँ: इनके लिए सटीक मल्टी-कैमरा कैलिब्रेशन की आवश्यकता होती है और ये ऑक्लूजन (occlusions) के साथ संघर्ष करती हैं, जिससे ये वास्तविक दुनिया में तैनाती के लिए अव्यावहारिक हो जाती हैं।
- जेनरेशन-आधारित विधियाँ: इनमें अक्सर एकीकृत एक्शन लर्निंग की कमी होती है, इन्फरेंस दक्षता कम होती है, और ये सटीक कैमरा नियंत्रण या भौतिक निरंतरता बनाए रखने में विफल रहती हैं।
लक्ष्य: केवल एक प्रशिक्षण व्यूपॉइंट (single training viewpoint) का उपयोग करके, बिना किसी कैमरा कैलिब्रेशन या पोज़ जानकारी की आवश्यकता के, किसी भी कैमरा व्यूपॉइंट से डायनेमिक, क्लोज्ड-लूप मैनिपुलेशन को सक्षम बनाना।

2. कार्यप्रणाली: VistaBot फ्रेमवर्क (Methodology: VistaBot Framework)

VistaBot फीड-फॉरवर्ड ज्योमेट्रिक मॉडल्स को वीडियो डिफ्यूजन मॉडल्स के साथ एकीकृत करके एक एकीकृत पॉलिसी लर्निंग पाइपलाइन बनाता है। यह फ्रेमवर्क तीन मुख्य घटकों से बना है:

A. 4D ज्योमेट्री एस्टीमेशन (4D Geometry Estimation)

इनपुट: एक नवीन व्यूपॉइंट से एक मनमाना इन्फरेंस फ्रेम ( $I_n$ ) और प्रारंभिक प्रशिक्षण फ्रेम ( $I_t$ )।
प्रक्रिया:
1. एक फाइन-ट्यून किया गया फीड-फॉरवर्ड ज्योमेट्रिक मॉडल (VGDT) नवीन दृश्य के लिए सापेक्ष कैमरा पोज़ ( $T_{n \to t}$ ) और डेप्थ मैप ( $D_n$ ) का अनुमान लगाता है।
2. अनुमानित डेप्थ और कैमरा इंट्रिंसिक्स का उपयोग करके नवीन दृश्य को 3D पॉइंट क्लाउड ( $P_n$ ) में "लिफ्ट" किया जाता है।
3. पॉइंट क्लाउड को अनुमानित पोज़ का उपयोग करके प्रशिक्षण कोआर्डिनेट सिस्टम में रूपांतरित किया जाता है, जिससे एक कैनोनिकल पॉइंट क्लाउड ( $P_t$ ) बनता है।
4. $P_t$ को प्रशिक्षण व्यूपॉइंट में पुन: रेंडर किया जाता है ताकि एक इमेज ( $I_r$ ) प्राप्त हो सके।
सुधार (Refinement): मॉडल को श्रेणी-विशिष्ट वस्तुओं (जैसे रोबोट आर्म्स) को संभालने और टेम्पोरल कंसिस्टेंसी सुनिश्चित करने के लिए सिम्युलेटेड और वास्तविक दुनिया के डेटा पर फाइन-ट्यून किया गया है।

B. स्पैटियोटेम्पोरल लेटेंट फीचर एक्सट्रैक्शन (स्पेस-टाइम व्यू सिंथेसिस)

चूंकि पॉइंट क्लाउड रेंडरिंग अक्सर ऑक्लूजन के कारण छिद्रों (holes) का परिणाम देती है, इसलिए लापता क्षेत्रों को सिंथेसाइज करने और उच्च गुणवत्ता वाले, व्यूपॉइंट-अलाइन्ड चित्र उत्पन्न करने के लिए एक कंडीशनल वीडियो डिफ्यूजन मॉडल (VDM) का उपयोग किया जाता है।

पॉइंट रेंडरिंग इनपेंटिंग: VDM रेंडर की गई इमेज ( $I_r$ ) और प्रोजेक्शन मास्क ( $M_r$ ) का उपयोग करके लापता क्षेत्रों को इनपेंट करता है।
स्पेशियल व्यूपॉइंट इंटरपोलेशन: बड़े व्यूपॉइंट गैप्स को संभालने के लिए, सिस्टम नवीन और लक्षित दृश्यों के बीच कैमरा पोज़ को इंटरपोलेट करता है, जिससे स्मूथ ट्रांजिशन सुनिश्चित करने और आर्टिफ़ेक्ट्स को कम करने के लिए इंटरमीडिएट फ्रेम्स जनरेट होते हैं।
टेम्पोरल मेमोरी: एक मेमोरी मॉड्यूल ऐतिहासिक ऑब्जर्वेशन फ्रेम्स को कैश करता है। इन्हें एनकोड किया जाता है और क्रॉस-अटेंशन मैकेनिज्म (DiT ब्लॉक्स का उपयोग करके) के माध्यम से डिफ्यूजन प्रक्रिया में इंजेक्ट किया जाता है, जहाँ स्पैटियल टोकन 'क्वेरी' के रूप में और टेम्पोरल टोकन 'की/वैल्यू' के रूप में कार्य करते हैं। यह एक 4D-कंसिस्टेंट प्रतिनिधित्व (ज्यामिति + उपस्थिति + समय) बनाता है।
लेटेंट एक्सट्रैक्शन: अंतिम इमेज को डिकोड करने के बजाय, सिस्टम सीधे डिफ्यूजन मॉडल के अंतिम DiT ब्लॉक से स्पैटियोटेम्पोरल लेटेंट फीचर्स निकालता है। ये फीचर्स पॉलिसी के लिए सीन रिप्रेजेंटेशन के रूप में कार्य करते हैं।

C. क्लोज्ड-लूप एक्शन लर्निंग (Closed-Loop Action Learning)

पॉलिसी इंटीग्रेशन: निकाले गए लेटेंट फीचर्स ( $F_{obs}$ ) मौजूदा ACT (ट्रांसफॉर्मर्स के साथ एक्शन चंकिंग) और $\pi_0$ (एक बड़े पैमाने का VLA मॉडल) जैसी पॉलिसियों में मानक विजुअल एनकोडर (जैसे ResNet-50) का स्थान लेते हैं।
दक्षता: सीधे वीडियो डिफ्यूजन मॉडल के लेटेंट स्पेस में काम करके, पॉलिसी उन रिप्रेजेंटेशन्स से एक्शन सीखती है जो पहले से ही ऑब्जेक्ट-लेवल और ज्योमेट्रिक समझ से युक्त होते हैं, जिससे इमेज डिकोडिंग का ओवरहेड बच जाता है।
निष्पादन (Execution): पॉलिसी सिंथेसाइज्ड लेटेंट फीचर्स और रोबोट की स्थिति के आधार पर एक्शन चंक्स की भविष्यवाणी करती है, जिससे अनदेखे व्यूज के तहत मजबूत क्लोज्ड-लूप कंट्रोल सक्षम होता है।

3. प्रमुख योगदान (Key Contributions)

नया फ्रेमवर्क: व्यू-रोबस्ट कंट्रोल के लिए फीड-फॉरवर्ड ज्योमेट्री और वीडियो डिफ्यूजन को फ्यूज करने वाला एक एकीकृत पाइपलाइन, जो टेस्ट-टाइम कैमरा कैलिब्रेशन की आवश्यकता को समाप्त करता है।
लेटेंट प्लानर: एक डिज़ाइन जो सीधे VDM लेटेंट फीचर्स पर काम करता है, जिससे पॉलिसियों को ज्योमेट्रिकल और टेम्पोरल रूप से सुसंगत रिप्रेजेंटेशन्स से सीखने की अनुमति मिलती है।
नया मेट्रिक (VGS): व्यू जनरलाइजेशन स्कोर (VGS) का परिचय, जो बेसलाइन ट्रेनिंग एंगल के मुकाबले नवीन एंगल्स पर सफलता दर की तुलना करके पॉलिसी की मजबूती को मात्रात्मक रूप से मापता है।
व्यापक सत्यापन: सिमुलेशन और वास्तविक दुनिया की सेटिंग्स में स्पेशलिस्ट (ACT) और जनरलिस्ट ( $\pi_0$ ) दोनों फ्रेमवर्क पर व्यापक मूल्यांकन।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने RLBench (सिमुलेशन) और एक Franka FR3 रियल-रोबोट प्लेटफॉर्म पर VistaBot का मूल्यांकन किया।

प्रदर्शन सुधार:
- VistaBot ने बेसलाइन ACT पर 2.79 $\times$ और $\pi_0$ पर 2.63 $\times$ अधिक VGS में सुधार किया।
- सिमुलेशन: $45^\circ$ व्यूपॉइंट शिफ्ट के तहत, बेसलाइन ACT की औसत सफलता दर 0.83 से गिरकर 0.13 हो गई। VistaBot ने काफी उच्च सफलता दर (विभिन्न कोणों पर 0.52–0.64) बनाए रखी।
- वास्तविक दुनिया: समान रुझान देखे गए, जहाँ VistaBot ने "Place Banana" और "Push Cube" जैसे कार्यों पर नवीन कोणों से उच्च सफलता दर हासिल की जहाँ बेसलाइन विफल रहे।
व्यू सिंथेसिस गुणवत्ता:
- VistaBot ने FVD, FID, SSIM, और PSNR जैसे मेट्रिक्स में अन्य स्टेट-ऑफ-द-आर्ट सिंथेसिस विधियों (AnySplat, LangScene-X) को पछाड़ दिया।
- गुणात्मक परिणामों ने दिखाया कि VistaBot ने अन्य विधियों में दिखने वाले "फ्लोटिंग आर्टिफ़ेक्ट्स" या "पिघले हुए" फ्रेम्स के बिना शार्प और सुसंगत नवीन दृश्य उत्पन्न किए।
फीचर विश्लेषण: फीचर डिस्ट्रीब्यूशन के PCA विज़ुअलाइज़ेशन ने खुलासा किया कि नवीन दृश्य मानक पॉलिसियों के लिए एक महत्वपूर्ण डिस्ट्रिब्यूशनल शिफ्ट (Out-of-Distribution) पैदा करते हैं। VistaBot द्वारा जनरेट किए गए दृश्य सोर्स ट्रेनिंग डिस्ट्रीब्यूशन के करीब संरेखित हैं, जो इस शिफ्ट को कम करते हैं और टास्क फेलियर को रोकते हैं।

5. महत्व (Significance)

VistaBot एंड-टू-एंड रोबोटिक लर्निंग की एक मौलिक बाधा को संबोधित करता है: विशिष्ट कैमरा व्यूपॉइंट्स पर निर्भरता। स्पैटियोटेम्पोरल-अवेयर व्यू सिंथेसिस के माध्यम से पॉलिसी को फिजिकल कैमरा पोज़ से अलग करके, यह रोबोट को सक्षम बनाता है:

एक सिंगल कैमरा सेटअप से सीखने और किसी भी कोण से संचालित होने के लिए।
थकाऊ और त्रुटिपूर्ण मल्टी-कैमरा कैलिब्रेशन प्रक्रिया से बचने के लिए।
डायनेमिक, वास्तविक दुनिया के वातावरण में मजबूत, क्लोज्ड-लूप मैनिपुलेशन प्राप्त करने के लिए।

यह कार्य नवल व्यू सिंथेसिस (NVS) और रोबोटिक कंट्रोल के बीच के अंतर को पाटता है, यह प्रदर्शित करते हुए कि उच्च-गुणवत्ता वाला ज्योमेट्रिक और टेम्पोरल सिंथेसिस सीधे विज़ुओमोटर पॉलिसियों की जनरलाइजेशन क्षमताओं को बढ़ा सकता है।