🤖 AI

G $^3$ VLA: Geometric inductive bias for Vision-Language-Action Models

यह शोध पत्र G $^3$ VLA को प्रस्तुत करता है, जो एक कैमरा-जागरूक ज्यामितीय मॉड्यूल है जो बिना डेप्थ सेंसर की आवश्यकता के रे इम्बेडिंग्स (ray embeddings) और क्रॉस-व्यू फ्यूजन के माध्यम से विज़न-लैंग्वेज-एक्शन मॉडल्स में कैलिब्रेटेड 3D संरचना को इंजेक्ट करता है, जिससे विविध बेंचमार्क और वास्तविक दुनिया की सेटिंग्स में रोबोट मैनिपुलेशन प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Yue Peng, Yongzhe Zhao, Artur Habuda, Khuyen Pham, Yanheng Zhu, Tran Nguyen Le, Fares Abu-Dakka, Li Guo

प्रकाशित 2026-06-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yue Peng, Yongzhe Zhao, Artur Habuda, Khuyen Pham, Yanheng Zhu, Tran Nguyen Le, Fares Abu-Dakka, Li Guo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट शेफ है। इस शेफ ने लाखों कुकबुक्स पढ़ी हैं और अनगिनत कुकिंग वीडियो देखे हैं, इसलिए वह जानता है कि एक "सैंडविच" क्या होता है और अंग्रेजी में लिखे गए रेसिपी का पालन कैसे करना है। हालाँकि, जब आप उसे ब्रेड उठाने और उसे प्लेट पर रखने के लिए कहते हैं, तो वह कभी-कभी संघर्ष करता है। वह ब्रेड को बहुत बाईं ओर से पकड़ सकता है, या प्लेट को पूरी तरह से मिस कर सकता है।

क्यों? क्योंकि जबकि वह शेफ भाषा और चित्रों को समझने में जीनियस है, वह दुनिया को एक सपाट तस्वीर की तरह देखता है। उसे स्वाभाविक रूप से गहराई (depth), दूरी (distance), या कैसे अलग-अलग कैमरा एंगल एक-दूसरे से संबंधित हैं, इसकी समझ नहीं है। यह एक गेंद को पकड़ने की कोशिश करने जैसा है जब आप धूप का चश्मा पहने हुए हों जिसने दुनिया को एक 2D ड्राइंग में बदल दिया हो; आप जानते हैं कि गेंद वहाँ है, लेकिन आप ठीक से अंदाजा नहीं लगा सकते कि वह कितनी दूर है।

यह पेपर G3VLA नामक एक "ट्रेनिंग व्हील्स" (सीखने के सहायक उपकरण) सिस्टम पेश करता है, जिसे शेफ के दिमाग को बदले बिना इस विशिष्ट कमी को ठीक करने के लिए डिज़ाइन किया गया है।

समस्या: "फ्लैट पिक्चर" का अंधापन

अधिकांश आधुनिक रोबोट दिमाग (जिन्हें विजन-लैंग्वेज-एक्शन मॉडल कहा जाता है) विशाल AI मॉडल्स पर आधारित होते हैं जो 2D छवियों में वस्तुओं को पहचानने में माहिर होते हैं। लेकिन रोबोट 3D दुनिया में रहते हैं। जब एक रोबोट के पास कई कैमरे होते हैं (जैसे उसके सिर के विभिन्न तरफ आँखें), तो मानक AI प्रत्येक कैमरे को एक अलग, असंबंधित फोटो के रूप में मानता है। वह भूल जाता है कि ये कैमरे शारीरिक रूप से जुड़े हुए हैं और वे एक ही वस्तु को अलग-अलग कोणों से देखते हैं।

यह पेपर तर्क देता है कि यह जानकारी की बर्बादी है। हम जानते हैं कि कैमरे कहाँ स्थित हैं और उनका कोण क्या है (इसे "कैलिब्रेशन" कहा जाता है), लेकिन रोबोट का दिमाग इस गणित को अनदेखा कर देता है और केवल पिक्सेल को देखता है।

समाधान: रोबोट को "3D चश्मा" देना

लेखकों ने एक मॉड्यूल बनाया है जिसे G3VLA कहा जाता है जो रोबोट के मौजूदा दिमाग के लिए 3D चश्मे की तरह काम करता है। यह दिमाग को बदलता नहीं है; यह बस रोबोट के विजुअल डेटा में ज्यामितीय समझ (geometric understanding) की एक परत जोड़ देता है।

यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए, यहाँ दिया गया है:

रे ट्रेस एम्बेडिंग्स (The "Laser Pointer" Effect):
कल्पना कीजिए कि कैमरा इमेज के हर एक पिक्सेल के साथ एक छोटा, अदृश्य लेजर पॉइंटर जुड़ा हुआ है, जो सीधे कैमरा लेंस से बाहर की ओर इशारा कर रहा है। मानक AI को नहीं पता कि ये लेजर कहाँ इशारा कर रहे हैं। G3VLA गणना करता है कि कैमरा लेंस की सेटिंग्स के आधार पर प्रत्येक "लेजर" वास्तव में किस दिशा में इशारा करता है। यह हर पिक्सेल को इस दिशा के साथ टैग करता है, ताकि रोबोट को पता चले, "यह पिक्सेल केवल एक लाल बिंदु नहीं है; यह उस विशिष्ट दिशा में एक लाल बिंदु है।"
PRoPE (The "Map Connector"):
यदि आपके पास दो कैमरे हैं, एक बाईं ओर और एक दाईं ओर, तो वे एक ही कप को अलग-अलग कोणों से देखते हैं। मानक AI इन्हें दो अलग-अलग कहानियों के रूप में मानता है। G3VLA एक विशेष गणितीय ट्रिक (जिसे प्रोजेक्टिव पोजीशनल एनकोडिंग कहा जाता है) का उपयोग एक अनुवादक के रूप में करता है। यह रोबलेट को बताता है: "जो कप आप बाईं ओर देख रहे हैं, वही कप है जो आप दाईं ओर देख रहे हैं, और यहाँ बताया गया है कि वे 3D स्पेस में कैसे जुड़ते हैं।" यह दृश्यों को आपस में जोड़ देता है ताकि रोबोट पूरे दृश्य को समझ सके, न कि केवल अलग-थलग स्नैपशॉट्स को।
"शिक्षक" (बिना स्केल के सीखना):
आमतौर पर, रोबोट को 3D स्पेस के बारे में सिखाने के लिए, आपको महंगे डेप्थ सेंसर (जैसे LiDAR) या किसी इंसान द्वारा मैन्युअल रूप से 3D मैप बनाने की आवश्यकता होती है। G3VLA चतुर है: यह एक "टीचर" AI (जिसे $\pi3X$ कहा जाता है) का उपयोग करता है जो केवल साधारण तस्वीरों को देखकर 3D आकृतियों का अनुमान लगाने में बहुत अच्छा है।

चरण 1: रोबोट इस शिक्षक से सीखता है, अपने 3D अनुमान लगाने के कौशल का अभ्यास करता है (डेप्थ मैप्स की भविष्यवाणी करने का "होमवर्क असाइनमेंट"), इससे पहले कि वह वास्तव में हिलना शुरू करे।
चरण 2: इसके बाद रोबोट अपने मुख्य काम (निर्देशों का पालन करना और हिलना-डुलना) पर वापस जाता है, लेकिन वह उस 3D समझ को एक सहायक आदत के रूप में बनाए रखता है।

परिणाम: "स्पेशियल" कार्यों में बेहतर

शोधकर्ताओं ने इसे कई रोबोट बेंचमार्क पर टेस्ट किया। उन्होंने पाया:

यह तब सबसे अच्छा काम करता है जब स्थान (space) महत्वपूर्ण हो: रोबोट उन कार्यों में काफी बेहतर हो गया जिनमें सटीक स्थिति की आवश्यकता होती है, जैसे "उस वस्तु को उठाएं जो कप के पीछे है" या "ब्लॉक को लाल वाले के बाईं ओर ले जाएं।"
यह नए हार्डवेयर के बिना काम करता है: आपको नए 3D कैमरे खरीदने की आवश्यकता नहीं है। आपको बस रोबोट के मौजूदा कैमरों और उनके कैलिब्रेशन डेटा की आवश्यकता है।
यह विभिन्न रोबोट दिमागों के साथ काम करता है: उन्होंने तीन अलग-अलग प्रकार के रोबोट AI मॉडल्स पर इसका परीक्षण किया। यह मानक मॉडल्स पर बहुत अच्छा काम करता है। हालाँकि, उन्होंने कुछ दिलचस्प देखा: यदि रोबोट का दिमाग इस तरह से डिज़ाइन किया गया है जहाँ "विजुअल" हिस्सा और "एक्शन" वाला हिस्सा बहुत दूर हैं (जैसे एक दो मंजिला इमारत जहाँ विजुअल जानकारी को एक्शन फ्लोर तक पहुँचने के लिए लिफ्ट लेनी पड़ती है), तो 3D मदद थोड़ी कमजोर हो जाती है। यह सुझाव देता है कि 3D चश्मे के सर्वोत्तम रूप से काम करने के लिए, रोबोट को 3D जानकारी को वहीं "देखना" चाहिए जहाँ वह निर्णय लेता है कि कैसे हिलना है।

निष्कर्ष

G3VLA एक हल्का अपग्रेड है जो उन रोबोटों में "कॉमन सेंस" (सामान्य समझ) डालता है जो अन्यथा बहुत बुद्धिमान लेकिन स्थानिक रूप से अंधे (spatially blind) होते हैं। यह उन्हें यह समझने की अनुमति देता है कि दुनिया में गहराई है और अलग-अलग कैमरा एंगल आपस में जुड़े हुए हैं, जिससे जटिल, मल्टी-कैमरा सेटअप में अधिक सटीक और विश्वसनीय गतिविधियाँ संभव होती हैं। यह एक 2D चित्रकार को रूलर और प्रोटेक्टर देने जैसा है ताकि वह अंततः एक वास्तविक 3D दृश्य चित्रित कर सके।

तकनीकी सारांश: G3VLA – विज़न-लैंग्वेज-एक्शन मॉडल्स के लिए ज्यामितीय प्रेरणात्मक पूर्वाग्रह (Geometric Inductive Bias)

समस्या विवरण

विज़न-लैंग्वेज-एक्शन (VLA) मॉडल्स, जैसे कि RT-2, OpenVLA, और $\pi_0$ , प्री-ट्रेंड विज़न-लैंग्वेज बैकबोन से प्राप्त सिमेंटिक ज्ञान का लाभ उठाकर सामान्यीकृत रोबोटिक हेरफेर (manipulation) में महत्वपूर्ण प्रगति कर चुके हैं। हालाँकि, एक गंभीर सीमा बनी हुई है: उनके विज़ुअल टोकन रोबोट के कैमरों के कैलिब्रेटेड ज्योमेट्री के बजाय 2D इमेज कोऑर्डिनेट्स पर आधारित होते हैं। यह विसंगति मल्टी-कैमरा सेटअप में विशेष रूप से स्पष्ट होती है, जहाँ ज्ञात इंट्रिंसिक्स (intrinsics) और एक्सट्रिंसिक्स (extrinsics) विभिन्न दृश्यों को ज्यामितीय रूप से जोड़ते हैं, फिर भी पारंपरिक VLA फॉर्मुलेशन इन दृश्यों को स्वतंत्र 2D छवियों के रूप में प्रोसेस करते हैं। फलस्वरूप, मॉडल्स को क्रिया पर्यवेक्षण (action supervision) से केवल निहित रूप से कैमरा ज्योमेट्री सीखनी पड़ती है, जो अक्सर अक्षम होता है और स्थानिक सटीकता (spatial precision) को सीमित करता है, विशेष रूप से उन कार्यों के लिए जिनमें सटीक पोज़ एस्टीमेशन, दूरी का तर्क और क्रॉस-व्यू निरंतरता की आवश्यकता होती है।

इन समस्याओं को हल करने के मौजूदा प्रयास, जैसे कि वोक्सेलाइज़िंग ऑब्जर्वेशन (PerAct) या 3D फील्ड्स में फीचर्स को लिफ्ट करना (Act3D), अक्सर ऐसे कार्य-विशिष्ट आर्किटेक्चर की मांग करते हैं जो प्री-ट्रेंड VLM सिमेंटिक्स का पूर्ण उपयोग नहीं कर पाते। अन्य प्रयास (जैसे SpatialVLA, 3D-VLA) आमतौर पर स्पष्ट 3D सेंसर इनपुट, बड़े पैमाने पर स्थानिक प्री-ट्रेनिंग, या एक्शन रिप्रेजेंटेशन में संशोधन की आवश्यकता रखते हैं। इस कार्य द्वारा संबोधित केंद्रीय प्रश्न यह है: क्या कैलिब्रेटेड कैमरा ज्योमेट्री, बैकबोन, एक्शन स्पेस, या इमिटेशन ऑब्जेक्टिव को संशोधित किए बिना, प्री-ट्रेंड VLAs के लिए एक हल्का विज़ुअल-टोकन पाथवे के रूप में कार्य कर सकती है ताकि स्थानिक सामान्यीकरण (spatial generalization) में सुधार किया जा सके?

कार्यप्रणाली: G3VLA

लेखक G3VLA का प्रस्ताव करते हैं, जो एक कैमरा-अवेयर ज्यामितीय ढांचा है जो प्री-ट्रेंड VLA के विज़ुअल-टोकन स्ट्रीम में सीधे कैलिब्रेटेड स्ट्रक्चर को इंजेक्ट करता है। यह विधि प्री-ट्रेंड बैकबोन और एक्शन फॉर्मुलेशन को सुरक्षित रखती है, और ज्योमेट्री को विशेष रूप से विज़ुअल टोकन के माध्यम से पेश करती है।

मुख्य घटक

कैमरा-अवेयर ज्यामितीय मॉड्यूल ( $F_\psi$ ) के तीन प्रमुख घटक हैं:

इंट्रिंसिक-कंडीशन्ड रे एम्बेडिंग्स (Intrinsic-Conditioned Ray Embeddings):
उस अस्पष्टता को हल करने के लिए जहाँ एक ही पिक्सेल $(x, y)$ अलग-अलग इंट्रिंसिक्स के तहत अलग-अलग भौतिक देखने की दिशाओं (viewing directions) से मैप होता है, यह विधि प्रत्येक ViT पैच टोकन को उसके बैक-प्रोजेक्टेड व्यूइंग डायरेक्शन के साथ टैग करती है। एक होमोजेनियस पिक्सेल कोऑर्डिनेट $u$ के लिए, नॉर्मलाइज्ड प्रोजेक्शन रे $\tilde{r}^v(u) = (K^v)^{-1}u$ के रूप में कंप्यूट किया जाता है। एक लर्न करने योग्य एम्बेडिंग $G_\phi$ इस रे मैप को पैच ग्रिड पर प्रोजेक्ट करती है और इसे एनकोडर आउटपुट में जोड़ देती है:
$z^v_{0,p} = z^v_p + G_\phi(R^v)_p$
यह सुनिश्चित करता है कि सभी डाउनस्ट्रीम अटेंशन अपने इंट्रिंसिक व्यूइंग डायरेक्शन के प्रति जागरूक टोकन्स पर कार्य करें।
प्रोजेक्टिव पोजीशनल एनकोडिंग (PRoPE):
जबकि रे एम्बेडिंग्स स्थानीय व्यूइंग दिशाओं को एनकोड करती हैं, वे विभिन्न दृश्यों से टोकन्स के बीच ज्यामितीय संबंधों को कैप्चर नहीं करती हैं। PRoCL addresses इसे प्रत्येक-व्यू इंट्रिंसिक्स ( $K^v$ ), कैमरा-टू-वर्ल्ड मैट्रिसेस ( $T^v$ ), और पैच लोकेशन्स के आधार पर क्वेरी, की (key), और वैल्यू रिप्रेजेंटेशन के लिए फिक्स्ड प्रोजेक्टिव ट्रांसफॉर्म्स व्युत्पन्न करके हल करता है। यह कैमरा-मॉडल-आधारित प्रोजेक्टिव संबंधों का उपयोग करके क्रॉस-व्यू अटेंशन प्रदान करता है, न कि केवल अपीयरेंस समानता पर निर्भर रहता है।
द्विदिश क्रॉस-व्यू फ्यूजन (Bidirectional Cross-View Fusion):
फ्यूजन मॉड्यूल दो चरणों में टोकन्स को प्रोसेस करता है:
- फ्रेम अटेंशन: प्रत्येक कैमरा स्ट्रीम के भीतर टोकन्स को स्वतंत्र रूप से प्रोसेस करता है ताकि व्यू-लोकल स्ट्रक्चर को संरक्षित किया जा सके।
- क्रॉस-व्यू अटेंशन: व्यू और पैच डायमेंशन को फ्लैट करता है, जिससे सभी वैध टोकन्स को PRoPE का उपयोग करके दृश्यों के बीच द्विदिश रूप से अटेंड करने की अनुमति मिलती है। यह टोकन्स के एक्शन मॉडल तक पहुँचने से पहले ज्यामितीय संदर्भ (geometric context) का आदान-प्रदान करता है।

प्रशिक्षण रणनीति: दो-चरणीय करिकुलम और ज्योमेट्री डिस्टिलेशन

चूंकि ज्यामितीय मॉड्यूल को शून्य से शुरू किया जाता है और इसे केवल एक्शन लॉस से स्पार्स टास्क-लेवल ग्रेडिएंट्स प्राप्त होते हैं, लेखक एक सघन सहायक ज्योमेट्री डिस्टिलेशन ऑब्जेक्टिव और एक दो-चरणीय प्रशिक्षण करिकुलम पेश करते हैं:

ज्योमेट्री डिस्टिलेशन ऑब्जेक्टिव: फ्यूज्ड विज़ुअल टोकन्स से जुड़ा एक सहायक पॉइंट हेड सघन प्रति-पिक्सेल रे कोऑर्डिनेट्स ( $\hat{q}^v_u$ ) और लॉग-z डेप्थ ( $\hat{d}^v_u$ ) की भविष्यवाणी करता है। सुपरविजन लक्ष्य या तो सिमुलेशन में ग्राउंड-ट्रुथ पॉइंट मैप्स से आते हैं या एक विज़ुअल ज्योमेट्री टीचर ( $\pi_3X$ ) से कॉन्फिडेंस-गेटेड भविष्यवाणियों से आते हैं। अनिरल पिक्सेल्स को फ़िल्टर करने के लिए टीचर प्रेडिक्शंस को एक कॉन्फिडेंस थ्रेशोल्ड ( $\tau=0.1$ ) द्वारा गेट किया जाता है, जिसमें किसी डेप्थ सेंसर या मैनुअल 3D एनोटेशन की आवश्यकता नहीं होती है।
दो-चरणीय प्रशिक्षण:
- चरण 1 (ज्यामितीय मॉड्यूल प्री-ट्रेनिंग): प्री-ट्रेंड बैकबोन को फ्रीज कर दिया जाता है। केवल रे एम्बेडिंग्स, क्रॉस-व्यू फ्यूजन लेयर्स, और सहायक पॉइंट हेड को अपडेट किया जाता है, जिसमें डिस्टिलेशन लॉस प्रभावी होता है। यह ज्यामितीय मॉड्यूल को सघन टीचर सिग्नल के साथ संरेखित करता है।
- चरण 2 (फुल पॉलिसी फाइन-ट्यूनिंग): सभी पैरामीटर्स को अनफ्रीज कर दिया जाता है। एक्शन लॉस प्रभावी हो जाता है, जबकि डिस्टिलेशन लॉस एक हल्के ज्यामितीय रेगुलराइज़र के रूप में कार्य करता है। इन्फरेंस के समय, सहायक हेड और टीचर को हटा दिया जाता है; पॉलिसी को केवल RGB इमेज, प्रोप्रियोसेप्शन, लैंग्वेज और कैमरा कैलिब्रेशन की आवश्यकता होती है।

मुख्य योगदान

एक ज्यामितीय अंतराल की पहचान: पेपर यह रेखांकित करता है कि प्री-ट्रेंड VLAs में 2D-ग्राउंडेड विज़ुअल टोकन्स और सटीक हेरफेर के लिए आवश्यक कैलिब्रेटेड स्थानिक संरचना के बीच विसंगति है।
G3VLA फ्रेमवर्क: एक हल्का, बैकबोन-प्रिजर्विंग पाथवे जो बैकबोन, एक्शन स्पेस, या इमिटेशन ऑब्जेक्टिव को बदले बिना रे एम्बेडिंग्स, PRoPE, और क्रॉस-व्यू फ्यूजन के माध्यम से कैलिब्रेटेड कैमरा ज्योमेट्री को इंजेक्ट करता है।
$\pi_3X$ से ज्योमेट्री डिस्टिलेशन: एक दो-चरणीय प्रक्रिया जो कॉन्फिडेंस-गेटेड डेंस पॉइंट मैप्स के माध्यम से विज़ुअल ज्योमेट्री टीचर का उपयोग करके ज्यामितीय मॉड्यूल को सुपरवाइज करती है, जिससे मैनुअल 3D एनोटेशन या डेप्थ सेंसर की आवश्यकता समाप्त हो जाती है।
बहु-आर्किटेक्चर सत्यापन: इस पद्धति को तीन अलग-अलग VLA सिस्टम ( $\pi_0$ , $\pi_0.5$ , और GR00T 1.5) पर मान्य किया गया है, जो निरंतर लाभ प्रदर्शित करते हैं और यह अंतर्दृष्टि प्रदान करते हैं कि ज्यामितीय सिग्नल एक्शन जनरेशन तक कैसे पहुँचते हैं।

प्रयोगात्मक परिणाम

सिमुलेशन बेंचमार्क

LIBERO: $\pi_0$ बैकबोन पर, G3VLA (GT) ने मैक्रो-एवरेज सक्सेस रेट को 84.6% से बढ़ाकर 88.1% (+3.5 पॉइंट्स) कर दिया। सबसे बड़े लाभ LIBERO-Object (+5.0) और LIBERO-Spatial (+4.0) में देखे गए, जो पुष्टि करते हैं कि ऑब्जेक्ट लोकलाइजेशन और स्थानिक तर्क वाले कार्यों को सबसे अधिक लाभ होता है। G3VLA ( $\pi_3X$ ) ने भी महत्वपूर्ण लाभ (+बेसलाइन से 2.4) प्राप्त किए, जो टीचर-डिस्टिल्ड ज्योमेट्री की उपयोगिता को सिद्ध करता है।
RoboCasa24 और RoboTwin2.0: G3VLA (GT) ने RoboCasa24 (34.2% $\to$ 37.1%) और RoboTwin2.0 (44.0% $\to$ 49.0%) पर सफलता दर में सुधार किया। उल्लेखनीय रूप से, RoboTwin2.0 पर G3VLA ( $\pi_3X$ ) खराब प्रदर्शन करता है (41.0% तक गिर गया), जिसे लेखक विजुअली क्लीन, टेक्सचर-स्पार्स सिंथेटिक सीन्स में अविश्वसनीय ऑफलाइन $\pi_3X$ पॉइंट-मैप टारगेट्स के कारण बताते हैं।
बैकबोन कम्पैटिबिलिटी:
- $\pi_0.5$ : लाभ छोटे लेकिन सुसंगत थे (95.9% $\to$ 97.0%), जो मजबूत, लगभग संतृप्त बैकबोन्स के साथ अनुकूलता की पुष्टि करते हैं।
- GR00T 1.5: परिणाम मिश्रित रहे। $\pi_3X$ सुपरविजन के साथ लाभ देखे गए लेकिन GT के साथ नहीं। लेखक सुझाव देते हैं कि यह GR00T 1.5 के टू-टावर आर्किटेक्चर के कारण है, जहाँ डिफ्यूजन पॉलिसी क्रॉस-अटेंशन के माध्यम से फ्रीज़्ड VLM तक विज़ुअल फीचर्स तक पहुँचती है, जिससे ज्यामितीय सिग्नल कम हो जाता है।

वास्तविक दुनिया के परिणाम

दो हाथ वाले UR5 रोबोट पर दो कार्यों (Pick-and-Place Test Tube, Pouring Nut) के साथ मूल्यांकन करने पर, G3VLA ने आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सेटिंग्स (अनसीन कैमरा व्यू पॉइंट्स) में सबसे महत्वपूर्ण सुधार दिखाया।

"Pouring Nut" कार्य पर, G3VLA ने $\pi_0$ के लिए OOD सफलता दर को ~70-75% से बढ़ाकर ~83-87.5% कर दिया।
गुणात्मक विश्लेषण ने दिखाया कि GT-आधारित वेरिएंट्स ने मध्यवर्ती त्रुटियों के बाद मजबूत रिकवरी व्यवहार (जैसे, री-ग्रैस्पिंग, री-अलाइनिंग) प्रदर्शित किया, जो वैनिला बेसलाइन्स में अनुपस्थित था।

एब्लेशन स्टडीज

ज्यामितीय घटक: रे एम्बेडिंग्स को हटाने से सबसे बड़ी गिरावट (-2.0%) हुई, इसके बाद PRoPE को हटाना (-1.1%) आया, जो उनकी पूरक भूमिकाओं की पुष्टि करता है।
प्रशिक्षण करिकुलम: एक-चरणीय जॉइंट ट्रेनिंग के स्थान पर दो-चरणीय करिकुलम का उपयोग करने से प्रदर्शन में 0.7% की कमी आई, जो एक्शन ऑप्टिमाइजेशन से पहले ज्यामितीय पाथवे को प्री-अलाइन करने के महत्व को उजागर करता है।
सुपरविजन सोर्स: ग्राउंड-ट्रुथ सुपरविजन ने सबसे मजबूत सिग्नल प्रदान किया, लेकिन $\pi_3X$ डिस्टिलेशन ने अधिकांश लाभ को पुनः प्राप्त किया, जो जब डेप्थ उपलब्ध न हो तो एक व्यावहारिक विकल्प के रूप में कार्य करता है।

महत्व और दावे

पेपर यह दावा करता है कि कैलिब्रेटेड कैमरा ज्योमेट्री सामान्यीकृत VLA पॉलिसी के लिए स्थानिक सटीकता हेतु एक हल्का और उपयोगी इंडक्टिव बायस है। प्राथमिक महत्व यह प्रदर्शित करने में है कि बैकबोन, एक्शन स्पेस, या इमिटेशन ऑब्जेक्टिव को बदले बिना प्री-ट्रेंड VLAs के विज़ुअल-टोकन स्ट्रीम में ज्यामितीय संरचना को इंजेक्ट किया जा सकता है।

लेखक विनम्रतापूर्वक निष्कर्ष निकालते हैं कि ज्यामितीय इंजेक्शन की प्रभावशीलता आर्किटेक्चर पर निर्भर करती है: यह तब सबसे प्रभावी होती है जब ज्योमेट्री-अवेयर टोकन्स की एक्शन जनरेशन पाथवे तक सीधी पहुँच होती है (जैसा कि $\pi_0$ और $\pi_0.5$ में देखा गया है)। उन आर्किटेक्चर में जहाँ एक्शन मॉडल फीचर्स तक अप्रत्यक्ष रूप से पहुँचता है (जैसे, GR00T 1.5), लाभ कम हो जाता है। इसके अलावा, विज़ुअल ज्योमेट्री टीचर पर निर्भरता डोमेन मिसमैच (जैसे, टेक्सचर-स्पार्स सीन्स) के प्रति संवेदनशील है, जो यह सुझाव देता है कि हालांकि टीचर डिस्टिलेशन एक व्यवहार्य रणनीति है, ग्राउंड-ट्रुथ सुपरविजन उपलब्ध होने पर बेहतर रहता है।

कुल मिलाकर, G3VLA मौजूदा VLA मॉडल्स की स्थानिक सामान्यीकरण क्षमता को बढ़ाने के लिए एक व्यावहारिक दृष्टिकोण प्रदान करता है, विशेष रूपकर उन कार्यों के लिए जो ऑब्जेक्ट लोकलाइजेशन और स्थानिक संबंधों के प्रति संवेदनशील हैं, और कैमरा कैलिब्रेशन मापदंडों को एक स्ट्रक्चरल प्रायर के रूप में उपयोग करता है।