🤖 machine learning

Geometric Action Model for Robot Policy Learning

यह शोध पत्र ज्योमेट्रिक एक्शन मॉडल (GAM) को प्रस्तुत करता है, जो एक भाषा-सशर्त हेरफेर नीति (language-conditioned manipulation policy) है जो एक पूर्व-प्रशिक्षित ज्योमेट्रिक फाउंडेशन मॉडल को एक कॉज़ल फ्यूचर प्रेडिक्टर (causal future predictor) को एकीकृत करने के लिए विभाजित करके उसे पुन: उपयोग करती है, जिससे समृद्ध ज्योमेट्रिक प्रायर्स (geometric priors) को संरक्षित करते हुए रोबोट नियंत्रण के लिए कुशल, सटीक और सुदृढ़ 3D तर्क को सक्षम बनाया जा सके।

मूल लेखक: Jisang Han, Seonghu Jeon, Jaewoo Jung, René Zurbrügg, Honggyu An, Tifanny Portela, Marco Hutter, Marc Pollefeys, Seungryong Kim, Sunghwan Hong

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jisang Han, Seonghu Jeon, Jaewoo Jung, René Zurbrügg, Honggyu An, Tifanny Portela, Marco Hutter, Marc Pollefeys, Seungryong Kim, Sunghwan Hong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को घर के काम करना सिखा रहे हैं, जैसे ब्लॉक्स को एक के ऊपर एक रखना या चूल्हे पर बर्तन रखना। एक रोबोट के लिए इसे अच्छी तरह से करने के लिए, उसे एक साथ तीन चीजों को समझना होगा: आपने उसे क्या करने के लिए कहा (भाषा), वह अभी क्या देख रहा है (दृष्टि/विज़न), और जब वह हिलता है तो दुनिया कैसे बदलेगी (भौतिकी/ज्यामिति)।

वर्तमान के अधिकांश रोबोट "दिमाग" उन लोगों की तरह हैं जो केवल सपाट, 2D तस्वीरों को देखते हैं। वे वस्तुओं को पहचानने में माहिर हैं लेकिन गहराई, दूरी, या किसी चीज़ के धक्का दिए जाने पर कैसे गिर सकती है, यह समझने में संघर्ष करते हैं। उन्हें एक सपाट तस्वीर देखकर दुनिया के 3D आकार का अनुमान लगाना पड़ता है, जो बिल्कुल वैसा ही है जैसे किसी पोस्टकार्ड को देखकर पहाड़ के आकार का अंदाजा लगाना।

यह शोध पत्र एक नया रोबोट दिमाग पेश करता है जिसे GAM (जियोमेट्रिक एक्शन मॉडल) कहा जाता है। यह कैसे काम करता है, इसके लिए यहाँ सरल उपमाएँ दी गई हैं:

1. "पूर्व-प्रशिक्षित वास्तुकार" (द फाउंडेशन मॉडल)

शोधकर्ताओं ने शून्य से रोबोट का दिमाग नहीं बनाया। इसके बजाय, उन्होंने एक विशाल, पूर्व-प्रशिक्षित "जियोमेट्रिक फाउंडेशन मॉडल" (GFM) लिया। इस GFM को एक सुपर-आर्किटेक्ट (महा-वास्तुकार) के रूप में सोचें जिसने वर्षों तक ब्लूप्रिंट और 3D संरचनाओं का अध्ययन किया है। यह आर्किटेक्ट पहले से ही जानता है कि सपाट तस्वीरों को विस्तृत 3D मानचित्रों में कैसे बदला जाए। यह गहराई, पैमाने और यह समझता है कि वस्तुएं स्थान को कैसे घेरती हैं।

2. "स्प्लिट एंड इंसर्ट" (विभाजित और सम्मिलित) रणनीति

आमतौर पर, लोग इस सुपर-आर्किटेक्ट का उपयोग केवल कमरे को देखने और उसका वर्णन करने के लिए करते हैं, और फिर वह विवरण एक अलग "करने वाले" रोबोट को सौंप देते हैं। GAM इस खेल को बदल देता है क्योंकि यह आर्किटेक्ट को दो हिस्सों में बांटता है और बीच में एक नया "प्लानर" (योजनाकार) डाल देता है।

ऊपरी हिस्सा (आंखें): आर्किटेक्ट का पहला भाग वर्तमान कैमरा फोटो को देखता है और उन्हें एक 3D मानसिक मानचित्र में बदल देता है।
मध्य भाग (समय-यात्री): आर्किटेक्ट के ठीक बीच में, शोधकर्ताओं ने एक विशेष "कॉज़ल फ्यूचर प्रेडिक्टर" (कारण-भविष्य भविष्यवक्ता) डाला है। इसे एक समय-यात्रा करने वाला योजनाकार मान लें। यह वर्तमान 3D मानचित्र लेता है, आपके निर्देशों को सुनता है ("कप को यहाँ रखो"), और पूछता है: "यदि मैं अपने हाथ को इस तरह हिलाता हूँ, तो एक सेकंड बाद 3D दुनिया कैसी दिखेगी?"
निचला हिस्सा (हाथ): आर्किटेक्ट का दूसरा भाग उस भविष्य के 3D अनुमान को लेता है और यह पता लगाता है कि रोबोट को उस भविष्य को सच करने के लिए अपने हाथ को ठीक से कैसे हिलाना चाहिए।

3. यह एक बड़ी बात क्यों है

अधिकांश अन्य रोबोट मॉडल भविष्य की भविष्यवाणी 2D में (जैसे एक वीडियो गेम में) करने या अंत में 3D आकार का अनुमान लगाने की कोशिश करते हैं। GAM इसे अलग तरह से करता है:

यह शुरुआत से ही 3D में सोचता है: क्योंकि यह हर चीज़ के लिए आर्किटेक्ट के 3D ज्ञान का उपयोग करता है, इसलिए रोबोट को यह अनुमान लगाने की ज़रूरत नहीं है कि कोई वस्तु दूर है या पास। वह जानता है।
यह एक "वन-पास वंडर" है: अन्य मॉडलों को अक्सर एक एकल चाल को समझने के लिए एक जटिल, धीमी प्रक्रिया (जैसे एक डिफ्यूजन मॉडल) को कई बार चलाना पड़ता है, जो एक चित्रकार द्वारा पूरी कैनवास को बार-बार फिर से पेंट करके अपनी गलती सुधारने के प्रयास जैसा है। GAM एक स्केच आर्टिस्ट (रेखाचित्रकार) की तरह है जो एक ही बार में, एक त्वरित और आत्मविश्वासी स्ट्रोक में पूरी योजना बना लेता है।
यह तेज़ और हल्का है: क्योंकि यह इतना कुशल है, यह सबसे बड़े और सबसे धीमे मॉडलों में से कुछ की तुलना में 55 गुना तेज़ चलता है और बहुत कम कंप्यूटर मेमोरी का उपयोग करता है।

4. परिणाम: मजबूती (Robustness)

शोधकर्ताओं ने इस रोबोट का दो तरीकों से परीक्षण किया:

सिमुलेशन: एक कंप्यूटर दुनिया में जहाँ उन्होंने लाइटिंग बदली, कैमरों को हिलाया और बैकग्राउंड को अस्त-व्यस्त कर दिया।
वास्तविक जीवन: एक वास्तविक कमरे में एक वास्तविक रोबोटिक हाथ पर।

"पर्टरबेशन" (अशांति) की उपमा:
कल्पना कीजिए कि आप एक कमरे में चल रहे हैं। यदि लाइट झपकाती है या कोई कुर्सी हटा देता है, तो केवल 2D फोटो देखने वाला रोबोट भ्रमित हो सकता है और सोच सकता है कि कुर्सी गायब हो गई या अपनी जगह बदल ली।

पुराने रोबोट: जब कैमरा एंगल थोड़ा सा भी बदलता था, तो उनकी सफलता दर नाटकीय रूप रूप से गिर जाती थी (जैसे एक ड्राइवर जो GPS सिग्नल कमजोर होने पर रास्ता भटक जाता है)।
GAM: क्योंकि यह कमरे की वास्तविक 3D ज्यामिति को समझता है, इसे इस बात से फर्क नहीं पड़ता कि कैमरा हिला या रोशनी बदली। इसे पता है कि स्थान में वस्तुएं कहाँ हैं। उन परीक्षणों में जहाँ कैमरे को एक अजीब कोण पर ले जाया गया था, GAM सफल रहा जबकि अन्य विफल हो गए।

सारांश

GAM एक रोबोट पॉलिसी है जो एक "3D विशेषज्ञ" (एक जियोमेट्रिक फाउंडेशन मॉडल) को लेती है, उसे बीच से काटती है, और उसके अंदर एक "फ्यूचर प्लानर" डाल देती है। यह रोबोट को एक ही समय में 3D में देखने, 3D में भविष्य की भविष्यवाणी करने और 3D में कार्य करने में सक्षम बनाता है। परिणाम स्वरूप, यह एक ऐसा रोबोट है जो वर्तमान अत्याधुनिक रोबोटों की तुलना में तेज़, छोटा और वास्तविक दुनिया की अव्यवस्था (जैसे चलते हुए कैमरे या बदलती रोशनी) को संभालने में बहुत बेहतर है।

तकनीकी सारांश: रोबोट पॉलिसी लर्निंग के लिए ज्यामितीय एक्शन मॉडल (Geometric Action Model)

समस्या विवरण (Problem Statement)

सामान्यीकृत रोबोट हेरफेर (manipulation) नीतियों के विकास के लिए ऐसे मॉडलों की आवश्यकता है जो प्राकृतिक भाषा निर्देशों का पालन कर सकें और 3D भौतिक स्थान में वस्तुओं, कैमरों और रोबोटिक क्रियाओं के बीच जटिल अंतःक्रियाओं के बारे में तर्क कर सकें। जबकि हालिया विजन-लैंग्वेज-एक्शन (VLA) मॉडल और वीडियो वर्ल्ड-एक्शन (WAM) मॉडल सिमेंटिक या टेम्पोरल प्रायर्स (priors) के लिए बड़े पैमाने के फाउंडेशन मॉडल्स का लाभ उठाते हैं, वे मुख्य रूप से 2D इमेज फ्रेम्स या 2D-व्युत्पन्न लेटेंट स्पेस पर कार्य करते हैं। फलस्वरूप, महत्वपूर्ण 3D संकेत—जैसे कि गहराई (depth), स्केल और ऑक्लूजन (occlusion)—अंतर्निहित (implicit) रह जाते हैं। यह सीमा पर्यावरणीय परिवर्तनों, विशेष रूप से रोबोट की प्रारंभिक अवस्था और कैमरा व्यू पॉइंट्स के संबंध में सामान्यीकरण (generalization) को बाधित करती है। ज्यामितीय फाउंडेशन मॉडल्स (GFM) को शामिल करने के मौजूदा प्रयास अक्सर GFM को केवल एक स्टैटिक फीचर एक्सट्रैक्टर के रूप में देखते हैं या उनके फीचर्स को VLA बैकबोन में डिस्टिल (distill) करते हैं, जिससे GFM की मल्टी-लेयर ज्यामितीय संरचना को पॉलिसी के अपने टेम्पोरल और एक्शन-जेनरेटिंग सबस्ट्रेट (substrate) के रूप में पुन: उपयोग करने में विफलता होती है।

कार्यप्रणाली: ज्यामितीय एक्शन मॉडल (GAM)

लेखक 'ज्यामितीय एक्शन मॉडल' (GAM) का प्रस्ताव करते हैं, जो एक लैंग्वेज-कंडीशन्ड मैनिपुलेशन पॉलिसी है जो प्रत्यक्ष रूप से एक प्री-ट्रेन्ड ज्यामितीय फाउंडेशन मॉडल (GFM) को धारणा (perception), टेम्पोरल प्रेडिक्शन और एक्शन डिकोडिंग के लिए एक साझा सबस्ट्रेट के रूप में पुन: उपयोग करती है।

मुख्य आर्किटेक्चर (Core Architecture)

GAM एक प्री-ट्रेन्ड GFM (जैसे, DA3) को एक मध्यवर्ती परत $L_s$ पर विभाजित करके और शैलो (shallow) और डीप (deep) परतों के बीच एक कॉज़ल फ्यूचर प्रेडिक्टर (Causal Future Predictor) को सम्मिलित करके कार्य करता है। यह फ्रेमवर्क तीन क्रमिक चरणों में कार्य करता है:

ऑब्जर्वेशन एनकोडिंग (Observation Encoding): GFM की शैलो लेयर्स ( $E_{\le L_s}$ ) एक ऑब्जर्वेशन एनकोडर के रूप में कार्य करती हैं। वे लेटेंट ज्यामितीय फीचर्स निकालने के लिए मल्टी-व्यू RGB ऑब्जर्वेशन को प्रोसेस करती हैं, जिससे प्रति-टाइमस्टेप ज्यामितीय लेटेंट स्टेट्स का एक सीक्वेंस उत्पन्न होता है।
कॉज़ल फ्यूचर प्रेडिक्शन (Causal Future Prediction): स्प्लिट लेयर पर, एक कॉज़ल ट्रांसफार्मर प्रेडिक्टर ( $g_\phi$ $g_{ϕ}$ ) डाला जाता है। यह वर्तमान ज्यामितीय लेटेंट टोकन्स को लेता है, जो टास्क इंस्ट्रक्शन्स (एक फ्रोजन टेक्स्ट एनकोडर के माध्यम से) के टोकन्स, प्रोप्रियोसेप्टिव स्टेट्स और एक्शन हिस्ट्री के साथ संयोजित होते हैं। ब्लॉक-कॉज़ल सेल्फ-अटेंशन का उपयोग करते हुए, यह प्रेडिक्टर दो आउटपुट को एक साथ पूर्वानुमानित (forecast) करता है:
- भविष्य के लेटेंट ज्यामितीय टोकन्स ( $\tilde{Z}^{(L_s)}_{t+1}$ )।
- एक प्रेडिक्टेड नेक्स्ट एक्शन टोकन ( $\tilde{a}_t$ )।
  यह डिज़ाइन मॉडल को न्यूनतम आर्किटेक्चरल संशोधन के साथ लैंग्वेज-कंडीशन्ड टेम्पोरल वर्ल्ड मॉडलिंग सीखने की अनुमति देता है, क्योंकि केवल डाला गया प्रेडिक्टर ही GFM फीचर्स के साथ भाषा, प्रोप्रियोसेप्शन और एक्शन हिस्ट्री के फ्यूजन को सीखने के लिए उत्तरदायी है।
फीचर प्रोपेगेशन और डिकोडिंग (Feature Propagation and Decoding): प्रेडिक्टेड फ्यूचर टोकन्स और एक्शन टोकन को शेष डीप GFM ब्लॉक्स ( $D_{>L_s}$ $D_{> L_{s}}$ ) के माध्यम से रूट किया जाता है। ये डीप ब्लॉक्स, जिन्हें मूल रूप से शैलो फीचर्स को 3D ज्योमेट्री में डिकोड करने के लिए प्री-ट्रेन किया गया था, उन्हें प्रेडिक्टेड फ्यूचर टोकन्स को डिकोड करने के लिए पुन: उपयोग किया जाता है। यह चरण निम्नलिखित उत्पन्न करता है:
- फ्यूचर ज्योमेट्री (Future Geometry): GFM के डेप्थ हेड के माध्यम से एक्शन-अलाइन्ड फ्यूचर डेप्थ मैप्स के रूप में डिकोड की जाती है।
- एक्शन चंक (Action Chunk): एक लाइटवेट एक्शन हेड के माध्यम से निष्पादन योग्य डेल्टा-पोज़ या जॉइंट कमांड के रूप में डिकोड किया जाता है।

ट्रेनिंग ऑब्जेक्टिव (Training Objective)

पॉलिसी को एक मल्टी-टास्क लॉस फंक्शन का उपयोग करके एंड-टू-एंड प्रशिक्षित किया जाता है:
$\mathcal{L}_{total} = \lambda_{act}\mathcal{L}_{act} + \lambda_{feat}\mathcal{L}_{feat} + \lambda_{depth}\mathcal{L}_{depth}$

एक्शन लॉस ( $\mathcal{L}_{act}$ ): डिकोड किए गए एक्शन चंक और एक्सपर्ट एक्शन्स के बीच $\ell_1$ रिग्रेशन।
फीचर लॉस ( $\mathcal{L}_{feat}$ ): प्रेडिक्टेड फ्यूचर लेटेंट टोकन्स को वास्तविक अगले फ्रेम के लेटेंट टोकन्स (जो एक फ्रोजन GFM से निकाले गए हैं) के साथ संरेखित (align) करता है ताकि प्रेडिक्टर को टेम्पोरल ज्यामितीय ट्रांज़िशन के साथ एंकर किया जा सके।
डेप्थ लॉस ( $\mathcal{L}_{depth}$ ): डिकोड किए गए फ्यूचर डेप्थ मैप्स को स्केल-इनवेरिएंट और ग्रेडिएंट-मैचिंग पेनल्टी का उपयोग करके ग्राउंड-ट्रुथ फ्यूचर डेप्थ (या वास्तविक दुनिया की सेटिंग्स में स्यूडो-लेबल्स) के विरुद्ध सुपरवाइज करता है।

मुख्य योगदान (Key Contributions)

यूनिफाइड आर्किटेक्चर: GAM एक सिंगल शेयर्ड-बैकबोन आर्किटेक्चर पेश करता है जो टेम्पोरल वर्ल्ड मॉडलिंग, लेटेंट फीचर-स्पेस प्रेडिक्शन और एक ज्यामितीय फाउंडेशन मॉडल सबस्ट्रेट को जोड़ता है।
शेयर्ड टोकन स्पेस प्रेडिक्शन: लेखक प्रदर्शित करते हैं कि एक्शन और ज्योमेट्री को एक साझा ऑटोरिग्रेसिव टोकन सीक्वेंस के भीतर प्रेडिक्ट किया जा सकता है। एक सिंगल फॉरवर्ड पास दोनों एक्शन टोकन्स और फ्यूचर-सीन टोकन्स को उत्पन्न करता है, जिन्हें अलग-अलग हेड्स या डिफ्यूजन प्रक्रियाओं पर निर्भर रहने के बजाय, लाइटवेट हेड्स द्वारा डिकोड किया जाता है।
GFMs का पुन: उपयोग: पूर्ववर्ती कार्यों के विपरीत जो GFMs को स्टैटिक एक्सट्रैक्टर्स के रूप में उपयोग करते हैं, GAM प्रेडिक्टेड फ्यूचर टोकन्स को डिकोड करने के लिए GFM के डीप ब्लॉक्स को स्पष्ट रूप से पुन: उपयोग करता है, जिससे डायनेमिक वर्ल्ड मॉडलिंग के लिए उनके ज्यामितीय प्रायर्स का पूर्ण लाभ मिलता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विविध सिमुलेशन (LIBERO, LIBERO-Plus) और रियल-वर्ल्ड रोबोट मैनिपुलेशन बेंचमार्क पर GAM का मूल्यांकन किया।

बेसलाइन्स के मुकाबले प्रदर्शन: GAM वर्तमान फाउंडेशन-मॉडल-स्केल बेसलाइन्स (VLAs और WAMs) के तुलनीय या उनसे अधिक सफलता दर प्राप्त करता है, जबकि इसमें काफी कम पैरामीटर्स (1.4B बनाम 7B+) का उपयोग किया गया है।
मजबूती (Robustness): GAM आउट-ऑफ-डिस्ट्रीब्यूशन परटर्बेशन्स के प्रति बेहतर मजबूती प्रदर्शित करता है। विशेष रूप से, LIBERO-Plus के कैमरा-परटर्बेशन सेटिंग में, GAM सर्वश्रेष्ठ बेसलाइन से 9.7 प्रतिशत अंक अधिक प्रदर्शन करता है।
दक्षता (Efficiency): GAM 6.9 ms (लगभग 145 Hz) का सिंगल फीड-फॉरवर्ड इन्फरेंस लेटेंसी प्राप्त करता है, जो डिफ्यूजन-आधारित पॉलिसियों जैसे Cosmos-Policy की तुलना में लगभग 55 गुना तेज़ है।
रियल-वर्ल्ड ट्रांसफर: चार मैनिपुलेशन कार्यों से जुड़े वास्तविक दुनिया के प्रयोगों में, GAM ने बेसलाइन्स (जिसमें $\pi0.5$ और स्पेशियल फोर्सिंग शामिल हैं) को काफी पीछे छोड़ दिया, और उन कैमरा परटर्बेशन्स के तहत भी मजबूती बनाए रखी जहाँ अन्य मॉडल संघर्ष कर रहे थे।

महत्व और दावे (Significance and Claims)

लेखक दावा करते हैं कि GAM 2D-केंद्रित फाउंडेशन मॉडल्स में निहित स्थानिक अस्पष्टताओं (spatial ambiguities) को हल करके जनरलिस्ट रोबोट पॉलिसियों की दिशा में एक महत्वपूर्ण कदम है। अपनी पॉलिसी के प्रेडिक्टिव पाथवे में ज्यामितीय वर्ल्ड डायनेमिक्स को सीधे एकीकृत करके, GAM उच्च सटीकता, पर्यावरणीय परिवर्तनों के प्रति मजबूती और कम्प्यूटेशनल दक्षता का संतुलन प्राप्त करता है। लेखक यह तर्क देते हैं कि उनका दृष्टिकोण यह सिद्ध करता है कि एक्शन और ज्योमेट्री को एक साझा लेटेंट स्पेस में प्रभावी ढंग से मॉडल किया जा सकता है, जिससे एक सिंगल बैकबोन धारणा, भविष्य की स्थिति का पूर्वानुमान और नियंत्रण को संभालने में सक्षम हो जाता है।

लेखक सीमाओं को स्वीकार करते हुए नोट करते हैं कि मॉडल की लैंग्वेज रीजनिंग और कॉमन सेंस क्षमताएं उपयोग किए गए फ्रोजन टेक्स्ट एनकोडर द्वारा सीमित हैं, जो यह सुझाव देता है कि एक बड़े लैंग्वेज मॉडल या बाहरी रीजनिंग मॉड्यूल को एकीकृत करना भविष्य के कार्य के लिए एक स्वाभाविक दिशा है।