🤖 machine learning

SPEAR-1: Scaling Beyond Robot Demonstrations via 3D Understanding

SPEAR-1 एक रोबोटिक फाउंडेशन मॉडल है जो बड़े पैमाने पर, 3D-एनोटेटेड गैर-रोबोटिक डेटा पर प्रशिक्षित 3D स्थानिक तर्क क्षमताओं के साथ एक प्रीट्रेंड विजन-लैंग्वेज मॉडल को बढ़ाकर उत्कृष्ट एम्बोडीड कंट्रोल प्राप्त करता है, जिससे यह 20 $\times$ कम रोबोटिक प्रदर्शनों का उपयोग करते हुए भी अत्याधुनिक मॉडलों से बेहतर प्रदर्शन करने में सक्षम होता है।

मूल लेखक: Nikolay Nikolov, Giuliano Albanese, Sombit Dey, Aleksandar Yanev, Luc Van Gool, Jan-Nico Zaech, Danda Pani Paudel

प्रकाशित 2026-04-28

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Nikolay Nikolov, Giuliano Albanese, Sombit Dey, Aleksandar Yanev, Luc Van Gool, Jan-Nico Zaech, Danda Pani Paudel

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बच्चे को एक जटिल वीडियो गेम खेलना सिखा रहे हैं। वर्तमान की अधिकांश विधियाँ बच्चे को लाखों घंटों के पेशेवर गेमप्ले को दिखाकर सिखाने की कोशिश करती हैं। बच्चा अंततः यह सीख जाता है कि कौन से बटन दबाने हैं, लेकिन वह वास्तव में यह नहीं समझ पाता कि वह उन्हें क्यों दबा रहा है। यदि आप कंट्रोलर को हिला दें या कमरे की रोशनी बदल दें, तो बच्चा घबरा जाता है क्योंकि वह 3D स्पेस को नहीं समझता—वह केवल बटनों के पैटर्न को जानता है।

SPEAR-1 रोबोट्स को सिखाने का एक नया तरीका है जो उनके पाठ्यक्रम (curriculum) को बदल देता है। केवल उन्हें "कैसे हिलना है" दिखाने के बजाय, यह पहले उन्हें "दुनिया कैसे काम करती है" यह सिखाता है।

यहाँ बताया गया है कि उन्होंने इसे कैसे किया, कुछ सरल उपमाओं (analogies) का उपयोग करते हुए:

1. समस्या: "नकलची" रोबोट

अधिकांश वर्तमान रोबोट फाउंडेशन मॉडल्स (RFMs) अत्यधिक कुशल नकलचियों की तरह हैं। वे एक इंसान को कप हिलाते हुए देखते हैं और ठीक उसी गति की नकल करने की कोशिश करते हैं। हालाँकि, क्योंकि वे 2D छवियों (सपाट चित्रों) पर प्रशिक्षित हैं, उनमें "स्थानिक गहराई" (spatial depth) की कमी होती है। उनके लिए, एक कप केवल रंगीन पिक्सेल का एक समूह है। यदि आप कप को दो इंच बाईं ओर खिसका देते हैं या मेज का रंग बदल देते हैं, तो "नकलची" भ्रमित हो जाता है क्योंकि 2D पैटर्न बदल गया है।

2. समाधान: "3D विजन" स्कूल (SPEAR-VLM)

इससे पहले कि शोधकर्ता रोबोट को किसी वास्तविक वस्तु को छूने दें, उन्होंने उसे "स्पेशियल अवेयरनेस" (स्थानिक जागरूकता) का बूटकैंप कराया जिसे SPEAR-VLM कहा जाता है।

इसे एक व्यक्ति को केवल स्पर्श की भावना और एक मानसिक मानचित्र का उपयोग करके, आँखों पर पट्टी बांधकर एक कमरे में नेविगेट करना सीखने जैसा समझें। केवल मॉडल को सपाट तस्वीरें दिखाने के बजाय, उन्होंने उसे एक "डेप्थ सेंसर" (जैसे कि सेल्फ-ड्राइविंग कार में सेंसर होते हैं) दिया। फिर उन्होंने उससे ऐसे प्रश्न पूछे जैसे: "चम्मच, कटोरे से कितनी दूर है?" या "उस गाजर के 3D कोने क्या हैं?"

लाखों सामान्य इंटरनेट फोटो (यहाँ तक कि रोबोट वीडियो भी नहीं!) के साथ ऐसा करके, मॉडल ने एक "मानसिक 3D मानचित्र" विकसित किया। उसने सीखा कि वस्तुएं केवल सपाट आकृतियाँ नहीं हैं; वे ठोस चीजें हैं जो ऊंचाई, चौड़ाई और गहराई के साथ एक 3D दुनिया में मौजूद हैं।

3. परिणाम: "स्मार्ट एथलीट" (SPEAR-1)

एक बार जब मॉडल के पास यह 3D "मस्तिष्क" आ गया, तब उन्होंने अंततः इसे वास्तविक रोबोटिक भुजाओं (robot arms) से परिचित कराया। क्योंकि रोबोट पहले से ही 3D स्पेस को समझता था, इसलिए उसे हर एक गतिविधि के लिए अरबों उदाहरण देखने की आवश्यकता नहीं थी।

"20x दक्षता" का चमत्कार:
कल्पना कीजिए कि दो छात्र गणित की परीक्षा के लिए पढ़ाई कर रहे हैं।

छात्र A (पुराना तरीका) टेक्स्टबुक के हर एक संभावित गणित के सवाल को रटने की कोशिश करता है। पास होने के लिए उन्हें 1,000,000 सवाल देखने की आवश्यकता है।
छात्र B (SPEAR-1) पहले गणित के वास्तविक नियमों को सीखने में समय बिताता है। क्योंकि वह तर्क (logic) को समझता है, उसे पास होने के लिए केवल 50,000 सवालों को देखने की आवश्यकता है।

SPEAR-1 छात्र B है। इसने दुनिया के सर्वश्रेष्ठ रोबोट्स के समान (या बेहतर) परिणाम प्राप्त किए, जबकि इसमें 20 गुना कम वास्तविक रोबोट प्रदर्शन डेटा का उपयोग किया गया।

यह क्यों मायने रखता है?

वास्तविक रोबोट से डेटा एकत्र करना अविश्वसनीय रूप से महंगा, धीमा और थकाऊ है। आपको एक रोबोटिक हाथ को हजारों बार शारीरिक रूप से हिलाना पड़ता है, जिससे मशीन टूट सकती है या महीनों का मानव श्रम लग सकता है।

SPEAR-1 साबित करता है कि हम सिस्टम को "धोखा" दे सकते हैं। हम इंटरनेट पर पहले से उपलब्ध विशाल मात्रा में 2D छवियों और 3D डेटा का उपयोग करके रोबोट को "शुरुआती बढ़त" (head start) दे सकते हैं। यह हमें उस भविष्य के बहुत करीब लाता है जहाँ रोबोट एक बिल्कुल नए किचन में चल सकते हैं जिसे उन्होंने पहले कभी नहीं देखा है, और वे जानते हैं कि बिना किसी इंसान द्वारा हर एक मूवमेंट सिखाए, मग को कैसे पकड़ना है।

तकनीकी सारांश: SPEAR-1: 3D समझ के माध्यम से रोबोटिक प्रदर्शनों से परे विस्तार

SPEAR-1 एक रोबोटिक फाउंडेशन मॉडल है जिसे वर्तमान विजन-लैंग्वेज-एक्शन (VLA) मॉडल्स में निहित स्केलेबिलिटी और सामान्यीकरण (generalization) की बाधाओं को दूर करने के लिए डिज़ाइन किया गया है। लेखक तर्क देते हैं कि मौजूदा VLA मॉडल अनसीन (unseen) वातावरण में संघर्ष करते हैं क्योंकि वे 2D-प्रीट्रेंड विजन-लैंग्वेज मॉडल्स (VLMs) पर निर्भर हैं जिनमें भौतिक संपर्क के लिए आवश्यक 3D स्थानिक तर्क (spatial reasoning) की कमी होती है।

1. समस्या: "2D गैप" और डेटा की कमी

अधिकांश वर्तमान VLA मॉडल (जैसे, OpenVLA, CogAct) इंटरनेट-स्केल VLMs को रोबोटिक डेटा पर फाइन-ट्यून करके बनाए जाते हैं। जबकि इन VLMs में मजबूत सिमेंटिक ज्ञान है, वे 2D छवियों पर प्रशिक्षित होते हैं और उनमें अंतर्निहित ज्यामितीय समझ का अभाव होता है। फलस्वरूप, ये मॉडल अक्सर नए कैमरा एंगल्स, आउट-ऑफ-डिस्ट्रीब्यूशन बैकग्राउंड्स, या जटिल 3D स्थानिक कार्यों (जैसे, Franka/DROID सेटअप) वाले जीरो-शॉट परिदृश्यों में विफल हो जाते हैं।

इसके अलावा, रोबोटिक प्रदर्शनों (demonstrations) के माध्यम से इन मॉडल्स को स्केल करना अत्यधिक महंगा और लॉजिस्टिक रूप से कठिन है। एक ऐसे तरीके की महत्वपूर्ण आवश्यकता है जो अधिक प्रचुर, गैर-रोबोटिक 3D-एनोटेटेड इमेज डेटा के माध्यम से भारी मात्रा में महंगी रोबोटिक डेटा को "प्रतिस्थापित" कर सके।

2. कार्यप्रणाली: एक दो-चरणीय प्रशिक्षण पाइपलाइन

शोधकर्ता 2D धारणा और 3D एम्बोडीड कंट्रोल के बीच के अंतर को पाटने के लिए एक चरणबद्ध दृष्टिकोण का प्रस्ताव करते हैं।

चरण 1: SPEAR-VLM (3D-जागरूक धारणा)
सीधे रोबोटिक क्रियाओं पर जाने के बजाय, लेखक पहले एक VLM (PaliGemma) को गैर-रोबोटिक डेटा का उपयोग करके 3D स्पेस समझने के लिए उन्नत करते हैं।

आर्किटेक्चर: वे मानक SigLIP विजुअल एनकोडर के साथ एक मोनोकुलर डेप्थ एनकोडर (MoGe) को एकीकृत करते हैं। वे क्वांटाइज्ड स्थानिक निर्देशांकों (spatial coordinates) को दर्शाने के लिए टोकनाइज़र को 1,024 विशिष्ट 3D टोकन के साथ भी विस्तारित करते हैं।
डेटा जनरेशन: वे एक सेमी-ऑटोमैटिक पाइपलाइन (सेमेंटिक्स के लिए Gemini, सेगमेंटेशन के लिए SAM2, और डेप्थ के लिए MoGe) का उपयोग करके 230k गैर-रोबोटिक छवियों (EgoExo4D और Bridge-V2 से) को 3D बाउंडिंग बॉक्स, ऑब्जेक्ट डिस्टेंस और 3D कीपॉइंट्स के साथ एनोटेट करते हैं।
कार्य: VLM को 3D-केंद्रित विजुअल क्वेश्चन आंसरिंग (VQA) कार्यों पर प्रशिक्षित किया जाता है, जैसे कि "गाजर के बाउंडिंग बॉक्स के 3D निर्देशांक क्या हैं?"

चरण 2: SPEAR-1 (एम्बोडीड कंट्रोल)
इसके बाद 3D-जागरूक SPEAR-VLM का उपयोग पूर्ण VLA मॉडल के बैकबोन के रूप में किया जाता है।

आर्किटेक्चर: यह $\pi_0$ आर्किटेक्चर का अनुसरण करता है, जिसमें एक फ्लो मैचिंग एक्शन एक्सपर्ट का उपयोग किया जाता है जो रोबोटिक क्रियाओं की भविष्यवाणी करने के लिए VLM के इंटरमीडिएट फीचर्स पर अटेंड करता है।
गणितीय नवाचार: रोटेशन को अधिक प्रभावी ढंग से संभालने के लिए, वे लीनियर स्पेस के बजाय यूनिट क्वार्टरनियन्स के $S^3$ मैनिफोल्ड पर फ्लो मैचिंग लागू करते हैं, जिससे अधिक स्थिर और सटीक रोटेशन भविष्यवाणियां प्राप्त होती हैं।
प्रशिक्षण: इसे 24 Open X-Embodiment डेटासेट्स से ~45M फ्रेम्स पर प्रशिक्षित किया गया है।

3. मुख्य योगदान

SPEAR-VLM: एक अभिनव VLM जिसमें स्पष्ट 3D स्थानिक तर्क क्षमताएं (गैर-रोबोटिक डेटा से प्राप्त 3D में ऑब्जेक्ट्स को लोकलाइज़ करना) मौजूद हैं।
SPEAR-1: एक ओपन-वेट रोबोटिक्स फाउंडेशन मॉडल जो उल्लेखनीय रूप से अधिक डेटा-कुशल होते हुए भी स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है।
डेटा दक्षता रणनीति: यह प्रदर्शित करना कि 3D-एनोटेटेड 2D इमेज प्रभावी रूप से भारी मात्रा में वास्तविक दुनिया के रोबोटिक प्रदर्शनों का स्थान ले सकती हैं।

4. परिणाम और मूल्यांकन

मॉडल का मूल्यांकन सिमुलेशन (SIMPLER) और वास्तविक दुनिया के वातावरण (WidowX और Franka) में किया गया।

डेटा दक्षता: SPEAR-1 $\pi_0.5$ जैसे स्टेट-ऑफ-द-आर्ट मॉडल्स के बराबर या उनसे बेहतर प्रदर्शन करता है, जबकि इसमें 20 गुना कम रोबोटिक प्रदर्शन डेटा का उपयोग किया गया है।
जीरो-शॉट जनरलाइजेशन: चुनौतीपूर्ण फ्रैंका (DROID) सेटअप में—जिसमें अत्यधिक विविध, वास्तविक दुनिया के वातावरण शामिल हैं—SPEAR-1 $\pi_0$ -FAST से काफी बेहतर प्रदर्शन करता है और बिना किसी एनवायरनमेंट-विशिष्ट फाइन-ट्यूनिंग के $\pi_0.5$ के बराबर प्रदर्शन करता है।
WidowX प्रदर्शन: SIMPLER सिमुलेशन और वास्तविक दुनिया के WidowX कार्यों में, SPEAR-1 ने औसत कार्य प्रगति (average task progress) में OpenVLA से 10% से अधिक बेहतर प्रदर्शन किया।
एब्लेशन अंतर्दृष्टि: अध्ययन ने पुष्टि की कि VLM चरण के दौरान दोनों SigLIP और MoGe एनकोडर्स को प्रशिक्षित करना, और विशेष रूप से ऑब्जेक्ट-लेवल 3D कार्यों का उपयोग करना, डाउनस्ट्रीम रोबोटिक सफलता के लिए महत्वपूर्ण है।

5. महत्व

SPEAR-1 का महत्व स्केलिंग प्रतिमान (scaling paradigm) के बदलाव में निहित है। रोबोटिक इंटेलिजेंस को केवल एक "एक्शन-लेबल" समस्या के रूप में देखने के बजाय जिसके लिए अनंत टेलीऑपरेशन डेटा की आवश्यकता होती है, लेखक यह प्रदर्शित करते हैं कि स्थानिक बुद्धिमत्ता (spatial intelligence) को बहुत सस्ते, गैर-रोबोटिक विजुअल डेटा का उपयोग करके मॉडल में "प्री-लोड" किया जा सकता है। यह उन जनरलिस्ट रोबोट्स को विकसित करने के लिए एक स्केलेबल ब्लूप्रिंट प्रदान करता है जो अनदेखे वातावरण में उच्च विश्वसनीयता के साथ 3D दुनिया में नेविगेट और हेरफेर कर सकते हैं।