💻 computer science

Wall-OSS-0.5 Technical Report

यह शोध पत्र Wall-OSS-0.5 को प्रस्तुत करता है, जो एक ओपन-सोर्स 4B विजन-लैंग्वेज-एक्शन मॉडल है जो यह प्रदर्शित करता है कि VLA प्रीट्रेनिंग स्वयं विविध एम्बॉडिमेंट्स (embodiments) के बीच सीधे निष्पादन योग्य ज़ीरो-शॉट रोबोट व्यवहार उत्पन्न करती है और साथ ही डाउनस्ट्रीम फाइन-ट्यूनिंग प्रदर्शन को बढ़ाती है तथा ग्राउंडेड विजन-लैंग्वेज क्षमताओं को सुरक्षित रखती है।

मूल लेखक: Ryan Yu, Pushi Zhang, Starrick Liu, Brae Liu, Miracle Kang, Shalfun Li, Lights Shi, Ellie Ma, Ping Yang, Chris Pan, Jerry Chen, Dongxiu Liu, Rain Sun, Miles Guo, Byron Zhang, Hugo Zhou, Zach Xu, Vince

प्रकाशित 2026-06-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ryan Yu, Pushi Zhang, Starrick Liu, Brae Liu, Miracle Kang, Shalfun Li, Lights Shi, Ellie Ma, Ping Yang, Chris Pan, Jerry Chen, Dongxiu Liu, Rain Sun, Miles Guo, Byron Zhang, Hugo Zhou, Zach Xu, Vincent Chen, Harrison Huang, James Wang, Dance Kuzi, Andy Zhai, Hang Su, Roy Gan, Lucy Liang, Hao Wang, Qian Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ Wall-OSS-0.5 तकनीकी रिपोर्ट का हिंदी अनुवाद दिया गया है:

मुख्य विचार: "एक बार प्री-ट्रेन करें, कहीं भी कार्य करें"

कल्पना कीजिए कि आप एक रोबोट को घर के काम करना सिखाना चाहते हैं। आमतौर पर, आपको उसे बुनियादी बातें (जैसे कि कप क्या होता है) सिखानी पड़ती हैं और फिर महीनों तक उसे विशिष्ट कौशल (जैसे कि उस विशेष कप को कैसे उठाया जाए) सिखाने में बिताने पड़ते हैं।

Wall-OSS-0.5 के पीछे की टीम ने एक साहसिक प्रश्न पूछा: क्या होगा अगर हम एक रोबोट को सामान्य ज्ञान और गति के लिए इतनी अच्छी तरह से प्रशिक्षित कर सकें कि वह बिना किसी अतिरिक्त प्रशिक्षण के, सीधे डिब्बे से बाहर निकलकर वास्तविक कार्य कर सके?

उन्होंने एक रोबोटिक मस्तिष्क बनाया जिसे Wall-OSS-0.5 कहा जाता है। यह एक "विज़न-लैंग्वेज-एक्शन" (VLA) मॉडल है। इसे एक ऐसे रोबोट के रूप में समझें जो एक ही समय में देख (Vision) सकता है, निर्देशों को समझ (Language) सकता है और अपने हाथों को चला (Action) सकता है।

उन्होंने किस समस्या का समाधान किया: "पाठ्यपुस्तक बनाम अभ्यास" का अंतर

अतीत में, रोबोट के मस्तिष्क उन छात्रों की तरह थे जिन्होंने पुस्तकालय की हर पाठ्यपुस्तक तो पढ़ ली लेकिन कभी रसोई में कदम नहीं रखा। वे सिद्धांत को पूरी तरह से जानते थे लेकिन वास्तव में खाना बनाने के लिए कहा जाने पर ठिठक जाते थे।

अधिकांश पिछले रोबोट मॉडल केवल विशिष्ट कार्य के लिए 'फाइन-ट्यूनिंग' (पुनः प्रशिक्षित) करने के बाद परीक्षण किए जाते थे। इससे एक रहस्य बना रहा: क्या प्रारंभिक प्रशिक्षण ने वास्तव में रोबोट को हिलना-डुलना सिखाया था, या इसने केवल रोबोट को एक अच्छी शुरुआत दी थी?

Wall-OSS-0.5 यह सिद्ध करता है कि प्रारंभिक प्रशिक्षण वास्तव में रोबोट को हिलना-डुलना सिखाता है। किसी भी विशिष्ट "फिनिशिंग स्कूल" प्रशिक्षण से पहले भी, रोबोट एक सरल निर्देश पढ़कर फलों को छांटने, रिंग्स को एक के ऊपर एक रखने और यहाँ तक कि रस्सी को कसने (एक बहुत ही कठिन, लचीला कार्य) जैसे जटिल कार्य करने में सक्षम था।

उन्होंने यह कैसे किया: "तीन पैरों वाला स्टूल"

इसे सफल बनाने के लिए, उन्होंने केवल रोबोट को डेटा नहीं दिया; उन्होंने ग्रेडिएंट-ब्रिज्ड को-ट्रेनिंग (Gradient-Bridged Co-Training) नामक एक विशेष प्रशिक्षण विधि का उपयोग किया। कल्पना कीजिए कि रोबोट के मस्तिष्क को तीन अलग-अलग कोचों द्वारा प्रशिक्षित किया जा रहा है जो मिलकर काम कर रहे हैं:

"एक्शन कोच" (डिस्क्रीट टोकन्स): यह कोच रोबोट को वाक्य में एक शब्द की तरह अगली चाल का अनुमान लगाना सिखाता है। यह मस्तिष्क को गति का "व्याकरण" सिखाने में माहिर है। यह एक पुल के रूप में कार्य करता है, जो मुख्य मस्तिष्क को शरीर को नियंत्रित करना सीखने के लिए मजबूत संकेत भेजता है।
"समझने वाला कोच" (मल्टीमॉडल डेटा): यह कोच यह सुनिश्चित करता है कि रोबोट पढ़ना, देखना और दुनिया को समझना न भूले। यह रोबोट को वास्तविकता से जोड़े रखता है ताकि उसे पता हो कि "कप" कैसा दिखता है और "इसे सिंक में रखें" का क्या अर्थ है।
"स्मूथ ऑपरेटर कोच" (फ्लो मैचिंग): यह कोच रोबोट को झटकेदार, रोबोटिक कदमों के बजाय, एक डांसर की तरह सुचारू और निरंतर रूप से हिलना सिखाता है। वास्तविक दुनिया में काम करते समय रोबोट वास्तव में इसी का उपयोग करता है।

जादुई ट्रिक: आमतौर पर, ये कोच आपस में लड़ते हैं। "एक्शन कोच" मस्तिष्क को हिलना सिखाना चाहता है, लेकिन "स्मूथ ऑपरेटर" एक अलग भाषा का उपयोग करता है। Wall-OSS-0.5 ने उनके बीच एक पुल (Bridge) बनाया। "एक्शन कोच" उस भाषा में बोलता है जिसे मस्तिष्क सबसे अच्छी तरह समझता है, जबकि "स्मूथ ऑपरेटर" यह सुनिश्चित करता है कि अंतिम गतिविधियाँ सहज और सटीक हों।

परिणाम: एक रोबोट जो वास्तव में काम कर सकता है

उन्होंने इस रोबोट का परीक्षण एक वास्तविक भौतिक रोबोटिक आर्म पर 17 विभिन्न कार्यों के साथ किया।

जीरो-शॉट (बिना किसी अतिरिक्त प्रशिक्षण के): इन कार्यों के लिए किसी विशिष्ट प्रशिक्षण के बिना, रोबोट ने उनमें से कई को सफलतापूर्वक पूरा किया।
- ब्लॉक सॉर्टिंग (ब्लॉक छांटना): 100% सफलता।
- फ्रूट सॉर्टिंग (फल छांटना): 96% सफलता।
- रोप टाइटनिंग (रस्सी कसना): 82% सफलता (यह बहुत बड़ी बात है क्योंकि रस्सियाँ लचीली होती हैं और उन्हें नियंत्रित करना कठिन होता!)।
फाइन-ट्यूनिंग के बाद: जब उन्होंने रोबोट को 15 कार्यों के लिए थोड़ा विशिष्ट प्रशिक्षण दिया, तो वह और भी बेहतर हो गया, जिसने पिछले सर्वश्रेष्ठ रोबोट मॉडलों को एक बड़े अंतर से पीछे छोड़ दिया (17.5% बेहतर)।

यह क्यों महत्वपूर्ण है (सरल शब्दों में)

इससे पहले, लोग सोचते थे कि रोबोट को प्री-ट्रेन करना एक छात्र के अच्छे GPA देने जैसा है—यह उन्हें अंतिम परीक्षा पास करने में मदद करता है, लेकिन उन्हें अभी भी विशिष्ट टेस्ट के लिए पढ़ाई करने की आवश्यकता होती है।

Wall-OSS-0.5 दिखाता है कि प्री-ट्रेनिंग स्वयं ही परीक्षा है। रोबोट ने अपने बड़े प्रशिक्षण चरण के दौरान सामान्य "मांसपेशियों की स्मृति" (Muscle Memory) और "सामान्य समझ" (Common Sense) सीख ली। यह एक बच्चे की तरह है जो सभी प्रकार के खिलौनों के साथ खेलने और वयस्कों को हिलते-डुलते देखने के बाद, एक नए कमरे में जा सकता है और बिना यह बताए कि दरवाजा कैसे खोलना है या खिलौना कैसे उठाना है, दरवाजा खोलने या खिलौना उठाने का तरीका खुद ही समझ सकता है।

तकनीकी "सीक्रेट सॉस"

मस्तिष्क: यह एक 3-बिलियन पैरामीटर वाले "मस्तिष्क" (एक लार्ज लैंग्वेज मॉडल) पर आधारित है जिसे रोबोटिक गतिविधियों को संभालने के लिए अपग्रेड किया गया है।
डेटा: उन्होंने 20 से अधिक विभिन्न प्रकार के रोबोटों से दस लाख से अधिक रोबोटिक गतिविधियों और छवियों एवं टेक्स्ट के एक विशाल पुस्तकालय पर इसे प्रशिक्षित किया।
गति: उन्होंने रोबोट को इतना तेज़ सोचने के योग्य बनाया कि वह वास्तविक समय में (प्रति सेकंड 15 बार) एक वास्तविक हाथ को नियंत्रित कर सके, जो चीजों को गिरने से बचाने के लिए अत्यंत महत्वपूर्ण है।

सारांश

Wall-OSS-0.5 एक बड़ी उपलब्धि है क्योंकि यह सिद्ध करता है कि यदि आप सही "ब्रिज" तकनीकों का उपयोग करके पर्याप्त विविध डेटा पर एक रोबोट के मस्तिष्क को प्रशिक्षित करते हैं, तो रोबोट केवल एक स्मार्ट दर्शक नहीं बनता; बल्कि वह तुरंत एक सक्षम कर्ता (Doer) बन जाता है। यह मेज की अव्यवस्था को देख सकता है, "सफाई करो" के निर्देश को समझ सकता है, और मेज पर मौजूद प्रत्येक वस्तु के लिए मैनुअल की आवश्यकता के बिना वस्तुओं को छांटना शुरू कर सकता है।

तकनीकी सारांश: Wall-OSS-0.5

समस्या विवरण

रोबोटिक्स समुदाय ने विजन-लैंग्वेज-एक्शन (VLA) मॉडल्स को रोबोटिक पॉलिसियों के आधार के रूप में तेजी से अपनाया है। हालांकि, इन मॉडल्स के मूल्यांकन में एक महत्वपूर्ण कमी बनी हुई है: सबसे मजबूत परिणाम लगभग हमेशा केवल कार्य-विशिष्ट फाइन-ट्यूनिंग (task-specific fine-tuning) के बाद ही रिपोर्ट किए जाते हैं। यह एक मौलिक प्रश्न अनुत्तरित छोड़ देता है: क्या VLA प्रीट्रेनिंग स्वयं निष्पादनीय रोबोट व्यवहार प्रदान करती है, या यह केवल डाउनस्ट्रीम पॉलिसी लर्निंग के लिए एक बेहतर इनिशियलाइजेशन मात्र है?

वर्तमान साक्ष्य बताते हैं कि केवल प्रीट्रेनिंग सीधे उपयोग योग्य पॉलिसी उत्पन्न नहीं कर सकती है। यह शोध पत्र तर्क देता है कि VLA प्रीट्रेनिंग की विश्वसनीयता के लिए, प्रीट्रेन किया गया चेकपॉइंट किसी भी कार्य-विशिष्ट अनुकूलन से पहले, भौतिक हार्डवेयर पर दृश्यमान और निष्पादनीय क्षमताओं का प्रदर्शन करना चाहिए।

कार्यप्रणाली (Methodology)

Wall-OSS-0.5 एक ओपन-सोर्स 4B पैरामीटर वाला VLA मॉडल है जो 3B विजन-लैंग्वेज मॉडल (Qwen2.5-VL-3B-Instruct) बैकबोन पर आधारित है। इसकी आर्किटेक्चर और प्रशिक्षण रणनीति तीन आवश्यकताओं को पूरा करने के लिए डिज़ाइन की गई है: आउट-ऑफ-द-बॉक्स उपयोगी मैनिपुलेशन कौशल निष्पादित करना, VLM-व्युत्पन्न विजन-लैंग्वेज सक्षमता को बनाए रखना, और डाउनस्ट्रीम अनुकूलन के लिए मजबूत प्रायर्स (priors) प्रदान करना।

1. आर्किटेक्चर: मिक्सचर-ऑफ-ट्रांसफॉर्मर्स (MoT)

यह मॉडल एक मिक्सचर-ऑफ-ट्रांसफॉर्मर्स बैकबोन का उपयोग करता है जहाँ प्रत्येक लेयर में दो अलग-अलग एक्सपर्ट्स होते हैं:

VL एक्सपर्ट: विजन, भाषा, प्रोप्रियोसेप्शन (proprioception) और डिस्क्रीट एक्शन टोकन्स को प्रोसेस करता है।
एक्शन एक्सपर्ट: फ्लो-मैचिंग जनरेशन के लिए निरंतर (continuous) एक्शन सिग्नल्स को प्रोसेस करता है।
महत्वपूर्ण रूप से, ये एक्सपर्ट्स एक ही सीक्वेंस-लेवल अटेंशन कॉन्टेक्स्ट साझा करते हैं। यह एक्शन एक्सपर्ट को एक्शन जेनरेट करते समय विजुअल और भाषाई जानकारी पर ध्यान केंद्रित करने की अनुमति देता है, लेकिन इससे भी महत्वपूर्ण बात यह है कि यह एक्सपर्ट्स के बीच एंड-टू-एंड ग्रेडिएंट फ्लो सुनिश्चित करता है। यह एक रूटिंग डिकंपोजिशन है न कि ग्रेडिएंट-स्टॉपिंग मैकेनिज्म, जिससे निरंतर एक्शन पाथवे प्रशिक्षण के दौरान बैकबोन को आकार देने में सक्षम होता है।

2. ग्रेडिएंट-ब्रिज्ड को-ट्रेनिंग (Gradient-Bridged Co-Training)

मुख्य पद्धतिगत योगदान एक सिंगल-स्टेज को-ट्रेनिंग रेसिपी है जो तीन पूरक उद्देश्यों को एक साथ ऑप्टिमाइज़ करती है:

डिस्क्रीट एक्शन टोकन प्रेडिक्शन (द ग्रेडिएंट ब्रिज): मॉडल ऑटोरिग्रेसिवली रेजिडुअल वेक्टर क्वांटाइजेशन (RVQ) एक्शन टोकन्स की भविष्यवाणी करता है। यह एक मजबूत, VLM-नेटिव क्रॉस-एन्ट्रॉपी सिग्नल प्रदान करता है जो बैकबोन को कंट्रोल के अनुरूप दिशा में अपडेट करता है। यह बैकबोन अपडेट्स के प्राथमिक चालक के रूप में कार्य करता है।
मल्टीमॉडल क्रॉस-एन्ट्रॉपी (द एंकर): ग्राउंडेड विजन-लैंग्वेज डेटा पर प्रशिक्षित, यह उद्देश्य निर्देश पालन (instruction following), विजुअल ग्राउंडिंग और सीन अंडरस्टैंडिंग को सुरक्षित रखता है। इसका अपडेट डायरेक्शन मुख्य रूप से एक्शन ऑप्टिमाइजेशन के लंबवत (orthogonal) है, जो मॉडल को सामान्य VLM क्षमताओं को खोने से रोकता है।
कंटीन्यूअस फ्लो मैचिंग (द डिप्लॉयमेंट इंटरफेस): एक्शन एक्सपर्ट को फ्लो मैचिंग का उपयोग करके निरंतर एक्शन चंक्स जेनरेट करने के लिए प्रशिक्षित किया जाता है। जबकि यह निष्पादन उद्देश्य (execution objective) को परिभाषित करता है, एब्लेशन स्टडीज से पता चलता है कि यह बैकबोन अपडेट्स में केवल एक छोटा (~5%) हिस्सा योगदान देता है।

मुख्य अंतर्दृष्टि: डिस्क्रीट पाथवे मुख्य रूप से बैकबोन को आकार देने के लिए प्रशिक्षण के समय एक "ग्रेडिएंट ब्रिज" के रूप में कार्य करता है, जबकि निरंतर पाथवे डिप्लॉयमेंट के समय एक इंटरफेस के रूप में कार्य करता है।

3. विजन-अलाइन्ड RVQ एक्शन टोकनाइज़र

नियम-आधारित टोकनाइज़र्स (जैसे FAST) को बदलने के लिए, लेखक एक सीखा हुआ विजन-अलाइन्ड रेजिडुअल वेक्टर क्वांटाइजेशन (RVQ) टोकनाइज़र पेश करते हैं। यह ऑब्जर्वेशन-कंडीशंड डेल्टा एक्शन सीक्वेंस को डिस्क्रीट टोकन्स में कंप्रेस करता है। मानक कंप्रेसर्स के विपरीत, इसे सहायक उद्देश्यों के साथ प्रशिक्षित किया गया है:

विजुअल-एक्शन अलाइनमेंट: एक्शन लेटेंट्स को VLM विजुअल फीचर्स की ओर खींचता है।
नेक्स्ट-फ्रेम प्रेडिक्शन: टोकन्स को एक्शन के परिणामों को एनकोड करने के लिए प्रोत्साहित करता है।
DCT-डोमेन रिकंस्ट्रक्शन: हाई-फ्रीक्वेंसी जिटर (jitter) को दबाता है।
यह सुनिश्चित करता है कि डिस्क्रीट टोकन्स VLM बैकबोन के लिए अर्थपूर्ण हों।

4. एक्शन-स्पेस सुपरविजन

फ्लो-मैचिंग उद्देश्य के लिए, लेखक एक्शन-स्पेस सुपरविजन का प्रस्ताव करते हैं। वेलोसिटी फील्ड पर लॉस मिनिमाइज करने के बजाय (स्टैंडर्ड फ्लो मैचिंग), लॉस को रिकवर्ड एक्शन पर परिभाषित किया गया है। यह फॉर्मूलेशन प्रभावी रूप से इसे $(1-\tau)^2$ द्वारा वेट करता है, जो उन हाई-नॉइज़ टाइमस्टेप्स पर जोर देता है जहाँ ग्लोबल ट्राजेक्टरी का आकार बनता है। यह रोबोटिक एक्शन की स्पेक्ट्रल संरचना के साथ संरेखित है, जो कम-फ्रीक्वेंसी ट्रेंड्स में उपयोगी टास्क स्ट्रक्चर को केंद्रित करते हैं।

5. डेटा और इन्फरेंस

डेटा: मॉडल को प्रति एपोक 1 मिलियन से अधिक रोबोट ट्राजेक्टरीज (>20 एम्बॉडमेंट्स से) और 90M-सैंपल मल्टीमॉडल कॉर्पस के मिश्रण पर प्रीट्रेन किया गया है। कॉर्पस में "एम्बॉडीड ब्रिज" सैंपल्स शामिल हैं जिन्हें एक्शन ट्राजेक्टरीज से सिंथेसाइज किया गया है ताकि मल्टीमॉडल अंडरस्टैंडिंग को सीधे निष्पादनीय व्यवहार से जोड़ा जा सके।
इन्फरेंस: CUDA ग्राफ्स और फ्यूज्ड कर्नेल्स का उपयोग करने वाला एक डिप्लॉयमेंट-ग्रेड इन्फरेंस स्टैक PyTorch ईगर मोड की तुलना में 4× स्पीडअप प्राप्त करता है, जो हाई रेजोल्यूशन पर 15 Hz कंट्रोल बनाए रखता है।

मुख्य परिणाम

ज़ीरो-शॉट रियल-रोबोट परफॉरमेंस

बिना किसी कार्य-विशिष्ट फाइन-ट्यूनिंग के, 17-टास्क रियल-रोबोट सूट (जिसमें होल्ड-आउट डिफॉर्मेबल टास्क शामिल हैं) पर मूल्यांकन करने पर, प्रीट्रेन किया गया Wall-OSS-0.5 गैर-तुच्छ (non-trivial) व्यवहार प्रदर्शित करता है:

ब्लॉक सॉर्टिंग: 100% टास्क प्रोग्रेस।
फ्रूट सॉर्टिंग: 96%।
रिंग स्टैकिंग: 86%।
रोप टाइटनिंग (होल्ड-आउट डिफॉर्मेबल): 82%।
मॉडल यह प्रदर्शित करता है कि केवल प्रीट्रेनिंग ही पुन: प्रयोज्य मैनिपुलेशन क्षमताएं प्रदान करती है, विशेष रूप से उन कार्यों के लिए जो सिमेंटिक ग्राउंडिंग द्वारा संचालित होते हैं।

फाइन-ट्यूनिंग परफॉरमेंस

15 रियल-रोबोट टास्क पर फाइन-ट्यूनिंग के बाद:

Wall-OSS-0.5 औसत टास्क प्रोग्रेस 60.5% प्राप्त करता है।
यह $\pi_0.5$ से 17.5% ( $\pi_0.5$ : 43.0% बनाम 60.5%) और DreamZero से 27.1% बेहतर प्रदर्शन करता है।
यह 15 में से 10 कार्यों में अग्रणी है, जो मैनिपुलेशन में महत्वपूर्ण लाभ दिखाता है ( $\pi_0.5$ के लिए 35.0% बनाम 61.1%)।

मल्टीमॉडल अंडरस्टैंडिंग

को-ट्रेनिंग सामान्य विजन-लैंग्वेज सक्षमता को कम नहीं करती है। हालांकि सामान्य VQA प्रदर्शन थोड़ा कम होता है (विशेषज्ञता के लिए एक ट्रेड-ऑफ), एम्बॉडीड ग्राउंडिंग काफी बेहतर हो जाती है:

एम्बॉडीड ग्राउंडिंग: +21.8% गेन।
Where2Place: +11.0% गेन।
यह पुष्टि करता है कि मॉडल अपनी मौलिक VLM क्षमताओं को खोए बिना एम्बॉडीड परसेप्शन को मजबूत करता है।

एब्लेशन स्टडीज

को-ट्रेनिंग बनाम विकल्प: पूर्ण ग्रेडिएंट-ब्रिज्ड को-ट्रेनिंग रणनीति रियल-रोबोट टास्क पर "फ्लो-ओनली", "स्टॉप-ग्रेडिएंट", और "टू-स्टेज" दृष्टिकोणों की तुलना में 7.4–25.1 प्रतिशत अंक बेहतर प्रदर्शन करती है।
एक्शन-स्पेस लॉस: सिमुलेशन में वेलोसिटी-स्पेस लॉस की तुलना में कन्वर्जेंस स्पीड और पीक परफॉरमेंस (96.5% सफलता दर) में सुधार करता है।
RVQ टोकनाइज़र: VQA सटीकता (+1.8%) और टास्क प्रोग्रेस (+18.9%) दोनों में FAST टोकनाइज़र्स से बेहतर है।

महत्व और दावे

यह शोध पत्र VLA प्रीट्रेनिंग को केवल एक इनिशियलाइजेशन रणनीति से बदलकर एक सीधे परीक्षण योग्य, पहले से उपयोगी रोबोट क्षमता के स्रोत के रूप में स्थापित करने का दावा करता है।

प्रीट्रेनिंग निष्पादनीय व्यवहार प्रदान करती है: परिणाम प्रदर्शित करते हैं कि बड़े पैमाने पर VLA प्रीट्रेनिंग अकेले भौतिक रोबोटों पर मापने योग्य, उच्च-प्रगति वाला ज़ीरो-शॉट व्यवहार उत्पन्न कर सकती है, जो इस धारणा को चुनौती देती है कि प्रीट्रेनिंग केवल डाउनस्ट्रीम फाइन-ट्यूनिंग के लिए उपयोगी है।
ग्रेडिएंट ब्रिज निर्णायक है: लेखक तर्क देते हैं कि डिस्क्रीट एक्शन टोकन्स केवल एक डिप्लॉयमेंट आर्टिफैक्ट नहीं हैं बल्कि एक महत्वपूर्ण प्रशिक्षण तंत्र हैं। वे वह मजबूत ग्रेडिएंट सिग्नल प्रदान करते हैं जो बैकबोन को कंट्रोल की ओर आकार देने के लिए आवश्यक है, एक ऐसी भूमिका जिसे केवल निरंतर फ्लो मैचिंग प्रभावी ढंग से पूरा नहीं कर सकता है।
एकीकृत आर्किटेक्चर: साझा अटेंशन के साथ MoT आर्किटेक्चर का उपयोग करके, Wall-OSS-0.5 सफलतापूर्वक VLM बैकबोन के लिए ग्रेडिएंट फ्लो को तोड़े बिना एक्शन जनरेशन को एकीकृत करता है, जिससे मॉडल को अपनी सिमेंटिक समझ बनाए रखते हुए कंट्रोल-संबंधित फीचर्स सीखने की अनुमति मिलती है।
ओपन-सोर्स बेंचमार्क: एक ऐसा 4B मॉडल जारी करके जो आउट-ऑफ-द-बॉक्स काम करता है, लेखक "फाइन-ट्यून्ड क्षमता" के बजाय "प्रीट्रेन की गई क्षमता" का मूल्यांकन करने के लिए एक नया बेसलाइन प्रदान करते हैं।

लेखक निष्कर्ष निकालते हैं कि पर्याप्त बड़े पैमाने पर VLA प्रीट्रेनिंग वास्तविक दुनिया के रोबोटिक व्यवहार को उत्पन्न कर सकती है, और परिणामी चेकपॉइंट पिछले दृष्टिकोणों की तुलना में डाउनस्ट्रीम अनुकूलन के लिए एक काफी मजबूत प्रायर (prior) के रूप में कार्य करता है।