💻 computer science

Wall-OSS-0.5 Technical Report

Het artikel introduceert Wall-OSS-0.5, een open-source 4B Vision-Language-Action model dat aantoont dat VLA-pretraining op zichzelf direct uitvoerbaar zero-shot robotgedrag over diverse belichamingen oplevert, terwijl het tegelijkertijd de prestaties van downstream fine-tuning verbetert en gegronde visuele-linguïstische capaciteiten behoudt.

Oorspronkelijke auteurs: Ryan Yu, Pushi Zhang, Starrick Liu, Brae Liu, Miracle Kang, Shalfun Li, Lights Shi, Ellie Ma, Ping Yang, Chris Pan, Jerry Chen, Dongxiu Liu, Rain Sun, Miles Guo, Byron Zhang, Hugo Zhou, Zach Xu, Vince

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ryan Yu, Pushi Zhang, Starrick Liu, Brae Liu, Miracle Kang, Shalfun Li, Lights Shi, Ellie Ma, Ping Yang, Chris Pan, Jerry Chen, Dongxiu Liu, Rain Sun, Miles Guo, Byron Zhang, Hugo Zhou, Zach Xu, Vincent Chen, Harrison Huang, James Wang, Dance Kuzi, Andy Zhai, Hang Su, Roy Gan, Lucy Liang, Hao Wang, Qian Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: "Eén keer trainen, overal handelen"

Stel je voor dat je een robot wilt leren om huishoudelijke taken uit te voeren. Normaal gesproken moet je hem eerst de basis leren (zoals wat een beker is) en daarna maandenlang specifieke vaardigheden aanleren (zoals hoe hij die specifieke beker moet oppakken).

Het team achter Wall-OSS-0.5 stelde een gedurfde vraag: Wat als we een robot zo goed konden trainen op algemene kennis en beweging, dat hij eigenlijk direct bij de start al echte taken kan uitvoeren, zonder dat er extra training nodig is voor elke nieuwe klus?

Ze bouwden een robotbrein genaamd Wall-OSS-0.5. Het is een "Vision-Language-Action" (VLA) model. Zie het als een robot die tegelijkertijd kan zien (Vision), instructies kan begrijpen (Language) en zijn armen kan bewegen (Action).

Het Probleem dat ze Oplosten: De kloof tussen "Het Handboek" en "De Praktijk"

In het verleden waren robotbreinen als studenten die elk boek in de bibliotheek hadden gelezen, maar nog nooit een keuken in waren gestapt. Ze kenden de theorie perfect, maar bevroren zodra er gevraagd werd om daadwerkelijk te koken.

De meeste eerdere robotmodellen werden pas getest nadat ze waren bijgeschaafd (fine-tuned) voor een specifieke taak. Dit liet een mysterie achter: Leerde de initiële training de robot eigenlijk hoe hij moest bewegen, of gaf het de robot alleen een goed startpunt?

Wall-OSS-0.5 bewijst dat de initiële training de robot wel leert hoe hij moet bewegen. Zelfs vóór enige specifieke "finishing school"-training, kon de robot al complexe taken uitvoeren zoals het sorteren van fruit, het stapelen van ringen en zelfs het aantrekken van een touw (een zeer lastige, rekbare taak) door simpelweg een eenvoudige instructie te lezen.

Hoe ze het Deden: De "Driepotige Kruk"

Om dit werkend te krijgen, gaven ze de robot niet alleen data; ze gebruikten een speciaal trainingsrecept genaamd Gradient-Bridged Co-Training. Stel je voor dat het brein van de robot wordt getraind door drie verschillende coaches die samenwerken:

De "Actie-Coach" (Discrete Tokens): Deze coach leert de robot om de volgende beweging te voorspellen, net zoals een woord in een zin. Deze coach is erg goed in het aanleren van de "grammatica" van beweging aan het brein. Het fungeert als een brug die sterke signalen naar het hoofdbrein stuurt om te leren hoe het lichaam te besturen.
De "Begrips-Coach" (Multimodale Data): Deze coach zorgt ervoor dat de robot niet vergeet hoe hij moet lezen, zien en de wereld begrijpen. Deze houdt de robot geworteld in de realiteit, zodat hij weet hoe een "beker" eruitziet en wat "zet hem in de gootsteen" betekent.
De "Smooth Operator-Coach" (Flow Matching): Deze coach leert de robot om vloeiend en continu te bewegen, als een danser, in plaats van in schokkerige, robotachtige stappen. Dit is wat de robot daadwerkelijk gebruikt wanneer hij in de echte wereld werkt.

De Magische Truc: Meestal vechten deze coaches met elkaar. De "Actie-Coach" wil het brein leren bewegen, maar de "Smooth Operator" gebruikt een andere taal. Wall-OSS-0.5 heeft een brug gebouwd tussen hen. De "Actie-Coach" spreekt de taal die het brein het beste begrijpt, terwijl de "Smooth Operator" ervoor zorgt dat de uiteindelijke bewegingen vloeiend en precies zijn.

De Resultaten: Een Robot die Echt Dingen Kan Doen

Ze testten deze robot op een echte fysieke robotarm met 17 verschillende taken.

Zero-Shot (Geen extra training): Zonder specifieke training voor deze taken, voltooide de robot er verschillende succesvol.
- Blokken sorteren: 100% succes.
- Fruit sorteren: 96% succes.
- Touwtje aantrekken: 82% succes (Dit is enorm, omdat touwen slap zijn en moeilijk te controleren zijn!).
Na Fine-Tuning: Toen ze de robot een beetje specifieke training gaven voor 15 taken, werd hij nog beter en versloof hij de vorige beste robotmodellen met een aanzienlijke marge (17,5% beter).

Waarom dit Belangrijk is (In Simpele Termen)

Vóór dit moment dachten mensen dat het voor-trainen van een robot vergelijkbaar was met het geven van een goed gemiddelde aan een student — het helpt hen om de eindtoets te halen, maar ze moeten nog steeds studeren voor de specifieke toets.

Wall-OSS-0.5 laat zien dat de voor-training zelf de toets is. De robot leerde algemene "spiergeheugen" en "gezond verstand" tijdens de grote trainingsfase. Het is als een kind dat, na het spelen met allerlei soorten speelgoed en het kijken naar hoe volwassenen bewegen, een nieuwe kamer binnenloopt en uitfiguurt hoe het een deur opent of een speeltje oppakt zonder dat het daar eerst precies voor geïnstrueerd is.

Het Technische "Geheime Sausje"

Het Brein: Het is gebouwd op een "brein" van 3 miljard parameters (een groot taalmodel) dat is geüpgraded om robotbewegingen te kunnen verwerken.
De Data: Ze trainden het op meer dan één miljoen robotbewegingen van meer dan 20 verschillende soorten robots, plus een enorme bibliotheek aan afbeeldingen en tekst.
Snelheid: Ze zorgden ervoor dat de robot snel genoeg nadenkt om een echte arm in realtime aan te sturen (15 keer per seconde), wat cruciaal is om niets te laten vallen.

Samenvatting

Wall-OSS-0.5 is een doorbraak omdat het bewijst dat als je een robotbrein traint op voldoende diverse data met de juiste "brug"-technieken, de robot niet alleen een slimme waarnemer wordt, maar direct een bekwaam uitvoerder. Het kan naar een rommelige tafel kijken, de instructie "ruim op" begrijpen, en beginnen met het sorteren van items zonder dat het een handleiding nodig heeft voor elk object op de tafel.

Technische Samenvatting: Wall-OSS-0.5

Probleemstelling

De robotica-gemeenschap heeft Vision-Language-Action (VLA) modellen steeds vaker geadopteerd als fundamenten voor robotbeleid. Er blijft echter een kritieke kloof bestaan in de evaluatie van deze modellen: de sterkste resultaten worden vrijwel altijd gerapporteerd pas na taakspecifieke fijnafstemming (fine-tuning). Dit laat een fundamentele vraag onbeantwoord: Levert VLA-pretraining zelf uitvoerbaar robotgedrag op, of dient het slechts als een betere initialisatie voor downstream policy-leren?

Huidige bewijzen suggereren dat pretraining alleen mogelijk geen direct bruikbaar beleid produceert. Het artikel stelt dat voor VLA-pretraining om geloofwaardig te zijn, het gepretrainde checkpoint observeerbare, uitvoerbare capaciteiten op fysieke hardware moet demonstreren voordat er enige taakspecifieke adaptatie plaatsvindt.

Methodologie

Wall-OSS-0.5 is een open-source VLA-model met 4 miljard parameters, gebouwd op een 3 miljard parameter Vision-Language Model (VLM) backbone (Qwen2.5-VL-3B-Instruct). De architectuur en trainingsstrategie zijn ontworpen om drie vereisten te vervullen: het uitvoeren van nuttige manipulatieskills uit de doos, het behouden van de door de VLM afgeleide visuele-linguïstische competentie, en het bieden van sterke priors voor downstream adaptatie.

1. Architectuur: Mixture-of-Transformers (MoT)

Het model maakt gebruik van een Mixture-of-Transformers backbone waarbij elke laag twee verschillende experts bevat:

VL Expert: Verwerkt visie, taal, proprioceptie en discrete actie-tokens.
Action Expert: Verwerkt continue actiesignalen voor flow-matching generatie.
Cruciaal is dat deze experts dezelfde sequentie-niveau aandachtcontext delen. Dit stelt de Action Expert in staat om naar visuele en linguïstische informatie te kijken terwijl acties worden gegenereerd, maar belangrijker nog, het zorgt voor end-to-end gradiëntstroom tussen de experts. Dit is een routing-decompositie in plaats van een mechanisme dat de gradiënt stopt, waardoor het continue actiepad de backbone tijdens de training kan vormen.

2. Gradient-Bridged Co-Training

De kern bijdrage van de methodologie is een single-stage co-training recept die drie complementaire doelstellingen simultaan optimaliseert:

Discrete Action Token Predictie (De Gradiëntbrug): Het model voorspelt Residual Vector Quantization (RVQ) actie-tokens autoregressief. Dit levert een sterk, VLM-native cross-entropy signaal dat de backbone bijwerkt in een richting die is afgestemd op controle. Het fungeert als de primaire drijfveer voor backbone-updates.
Multimodale Cross-Entropy (Het Anker): Getraind op gegronde visuele-linguïstische data, zorgt deze doelstelling voor het behoud van instructie-opvolging, visuele grounding en scène-begrip. De richting van de update is grotendeels orthogonaal aan de actie-optimalisatie, wat voorkomt dat het model algemene VLM-capaciteiten verliest.
Continue Flow Matching (De Deployment Interface): De Action Expert wordt getraind om continue actie-chunks te genereren met behulp van flow matching. Hoewel dit de executie-doelstelling definieert, laten ablatie-studies zien dat het slechts een klein deel (~5%) van de backbone-updates bijdraagt vergeleken met de cross-entropy losses.

Belangrijk inzicht: Het discrete pad dient primair als een "gradiëntbrug" tijdens de training om de backbone te vormen, terwijl het continue pad dient als de interface tijdens de deployment.

3. Visueel-Gealigneerde RVQ Actie-Tokenizer

Om regelgebaseerde tokenizers (zoals FAST) te vervangen, introduceren de auteurs een geleerde Vision-Aligned Residual Vector Quantization (RVQ) tokenizer. Deze comprimeert observatie-geconditioneerde delta-actie-sequenties tot discrete tokens. In tegenstelling tot standaard compressoren, wordt deze getraind met hulpdoelstellingen:

Visuele-Actie Alignment: Trekt actie-latents naar de visuele kenmerken van de VLM.
Next-Frame Predictie: Stimuleert de tokens om de gevolgen van acties te coderen.
DCT-Domein Reconstructie: Onderdrukt hoogfrequente jitter.
Dit zorgt ervoor dat de discrete tokens semantisch betekenisvol zijn voor de VLM backbone.

4. Actieruimte-Supervisie

Voor de flow-matching doelstelling stellen de auteurs Action-Space Supervision voor. In plaats van de loss te minimaliseren op het snelheidveld (standaard flow matching), wordt de loss gedefinieerd op de herstelde actie zelf. Deze formulering weegt de loss effectief met $(1-\tau)^2$ , waarbij de nadruk ligt op tijdstappen met hoge ruis waar de globale trajectvorm wordt gevormd. Dit sluit aan bij de spectrale structuur van robotacties, waarbij nuttige taakstructuren geconcentreerd zijn in laagfrequente trends.

5. Data en Inferentie

Data: Het model is gepretraind op een mix van >1 miljoen robottrajecten per epoch (afkomstig van 20+ embodied systemen) en een corpus van 90 miljoen samples voor multimodaliteit. Het corpus bevat "embodied bridge" samples die gesynthetiseerd zijn uit actie-trajecten om multimodale intelligentie direct te koppelen aan uitvoerbaar gedrag.
Inferentie: Een deployment-grade inferentie stack met behulp van CUDA Graphs en gefuseerde kernels bereikt een 4× versnelling ten opzichte van PyTorch eager mode, waardoor 15 Hz controle op hoge resolutie wordt gehandhaafd.

Belangrijkste Resultaten

Zero-Shot Real-Robot Prestaties

Geëvalueerd op een suite van 17 real-robot taken (inclusclusief uitgesloten deformabele taken) zonder enige taakspecifieke fijnafstemming, vertoont de gepretrainde Wall-OSS-0.5 niet-triviaal gedrag:

Blokken sorteren: 100% taakprogressie.
Fruit sorteren: 96%.
Ring stapelen: 86%.
Touw strak trekken (Uitgesloten Deformabel): 82%.
Het model demonstreert dat pretraining alleen al herbruikbare manipulatie-capaciteiten oplevert, vooral voor taken die gedomineerd worden door semantische grounding.

Fine-Tuning Prestaties

Na fijnafstemming op 15 real-robot taken:

Bereikt Wall-OSS-0.5 een gemiddelde taakprogressie van 60,5%.
Het presteert beter dan $\pi_0.5$ met 17,5% (60,5% vs 43,0%) en DreamZero met 27,1%.
Het leidt op 10 van de 15 taken, wat significante winst laat zien in manipulatie (61,1% vs 35,0% voor $\pi_0.5$ ).

Multimodale Begrip

Co-training erodeert de algemene visuele-linguïstische competentie niet. Hoewel de algemene VQA-prestaties licht achteruitgaan (een trade-off voor specialisatie), verbetert de embodied grounding aanzienlijk:

Embodied Grounding: +21,8% winst.
Where2Place: +11,0% winst.
Dit bevestigt dat het model de embodied perceptie versterkt zonder de fundamentele VLM-capaciteiten te verliezen.

Ablatie-studies

Co-training vs. Alternatieven: De volledige gradient-bridged co-training strategie presteert 7,4–25,1 procentpunt beter dan "flow-only", "stop-gradient" en "two-stage" benaderingen op real-robot taken.
Action-Space Loss: Verbetert de convergentiesnelheid en piekprestaties (96,5% succespercentage) vergeleken met velocity-space loss in simulatie.
RVQ Tokenizer: Presteert beter dan FAST tokenizers in zowel VQA nauwkeurigheid (+1,8%) als taakprogressie (+18,9%).

Betekenis en Claims

Het artikel claimt de positie van VLA-pretraining te verschuiven van een louter initialisatiestrategie naar een direct testbare, reeds nuttige bron van robotcapaciteit.

Pretraining levert uitvoerbaar gedrag op: De resultaten demonstreren dat grootschalige VLA-pretraining alleen al meetbaar, hoog-progressief zero-shot gedrag op fysieke robots kan produceren, wat het idee uitdaagt dat pretraining alleen nuttig is voor downstream fine-tuning.
De Gradiëntbrug is Beslissend: De auteurs stellen dat discrete actie-tokens niet alleen een deployment-artefact zijn, maar een kritiek trainingsmechanisme. Ze bieden het sterke gradiëntsignaal dat nodig is om de VLM backbone richting controle te vormen, een rol die continue flow matching alleen niet effectief kan vervullen.
Verenigde Architectuur: Door een MoT-architectuur met gedeelde aandacht te gebruiken, slaagt Wall-OSS-0.5 erin om actiegeneratie te integreren zonder de gradiëntstroom naar de VLM backbone te verbreken, waardoor het model controle-relevante kenmerken kan leren terwijl het semantisch begrip behoudt.
Open-Source Benchmark: Door een 4B model vrij te geven dat direct werkt, bieden de auteurs een nieuwe baseline voor het evalueren van "gepretraineerde capaciteit" in plaats van enkel "fijn afgestemde capaciteit".

De auteurs concluderen dat voldoende grootschalige VLA-pretraining echt robotgedrag kan produceren, en dat het resulterende checkpoint dient als een substantieel sterkere prior voor downstream adaptatie dan eerdere benaderingen.