🤖 AI

CoTinyVLA: Chain-of-Thought Distillation for a Sub-Billion-Parameter Vision-Language-Action Model

CoTinyVLA is een Vision-Language-Action-model met minder dan een miljard parameters dat een state-of-the-art robuustheid bereikt op de LIBERO-Plus benchmark door gebruik te maken van gestructureerde supervisietechnieken — waaronder dual-view temporele inputs, hiërarchische chain-of-thought distillatie en parafrase-augmentatie — in plaats van de modelgrootte te vergroten.

Oorspronkelijke auteurs: Minhyeok Lee, Chiyoung Kim, Chanhoe Gu, Seongrok Kim, Sanghyuk Roy Choi, Donghwan Hwang, Donghun Ryu, Seokhyun Kim

Gepubliceerd 2026-07-29

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Minhyeok Lee, Chiyoung Kim, Chanhoe Gu, Seongrok Kim, Sanghyuk Roy Choi, Donghwan Hwang, Donghun Ryu, Seokhyun Kim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin robots niet alleen zielloze machines zijn die rigide codes volgen, maar behulpzame metgezellen die onze gesproken woorden begrijpen en kunnen uitzoeken hoe ze hun eigen armen moeten bewegen om taken uit te voeren. Dit is de droom van "embodied AI", een veld waar computers leren de wereld te zien via camera's, menselijke taal te begrijpen en die twee zaken te vertalen naar fysieke acties. Een lange tijd hadden de slimste robots enorme hersenen nodig—computermodellen met miljarden "neuronen"—om dit te kunnen afhandelen. Deze gigantische modellen waren als supercomputers die enorme, dure servers nodig hadden om te draaien, waardoor het onmogelijk was om ze in een kleine robot te passen die door een huis kan rollen of kan helpen in een keuken. De grote vraag die onderzoekers zich hebben gesteld is: Kunnen we een robot maken die net zo slim en betrouwbaar is, maar klein genoeg om in een rugzak te passen?

Dit artikel introduceert een nieuwe robothersenen genaamd CoTinyVLA. Beschouw dit als een kleine, superefficiënte robothersenen die erin slaagt om de enorme, zware modellen die momenteel het veld leiden, te overtreffen, terwijl ze slechts een fractie van het geheugen gebruiken. De onderzoekers hebben de hersenen niet alleen gekrompen; ze hebben de robot ook een betere manier van denken geleerd. In plaats van te proberen elke mogbare situatie te memoriseren, gaven ze de robot een "spiekbriefje" voor redeneren. Ze leerden de robot om een grote taak op te splitsen in een simpel plan (zoals een to-do lijstje) en vervolgens over elke kleine stap na te denken voordat hij beweegt. Ze gaven de robot ook een speciaal paar ogen—één die van een afstand kijkt om de hele kamer te zien, en één op de pols om precies te zien wat de hand aanraakt—en leerden hem om een korte video van de laatste paar seconden te bekijken om beweging te begrijpen. Het resultaat is een robotmodel met slechts 0,9 miljard parameters (minuscuul vergeleken met de reuzen van 7 miljard parameters) dat complexe, rommelige situaties in de echte wereld beter kan afhandelen dan modellen die acht keer zo groot zijn.

Het Probleem: Grote Hersenen, Kleine Robots

Jarenlang waren de beste robots voor het opvolgen van instructies als enorme, zware tanks. Om een commando als "pak de blauwe beker en zet hem op de tafel" te begrijpen, gebruiken deze robots enorme computermodellen met 3 tot 7 miljard parameters. Hoewel deze modellen ongelooflijk slim zijn, zijn ze ook enorm. Ze vereisen ongeveer 20 gigabyte aan computergeheugen om te draaien. Dat is alsof je een complete bibliotheek probeert te proppen in een rugzak; het past er simpelweg niet in op de kleine, batterijgestuurde computers die in mobiele robots of hulpmiddelen worden gevonden.

De onderzoekers wilden weten: Hebben we echt zo'n gigantische hersenpan nodig om slim te zijn? Of kunnen we een kleine, efficiënte robot bouwen die net zo goed is in het omgaan met de onverwachte rommeligheid van de echte wereld?

De Oplossing: Een Kleine Hersenen met een Grote Strategie

Het team bouwde CoTinyVLA, een robothersenen met slechts 0,9 miljard parameters. Om dit kleine model even sterk te maken als de reuzen, hebben ze niet alleen meer data gevoerd; ze hebben de manier waarop het leert en waar het op let, veranderd. Ze gebruikten drie belangrijke trucs, die ze "gestructureerd toezicht" noemen, om de robot beter te leren denken.

1. De "Twee-Ogen" Tijdsmachine
Stel je voor dat je een bal probeert te vangen. Als je alleen één foto van de bal ziet, weet je niet of hij naar je toe komt of van je af beweegt. Je moet een korte video zien om de beweging te begrijpen.
CoTinyVLA wordt geleerd om naar de wereld te kijken door twee verschillende "ogen" tegelijkertijd:

Het Derde-Persoonsperspectief: Een camera die naar de hele kamer kijkt om te zien waar alles is.
Het Polsperspectief: Een camera op de hand van de robot om precies te zien wat de grijper aanraakt.
In plaats van alleen naar het huidige moment te kijken, bekijkt de robot een korte "film" van de laatste 16 frames (8 van elk oog). Dit geeft het een gevoel van tijd en beweging, wat hels bij de robot helpt om te begrijpen hoe snel dingen bewegen en waar ze naartoe gaan.

2. Het "Plannen en Denken" Spiekbriefje
Dit is de belangrijkste truc. Voordat de robot beweegt, wordt hem geleerd om een verhaal op te schrijven.

Het Plan: Aan het begin van een taak schrijft de robot een hoogwaardige "to-do lijst" (bijv. "Eerst de beker pakken. Tweede, de beker optillen. Derde, de beker op de tafel zetten"). Dit plan blijft hetzelfde voor de hele taak.
Het Denken: Voordat elke kleine beweging wordt gemaakt, schrijft de robot een korte notitie over wat hij op dit moment doet (bijv. "Ik sluit mijn grijper" of "Ik til de beker op").
De robot leert dit door te kijken naar een veel grotere, slimmere robot (een "leraar" met 35 miljard parameters) die dezelfde taken oplost. De kleine robot kopieert het denkproces van de leraar. Dit helpt de kleine robot om te begrijpen waarom hij iets doet, en niet alleen wat hij moet doen.

3. Het "Parafraseren" Spelletje
Robots raken vaak in de war als je hetzelfde op een andere manier zegt. Als een robot alleen getraind is op de zin "pak de beker", kan hij vastlopen als je zegt "grijp de mok".
Om dit op te lossen, hebben de onderzoekers de robot getraind met 40 basisinstructies en deze uitgebreid naar 800 verschillende versies. Ze vervingen woorden (zoals "pakken" veranderen in "grijpen" of "optillen"), veranderden de beschrijvingen van objecten (zoals "zwarte kom" naar "donkere kom") en voegden zelfs beleefde zinnen toe zoals "Zou je alsjeblieft...". Dit leerde de robot om de betekenis van het commando te begrijpen, en niet alleen de specifieke woorden.

De Resultaten: Klein Wint Groot

De onderzoekers testten CoTinyVLA op LIBERO-Plus, een uitdagende testsuite die ontworpen is om te zien hoe goed robots omgaan met veranderingen in de wereld. De test bevat meer dan 10.000 verschillende scenario's waarin dingen mis zijn: de robot begint in een vreemde positie, de verlichting verandert, de achtergrond is anders, of de instructies zijn vreemd geformuleerd.

De resultaten waren verrassend. CoTinyVLA, met zijn kleine 0,9 miljard parameters, versloeg de sterkste 7-miljard-parameter modellen op alle vier de belangrijke testcategorieën:

Ruimtelijk (Spatial): 90,8% succes (verslaat de grote modellen met 4,7 punten).
Object: 87,3% succes (verslaat de grote modellen met 2,8 punten).
Doel (Goal): 86,6% succes (verslaat de grote modellen met maar liefst 15,9 punten).
Lang (Long): 80,7% succes (verslaat de grote modellen met 3,0 punten).

De grootste overwinning was in de categorie "Doel", waar de kleine robot bijna 16 punten beter was dan de beste reusachtige robot. Dit is vooral indrukwekkend omdat de kleine robot draait op een computer die slechts 2,25 GiB aan geheugen gebruikt, wat klein genoeg is om op veel echte robots te passen.

Waarom het ertoe doet

Dit artikel laat zien dat je geen enorme hersenpan nodig hebt om een slimme robot te zijn. Door een kleine robot te leren om op een gestructureerde manier te "denken" (plannen maken en zijn stappen controleren) en door hem de juiste visuele en talige training te geven, kan hij de rommelige, onvoorspelbare echte wereld beter aan dan veel grotere modellen.

De onderzoekers ontdekten ook dat het "Plan"-gedeelte van het denkproces cruciaal is. Als je de mogelijkheid van de robot wegneemt om een plan te schrijven, daalt het succespercentage met 40 tot 45 punten. Dit bewijst dat de robot niet zomaar gokt; hij gebruikt het plan daadwerkelijk om zijn acties te sturen.

Kortom, CoTinyVLA bewijst dat met de juiste onderwijsmethoden een kleine, efficiënte robot net zo capabel kan zijn als een enorme supercomputer, wat ons een stap dichter bij behulpzame, intelligente robots in onze huizen en werkplaatsen brengt.

Technische Samenvatting: CoTinyVLA

Probleemstelling

Vision-Language-Action (VLA) modellen zijn naar voren gekomen als een uniforme interface voor het vertalen van natuurlijke taal naar robotbesturing. Echter, state-of-the-art systemen die een hoge robuustheid bereiken op de LIBERO-Plus benchmark, vertrouwen doorgaans op backbones met 3 tot 7 miljard parameters. Deze modellen vereisen aanzienlijke geheugenbronnen (vaak meer dan 20 GiB in bfloat16), wat ze incompatibel maakt met de strikte geheugenbudgetten van embedded robotplatforms zoals mobiele manipulatoren en humanoïden.

De centrale uitdaging die in dit werk wordt aangepakt, is of een compact model (minder dan een miljard parameters) hetzelfde niveau van robuustheid kan bereiken als grotere systemen. Specifiek onderzoeken de auteurs of gestructureerde supervisie—in plaats van louter schaal—de noodzakelijke robuustheid kan bieden tegen visuele, kinematische en linguïstische perturbaties.

Methodologie: CoTinyVLA

De auteurs presenteren CoTinyVLA, een 0,9B-parameter VLA gebouwd op een Qwen3.5-0.8B backbone. Het model bereikt robuustheid door drie afzonderlijke componenten, die elk een specifieke as van het robuustheidsprobleem aanpakken:

1. Dual-View Temporele Input

In plaats van een enkele statische afbeelding ontvangt het model een temporele historie bij elke bestuursstap:

Inputs: Acht third-person frames en acht wrist-camera frames (1alftijd 16 in totaal), voorafgegaan door expliciete tekstuele markers (bijv. [Third frame i]).
Proprioceptie: Een 8-dimensionale vector (end-effector pose + gripper joints) geprojecteerd als een soft token.
Rationale: Dit biedt expliciete temporele en multi-view context, waardoor het compacte backbone in staat is om beweging, benaderingssnelheid en gripper-object contact te afleiden zonder te vertrouwen op impliciete positionele embeddings.

2. Hiërarchische Chain-of-Thought (CoT) Distillatie

Een 35B-parameter vision-language teacher (Qwen3.5-35B) genereert gestructureerde redeneersporen voor een 0,9B student. De redenering wordt gesplitst in twee niveaus:

Episode-Level Plan: Wordt één keer per episode gegenereerd en deelt de instructie op in een geordende lijst van natuurlijke taal subdoelen.
Chunk-Level Think: Wordt voor elke action chunk gegenereerd, beperkt tot een vast drie-slot schema:
- Phase: Huidige subactie stap (afgestemd op het Plan).
- Gripper: Discrete staat (OPEN, CLOSED, PARTIALLY_CLOSED), afgeleid van proprioceptie om visuele ambiguïteit te vermijden.
- Next: Korte beschrijving van de onmiddellijke actie.
Trainingsdoel: Een gewogen som van action regression loss en language model cross-entropy over de redeneertokens ( $\alpha=1.0, \beta=0.1$ ). De redeneer-span fungeert als een aanvullend gestructureerd predictie-doel dat de action head conditioneert zonder extra parameters tijdens de inferentie toe te voegen.

3. Paraphrase-gebaseerde Instructie Augmentatie

Om overfitting op de 40 basisinstructies in de trainingsset te voorkomen:

Expansie: Elke basisinstructie wordt uitgebreid naar 20 paraphrases (800 varianten in totaal) via werkwoordsubstitutie, object-synoniemvervanging en beleefdheidsvariatie.
Trainingsstrategie: Tijdens de training wordt de instructie met een waarschijnlijkheid van 0,8 vervangen door een paraphrase. Dit richt zich specif op de robuustheid tegen de Language Instructions perturbatie-as.

Belangrijkste Bijdragen

Prestaties met Compacte Schaal: CoTinyVLA (0,9B) overtreft de sterkste 7B baselines op alle vier de LIBERO-Plus suites (Spatial, Object, Goal, Long) met marges variërend van 2,8 tot 15,9 punten, binnen een inference geheugenvoetafdruk van 2,25 GiB.
Twee-niveau Redeneerschema: De auteurs demonstreren dat het episode-level Plan "load-bearing" is. Interventies tijdens testtijd tonen aan dat het vervangen van het Plan door een lege of tegenstrijdige span zorgt voor een daling van 40–45 punten in succes. Bovendien halveert het cachen van het Plan over een episode de steady-state inferentiekosten.
Decompositie van Robuustheid: Door gecontroleerde ablaties schrijft het paper specifieke componenten toe aan specifieke perturbatie-assen:
- Paraphrase Augmentatie: Verbetert primair de robuustheid tegen linguïstische variatie (+12,3 punten op de Language Instructions as).
- Hiërarchische CoT: Helpt primair bij fysieke-toestandsperturbaties (Robot Initial States, Objects Layout).
- Input Structuur: De allocatie van een vast beeldbudget over camera's en tijd is een design variabele die waard is van 8,6 punten in de totale score.

Experimentele Resultaten

Het model werd geëvalueerd op LIBERO-Plus, dat 40 basis-taken perturbeert over zeven dimensies (Camera, Robot Initial States, Language, Light, Background, Noise, Layout) met 10.030 totale geperturbeerde taken.

Algemene Prestaties: CoTinyVLA bereikt 90,8% (Spatial), 87,3% (Object), 86,6% (Goal), en 80,7% (Long).
Vergelijking met 7B Baselines: Het leidt de sterkste 7B baseline (OpenVLA-OFT+) met respectievelijk 4,7, 2,8, 15,9 en 3,0 punten. Cruciaal is dat de betrouwbaarheidsintervallen voor deze verschillen nul uitsluiten.
Harde Assen: Het model laat de grootste winsten zien waar baselines het zwakst zijn. Op de Goal suite scoren de sterkste baselines slechts 39,9% op Robot Initial States, terwijl CoTinyVLA 73,6% bereikt.
Standaard LIBERO: Op de ongeperturbeerde benchmark behaalt CoTinyVLA gemiddeld 97,5%, wat de sterkste 7B baseline (RIPT-VLA) evenaart en andere sub-1B modellen overtreft.
Inference Efficiëntie: Closed-loop inference piekt op 2,25 GiB GPU-geheugen. De dominante kosten zijn autoregressieve generatie (76% van de steady-state tijd), wat gehalveerd kan worden door het cachen van het episode Plan.

Betekenis en Claims

Het paper claimt dat de robuustheid die gewoonlijk wordt toegeschreven aan 3–7 miljard parameter backbones niet vereist is. In plaats daarvan is het structureren van supervisie langs de assen die de benchmark perturbeert voldoende om grotere systemen te overtreffen.

Design Levers: Dit werk stelt vast dat inputstructuur (hoe frames worden verdeeld tussen camera's en tijd) en de hiërarchie van redeneren onafhankelijke design variabelen zijn die geoptimaliseerd kunnen worden voor compacte modellen.
Beperkingen: De auteurs merken op dat de evaluatie beperkt is tot simulatie (Franka Panda) en een enkele embodiment. Sim-to-real transfer en prestaties op langere horizonten (waar de Long suite score het laagst is op 80,7%) blijven uitdagingen. Daarnaast leunt de methode op een sterke 35B teacher voor distillatie, en de semantische equivalentie van de gegenereerde paraphrases is niet exhaustief geverifieerd buiten de lexicale statistieken.

Concluderend demonstreert CoTinyVLA dat een 0,9B model systemen die acht keer zo groot zijn kan verslaan op alle vier de robuustheid suites, mits de trainingssignaal expliciet gestructureerd is om temporele, redeneer- en linguïstische variaties aan te pakken.