💻 computer science

OneTwoVLA: A Unified Vision-Language-Action Model with Adaptive Reasoning

Dit paper introduceert OneTwoVLA, een unificerend visueel-taal-actie-model dat adaptief schakelt tussen directe actie en expliciete redenering om robuuste, langdurige robottaken uit te voeren door middel van een schaalbaar trainingsproces met synthetische data.

Oorspronkelijke auteurs: Fanqi Lin, Ruiqian Nai, Yingdong Hu, Jiacheng You, Junming Zhao, Yang Gao

Gepubliceerd 2026-03-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Fanqi Lin, Ruiqian Nai, Yingdong Hu, Jiacheng You, Junming Zhao, Yang Gao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt die niet alleen maar een knop kan indrukken, maar echt kan nadenken terwijl hij werkt. Een robot die, net als een mens, soms even stopt om te zeggen: "Wacht even, ik heb een plan nodig," en dan weer doorgaat met het uitvoeren van taken.

Dat is precies wat dit nieuwe onderzoek, genaamd OneTwoVLA, voorstelt. Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen.

🤖 Het Probleem: De Twee Robots die niet met elkaar praten

Vroeger (en bij veel huidige robots) was het zo: je had een "slimme" computer (het brein) die het grote plan maakte, en een "snelle" robotarm (de handen) die de uitvoering deed.

Het probleem: Het brein en de handen waren als twee mensen die in verschillende kamers werken en alleen via een postbode communiceren.
- Het brein zegt: "Pak die kom op."
- De handen wachten... en wachten... (vertraging).
- Soms zegt het brein iets wat de handen fysiek niet kunnen doen, of ze krijgen een verouderd berichtje ("De kom is nog steeds daar!" terwijl de kom net is omgevallen).
- Het resultaat: De robot is traag en raakt in de war als er iets misgaat.

💡 De Oplossing: OneTwoVLA (De "Alles-in-Één" Robot)

De onderzoekers hebben een nieuw model bedacht, OneTwoVLA. Dit is één enkele robot die twee dingen tegelijk kan:

Systeem 1 (De Handen): Snel, automatisch handelen.
Systeem 2 (Het Brein): Langzaam, diep nadenken.

Het magische is dat deze robot zelf besluit wanneer hij moet nadenken en wanneer hij moet handelen.

De Vergelijking:
Stel je voor dat je een kok bent die een ingewikkeld gerecht maakt (bijvoorbeeld een cocktail of een stoofpot).

Soms doe je dingen automatisch: "Giet de melk erbij, roer om." Je hoeft niet na te denken; je handen weten wat ze moeten doen.
Maar soms moet je even stoppen en nadenken: "Wacht, ik heb de suiker vergeten!" of "Oh nee, de pan is te heet, ik moet hem verschuiven."

OneTwoVLA doet precies dit. Hij werkt snel (System 1), maar op cruciale momenten schakelt hij over naar "nadenken-modus" (System 2). Hij zegt dan hardop (in tekst): "Ik heb net de siroop toegevoegd. Nu moet ik de jus d'orange pakken." En daarna gaat hij weer snel aan de slag.

🎓 Hoe leer je een robot dit? (De "Cursus")

Een robot leren nadenken is lastig. Je kunt hem niet zomaar een boek geven. De onderzoekers hebben een slimme truc bedacht:

Menselijke voorbeelden: Ze hebben mensen robots laten zien hoe ze taken uitvoeren.
De "Gedachtenkrant": Ze hebben voor elk moment in die video's een "gedachtenkrant" geschreven. Niet alleen wat de robot deed, maar waarom.
- Voorbeeld: "Ik zie een mes. Ik heb een mes nodig om de tomaat te snijden. Ik pak het mes."
De "Fictieve Oefening": Omdat echte robotvideo's duur zijn om te maken, hebben ze een AI gebruikt om duizenden fictieve tafels te tekenen met daarop allerlei voorwerpen. De robot heeft geoefend op deze virtuele tafels om te leren hoe hij plannen maakt voor situaties die hij nog nooit echt heeft gezien.

Dit noemen ze "co-training": de robot leert van echte mensen én van deze slimme, virtuele oefeningen.

🏆 Wat kan deze robot nu?

De tests laten zien dat OneTwoVLA veel beter is dan de oude modellen:

Langdurige taken: Hij kan een hele maaltijd klaarmaken (van het snijden tot het koken) zonder de draad kwijt te raken.
Fouten herstellen: Als hij een flesje laat vallen, denkt hij niet: "Oh nee, ik stop." Nee, hij denkt: "Oh, de fles is gevallen. Ik moet hem oppakken en steviger vasthouden." En hij doet het opnieuw.
Mensen begrijpen: Als jij zegt: "Geef me de rode kom," en er staan twee rode kommen, vraagt hij niet raar, maar denkt hij: "Welke rode kom bedoelt de mens?" en hij kan zelfs vragen om verduidelijking.
Alles herkennen: Hij kan zelfs voorwerpen vinden die hij nooit eerder heeft gezien in de echte wereld, omdat hij ze kent uit zijn "virtuele oefeningen".

🚀 Conclusie

OneTwoVLA is als het geven van een tweede hersenstam aan een robot. Het is niet meer alleen een machine die knoppen indrukt; het is een robot die begrijpt wat hij doet, plannen maakt, fouten ziet en zich aanpast aan de mens.

Het is een grote stap in de richting van robots die echt in onze huizen kunnen werken, van het koken van een hotpot tot het mixen van een cocktail, zonder dat je constant hoeft te sturen.

Probleemstelling

Algemene robots die diverse taken kunnen uitvoeren, vereisen een synergie tussen redeneren (hoge niveau planning) en handelen (lage niveau uitvoering). Bestaande benaderingen volgen vaak het "dubbel-systeem" kader (geïnspireerd op Kahneman):

Systeem 2: Een groot taalmodel (VLM) dat langzaam hoog-niveau redeneert en tussenstappen genereert.
Systeem 1: Een Vision-Language-Action (VLA) model dat deze tussenstappen vertaalt naar robotacties.

De auteurs identificeren twee kritieke tekortkomingen in deze gescheiden architectuur:

Gebrek aan wederzijds begrip: Systeem 2 genereert soms instructies die Systeem 1 niet kan uitvoeren, omdat het de capaciteiten van de robot niet volledig begrijpt.
Latentie: In real-time scenario's kan de vertraging van Systeem 2 leiden tot verouderde of irrelevante instructies, wat de prestaties in dynamische omgevingen belemmert.

Methodologie: OneTwoVLA

OneTwoVLA is een unificerend model dat zowel redeneren (Systeem 2) als handelen (Systeem 1) in één architectuur combineert. Het model kan adaptief beslissen wanneer het moet redeneren en wanneer het moet handelen.

1. Architectuur en Adaptieve Inferentie

Het model gebruikt een enkele policy $\pi_\theta$ die twee modi ondersteunt.
Adaptieve Beslissing: Aan het begin van elke stap voorspelt het model een speciaal token:
- [BOR] (Beginning of Reasoning): Het model schakelt over naar redeneermodus en genereert tekstuele output (scènebeschrijving, plan, historische samenvatting, volgende stap).
- [BOA] (Beginning of Action): Het model schakelt over naar actiemodus en genereert direct een actiestuk (action chunk) gebaseerd op de meest recente redenering.
Efficiëntie: Het model redeneert alleen op kritieke momenten (bijv. na het voltooien van een subtaak, bij het detecteren van fouten, of bij menselijke interactie). Tijdens routine-uitvoering genereert het direct acties, wat de inferentielatentie minimaliseert.

2. Data Curation met Embodied Reasoning
Om het model te trainen, hebben de auteurs een nieuwe robotdata-indeling ontwikkeld:

Redeneerintervallen: Momenten waarop het model tekstuele redenering moet genereren (bijv. na een subtaak).
Actieintervallen: Momenten waarop het model alleen acties moet voorspellen.
Redeneringsinhoud: Bestaat uit vier componenten:
1. Gedetailleerde scènebeschrijving (locatie van objecten).
2. Hoog-niveau plan (volgorde van stappen).
3. Historische samenvatting (wat is al gedaan).
4. Directe volgende stap.
Foutdetectie en Herstel: Specifieke data wordt gelabeld voor situaties waarin de robot faalt (bijv. een object laten vallen) en een herstelstrategie moet redeneren.

3. Schaalbaar Synthese van Vision-Language Data
Om de generalisatie te verbeteren en de afhankelijkheid van dure menselijke demonstraties te verminderen, hebben de auteurs een pipeline ontwikkeld om synthetische data te genereren:

Stap 1: Genereren van diverse tekstuele beschrijvingen van tafelopstellingen met Gemini 2.5 Pro.
Stap 2: Omzetten van deze tekst naar hoogwaardige afbeeldingen met FLUX.1-dev, aangevuld met robot-grippers en fisheye-distorsie voor realisme.
Stap 3: Genereren van instructies en bijbehorende redeneringen voor deze afbeeldingen.
Dit resulteerde in 16.000 synthetische data-punten die worden gebruikt voor co-training met robotdata.

Belangrijkste Bijdragen

Unified Model: Een enkel model dat adaptief schakelt tussen redeneren en handelen, waardoor de beperkingen van gescheiden dubbel-systeem architecturen worden opgeheven.
Adaptieve Redenering: Het vermogen om redenering alleen in te zetten wanneer nodig, wat leidt tot snellere uitvoering dan "altijd-redeneren" systemen, terwijl het toch de voordelen van planning behoudt.
Data Synthesis Pipeline: Een schaalbare methode om hoogwaardige, redeneringsgerichte vision-language data te synthetiseren, wat de generalisatie van het model aanzienlijk verbetert.
Co-training Framework: Een effectieve strategie om robotdata te combineren met synthetische vision-language data voor betere prestaties in open wereld-scenario's.

Resultaten

De auteurs evalueren OneTwoVLA op vier kerngebieden:

Lange-horizon Taakplanning:
- OneTwoVLA behaalde een 87% succesrate op complexe taken (zoals het maken van een cocktail of roerei), wat 30% beter is dan een state-of-the-art VLA ( $\pi_0$ ) en 24% beter dan een dubbel-systeem benadering.
- Het model houdt het taakverloop nauwkeurig bij en past plannen dynamisch aan op basis van feedback.
Foutdetectie en Herstel:
- Het model kan fouten in real-time detecteren (bijv. een object niet vastgrijpen) en direct een herstelstrategie redeneren en uitvoeren.
- Succesrate bij herstel: 80% voor OneTwoVLA versus 57% voor $\pi_0$ .
Natuurlijke Mens-Robot Interactie:
- Het model kan menselijke interventies direct verwerken en vragen om verduidelijking bij ambiguïteit.
- Bij interactietests behaalde OneTwoVLA 100% succes, terwijl het dubbel-systeem slechts 65% haalde door contextverlies.
Generaliseerbare Visuele Grounding:
- Door co-training met synthetische data, kan OneTwoVLA-VL objecten identificeren op basis van ruimtelijke relaties, attributen en semantische kenmerken, zelfs voor objecten die niet in de robottrainingsdata zaten.
- In "Open-World" tests (onbekende omgevingen en objecten) behaalde OneTwoVLA-VL een 73% succesrate, vergeleken met slechts 8% voor het model zonder synthetische data.

Betekenis en Impact

OneTwoVLA markeert een belangrijke stap in de evolutie van robotica door de kloof tussen "denken" en "doen" te overbruggen binnen één enkel model. De paper toont aan dat:

Synergie mogelijk is: Redeneren en handelen hoeven niet gescheiden te zijn; ze kunnen elkaar versterken binnen één architectuur.
Efficiëntie en intelligentie verenigbaar zijn: Door adaptief te redeneren, wordt de snelheid van uitvoering behouden zonder in te leveren op complexiteit.
Data-synthese cruciaal is: Het gebruik van gesynthetiseerde vision-language data is een krachtige methode om de generalisatie van robots naar nieuwe taken en objecten te verbeteren, zonder de kosten van menselijke demonstraties te hoeven verhogen.

Deze aanpak biedt een veelbelovende richting voor het ontwikkelen van robuuste, algemene robots die complexe, langdurige taken in onvoorspelbare menselijke omgevingen kunnen uitvoeren.