💻 computer science

Latent Reasoning VLA: Latent Thinking and Prediction for Vision-Language-Action Models

Het artikel stelt Latent Reasoning VLA (LaRA-VLA) voor, een geïntegreerd kader dat multi-modale chain-of-thought-redenering internaliseert in continue latente representaties om efficiënte, real-time geëmbodieerde besturing te bereiken met tot 90% verminderde inferentielatentie ten opzichte van expliciete redeneringsbenaderingen.

Oorspronkelijke auteurs: Shuanghao Bai, Jing Lyu, Wanqi Zhou, Zhe Li, Dakai Wang, Lei Xing, Xiaoguang Zhao, Pengwei Wang, Zhongyuan Wang, Cheng Chi, Badong Chen, Shanghang Zhang

Gepubliceerd 2026-05-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shuanghao Bai, Jing Lyu, Wanqi Zhou, Zhe Li, Dakai Wang, Lei Xing, Xiaoguang Zhao, Pengwei Wang, Zhongyuan Wang, Cheng Chi, Badong Chen, Shanghang Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert een boterham te maken.

De Oude Manier (Expliciete Chain-of-Thought):
Op dit moment werken de meeste geavanceerde robothersenen als een student die gedwongen wordt om elke gedachte in een dagboek op te schrijven voordat hij één enkele actie onderneemt.

De robot ziet: "Ik heb een boterham nodig."
De robot denkt (hardop): "Oké, eerst moet ik het brood vinden. Ik zie een brood aan de linkerkant. Nu moet ik het mes grijpen. Ik zie het mes aan de rechterkant. Ik moet mijn arm langzaam bewegen..."
De robot handelt: Pas nadat deze hele alinea is opgeschreven, beweegt hij zijn arm.

Het Probleem: Dit is ontzettend traag. Tegen de tijd dat de robot zijn "dagboekaantekening" heeft voltooid, is de boterham al koud, of heeft de robot zijn kans om het brood te grijpen gemist. Bovendien is het schrijven in woorden (discrete tokens) wat onhandig voor een robot die zijn arm in soepele, continue curves moet bewegen. Het is alsof je een auto probeert te besturen door jezelf alleen te bewegen in sprongen van 1 inch.

De Nieuwe Manier (LaRA-VLA):
Het paper introduceert LaRA-VLA (Latent Reasoning VLA). Denk hierbij aan het leren van de robot om in zijn hoofd te denken zonder iets op te schrijven.

In plaats van een lange alinea tekst eruit te spugen, internaliseert de robot zijn redenering in een compacte, continue "gevoelswaarde" of "vibe" (een latente representatie).

De robot ziet: "Ik heb een boterham nodig."
De robot denkt (stil): Hij verwerkt direct de locatie van het brood, het mes en het pad dat zijn arm moet nemen, allemaal in één enkel, soepel mentaal momentopname.
De robot handelt: Hij beweegt direct.

Het Drie-Stappen Trainingskamp (Curriculum Learning)

Het paper legt uit dat je een robot niet zomaar direct kunt vertellen om "stil te denken". Het heeft een trainingskamp nodig met drie fasen:

Fase 1: De "Toon je Werk"-Fase.
De robot wordt gedwongen om zijn gedachten (tekst) op te schrijven en te voorspellen hoe het volgende plaatje eruit zal zien (visueel). Hij leert de regels van het spel door expliciet te stellen: "Ik verplaats de beker naar links."
Fase 2: De "Fluister"-Fase.
De trainers beginnen de geschreven zinnen van de robot te vervangen door "fluisteringen" (latente tokens). Eerst schrijft de robot de helft van de zin en fluistert de rest. Langzaam schrijft hij minder en fluistert hij meer. Hij leert zijn complexe gedachten te comprimeren tot een klein, efficiënt mentaal pakketje.
Fase 3: De "Stille Meester"-Fase.
De robot schrijft of fluistert niets meer hardop. Hij heeft de redenering volledig geïnternaliseerd. Hij kijkt naar de scène, verwerkt de "fluistering" in zijn hoofd en voert direct de actie uit.

Waarom is dit beter?

Snelheid: Omdat de robot geen tijd verspilt aan het typen van een dagboekaantekening, kan hij 90% sneller reageren. Het paper beweert dat dit de denk tijd verlaagt van meer dan 7 seconden naar slechts 0,13 seconden (135 milliseconden). Dat is snel genoeg voor realtime besturing.
Soepelheid: Omdat de robot denkt in "continue gevoelens" in plaats van "discrete woorden", zijn zijn bewegingen soepeler en komen ze overeen met hoe de fysieke wereld eigenlijk werkt.
Robuustheid: Het paper testte de robot met wazige of ruisende camerafeeds (zoals kijken door een mistig raam). De "stille denkers" (LaRA-VLA) omgingen de rommel veel beter dan de "dagboekschrijvers", wat suggereert dat hun interne mentale modellen stabieler zijn.

Het Resultaat

In tests sloeg deze nieuwe methode bijna alle andere top-tier robotmodellen. Het was beter in lange, ingewikkelde taken (zoals fruit sorteren of kommen stapelen) en deed dit veel sneller.

Kortom: LaRA-VLA leert robots om te stoppen met het "praten" door een taak heen en begint met het "voelen" door een taak heen, wat resulteert in een robot die zowel een genieplanner als een bliksemsnelle werker is.

Technische Samenvatting: Latente Redenering VLA (LaRA-VLA)

Probleemstelling

Vision-Language-Action (VLA)-modellen hebben aanzienlijk potentieel aangetoond voor schaalbare robotische manipulatie door multimodale waarnemingen en taalinstrukties te koppelen aan continue besturingscommando's. Een heersende strategie om de prestaties te verbeteren, is Chain-of-Thought (CoT)-redenering, die gestructureerde tussenstappen biedt voor taakdecompositie en planning. Echter, bestaande CoT-benaderingen staan voor twee fundamentele beperkingen:

Hoge Inferentie-Overhead: Tekstgebaseerde CoT-methoden vereisen het genereren van uitgebreide discrete redeneertokens tijdens de inferentie. Dit leidt tot aanzienlijke rekenkosten, excessief KV-cache-gebruik en hoge latentie, wat de besturingsfrequenties vaak verlaagt tot onder de 5 Hz, wat ontoereikend is voor realtime robotbesturing.
Representatief Mismatch: De meeste CoT-vormen vertrouwen op discrete representaties (taaltokens of discrete visuele tokens van VQ-gebaseerde tokenizers). Dit creëert een mismatch met de inherent continue aard van robotische waarneming en actieruimtes. Het beperken van redenering tot discrete tokens kan de vloeiendheid die nodig is voor ingebouwde besturing belemmeren.

Methodologie: LaRA-VLA

Om deze uitdagingen aan te pakken, stellen de auteurs Latent Reasoning VLA (LaRA-VLA) voor, een unificerend kader dat multimodale CoT-redenering internaliseert in continue latente representaties. In plaats van expliciete redeneersporen te genereren tijdens de inferentie, voert LaRA-VLA redenering en voorspelling volledig uit binnen een latente ruimte, in lijn met continue waarneming en besturing.

1. Dataconstructie

De auteurs ontwikkelden een geautomatiseerde annotatiepijplijn om gestructureerde CoT-datasets (LIBERO-LaRA en Bridge-LaRA) te construeren voor zowel simulatie- als real-world omgevingen. Deze pijplijn hanteert een "anchor-first, generate-later"-paradigma:

Semantische Ankers: Geëxtraheerd met Qwen3-VL om gemanipuleerde objecten te identificeren uit initiële frames en instructies.
Temporele Ankers: Genereerd door robottrajecten op te splitsen in atomaire fasen op basis van veranderingen in de grijperstatus.
Annotaties: Het systeem genereert beknopte subtaakbeschrijvingen, temporeel consistente doelobject-bounding boxes (via GroundingDINO en SAM3), en bewegingsredenering afgeleid van end-effector-trajecten.

2. Modelarchitectuur

LaRA-VLA maakt gebruik van Qwen3-VL als ruggegraat Vision-Language Model (VLM), waarbij de beeldencoder wordt overgenomen voor consistente visuele representaties.

Visuele Doel-Latenten: Een dedicated <img next>-token wordt geïntroduceerd om voorspelde visuele latenten te representeren, wat expliciete supervisie en uitlijning mogelijk maakt tijdens de vroege trainingsfasen.
Actie-Expert: In de laatste fase wordt actiegeneratie ontkoppeld van autoregressieve token-decodering. Een 16-laags Diffusion Transformer fungeert als actie-expert, die conditie neemt op geleerde latente representaties om continue actietrajecten te produceren.

3. Driefasige Curriculumtraining

Het trainingsparadigma volgt een progressieve overgang van expliciete redenering naar latente ingebouwde redenering:

Fase I: Expliciete CoT Fine-Tuning. Het model wordt fine-getuned op datasets met expliciete tekstuele CoT-annotaties en visuele doelvoorspellingen. Het leert om autoregressief discrete CoT-tokens te genereren en toekomstige visuele latenten ( $z_{t+1}$ ) uit te lijnen met behulp van een Exponential Moving Average (EMA) doelencoder om representatie-instorting te voorkomen. Actietokens worden ook getraind via een inverse dynamica-objectief.
Fase II: Curriculum-gebaseerde Vervanging. Discrete CoT-tokens worden progressief gemaskeerd en vervangen door leerbare continue latente representaties. Het aandeel expliciete tokens neemt af volgens een curriculum-schema, terwijl het model steeds meer vertrouwen op latente redenering, geleid door visuele voorspelling-objectieven en actiesignalen.
Fase III: Actiegeneratie via Flow Matching. Expliciete CoT-supervisie wordt verwijderd. Het model past zich aan aan continue besturing met een flow matching-objectief. De actie-expert voorspelt een snelheidsveld dat conditie neemt op de multimodale latente context (huidige visuele/tekstuele inputs, intermediaire redeneerlatenten en voorspelde toekomstige visuele latenten) om continue actietrajecten te genereren zonder expliciete CoT-generatie.

4. Aandachtsmechanisme

Een gespecialiseerd aandachtsmechanisme regelt de informatieflow tussen tokens. In Fasen I en II letten toekomstige beeldtokens causaal op tekst en huidige beeldtokens. In Fase III worden actietokens uitgesloten van de attentieberekening, en werkt het model uitsluitend op tekst- en visietokens onder dezelfde beperkingen, wat efficiënte inferentie garandeert.

Belangrijkste Bijdragen

Latente Redeneringsparadigma: Het artikel introduceert een paradigma waarbij CoT-redenering wordt internaliseerd in continue latente representaties over tekstuele en visuele modaliteiten, wat inferentie-efficiënte redenering mogelijk maakt die aansluit bij continue waarneming en besturing.
LaRA-VLA Kader: Een unificerend VLA-model dat dit paradigma realiseert via een curriculum-gebaseerde trainingsstrategie, met een overgang van expliciete multimodale CoT-supervisie naar latente ingebouwde redenering, gestabiliseerd door EMA-gebaseerde visuele encoders.
Gestructureerde Datasets: De constructie van twee gestructureerde CoT-datasets (LIBERO-LaRA en Bridge-LaRA) met multimodale redeneringsannotaties (subtaakdecompositie, bewegingsredenering, doellocatiebepaling) voor ingebouwde manipulatie.

Experimentele Resultaten

De auteurs evalueerden LaRA-VLA op simulatiebenchmarks (LIBERO, SimplerEnv) en real-robot manipulatietaken op lange termijn.

Simulatieprestaties: Op de LIBERO-benchmark behaalde LaRA-VLA een state-of-the-art gemiddelde successrate van 97,9%, wat beter presteerde dan zowel No-CoT-baselines (zoals OpenVLA, $\pi_0$ ) als expliciete CoT-methoden (Tekstueel en Visueel). Op SimplerEnv-WidowX behaalde het de hoogste gemiddelde successrate van 68,8%, wat superieure real-to-sim generalisatie aantoont.
Real-world Prestaties: Bij real-world taken op lange termijn (zoals fruit sorteren, kommen stapelen) behaalde LaRA-VLA de hoogste gemiddelde successrate onder vergeleken methoden (ACT, ECoT, GR00T N1.5), met name uitstekend in taken die multi-stadia redenering en temporele coördinatie vereisen.
Inferentie-efficiëntie: LaRA-VLA verlaagde de inferentielatentie met tot 90% vergeleken met expliciete CoT-gebaseerde benaderingen, met een rollouttijd van 135 ms op een NVIDIA A100 GPU. Dit maakt besturingsfrequenties mogelijk die geschikt zijn voor realtime robotica.
Robuustheid: Het model toonde grotere robuustheid tegen visuele verstoringen (Gaussisch ruis en wazigheid) in vergelijking met niet-late baselines, waarbij latente representaties semantisch consistent bleven onder corruptie.
Ablatiestudies: Resultaten bevestigden dat latente CoT-supervisie grotere winsten oplevert dan expliciete tekstuele CoT. De combinatie van latente tekstuele en visuele CoT leverde de beste prestaties op, wat het voordeel van multimodale uitlijning benadrukt.

Betekenis en Claims

Het artikel claimt dat LaRA-VLA aantoont dat gestructureerde redenering voor ingebouwde agenten effectief kan worden gerealiseerd in latente ruimte zonder expliciete chain-of-thought-generatie tijdens de inferentie. Door redenering te internaliseren in continue latente dynamica, lost de aanpak het representatief mismatch op tussen discrete tokens en continue besturing, terwijl de rekenkosten aanzienlijk worden verlaagd. De auteurs stellen dat dit paradigma een levensvatbaar pad biedt naar efficiënte, realtime en robuuste robotische manipulatie, verdergaand dan de beperkingen van uitgebreide, discrete redeneersporen.

De auteurs erkennen beperkingen, met name dat latente representaties kunnen lijden onder instorting zonder expliciete supervisie (hier verzacht door het beperken van latente tokens en het gebruik van EMA) en dat het curriculumtrainingsproces hogere kosten met zich meebrengt tijdens de overgangsfases. Desalniettemin legt dit werk de basis voor efficiënte, actie-gerichte redenering in VLA-modellen.