💻 computer science

LaST $_{0}$ : Latent Spatio-Temporal Chain-of-Thought for Robotic Vision-Language-Action Model

LaST $_0$ is een robotisch Vision-Language-Action-framework dat de latentie- en representatielimieten van expliciet linguïstisch redeneren overwint door een efficiënte, latente spatio-temporele Chain-of-Thought toe te passen binnen een dual-system Mixture-of-Transformers-architectuur, waardoor het hiermee significante verbeteringen in succesratio's bereikt over diverse real-world manipulatietaken.

Oorspronkelijke auteurs: Zhuoyang Liu, Jiaming Liu, Hao Chen, Jiale Yu, Ziyu Guo, Chengkai Hou, Chenyang Gu, Xiangju Mi, Renrui Zhang, Kun Wu, Zhengping Che, Jian Tang, Pheng-Ann Heng, Shanghang Zhang

Gepubliceerd 2026-06-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhuoyang Liu, Jiaming Liu, Hao Chen, Jiale Yu, Ziyu Guo, Chengkai Hou, Chenyang Gu, Xiangju Mi, Renrui Zhang, Kun Wu, Zhengping Che, Jian Tang, Pheng-Ann Heng, Shanghang Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een ei te bakken. Je zegt tegen de robot: "Schep het ei uit de pan en leg het op het brood."

De Oude Manier (Expliciete Redenering):
In het verleden zou de robot hiervoor eerst moeten stoppen, hardop moeten nadenken en een stapsgewijs essay moeten schrijven voordat hij zijn arm bewoog. Het zou kunnen zeggen: "Eerst moet ik mijn hand laten zakken. Dan moet ik de pan kantelen. Dan moet ik scheppen..."
Terwijl de robot dit essay aan het schrijven is, wordt het ei koud, of erger nog, de pan kantelt om. Dit "hardop nadenken" kost te veel tijd (latentie), waardoor de robot traag en onhandig wordt. Ook zijn er dingen die moeilijk met woorden te beschrijven zijn, zoals het exacte gevoel van het glijdende ei of de 3D-vorm van de pan.

De Nieuwe Manier (LaST0):
Het artikel introduceert LaST0, een robotbrein dat anders denkt. In plaats van woorden te genereren om uit te leggen wat het gaat doen, gebruikt het een "Stille, Onzichtbare Denkproces" (genoemd Latente Spatiële-Temporele Chain-of-Thought).

Zo werkt LaST0, met behulp van eenvoudige analogieën:

1. De "Stille Film" vs. Het "Script"

In plaats van woorden te genereren om uit te leggen wat het gaat doen, genereert LaST0 een stille, interne film van de toekomst.

Wat het ziet: Het kijkt niet alleen naar de afbeelding; het stelt zich de 3D-vorm van het ei voor, de textuur van de pan en hoe de eigen arm van de robot voelt (proprioceptie).
Het "Latente" deel: Deze gedachten zijn geen woorden die je kunt lezen; het zijn compacte, razendsnelle datapakketjes. Het is het verschil tussen het lezen van een lang receptenboek (traag) en het hebben van het spiergeheugen van een chef (snel en intuïtief). Dit stelt de robot in staat om de fysica van de situatie te "voelen" zonder vast te lopen op vocabulaire.

2. Het "Brein en Lichaam" Team (Dual-System)

LaST0 splitst het brein in twee gespecialiseerde experts die samenwerken, zoals een Strategische Commandant en een Reactieve Atleet.

De Commandante (Expert in Langzame Redenering): Dit deel werkt op een lagere snelheid. Het kijkt naar het grote plaatje, stelt zich de komende seconden van de "stille film" voor en bepaalt het plan. Het vraagt: "Als ik mijn arm deze kant op beweeg, waar is het ei dan over 0,5 seconde?" Dit doet het slechts af en toe (zoals af en toe een kaart controleren).
De Atleet (Expert in Snel Handelen): Dit deel is super snel. Het stopt niet om over het grote plan na te denken. Het kijkt simpelweg naar de laatste update van de Commandante en reageert direct op de directe omgeving van de robot. Het handelt de hoge-snelheidsbewegingen af die nodig zijn om het ei op te vangen voordat het valt.

De Magische Verbinding: Ze delen een "telepathische link" (Shared Attention). De Commandante werkt de Atleet bij met een nieuw plan, en de Atleet voert dit onmiddellijk uit. Dit betekent dat de robot diep kan nadenken over de toekomst zonder de huidige bewegingen te vertragen.

3. Waarom het beter is

Snelheid: Omdat het geen tijd verspilt aan het schrijven van zinnen, is de robot 14 keer sneller dan eerdere methoden die "hardop nadachten". Het kan in realtime reageren, net als een mens.
Begrip van Fysica: Het legt zaken vast die woorden niet kunnen beschrijven. Het begrijpt het "gewicht" en de "glibberigheid" van het ei via zijn interne 3D-model, niet alleen via tekst.
Consistentie: Omdat het een continue "film" van de toekomst voorstelt, zijn de acties vloeiend en verbonden. De robot schokt niet; het beweegt vloeiend.

De Resultaten

De onderzoekers testten deze robot op 10 verschillende taken in de echte wereld, van eenvoudige tafeltricks tot complexe taken waarbij mobiele robots en behendige handen (zoals menselijke handen) betrokken waren.

Succespercentage: LaST0 slaagde 13% tot 14% vaker dan de beste eerdere robots.
Lange Taken: Het was vooral goed in lange, ingewikkelde taken (zoals een ei scheppen, op brood leggen en het proces herhalen), waarbij andere robots in de war raakten en faalden.

Samenvattend:
LaST0 is een robot die stopt met "praten" tegen zichzelf en begint met het "voelen" van de toekomst. Door een stille, interne simulatie van 3D-ruimte en tijd te gebruiken, en het brein te splitsen in een trage planner en een snelle uitvoerder, beweegt het met de snelheid en gratie van een mens, in plaats van de aarzeling van een computer die een handleiding leest.

Technische Samenvatting: LaST0 – Latente Spatio-Temporele Chain-of-Thought voor Robotische Vision-Language-Action Modellen

1. Probleemstelling

Vision-Language-Action (VLA) modellen hebben onlangs sterke generalisatie getoond door de semantische begrijpelijkheid van Vision-Language Modellen (VLM's) te integreren met robotische besturingsbeleid. Echter, bestaande benaderingen die proberen redeneervermogen te verbeteren, worden geconfronteerd met twee fundamentele beperkingen in robotische manipulatie:

Inferentie-latentie: Methoden die expliciet linguïstische redeneersporen (Chain-of-Thought) genereren of toekomstige visuele observaties voorspellen voorafgaand aan actie, veroorzaken een aanzienlijke autoregressieve generatie-overhead. Deze latentie beperkt de temporele resolutie die vereist is voor real-time, closed-loop robotische besturing.
Representatieve Bottleneck: Expliciet redeneren is beperkt tot de linguïstische ruimte, die moeite heeft om "onuitsprekelijke" fysieke attributen en fijnmazige robotische dynamiek die moeilijk te verwoorden zijn, getrouw te vatten. Robotische agenten vereisen redeneren over fysieke en geometrische toestanden die vaak het expressieve vermogen van natuurlijke taal overstijgen.

2. Methodologie: LaST0 Framework

De auteurs stellen LaST0 voor, een verenigd VLA-model dat efficiënt "redeneer-voor-actie"-gedrag mogelijk maakt door middel van een Latente Spatio-Temporele Chain-of-Thought (LaST CoT). In plaats van tekst of afbeeldingen te genereren, voert het model redeneringen uit binnen een compacte, continue latente ruimte.

Kernarchitectuur

LaST0 is gebouwd op een Mixture-of-Transformers (MoT) ontwerp, geïnitialiseerd vanaf de Janus-Pro (DeepSeek-LLM 1.5B) backbone. Het ontkoppelt redeneren en besturing in twee gespecialiseerde experts die een globale self-attention context delen maar op verschillende frequenties opereren:

Slow Reasoning Expert: Werkt op een lage frequentie (bijv. elke $k$ -de tijdstap). Het voert autoregressieve inferentie uit om de LaST CoT te generen, een sequentie van latente tokens die toekomstige fysieke dynamiek representeren.
Fast Acting Expert: Werkt op de natuurlijke hoge-frequentie besturingssnelheid. Het genereert continue actiecommando's geconditioneerd op hoge-frequentie observaties en de periodiek bijgewerkte latente representaties van de redeneerexpert.

Latente Spatio-Temporele CoT

De LaST CoT is een token-efficiënte latente ruimte die autoregressief toekomstige toestanden over drie modaliteiten voorspelt over een tijdshorizon $H$ :

2D Visuele Latenten: Gecodeerd uit toekomstige RGB-frames met behulp van een bevroren SigLIP-Large encoder.
3D Geometrische Latenten: Gecodeerd uit toekomstige puntenwolken met behulp van een vooraf getrainde Uni3D encoder (gebruikt alleen tijdens training om ground-truth targets te bieden).
Robot Proprioceptieve Latenten: Gecodeerd uit toekomstige robotische toestanden (gewrichtshoeken, snelheden, grijperstatus).

Deze modaliteiten worden chronologisch geïnterleaved ( $z^v_1, z^p_1, z^s_1, \dots$ ) om gekoppelde spatio-temporele afhankelijkheden te modelleren. Tijdens de training wordt de redeneerexpert gesuperviseerd via een cosine similarity loss tegen ground-truth latente sequenties afgeleid van toekomstige observaties, in plaats van discrete token-voorspelling.

Trainingsstrategie

Pretraining: LaST0 wordt voorgetraind op een diverse corpus van meer dan 400K trajecten van Open-X-Embodiment, DROID en RoboMIND.
Supervised Fine-Tuning (SFT): Het model ondergaat gezamenlijke optimalisatie waarbij de redeneerexpert de latente regressieverlies minimaliseert en de actie-expert de Flow Matching loss minimaliseert.
Heterogene Frequentie Training: De actie-expert wordt getraind met willekeurig gemengde snelle-langzame operationele ratio's (bijv. 1:1, 1:2, 1:4). Dit stelt het model in staat om tijdens implementatie adaptief geschikte executiefrequenties te selecteren, wat robuustheid garandeert wanneer de redeneer-update-snelheid varieert.

3. Belangrijkste Bijdragen

Latente Spatio-Temporele CoT: Een nieuw framework dat redenering uitvoert in een compacte latente ruimte, waardoor fijnmazige fysieke en robotische dynamiek (2D, 3D en proprioceptief) wordt gevangen die moeilijk te verwoorden zijn, terwijl het ook temporele consistentie ondersteunt.
Dual-System MoT Architectuur: Een ontwerp dat lage-frequentie latente redenering coördineert met hoge-frequentie actiegeneratie via een Mixture-of-Transformers schema. Dit maakt deliberatief redeneren mogelijk zonder de real-time besturingsresponsiviteit in gevaar te brengen.
Efficiënte Training en Inferentie: Door expliciete tekst/afbeelding-generatie te vervangen door latente regressie en gebruik te maken van asynchrone frequentiecoördinatie, bereikt de methode significante versnellingen vergeleken met expliciete CoT-benaderingen.

4. Experimentele Resultaten

De auteurs hebben LaST0 geëvalueerd over simulatie- en real-world benchmarks, waarbij het is vergeleken met state-of-the-art VLA-modellen (bijv. OpenVLA, $\pi_0.5$ , CoT-VLA, SpatialVLA).

Simulatie Benchmarks

RLBench: Op 10 diverse manipulatietaken bereikte LaST0 een gemiddeld succespercentage van 82%, waarmee het de sterkste baseline (HybridVLA-7B met 74%) met 8% versloeg. Het demonstreerde ook een superieure inferentiesnelheid (15.4 Hz) vergeleken met expliciete CoT-methoden (1.1 Hz).
LIBERO: LaST0 bereikte een state-of-the-art gemiddeld succespercentage van 98.1%, waarmee het $\pi_0.5$ (96.9%) en OpenVLA-OFT (97.1%) versloeg. Opvallend genoeg excelleerde het in de langdurige LIBERO-Long suite (95.6%), wat duidt op een effectieve afhandeling van uitgebreide taken.

Real-World Experimenten

Geëvalueerd op 10 complexe taken variërend van tafelmanipulatie (enkel/dubbele arm), mobiele manipulatie en behendige handbesturing:

Prestaties: LaST0 behaalde een gemiddeld succespercentage van 72% op het Franka-platform, waarmee het SpatialVLA (41%), $\pi_0.5$ (59%) en CoT-VLA (50%) aanzienlijk versloeg.
Lange-termijn Robuustheid: In een langdurige taak die drie opeenvolgende succesvolle executies vereist (het herhaaldelijk plaatsen van een ei op brood), behield LaST0 succespercentages van 66% $\to$ 47% $\to$ 33% over de stappen heen, terwijl $\pi_0.5$ daalde naar 47% $\to$ 20% $\to$ 7%.
Generalisatie: Het model generaliseerde succesvol naar mobiele platforms (AgileX) en behendige humanoïde handen (TienKung 2.0), waarbij het complexe gearticuleerde objectmanipulatie aanpakte.

5. Betekenis en Claims

Het artikel claimt dat LaST0 het cruciale compromis tussen redeneerdiepte en inferentiesnelheid in robotische VLA-modellen aanpakt. Door redeneren van de linguïstische ruimte naar een fysiek gegronde latente ruimte te verschuiven, vangt het framework de "onuitspreekbare" fysieke dynamiek die essentieel is voor robuuste manipulatie, zonder de latentiepenalty van autoregressieve tekstgeneratie.

De auteurs benadrukken dat de dual-system architectuur het model in staat stelt om de voordelen van "redeneer-voor-actie" (temporele consistentie, fysiek begrip) te behouden terwijl het opereert op frequenties die geschikt zijn voor real-time besturing. De resultaten suggereren dat latente redenering een effectiever en efficiënter paradigma is voor embodied AI dan expliciete tekstuele of visuele voorspelling, met name voor taken die fijnmazige fysieke interactie en langdurige planning vereisen.