💻 computer science

TBD-VLA: Temporal Block Diffusion Vision Language Action Model

TBD-VLA is een nieuw discreet Vision-Language-Action-framework dat autoregressieve blokgeneratie combineert met gemaskeerde discrete diffusie om zowel een hoge inferentiesnelheid als sterke temporele coherentie te bereiken in robotische manipulatietaken.

Oorspronkelijke auteurs: Sung-Wook Lee, Xuhui Kang, Yen-Ling Kuo

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sung-Wook Lee, Xuhui Kang, Yen-Ling Kuo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een complexe maaltijd te bereiden, zoals het samenstellen van een sandwich. De robot moet naar de ingrediënten kijken (visie), jouw stemcommando begrijpen (taal) en vervolgens zijn armen bewegen om het brood te pakken, de pindakaas te smeren en de jam te plaatsen (acties).

Deze paper introduceert een nieuwe manier om robots dit te leren, genaamd TBD-VLA. Om te begrijpen waarom dit bijzonder is, kijken we naar hoe robots normaal gesproken leren versus hoe deze nieuwe methode werkt.

De Oude Manier: De Trage Robot die Stap-voor-Stap Werkt

De meeste huidige robots denken als een persoon die een zin schrijft, letter voor letter. Ze bepalen de eerste beweging, dan de tweede, dan de derde, enzovoort.

Het Probleem: Dit is erg traag. Als de robot 100 kleine bewegingen moet plannen om een beker op te pakken, moet hij 100 keer achter elkaar "nadenken". Tegen de tijd dat hij klaar is met nadenken, kan de beker al verplaatst zijn, of is de robot gewoon te traag om in realtime te reageren.
Het Alternatief: Sommige onderzoekers probeerden de robot in "chunks" (blokken) te laten denken (zoals een heel woord in één keer schrijven) om het proces te versnellen. Maar dit maakte de robot vaak onhandig omdat hij vergat hoe de bewegingen in de loop van de tijd met elkaar verbonden waren. Het is alsof je een zin schrijft waarbij de woorden snel gaan, maar de grammatica kapot is.

De Nieuwe Manier: TBD-VLA (De "Block Diffusion" Chef)

De auteurs creëerden een systeem dat het beste van beide werelden combineert. Ze noemen het Temporal Block Diffusion. Zo werkt het met een eenvoudige analogie:

1. De "Block" Strategie (Het Receptkaartje)
In plaats van elke individuele vingerbeweging te bedenken, verdeelt de robot de taak in blokken (zoals pagina's in een recept).

Tussen de blokken door: De robot denkt over de blokken één voor één (Pagina 1, dan Pagina 2). Dit zorgt ervoor dat het verhaal logisch is en de stappen een logische volgorde volgen.
Binnen een blok: Zodra de robot heeft besloten om aan "Pagina 1" te werken, bepaalt hij alle bewegingen op die pagina tegelijkertijd.

2. De "Diffusion" Strategie (Het Gum en Potlood)
Hoe bepaalt de robot de bewegingen binnen een blok zo snel? Hij gebruikt een techniek genaamd Discrete Diffusion.

Stel je voor dat de robot begint met een leeg vel papier waar alle instructies verborgen zijn (gemaskeerd).
Hij doet een "gok" naar alle bewegingen tegelijkertijd.
Vervolgens kijkt hij naar zijn gok, ziet welke delen fout zijn, en "gumt" de slechte gokken terwijl hij de goede behoudt.
Hij herhaalt dit proces een paar keer, waarbij hij de hele blok aan bewegingen gelijktijdig verfijnt totdat het beeld duidelijk is.

Het Resultaat: De robot beweegt snel omdat hij niet over elke stap afzonderlijk hoeft na te denken. Hij denkt in groepen en verfijnt de hele groep tegelijkertijd.

De "Real-Time Chunking" Superkracht

De paper benadrukt een coole functie genaamd Real-Time Chunking (RTC).

Het Scenario: Stel dat de robot momenteel melk schenkt (Actie A). Terwijl hij dat doet, moet hij alvast nadenken over wat hij daarna moet doen (Actie B).
Het Probleem: Normaal gesproken moet de robot wachten tot Actie A 100% is voltooid voordat hij kan beginnen met nadenken over Actie B. Dit veroorzaakt een "lag" of vertraging.
De TBD-VLA Oplossing: Omdat dit model getraind is om "gaten in te vullen" (een proces genaamd in-painting), kan het kijken naar de actie die het nu uitvoert en zeggen: "Ik weet wat ik nu doe, dus ik kan alvast gokken wat er hierna komt terwijl ik de huidige taak nog uitvoer."
De Analogie: Het is als een muzikant die een lied speelt. In plaats van te wachten tot het hele lied is afgelopen voordat hij over de volgende noot nadenkt, is hij de volgende regel al aan het neuriën terwijl zijn vingers de huidige noot nog spelen. Dit maakt de robot veel sneller en responsiever.

Wat Hebben Ze Bewezen?

De onderzoekers hebben deze robotbrein op twee manieren getest:

In Simulaties: Ze plaatsten de robot in een virtuele wereld met veel verschillende taken (zoals het stapelen van blokken of het verplaatsen van objecten). TBD-VLA was sneller en succesvoller dan eerdere methoden, zelfs wanneer de robot werd "afgeleid" door veranderingen in de verlichting of camerahoeken.
In de Echte Wereld: Ze testten het op een echte robotarm (een Franka Research 3) bij tafelopdrachten zoals het doen van brood in een broodrooster of het verplaatsen van vloeistof.
- De Uitkomst: TBD-VLA slaagde ongeveer 67% van de tijd in moeilijke, veranderende real-world situaties, terwijl de vorige beste methode slechts ongeveer 50% slaagde.
- Snelheid: Het was ook aanzienlijk sneller en nam minder dan een tiende van een seconde de tijd om een beslissing te nemen, wat snel genoeg is voor realtime besturing.

Samenvatting

TBD-VLA is een nieuwe manier voor robots om hun bewegingen te plannen. In plaats van langzaam stap voor stap te denken, of snel maar onhandig te denken, denkt het in groepen stappen die het allemaal tegelijkertijd verfijnt. Dit stelt de robot in staat om zowel slim te zijn (het begrijpen van de volgorde van gebeurtenissen) als snel (reageren in realtime), waardoor hij veel beter wordt in het uitvoeren van complexe taken in de echte wereld.

Technische Samenvatting: TBD-VLA (Temporal Block Diffusion Vision Language Action Model)

Probleemstelling

Vision-Language-Action (VLA) modellen beogen visuele observaties en natuurlijke taalinstructies te mappen naar uitvoerbare robotacties. Een centrale uitdaging in dit domein is het balanceren van temporele coherentie met inferentie-efficiëntie.

Beperkingen van Autoregressieve Modellen: Huidige discrete token-gebaseerde VLA-modellen genereren acties token voor token. Hoewel dit de temporele afhankelijkheden goed vastlegt, resulteert de sequentiële aard in een hoge inferentie-latentie, wat ongeschikt is voor hoogfrequente, closed-loop robotbesturing.
Beperkingen van Parallelle Decodering: Recente benaderingen proberen de snelheid te verbeteren via parallelle decodering of flow-matching koppen. Deze methoden missen echter vaak expliciete mechanismen om temporele afhankelijkheden over actie-chunks heen te modelleren, wat de coherentie van langetermijn-trajecten kan compromitteren.
De Kloof: Er is behoefte aan een framework dat de efficiëntie van parallelle decodering verenigt met de inherente temporele structuur van actiesequenties, zonder het Vision-Language Model (VLM) backbone-proces los te koppelen van het actiegeneratieproces.

Methodologie: TBD-VLA

De auteurs stellen TBD-VLA voor, een discrete token-gebaseerde VLA-framework die actiegeneratie formuleert als block-wise discrete diffusie. Deze benadering verdeelt actiesequenties in temporele blokken, wat parallelle decodering binnen blokken mogelijk maakt terwijl autoregressieve generatie over blokken heen behouden blijft.

1. Modelarchitectuur en Tokenisatie

Backbone: Het model maakt gebruik van een VLM-backbone (specifiek Qwen3-VL 2B in experimenten) die is uitgebreid met speciale tokens voor masking, placeholders en acties.
Discretisatie: Actie-features (proprioceptie en controle-outputs) worden gediscretiseerd in bins en getokeniseerd met een gedeelde vocabulaire. Een actie-chunk $A_t$ wordt gerepresenteerd als een sequentie van tokens.
Temporele Blokstructuur: De actie-horizon wordt verdeeld in $K$ blokken van grootte $m$ . De waarschijnlijkheid van de actiesequentie wordt gefactoriseerd over deze blokken:
$p(a_{1:H_p} | o, g) = \prod_{k=0}^{K-1} p_\theta(a_{km+1:(k+1)m} | o, g, a_{1:km})$

2. Trainingspipeline

Het trainingsproces past het next-token prediction doel van de VLM aan naar het discrete diffusieparadigma via drie kernmechanismen:

Temporal-Level Token Shift: Om aan te sluiten bij de autoregressieve aard van de VLM, wordt het model getraind zodanig dat tokens in het huidige actieblok het volgende actieblok voorspellen. Dit overbrugt de kloof tussen zelf-reconstructieve diffusie en causale sequentiemodellering.
Discrete Block Diffusion:
- Forward Process: Schone actieblokken worden gecorrumpeerd door willekeurig tokens te maskeren.
- Reverse Process: Het model voorspelt schone tokens voor een blok $k$ , geconditioneerd op een "shifted predictor" blok $z_k$ . Voor het eerste blok is $z_k$ een anker van masks; voor daaropvolgende blokken bestaat $z_k$ uit de schone voorgaande blokken.
- Loss Function: Het doel is de gemiddelde cross-entropy over gemaskeerde actie-tokens.
Doubled-Layout Attention Masking: Om zowel intra-blok parallellisme als inter-blok autoregressie tegelijkertijd te verwerken, concateneert de trainingsinput de schone sequentie met de genoiseerde sequentie. Een aangepaste attention mask staat het model toe om in één enkele pass naar vorige schone blokken én het huidige noisy blok te kijken, wat de training aanzienlijk versnelt.

3. Inferentiestrategie

Block-wise Decoding: Tijdens inferentie worden actieblokken sequentieel gegenereerd. Binnen elk blok worden tokens parallel verfijnd over $n_d$ discrete diffusiestappen.
Decode-as-Needed: In plaats van de volledige horizon te genereren, decodeert het beleid alleen het aantal blokken dat vereist is voor de huidige rollout-horizon ( $K_{exec}$ ), wat het totaal aantal denoising-stappen vermindert.
Prefix KV Caching: Key-value staten voor visuele inputs, prompts en eerder gegenereerde actieblokken worden gecached om redundante berekeningen tijdens de iteratieve denoising-stappen te voorkomen.
Expectation Sampling: In plaats van de enkel meest waarschijnlijke token te selecteren (argmax), decodeert het model scalaire actiewaarden door de verwachting over de volledige voorspelde tokenverdeling te berekenen, wat een fijnmaziger signaal oplevert.
Real-Time Chunking (RTC): Om latentie in closed-loop besturing te mitigeren, ondersteunt TBD-VLA asynchrone executie. Het bevriest de staart van eerder gegenereerde acties (overeenkomend met de inferentie-latentievenster) en gebruikt deze als context voor het "in-painting" van de volgende actieblokken. Dit sluit aan bij het trainingsdoel van het voltooien van gedeeltelijk gecommitteerde actie-chunks.

Belangrijkste Bijdragen

TBD-VLA Framework: Een nieuw VLA-framework dat parallelle actie-decodering combineert met temporele-niveau autoregressie via block discrete diffusie.
Trainingsschema: Een specifiek pipeline die temporal token shifts en doubled-layout attention masking incorporeert om block-wise diffusie op VLM backbones efficiënt te trainen.
Uitgebreide Evaluatie: Uitgebreide experimenten die sterke generalisatie en robuustheid demonstreren over meerdere simulatiebenchmarks (LIBERO, SimplerEnv) en real-world manipulatietaken.

Experimentele Resultaten

De auteurs evalueerden TBD-VLA tegen state-of-the-art modellen (bijv. $\pi0.5$ , GR00T-N1, OpenVLA-OFT) in zowel simulatie- als real-world settings.

Simulatie (LIBERO): TBD-VLA behaalde een gemiddeld succespercentage van 97,6% op de LIBERO-benchmark, waarmee het eerdere SOTA-methoden overtrof. Onder inferentie-vertragingen (gesimuleerde latentie), behield TBD-VLA met RTC een succespercentage van 93,2%, wat aanzienlijk beter is dan baselines zonder RTC (die zakten naar 72,3%).
Robuustheid (LIBERO-Plus): Het model demonstreerde een hoge robuustheid tegen perturbaties (objectlay-out, camerastandpunt, verlichting), met een gemiddeld succespercentage van 83,0%, waarmee het de op één na beste methode met 15,1% overtrof.
Real-World Transfer:
- SimplerEnv: TBD-VLA behaalde 66,8% succes op Widow-X taken en 91,0% op Google Robot taken (visuele matching), waarmee het de meeste baselines overtrof.
- Fysieke Manipulatie: In real-world tabletop taken (bijv. "Everything in Bin", "Load Toaster") behaalde TBD-VLA een gemiddeld succespercentage van 67,1% over verschillende perturbatie-scenario's, vergeleken met 50,0% voor de $\pi0.5$ baseline.
Efficiëntie: Het model bereikte een inferentie-latentie van 0,086s (op een NVIDIA RTX A40 GPU) met optimalisaties (KV caching, compile), wat competitief is met andere snelle VLA-modellen terwijl de temporele coherentie behouden blijft.

Betekenis en Claims

Het artikel claimt dat TBD-VLA een schaalbaar pad biedt naar snelle, temporeel bewuste, discrete VLA-modellen. Door temporele autoregressie en parallelle decodering te verenigen, adresseert het framework de trade-off tussen inferentiesnelheid en actie-coherentie.

De auteurs benadrukken dat de expliciete temporele modellering asynchrone executie (via RTC) mogelijk maakt, wat cruciaal is voor real-time besturing. De resultaten suggereren dat block diffusion een veelbelovende richting is voor het verbeteren van de generalisatie en robuustheid van robot-policies zonder de efficiëntie op te offeren die vereist is voor closed-loop besturing.

Het artikel blijft bescheiden over de beperkingen en merkt op dat de focus ligt op de adoptie van block diffusion binnen VLA en dat toekomstig werk zich zal richten op het verkennen van alternatieve trainingsstrategieën (bijv. co-training met hulp-objectieven) en diepere interpretaties van hoe VLM-representaties transformeren in uitvoerbare acties. Het erkent ook dat hoewel het model robuust is, het nog steeds kan falen onder extreme out-of-distribution condities (bijv. significante veranderingen in camerastandpunt bij vloeistofoverdrachtstaken).