💻 computer science

TBD-VLA: Temporal Block Diffusion Vision Language Action Model

TBD-VLA ist ein neuartiges diskretes Vision-Language-Action-Framework, das autoregressive Blockgenerierung mit maskierter diskreter Diffusion kombiniert, um sowohl eine hohe Inferenzgeschwindigkeit als auch eine starke zeitliche Kohärenz bei robotischen Manipulationsaufgaben zu erreichen.

Ursprüngliche Autoren: Sung-Wook Lee, Xuhui Kang, Yen-Ling Kuo

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sung-Wook Lee, Xuhui Kang, Yen-Ling Kuo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, eine komplexe Mahlzeit zuzubereiten, wie zum Beispiel das Belegen eines Sandwiches. Der Robot muss die Zutaten sehen (Vision), Ihren Sprachbefehl verstehen (Sprache) und dann seine Arme bewegen, um das Brot zu greifen, die Erdnusssauce zu streichen und die Gelee zu platzieren (Aktionen).

Das Paper stellt eine neue Methode vor, wie man Roboter so etwas beibringen kann, genannt TBD-VLA. Um zu verstehen, warum das etwas Besonderes ist, schauen wir uns an, wie Roboter normalerweise lernen im Vergleich dazu, wie diese neue Methode funktioniert.

Die alte Art: Der langsame, Schritt-für-Schritt-Roboter

Die meisten aktuellen Roboter denken wie eine Person, die einen Satz Buchstabe für Buchstabe schreibt. Sie entscheiden die erste Bewegung, dann die zweite, dann die dritte und so weiter.

Das Problem: Das ist sehr langsam. Wenn der Robot 100 winzige Bewegungen planen muss, um eine Tasse aufzuheben, muss er 100 Mal hintereinander „nachdenken“. Bis er mit dem Nachdenken fertig ist, hat sich die Tasse vielleicht schon bewegt, oder der Robot ist einfach zu langsam, um in Echtzeit zu reagieren.
Die Alternative: Einige Forscher haben versucht, den Roboter in „Chunks“ (Blöcken) denken zu lassen (wie ein ganzes Wort auf einmal zu schreiben), um ihn zu beschleunigen. Aber das machte den Roboter oft ungeschickt, weil er vergaß, wie die Bewegungen über die Zeit miteinander verbunden sind. Es ist, als würde man einen Satz schreiben, bei dem die Wörter zwar schnell sind, aber die Grammatik fehlerhaft ist.

Die neue Art: TBD-VLA (Der „Block-Diffusions“-Koch)

Die Autoren haben ein System entwickelt, das das Beste aus beiden Welten kombiniert. Sie nennen es Temporal Block Diffusion. So funktioniert es unter Verwendung einer einfachen Analogie:

1. Die „Block“-Strategie (Das Rezeptblatt)
Anstatt über jede einzelne Fingerbewegung einzeln nachzudenken, unterteilt der Roboter die Aufgabe in Blöcke (wie Seiten in einem Rezept).

Zwischen den Blöcken: Der Robot denkt die Blöcke nacheinander durch (Seite 1, dann Seite 2). Dies stellt sicher, dass die Geschichte Sinn ergibt und die Schritte einer logischen Reihenfolge folgen.
Innerhalb eines Blocks: Sobald er entschieden hat, an „Seite 1“ zu arbeiten, findet er alle Bewegungen auf dieser Seite gleichzeitig heraus.

2. Die „Diffusion“-Strategie (Der Radiergummi und der Bleistift)
Wie findet der Roboter die Bewegungen innerhalb eines Blocks so schnell heraus? Er nutzt eine Technik namens Discrete Diffusion.

Stellen Sie sich vor, der Robot beginnt mit einem leeren Blatt Papier, auf dem alle Anweisungen verborgen (maskiert) sind.
Er macht eine „Vermutung“ über alle Bewegungen gleichzeitig.
Dann schaut er sich seine Vermutung an, sieht, welche Teile falsch sind, und „radiert“ die schlechten Vermutungen weg, während er die guten behält.
Er wiederholt diesen Prozess einige Male und verfeinert den gesamten Block an Bewegungen gleichzeitig, bis das Bild klar ist.

Das Ergebnis: Der Robot bewegt sich schnell, weil er nicht über jeden einzelnen Schritt nacheinander nachdenken muss. Er denkt in Gruppen und verfeinert die gesamte Gruppe gleichzeitig.

Die Superkraft des „Echtzeit-Chunking“

Das Paper hebt ein cooles Feature hervor, das Real-Time Chunking (RTC) genannt wird.

Das Szenario: Stellen Sie sich vor, der Roboter gießt gerade Milch ein (Aktion A). Während er dies tut, muss er bereits darüber nachdenken, was er als Nächstes tun soll (Aktion B).
Das Problem: Normalerweise muss der Robot warten, bis Aktion A zu 100 % abgeschlossen ist, bevor er mit dem Nachdenken über Aktion B beginnen kann. Dies verursacht eine „Verzögerung“ oder einen Lag.
Die TBD-VLA-Lösung: Da dieses Modell darauf trainiert ist, „Lücken zu füllen“ (ein Prozess namens In-painting), kann es sich auf die Aktion beziehen, die es gerade ausführt, und sagen: „Ich weiß, was ich jetzt tue, also kann ich schon damit anfangen, zu raten, was als Nächstes kommt, während ich die aktuelle Aufgabe noch ausführe.“
Die Analogie: Es ist wie ein Musiker, der ein Lied spielt. Anstatt darauf zu warten, dass das ganze Lied zu Ende ist, bevor er über die nächste Note nachdenkt, summt er die nächste Zeile bereits, während seine Finger noch die aktuelle spielen. Dies macht den Roboter viel schneller und reaktionsschneller.

Was haben sie bewiesen?

Die Forscher haben diesen Roboter-Verstand auf zwei Arten getestet:

In Simulationen: Sie platzierten den Roboter in einer virtuellen Welt mit vielen verschiedenen Aufgaben (wie das Stapeln von Blöcken oder das Bewegen von Objekten). TBD-VLA war schneller und erfolgreicher als bisherige Methoden, selbst wenn der Roboter durch Änderungen in der Beleuchtung oder durch Kamerawinkel „abgelenkt“ wurde.
In der realen Welt: Sie testeten ihn an einem echten Roboterarm (einem Franka Research 3) bei Tischaufgaben wie dem Einsetzen von Brot in einen Toaster oder dem Überführen von Flüssigkeiten.
- Das Ergebnis: TBD-VLA war in schwierigen, sich verändernden realen Situationen etwa 67 % der Zeit erfolgreich, während die bisher beste Methode nur etwa 50 % erreichte.
- Geschwindigkeit: Es war auch signifikant schneller und brauchte weniger als ein Zehntel einer Sekunde, um eine Entscheidung zu treffen, was schnell genug für die Echtzeitsteuerung ist.

Zusammenfassung

TBD-VLA ist eine neue Art für Roboter, ihre Bewegungen zu planen. Anstatt langsam Schritt für Schritt zu denken, oder schnell, aber ungeschickt zu denken, denkt es in Gruppen von Schritten, die es alle auf einmal verfeinert. Dies ermöglicht es dem Roboter, sowohl intelligent (das Verständnis für die Abfolge von Ereignissen) als auch schnell (Reaktion in Echtzeit) zu sein, was ihn bei komplexen Aufgaben in der realen Welt viel besser macht.

Technisches Resümee: TBD-VLA (Temporal Block Diffusion Vision Language Action Model)

Problemstellung

Vision-Language-Action (VLA)-Modelle zielen darauf ab, visuelle Beobachtungen und natürliche Sprachinstruktionen in ausführbare Roboteraktionen abzubilden. Eine zentrale Herausforderung in diesem Bereich besteht darin, ein Gleichgewicht zwischen zeitlicher Kohärenz und Inferenz-Effizienz zu finden.

Einschränkungen der autoregressiven Modelle: Aktuelle diskrete Token-basierte VLA-Modelle generieren Aktionen Token für Token. Während dies zeitliche Abhängigkeiten gut erfasst, führt die sequentielle Natur zu hoher Inferenzlatenz, was sie für die hochfrequente, geschlossene Regelung (closed-loop control) von Robotern ungeeignet macht.
Einschränkungen des parallelen Dekodierens: Neuere Ansätze versuchen, die Geschwindigkeit durch paralleles Dekodieren oder Flow-Matching-Heads zu verbessern. Diese Methoden verfügen jedoch oft nicht über explizite Mechanismen zur Modellierung zeitlicher Abhängigkeiten über Aktions-Chunks hinweg, was potenziell die Kohärenz langfristiger Trajektorien beeinträchtigt.
Die Lücke: Es besteht ein Bedarf an einem Framework, das die Effizienz des parallelen Dekodierens mit der inhärenten zeitlichen Struktur von Aktionssequenzen vereint, ohne den Vision-Language-Model (VLM)-Backbone vom Aktionsgenerierungsprozess zu entkoppeln.

Methodik: TBD-VLA

Die Autoren schlagen TBD-VLA vor, ein diskretes Token-basiertes VLA-Framework, das die Aktionsgenerierung als Block-weise diskrete Diffusion formuliert. Dieser Ansatz unterteilt Aktionssequenzen in zeitliche Blöcke, was ein paralleles Dekodieren innerhalb der Blöcke ermöglicht, während die autoregressive Generierung über die Blöcke hinweg beibehalten wird.

1. Modellarchitektur und Tokenisierung

Backbone: Das Modell nutzt einen VLM-Backbone (speziell Qwen3-VL 2B in den Experimenten), der durch spezielle Tokens für Maskierung, Platzhalter und Aktionen ergänzt wird.
Diskretisierung: Aktionsmerkmale (Propriozeption und Steuerungsoutputs) werden in Bins diskretisiert und mittels eines gemeinsamen Vokabulars tokenisiert. Ein Aktions-Chunk $A_t$ wird als eine Sequenz von Tokens dargestellt.
Zeitliche Blockstruktur: Der Aktionshorizont wird in $K$ Blöcke der Größe $m$ unterteilt. Die Wahrscheinlichkeit der Aktionssequenz wird über diese Blöcke faktorisiert:
$p(a_{1:H_p} | o, g) = \prod_{k=0}^{K-1} p_\theta(a_{km+1:(k+1)m} | o, g, a_{1:km})$

2. Trainingspipeline

Der Trainingsprozess passt das Next-Token-Prediction-Ziel des VLM durch drei Schlüsselmechanismen an das Paradigma der diskreten Diffusion an:

Temporal-Level Token Shift: Um mit der autoregressiven Natur des VLM zu korrespondieren, wird das Modell so trainiert, dass Tokens im aktuellen Aktionsblock den nächsten Aktionsblock vorhersagen. Dies überbrückt die Lücke zwischen selbst-rekonstruktiver Diffusion und kausaler Sequenzmodellierung.
Diskrete Block-Diffusion:
- Forward-Prozess: Saubere Aktionsblöcke werden durch zufälliges Maskieren von Tokens korrumpiert.
- Reverse-Prozess: Das Modell sagt saubere Tokens für einen Block $k$ voraus, bedingt auf einem "Shifted Predictor"-Block $z_k$ . Für den ersten Block ist $z_k$ ein Anker aus Masken; für nachfolgende Blöcke besteht $z_k$ aus den sauberen vorangehenden Blöcken.
- Loss-Funktion: Das Ziel ist der durchschnittliche Cross-Entropy-Verlust über die maskierten Aktions-Tokens.
Doubled-Layout Attention Masking: Um sowohl Intra-Block-Parallelität als auch Inter-Block-Autoregression gleichzeitig zu handhaben, konkateniert der Trainingsinput die saubere Sequenz und die verrauschte Sequenz. Eine benutzerdefinierte Attention-Mask erlaubt es dem Modell, in einem einzigen Durchgang auf vorangegangene saubere Blöcke und den aktuellen verrauschten Block aufmerksam zu sein, was das Training signifikant beschleunigt.

3. Inferenzstrategie

Block-weise Dekodierung: Bei der Inferenz werden Aktionsblöcke sequentiell generiert. Innerhalb jedes Blocks werden die Tokens über $n_d$ Schritte der diskreten Diffusion parallel verfeinert.
Decode-as-Needed: Anstatt den vollen Horizont zu generieren, dekodiert die Policy nur die Anzahl der Blöcke, die für den aktuellen Rollout-Horizont ( $K_{exec}$ ) erforderlich sind, was die Gesamtzahl der Denoising-Schritte reduziert.
Prefix KV Caching: Key-Value-Zustände für visuelle Inputs, Prompts und zuvor generierte Aktionsblöcke werden gecacht, um redundante Berechnungen während der iterativen Denoising-Schritte zu vermeiden.
Expectation Sampling: Anstatt das wahrscheinlichste einzelne Token (Argmax) zu wählen, dekodiert das Modell skalare Aktionswerte, indem es den Erwartungswert über die vollständige vorhergesagte Token-Verteilung berechnet, was ein feiner abgestuftes Signal liefert.
Real-Time Chunking (RTC): Um die Latenz in der geschlossenen Regelung zu mildern, unterstützt TBD-VLA eine asynchrone Ausführung. Es friert das Ende der zuvor generierten Aktionen (entsprechend dem Inferenz-Latenzfenster) ein und nutzt diese als Kontext für das "In-painting" der nächsten Aktionsblöcke. Dies stimmt mit dem Trainingsziel überein, teilweise bereits verpflichtete Aktions-Chunks zu vervollständigen.

Wichtigste Beiträge

TBD-VLA Framework: Ein neuartiges VLA-Framework, das parallele Aktionsdekodierung mit zeitlicher Ebene-Autoregression via Block-diskreter Diffusion kombiniert.
Trainingsschema: Eine spezifische Pipeline, die Temporal Token Shifts und Doubled-Layout Attention Masking integriert, um effizientes Block-Diffusion-Training auf VLM-Backbones zu ermöglichen.
Umfassende Evaluierung: Umfangreiche Experimente, die eine starke Generalisierung und Robustheit über mehrere Simulations-Benchmarks (LIBERO, SimplerEnv) und reale Manipulationsaufgaben hinweg demonstrieren.

Experimentelle Ergebnisse

Die Autoren evaluierten TBD-VLA gegenüber State-of-the-Art-Modellen (z. B. $\pi0.5$ , GR00T-N1, OpenVLA-OFT) sowohl in Simulationen als auch in realen Umgebungen.

Simulation (LIBERO): TBD-VLA erreichte eine durchschnittliche Erfolgsrate von 97,6 % im LIBERO-Benchmark und übertraf damit bisherige SOTA-Methoden. Unter Inferenzverzögerungen (simulierte Latenz) hielt TBD-VLA mit RTC eine Erfolgsrate von 93,2 %, was deutlich über den Baselines ohne RTC (die auf 72,3 % fielen) liegt.
Robustheit (LIBERO-Plus): Das Modell zeigte eine hohe Robustheit gegenüber Störungen (Objektlayout, Kameraperspektive, Beleuchtung) und erreichte eine durchschnittliche Erfolgsrate von 83,0 %, womit es die zweitbeste Methode um 15,1 % übertraf.
Real-World Transfer:
- SimplerEnv: TBD-VLA erreichte 66,8 % Erfolg bei Widow-X-Aufgaben und 91,0 % bei Google Robot-Aufgaben (Visual Matching) und übertraf damit die meisten Baselines.
- Physische Manipulation: In realen Tischaufgaben (z. B. "Everything in Bin", "Load Toaster") erreichte TBD-VLA eine durchschnittliche Erfolgsrate von 67,1 % über verschiedene Perturbations-Szenarien hinweg, verglichen mit 50,0 % für die $\pi0.5$ -Baseline.
Effizienz: Das Modell erreichte eine Inferenzlatenz von 0,086 s (auf einer NVIDIA RTX A40 GPU) mit Optimierungen (KV-Caching, Compile), was konkurrenzfähig mit anderen schnellen VLA-Modellen ist, während die zeitliche Kohärenz erhalten bleibt.

Bedeutung und Behauptungen

Das Paper behauptet, dass TBD-VLA einen skalierbaren Pfad zu schnellen, zeitlich bewussten, diskreten VLA-Modellen bietet. Durch die Vereinigung von zeitlicher Autoregression und parallelem Dekodieren adressiert das Framework den Trade-off zwischen Inferenzgeschwindigkeit und Aktionskohärenz.

Die Autoren betonen, dass die explizite zeitliche Modellierung eine asynchrone Ausführung (via RTC) ermöglicht, was für die Echtzeitsteuerung entscheidend ist. Die Ergebnisse legen nahe, dass Block-Diffusion eine vielversprechende Richtung zur Verbesserung der Generalisierung und Robustheit robotergestützter Policies ist, ohne die für die geschlossene Regelung erforderliche Effizienz zu opfern.

Das Paper bleibt bescheiden hinsichtlich seiner Limitationen und merkt an, dass es sich auf die Anwendung der Block-Diffusion innerhalb von VLA konzentriert und die zukünftige Arbeit darin besteht, alternative Trainingsstrategien (z. B. Co-Training mit Hilfszielen) und tiefere Interpretationen davon zu erforschen, wie VLM-Repräsentationen in ausführbare Aktionen transformiert werden. Es räumt zudem ein, dass das Modell trotz seiner Robustheit unter extremen Out-of-Distribution-Bedingungen (z. B. signifikante Änderungen der Kameraperspektive bei Flüssigkeitstransfer-Aufgaben) scheitern kann.