💻 computer science

LaST $_{0}$ : Latent Spatio-Temporal Chain-of-Thought for Robotic Vision-Language-Action Model

LaST $_0$ ist ein robotisches Vision-Language-Action-Framework, das die Latenz- und Repräsentationsbeschränkungen expliziter linguistischer Argumentation durch den Einsatz eines token-effizienten, latenten spatio-temporalen Chain-of-Thought innerhalb einer Dual-System-Mixture-of-Transformers-Architektur überwindet und dadurch signifikante Verbesserungen der Erfolgsrate bei vielfältigen realen Manipulationsaufgaben erzielt.

Ursprüngliche Autoren: Zhuoyang Liu, Jiaming Liu, Hao Chen, Jiale Yu, Ziyu Guo, Chengkai Hou, Chenyang Gu, Xiangju Mi, Renrui Zhang, Kun Wu, Zhengping Che, Jian Tang, Pheng-Ann Heng, Shanghang Zhang

Veröffentlicht 2026-06-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhuoyang Liu, Jiaming Liu, Hao Chen, Jiale Yu, Ziyu Guo, Chengkai Hou, Chenyang Gu, Xiangju Mi, Renrui Zhang, Kun Wu, Zhengping Che, Jian Tang, Pheng-Ann Heng, Shanghang Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, wie man ein Ei kocht. Sie sagen ihm: „Schöpfe das Ei aus der Pfanne und lege es auf das Brot.“

Der alte Weg (Explizites Denken):
Früher musste der Roboter, um dies zu tun, anhalten, laut nachdenken und einen schrittweisen Aufsatz schreiben, bevor er seinen Arm bewegte. Er sagte vielleicht: „Zuerst muss ich meine Hand senken. Dann muss ich die Pfanne neigen. Dann muss ich schöpfen...“
Während der Roboter damit beschäftigt ist, diesen Aufsatz zu schreiben, wird das Ei kalt oder, schlimmer noch, die Pfanne kippt um. Dieses „Laut-Denken“ nimmt zu viel Zeit in Anspruch (Latenz), was den Roboter langsam und unbeholfen macht. Außerdem sind manche Dinge schwer mit Worten zu beschreiben, wie zum Beispiel das exakte Gefühl, wenn das Ei gleitet, oder die 3D-Form der Pfanne.

Der neue Weg (LaST0):
Das Paper stellt LaST0 vor, ein Robotergehirn, das anders denkt. Anstatt Sätze zu generieren, nutzt es einen „Stillen, unsichtbaren Denkprozess“ (genannt Latent Spatio-Temporal Chain-of-Thought).

So funktioniert LaST0, unter Verwendung einfacher Analogien:

1. Der „Stumme Film“ vs. das „Skript“

Anstatt Wörter zu generieren, um zu erklären, was es tun wird, erzeugt LaST0 einen stummen, internen Film der Zukunft.

Was es sieht: Es betrachtet nicht nur das Bild; es stellt sich die 3D-Form des Eies vor, die Textur der Pfanne und wie sich der eigene Arm anfühlt (Propriozeption).
Der „latente“ Teil: Diese Gedanken sind keine Wörter, die man lesen kann; es sind kompakte, Hochgeschwindigkeits-Datenpakete. Es ist der Unterschied zwischen dem Lesen eines langen Rezeptbuchs (langsam) und dem Muskelgedächtnis eines Kochs (schnell und intuitiv). Dies ermöglicht es dem Roboter, die Physik der Situation zu „fühlen“, ohne an der Vokabel zu scheitern.

2. Das „Gehirn-und-Körper“-Team (Dual-System)

LaST0 teilt sein Gehirn in zwei spezialisierte Experten auf, die zusammenarbeiten, wie ein Strategischer Kommandant und ein Reflexiver Athlet.

Der Kommandant (Experte für langsames Denken): Dieser Teil arbeitet mit einer geringeren Geschwindigkeit. Er betrachtet das große Ganze, stellt sich die nächsten Sekunden des „stummen Films“ vor und entwirft den Plan. Er fragt: „Wenn ich meinen Arm so bewege, wo wird das Ei in 0,5 Sekunden sein?“ Er tut dies nur gelegentlich (wie jemand, der alle paar Sekunden auf eine Karte schaut).
Der Athlet (Experte für schnelles Handeln): Dieser Teil ist superschnell. Er hält nicht inne, um über den großen Plan nachzudenken. Er beobachtet einfach das neueste Update des Kommandanten und reagiert sofort auf die unmittelbare Umgebung des Roboters. Er bewältigt die Hochgeschwindigkeitsbewegungen, die nötig sind, um das Ei aufzufangen, bevor es fällt.

Die magische Verbindung: Sie teilen eine „telepathische Verbindung“ (Shared Attention). Der Kommandant aktualisiert den Athleten mit einem neuen Plan, und der Athlet führt ihn sofort aus. Das bedeutet, dass der Roboter tief über die Zukunft nachdenken kann, ohne seine aktuellen Bewegungen zu verlangsamen.

3. Warum es besser ist

Geschwindigkeit: Da es keine Zeit mit dem Schreiben von Sätzen verschwendet, ist der Roboter 14-mal schneller als bisherige Methoden, die „laut gedacht“ haben. Er kann in Echtzeit reagieren, genau wie ein Mensch.
Verständnis der Physik: Er erfasst Dinge, die Worte nicht beschreiben können. Er versteht das „Gewicht“ und die „Schlüpfrigkeit“ des Eies durch sein internes 3D-Modell, nicht nur durch Text.
Konsistenz: Da er eine kontinuierliche „Movie“ der Zukunft imaginiert, sind seine Handlungen flüssig und verbunden. Er ruckelt nicht; er fließt.

Die Ergebnisse

Die Forscher testeten diesen Roboter bei 10 verschiedenen realen Aufgaben, von einfachen Tischtricks bis hin zu komplexen Aufgaben mit mobilen Robotern und geschickten Händen (wie menschlichen Händen).

Erfolgsrate: LaST0 war 13 % bis 14 % häufiger erfolgreich als die besten bisherigen Roboter.
Lange Aufgaben: Er war besonders gut in langen, komplizierten Aufgaben (wie das Schöpfen eines Eies, das Legen auf das Brot und das anschließende Wiederholen des Prozesses), bei denen andere Roboter verwirrt wurden und scheiterten.

Zusammenfassend:
LaST0 ist ein Roboter, der aufhört, mit sich selbst zu „reden“, und anfängt, die Zukunft zu „fühlen“. Durch die Nutzung einer stillen, internen Simulation des 3D-Raums und der Zeit sowie der Aufteilung seines Gehirns in einen langsamen Planer und einen schnellen Ausführer, bewegt er sich mit der Geschwindigkeit und Anmut eines Menschen, statt mit der Zögerlichkeit eines Computers, der ein Handbuch liest.

Technisches Resümee: LaST0 – Latente spatio-temporale Chain-of-Thought für robotische Vision-Language-Action-Modelle

1. Problemstellung

Vision-Language-Action (VLA)-Modelle haben kürzlich eine starke Generalisierungsfähigkeit demonstriert, indem sie das semantische Verständnis von Vision-Language-Modellen (VLMs) mit robotischen Steuerungsrichtlinien integrieren. Bestehende Ansätze, die versuchen, die Denkfähigkeiten zu verbessern, stehen jedoch vor zwei grundlegenden Einschränkungen in der robotischen Manipulation:

Inferenzlatenz: Methoden, die explizit linguistische Denkspuren (Chain-of-Thought) generieren oder zukünftige visuelle Beobachtungen vor der Ausführung vorhersagen, verursachen einen erheblichen autoregressiven Generierungsaufwand. Diese Latenz schränkt die für eine echtzeitfähige, geschlossene Regelung erforderliche zeitliche Auflösung ein.
Repräsentationsengpass: Explizites Denken ist auf den linguistischen Raum beschränkt, der Schwierigkeiten hat, „unsagliche“ physikalische Attribute und feingliedrige robotische Dynamiken, die schwer zu verbalisieren sind, getreu zu erfassen. Robotische Agenten müssen über physikalische und geometrische Zustände nachdenken, die oft die Ausdrucksfähigkeit natürlicher Sprache übersteigen.

2. Methodik: LaST0-Framework

Die Autoren schlagen LaST0 vor, ein vereinheitlichtes VLA-Modell, das ein effizientes „Reason-before-Act“-Verhalten durch eine Latente Spatio-Temporale Chain-of-Thought (LaST CoT) ermöglicht. Anstatt Text oder Bilder zu generieren, führt das Modell das Denken innerhalb eines kompakten, kontinuierlichen latenten Raums durch.

Kernarchitektur

LaST0 basiert auf einem Mixture-of-Transformers (MoT)-Design, das vom Janus-Pro (DeepSeek-LLM 1.5B) Backbone initialisiert wurde. Es entkoppelt Denken und Steuerung in zwei spezialisierte Experten, die einen globalen Self-Attention-Kontext teilen, aber mit unterschiedlichen Frequenzen operieren:

Slow Reasoning Expert (Langsamer Denk-Experte): Operiert mit einer niedrigen Frequenz (z. B. jeden $k$ -ten Zeitschritt). Er führt autoregressive Inferenz durch, um die LaST CoT zu generieren, eine Sequenz von latenten Tokens, die zukünftige physikalische Dynamiken repräsentieren.
Fast Acting Expert (Schneller Aktions-Experte): Operiert mit der nativen Hochfrequenz-Steuerungsrate. Er generiert kontinuierliche Aktionsbefehle, die auf hochfrequenten Beobachtungen und den periodisch aktualisierten latenten Repräsentationen des Denk-Experten konditioniert sind.

Latente Spatio-Temporale CoT

Die LaST CoT ist ein token-effizienter latenter Raum, der zukünftige Zustände über einen Zeithorizont $H$ autoregressiv über drei Modalitäten vorhersagt:

2D Visuelle Latente: Kodiert aus zukünftigen RGB-Frames mittels eines gefrorenen SigLIP-Large Encoders.
3D Geometrische Latente: Kodiert aus zukünftigen Punktwolken mittels eines vortrainierten Uni3D Encoders (wird nur während des Trainings verwendet, um Ground-Truth-Zielwerte bereitzustellen).
Robotische Propriozeption-Latente: Kodiert aus zukünftigen Roboterzuständen (Gelenkwinkel, Geschwindigkeiten, Greiferzustand).

Diese Modalitäten sind chronologisch verschachtelt ( $z^v_1, z^p_1, z^s_1, \dots$ ), um gekoppelte spatio-temporale Abhängigkeiten zu modellieren. Während des Trainings wird der Denk-Experte mittels eines Cosine-Similarity-Loss gegen Ground-Truth-Latent-Sequenzen abgeleitet aus zukünftigen Beobachtungen überwacht, anstatt gegen diskrete Token-Vorhersagen.

Trainingsstrategie

Pretraining: LaST0 wird auf einem vielfältigen Korpus von über 400.000 Trajektorien aus Open-X-Embodiment, DROID und RoboMIND vortrainiert.
Supervised Fine-Tuning (SFT): Das Modell durchläuft eine gemeinsame Optimierung, bei der der Denk-Experte den latenten Regressionsverlust minimiert und der Aktions-Experte den Flow-Matching-Verlust minimiert.
Heterogene Frequenz-Trainings: Der Aktions-Experte wird mit zufällig gemischten Fast-Slow-Betriebsverhältnissen (z. B. 1:1, 1:2, 1:4) trainiert. Dies ermöglicht es dem Modell, während des Einsatzes angemessene Ausführungsfrequenzen adaptiv zu wählen, was die Robustheit sicherstellt, wenn die Aktualisierungsrate des Denkprozesses variiert.

3. Zentrale Beiträge

Latente Spatio-Temporale CoT: Ein neuartiges Framework, das das Denken in einem kompakten latenten Raum durchführt und feingliedrige physikalische und robotische Dynamiken (2D, 3D und Propriozeption) erfasst, die schwer zu verbalisieren sind, während es gleichzeitig eine zeitlich konsistente Modellierung unterstützt.
Dual-System MoT Architektur: Ein Design, das niederfrequentes latentes Denken mit hochfrequenter Aktionsgenerierung über ein Mixture-of-Transformers-Schema koordiniert. Dies ermöglicht deliberatives Denken, ohne die Echtzeit-Reaktionsfähigkeit der Steuerung zu beeinträchtigen.
Effizientes Training und Inferenz: Durch den Ersatz der expliziten Text-/Bildgenerierung durch latente Regression und die Nutzung asynchroner Frequenzkoordination erreicht die Methode signifikante Beschleunigungen im Vergleich zu expliziten CoT-Ansätzen.

4. Experimentelle Ergebnisse

Die Autoren evaluierten LaST0 über Simulations- und Realwelt-Benchmarks hinweg und verglichen es mit State-of-the-Art VLA-Modellen (z. B. OpenVLA, $\pi_0.5$ , CoT-VLA, SpatialVLA).

Simulations-Benchmarks

RLBench: Bei 10 vielfältigen Manipulationsaufgaben erreichte LaST0 eine mittlere Erfolgsrate von 82 % und übertraf damit den stärksten Baseline-Wert (HybridVLA-7B mit 74 %) um 8 %. Es demonstrierte zudem eine überlegene Inferenzgeschwindigkeit (15,4 Hz) im Vergleich zu expliziten CoT-Methoden (1,1 Hz).
LIBERO: LaST0 erreichte eine State-of-the-Art mittlere Erfolgsrate von 98,1 % und übertraf damit $\pi_0.5$ (96,9 %) und OpenVLA-OFT (97,1 %). Bemerkenswert ist, dass es in der Langzeit-LIBERO-Long-Suite (95,6 %) exzellierte, was ein effektives Handling erweiterter Aufgaben zeigt.

Realwelt-Experimente

Evaluierung auf 10 komplexen Aufgaben, die sich über Tischmanipulation (Einzel-/Doppelarm), mobile Manipulation und dexterous Handsteuerung erstrecken:

Leistung: LaST0 erreichte eine mittlere Erfolgsrate von 72 % auf der Franka-Plattform und übertraf damit signifikant SpatialVLA (41 %), $\pi_0.5$ (59 %) und CoT-VLA (50 %).
Langzeit-Robustheit: In einer Langzeitaufgabe, die drei aufeinanderfolgende erfolgreiche Ausführungen erforderte (wiederholtes Platzieren eines Eies auf Brot), hielt LaST0 Erfolgsraten von 66 % $\to$ 47 % $\to$ 33 % über die Schritte hinweg, während $\pi_0.5$ auf 47 % $\to$ 20 % $\to$ 7 % abfiel.
Generalisierung: Das Modell generalisierte erfolgreich auf mobile Plattformen (AgileX) und dexterous Humanoid-Hände (TienKung 2.0) und bewältigte komplexe Manipulationen an Artikulations-Objekten.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass LaST0 den kritischen Trade-off zwischen Denk-Tiefe und Inferenzgeschwindigkeit in robotischen VLA-Modellen löst. Durch die Verlagerung des Denkens vom linguistischen Raum in einen physikalisch fundierten latenten Raum erfasst das Framework die „unsagbaren“ physikalischen Dynamiken, die für eine robuste Manipulation essenziell sind, ohne die Latenzstrafe einer autoregressiven Textgenerierung zu tragen.

Die Autoren betonen, dass die Dual-System-Architektur es dem Modell ermöglicht, die Vorteile von „Reason-before-Act“ (zeitliche Konsistenz, physikalisches Verständnis) beizubehalten und gleichzeitig mit Frequenzen zu operieren, die für die Echtzeitsteuerung geeignet sind. Die Ergebnisse legen nahe, dass latentes Denken ein effektiveres und effizienteres Paradigma für Embodied AI als explizite textuelle oder visuelle Vorhersage ist, insbesondere für Aufgaben, die eine feingliedrige physikalische Interaktion und langfristige Planung erfordern.