💻 computer science

Latent Reasoning VLA: Latent Thinking and Prediction for Vision-Language-Action Models

Das Papier schlägt Latent Reasoning VLA (LaRA-VLA) vor, ein einheitliches Framework, das multimodales Chain-of-Thought-Reasoning in kontinuierliche latente Repräsentationen internalisiert, um eine effiziente, Echtzeit-embodied-Kontrolle zu erreichen, die im Vergleich zu expliziten Reasoning-Ansätzen die Inferenz-Latenz um bis zu 90 % reduziert.

Ursprüngliche Autoren: Shuanghao Bai, Jing Lyu, Wanqi Zhou, Zhe Li, Dakai Wang, Lei Xing, Xiaoguang Zhao, Pengwei Wang, Zhongyuan Wang, Cheng Chi, Badong Chen, Shanghang Zhang

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shuanghao Bai, Jing Lyu, Wanqi Zhou, Zhe Li, Dakai Wang, Lei Xing, Xiaoguang Zhao, Pengwei Wang, Zhongyuan Wang, Cheng Chi, Badong Chen, Shanghang Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, ein Sandwich zu machen.

Der alte Weg (Explizite Chain-of-Thought):
Derzeit funktionieren die meisten fortschrittlichen Roboterhirne wie ein Schüler, der gezwungen ist, jeden einzelnen Gedanken in ein Tagebuch zu schreiben, bevor er eine einzige Handlung ausführt.

Der Roboter sieht: „Ich brauche ein Sandwich."
Der Roboter denkt (laut): „Okay, zuerst muss ich das Brot finden. Ich sehe einen Laib links. Jetzt muss ich das Messer greifen. Ich sehe das Messer rechts. Ich muss meinen Arm langsam bewegen..."
Der Roboter handelt: Erst nachdem er diesen gesamten Absatz geschrieben hat, bewegt er seinen Arm.

Das Problem: Das ist unglaublich langsam. Bis der Roboter seinen „Tagebucheintrag" fertig geschrieben hat, ist das Sandwich bereits kalt, oder der Roboter hat seine Chance verpasst, das Brot zu greifen. Außerdem ist das Schreiben in Wörtern (diskrete Tokens) etwas umständlich für einen Roboter, der seinen Arm in flüssigen, kontinuierlichen Kurven bewegen muss. Es ist, als würde man ein Auto fahren, indem man sich nur erlaubt, sich in 1-Zoll-Sprüngen zu bewegen.

Der neue Weg (LaRA-VLA):
Die Arbeit stellt LaRA-VLA (Latent Reasoning VLA) vor. Stellen Sie sich das vor, als würden Sie dem Roboter beibringen, in seinem Kopf zu denken, ohne etwas aufzuschreiben.

Anstatt einen langen Textabsatz herauszustoßen, internalisiert der Roboter seine Überlegungen in eine kompakte, kontinuierliche „Empfindung" oder „Stimmung" (eine latente Repräsentation).

Der Roboter sieht: „Ich brauche ein Sandwich."
Der Roboter denkt (still): Er verarbeitet sofort die Position des Brotes, des Messers und den Weg, den sein Arm nehmen muss, alles in einem einzigen, flüssigen mentalen Snapshot.
Der Roboter handelt: Er bewegt sich sofort.

Das dreistufige Trainingslager (Curriculum Learning)

Die Arbeit erklärt, dass man einem Roboter nicht einfach sofort beibringen kann, „still zu denken". Es braucht ein Trainingslager mit drei Phasen:

Phase 1: Die „Zeige deine Arbeit"-Phase.
Der Roboter wird gezwungen, seine Gedanken (Text) auszuformulieren und vorherzusagen, wie das nächste Bild aussehen wird (Visuelles). Er lernt die Regeln des Spiels, indem er explizit festhält: „Ich bewege die Tasse nach links."
Phase 2: Die „Flüstern"-Phase.
Die Trainer beginnen, die geschriebenen Sätze des Roboters durch „Flüstern" (latente Tokens) zu ersetzen. Zuerst schreibt der Roboter die Hälfte des Satzes und flüstert den Rest. Allmählich schreibt er weniger und flüstert mehr. Er lernt, seine komplexen Gedanken in ein winziges, effizientes mentales Paket zu komprimieren.
Phase 3: Die „Stiller Meister"-Phase.
Der Roboter schreibt oder flüstert nichts mehr laut aus. Er hat das Denken vollständig internalisiert. Er betrachtet die Szene, verarbeitet das „Flüstern" in seinem Kopf und führt sofort die Handlung aus.

Warum ist das besser?

Geschwindigkeit: Da der Roboter keine Zeit damit verschwendet, einen Tagebucheintrag zu tippen, kann er 90 % schneller reagieren. Die Arbeit behauptet, dass dies die Denkzeit von über 7 Sekunden auf nur 0,13 Sekunden (135 Millisekunden) senkt. Das ist schnell genug für eine Echtzeitsteuerung.
Flüssigkeit: Da der Roboter in „kontinuierlichen Gefühlen" statt in „diskreten Wörtern" denkt, sind seine Bewegungen flüssiger und entsprechen der Art und Weise, wie die physische Welt tatsächlich funktioniert.
Robustheit: Die Arbeit testete den Roboter mit unscharfen oder verrauschten Kamerabildern (wie durch ein nebliges Fenster zu schauen). Die „stillen Denker" (LaRA-VLA) bewältigten das Durcheinander viel besser als die „Tagebuchschreiber", was darauf hindeutet, dass ihre internen mentalen Modelle stabiler sind.

Das Ergebnis

In Tests schlug diese neue Methode fast alle anderen hochrangigen Robotermodelle. Sie war besser bei langen, komplizierten Aufgaben (wie dem Sortieren von Obst oder dem Stapeln von Schüsseln) und erledigte dies viel schneller.

Kurz gesagt: LaRA-VLA lehrt Roboter, aufzuhören, ihren Weg durch eine Aufgabe zu „erzählen", und beginnt, ihren Weg durch sie hindurch zu „fühlen", was zu einem Roboter führt, der sowohl ein genialer Planer als auch ein blitzschneller Arbeiter ist.

Technische Zusammenfassung: Latentes Schlussfolgern VLA (LaRA-VLA)

Problemstellung

Vision-Language-Action (VLA)-Modelle haben ein erhebliches Potenzial für skalierbare robotische Manipulation gezeigt, indem sie multimodale Beobachtungen und Sprachanweisungen auf kontinuierliche Steuerbefehle abbilden. Eine vorherrschende Strategie zur Leistungssteigerung umfasst Chain-of-Thought (CoT)-Schlussfolgern, das strukturierte Zwischenschritte für die Aufgabenzerlegung und Planung bereitstellt. Allerdings stoßen bestehende CoT-Ansätze auf zwei grundlegende Einschränkungen:

Hoher Inferenzaufwand: Textbasierte CoT-Methoden erfordern während der Inferenz die Generierung umfangreicher diskreter Schlussfolgerungstokens. Dies führt zu erheblichen Rechenkosten, übermäßigem KV-Cache-Verbrauch und hoher Latenz, was die Steuerfrequenzen häufig auf unter 5 Hz reduziert, was für die Echtzeit-Steuerung von Robotern unzureichend ist.
Repräsentationsinkompatibilität: Die meisten CoT-Formulierungen beruhen auf diskreten Repräsentationen (Sprachtokens oder diskrete visuelle Tokens von VQ-basierten Tokenisierern). Dies erzeugt eine Diskrepanz zur inhärent kontinuierlichen Natur robotischer Wahrnehmungs- und Aktionsräume. Die Einschränkung des Schlussfolgerns auf diskrete Tokens kann die für die körpergebundene Steuerung erforderliche Flüssigkeit behindern.

Methodik: LaRA-VLA

Um diese Herausforderungen zu adressieren, schlagen die Autoren Latent Reasoning VLA (LaRA-VLA) vor, ein einheitliches Framework, das multimodales CoT-Schlussfolgern in kontinuierliche latente Repräsentationen internalisiert. Anstatt explizite Schlussfolgerungsspuren zur Inferenzzeit zu generieren, führt LaRA-VLA Schlussfolgern und Vorhersage vollständig innerhalb eines latenten Raums durch, der mit kontinuierlicher Wahrnehmung und Steuerung übereinstimmt.

1. Datenkonstruktion

Die Autoren entwickelten eine automatisierte Annotationspipeline, um strukturierte CoT-Datensätze (LIBERO-LaRA und Bridge-LaRA) für sowohl Simulations- als auch reale Umgebungen zu konstruieren. Diese Pipeline verfolgt ein „Anker-zuerst, Generieren-später"-Paradigma:

Semantische Anker: Extrahiert unter Verwendung von Qwen3-VL, um manipulierte Objekte aus den ersten Bildern und Anweisungen zu identifizieren.
Temporale Anker: Generiert durch Segmentierung von Robotertrajektorien in atomare Stufen basierend auf Änderungen des Greiferzustands.
Annotationen: Das System generiert prägnante Unteraufgabenbeschreibungen, zeitlich konsistente Zielobjekt-Bounding-Boxen (via GroundingDINO und SAM3) sowie Bewegungsschlussfolgerungen, die aus Endeffektor-Trajektorien abgeleitet werden.

2. Modellarchitektur

LaRA-VLA nutzt Qwen3-VL als Backbone-Vision-Language-Modell (VLM) und erbt dessen Bildencoder für konsistente visuelle Repräsentationen.

Visuelle Ziel-Latente: Ein dedizierter <img next>-Token wird eingeführt, um vorhergesagte visuelle Latente darzustellen, was eine explizite Überwachung und Ausrichtung während der frühen Trainingsstadien ermöglicht.
Aktions-Experte: In der finalen Stufe wird die Aktionsgenerierung von der autoregressiven Token-Decodierung entkoppelt. Ein 16-lagiger Diffusions-Transformer (Diffusion Transformer) fungiert als Aktions-Experte, der auf gelernten latenten Repräsentationen konditioniert, um kontinuierliche Aktions-Trajektorien zu erzeugen.

3. Drei-Stufen-Curriculum-Training

Das Trainingsparadigma folgt einem progressiven Übergang von explizitem Schlussfolgern zu latentem, körpergebundenem Schlussfolgern:

Stufe I: Explizites CoT-Fine-Tuning. Das Modell wird auf Datensätzen mit expliziten textuellen CoT-Annotationen und visuellen Zielvorhersagen feinabgestimmt. Es lernt, diskrete CoT-Tokens autoregressiv zu generieren und zukünftige visuelle Latente ( $z_{t+1}$ ) unter Verwendung eines Exponential Moving Average (EMA)-Zielencoders auszurichten, um einen Repräsentationskollaps zu verhindern. Aktionstokens werden ebenfalls über ein inverses Dynamik-Ziel trainiert.
Stufe II: Curriculum-basierter Ersatz. Diskrete CoT-Tokens werden progressiv maskiert und durch lernbare kontinuierliche latente Repräsentationen ersetzt. Der Anteil expliziter Tokens nimmt gemäß einem Curriculum-Plan ab, während das Modell zunehmend auf latentes Schlussfolgern angewiesen ist, geleitet durch visuelle Vorhersageziele und Aktionssignale.
Stufe III: Aktionsgenerierung via Flow Matching. Explizite CoT-Überwachung wird entfernt. Das Modell passt sich unter Verwendung eines Flow-Matching-Ziels der kontinuierlichen Steuerung an. Der Aktions-Experte sagt ein Geschwindigkeitsfeld voraus, das auf dem multimodalen latenten Kontext (aktuelle visuelle/textuelle Eingaben, intermediate Schlussfolgerungslatente und vorhergesagte zukünftige visuelle Latente) konditioniert ist, um kontinuierliche Aktions-Trajektorien ohne explizite CoT-Generierung zu erzeugen.

4. Aufmerksamkeitsmechanismus

Ein spezialisierter Aufmerksamkeitsmechanismus reguliert den Informationsfluss zwischen Tokens. In den Stufen I und II achten zukünftige Bildtokens kausal auf Text- und aktuelle Bildtokens. In Stufe III werden Aktionstokens von der Aufmerksamkeitsberechnung ausgeschlossen, und das Modell arbeitet ausschließlich unter denselben Einschränkungen mit Text- und Vision-Tokens, was eine effiziente Inferenz gewährleistet.

Hauptbeiträge

Paradigma des latenten Schlussfolgerns: Die Arbeit führt ein Paradigma ein, bei dem CoT-Schlussfolgern in kontinuierliche latente Repräsentationen über textuelle und visuelle Modalitäten internalisiert wird, was eine inferenzeffiziente Schlussfolgerung ermöglicht, die mit kontinuierlicher Wahrnehmung und Steuerung übereinstimmt.
LaRA-VLA-Framework: Ein einheitliches VLA-Modell, das dieses Paradigma durch eine curriculum-basierte Trainingsstrategie realisiert, die vom expliziten multimodalen CoT-Überwachungs- zum latenten körpergebundenen Schlussfolgern übergeht, stabilisiert durch EMA-basierte visuelle Encoder.
Strukturierte Datensätze: Die Konstruktion zweier strukturierter CoT-Datensätze (LIBERO-LaRA und Bridge-LaRA) mit multimodalen Schlussfolgerungsannotationen (Unteraufgabenzerlegung, Bewegungsschlussfolgerung, Ziellokalisierung) für körpergebundene Manipulation.

Experimentelle Ergebnisse

Die Autoren evaluierten LaRA-VLA auf Simulationsbenchmarks (LIBERO, SimplerEnv) und langfristigen realen Roboter-Manipulationsaufgaben.

Simulationsleistung: Auf dem LIBERO-Benchmark erreichte LaRA-VLA eine durchschnittliche Erfolgsrate von 97,9 % auf dem Stand der Technik und übertraf sowohl No-CoT-Baselines (z. B. OpenVLA, $\pi_0$ ) als auch explizite CoT-Methoden (Textuell und Visuell). Auf SimplerEnv-WidowX erzielte es die höchste durchschnittliche Erfolgsrate von 68,8 % und demonstrierte eine überlegene Real-zu-Sim-Generalisierung.
Leistung in der realen Welt: Bei langfristigen Aufgaben in der realen Welt (z. B. Sortieren von Früchten, Stapeln von Schalen) erreichte LaRA-VLA die höchste durchschnittliche Erfolgsrate unter den verglichenen Methoden (ACT, ECoT, GR00T N1.5), wobei es insbesondere bei Aufgaben glänzte, die mehrstufiges Schlussfolgern und zeitliche Koordination erfordern.
Inferenz-Effizienz: LaRA-VLA reduzierte die Inferenz-Latenz um bis zu 90 % im Vergleich zu explizit CoT-basierten Ansätzen und erreichte eine Rollout-Zeit von 135 ms auf einer NVIDIA A100 GPU. Dies ermöglicht Steuerfrequenzen, die für die Echtzeit-Robotik geeignet sind.
Robustheit: Das Modell zeigte eine größere Robustheit gegenüber visuellen Störungen (Gaußsches Rauschen und Unschärfe) im Vergleich zu nicht-latenten Baselines, wobei die latenten Repräsentationen unter Korruption semantisch konsistent blieben.
Ablationsstudien: Die Ergebnisse bestätigten, dass latente CoT-Überwachung größere Gewinne liefert als explizite textuelle CoT. Die Kombination aus latentem textuellem und visuellem CoT erzielte die beste Leistung und unterstreicht den Nutzen der multimodalen Ausrichtung.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass LaRA-VLA zeigt, dass strukturiertes Schlussfolgern für körpergebundene Agenten effektiv im latenten Raum realisiert werden kann, ohne zur Inferenzzeit eine explizite Chain-of-Thought-Generierung zu benötigen. Durch die Internalisierung des Schlussfolgerns in kontinuierliche latente Dynamiken löst der Ansatz die Repräsentationsinkompatibilität zwischen diskreten Tokens und kontinuierlicher Steuerung auf und reduziert gleichzeitig den Rechenaufwand erheblich. Die Autoren gehen davon aus, dass dieses Paradigma einen gangbaren Weg hin zu effizienter, Echtzeit- und robuster robotischer Manipulation bietet und über die Einschränkungen von ausführlichen, diskreten Schlussfolgerungsspuren hinausgeht.

Die Autoren räumen Einschränkungen ein und stellen fest, dass latente Repräsentationen ohne explizite Überwachung einem Kollaps unterliegen können (was hier durch die Beschränkung latenter Tokens und die Verwendung von EMA gemildert wird) und dass der Curriculum-Trainingsprozess während der Übergangsphasen höhere Kosten verursacht. Dennoch legt die Arbeit ein Fundament für effizientes, aktionsorientiertes Schlussfolgern in VLA-Modellen.