💻 computer science

Revisiting Embodied Chain-of-Thought for Generalizable Robot Manipulation

Dieses Paper stellt ERVLA vor, ein Vision-Language-Action-Modell, das einen groß angelegten Embodied-Chain-of-Thought-Korpus zur Repräsentationsformenden Überwachung anstelle von autoregressiver Inferenz nutzt und dadurch eine erstklassige Generalisierung und Stabilität bei Robotermanipulationsaufgaben erreicht.

Ursprüngliche Autoren: Nan Sun, Yuan Zhang, Yongkun Yang, Wentao Zhao, Peiyan Li, Jun Guo, Wenxuan Song, Pengxiang Ding, Runze Suo, Yifei Su, Xin Xiao, Xinghang Li, Huaping Liu

Veröffentlicht 2026-06-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Nan Sun, Yuan Zhang, Yongkun Yang, Wentao Zhao, Peiyan Li, Jun Guo, Wenxuan Song, Pengxiang Ding, Runze Suo, Yifei Su, Xin Xiao, Xinghang Li, Huaping Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, Hausarbeiten zu erledigen, wie zum Beispiel ein Spielzeugauto in eine Schublade zu legen. In der Vergangenheit versuchten Wissenschaftler, Roboter zu lehren, indem sie ihnen ein „Gehirn“ (ein Vision-Language-Modell) gaben, das Bilder und Wörter verstehen kann, und eine „Hand“ (ein Action-Modell), die sich bewegen kann. Doch oft war das Gehirn verwirrt und die Hand stakelte herum.

Dieses Paper stellt eine neue Methode vor, um Roboter zu lehren, die ERVLA (Embodied Reasoning Vision-Language-Action) genannt wird. Hier ist die Geschichte, wie sie es gemacht haben, einfach erklärt.

1. Das Problem: Der Roboter, der zu viel redet (und zu langsam ist)

Stellen Sie sich vor, Sie fahren Auto und Ihr GPS sagt Ihnen jede einzelne Kurve voraus, noch bevor Sie sie machen. „In 100 Fuß links abbiegen. Jetzt links abbiegen. Jetzt links abbiegen.“ Wenn das GPS einen winzigen Fehler im ersten Satz macht, gerät der Rest der Wegbeschreibung durcheinander und Sie bauen einen Unfall.

Dies geschah bei früheren Denkmethoden für Roboter (genannt Embodied Chain-of-Thought). Der Roboter wurde gezwungen, laut „nachzudenken“ (einen langen Textplan zu schreiben), bevor er seinen Arm bewegen konnte.

Das Problem: Wenn der Roboter einen leicht falschen Satz in seinem Plan schrieb, schlug der gesamte Plan fehl. Es war langsam, und ein einzener kleiner Fehler ruinierte die gesamte Aufgabe.
Die Entdeckung des Papers: Die Autoren fanden heraus, dass es den Roboter nicht klüger macht, wenn er „mehr redet“. Tatsächlich macht es ihn oft schlechter, wenn man ihn zwingt, vor der Bewegung einen langen Plan zu schreiben.

2. Die Lösung: „Denken“ während des Tuns, nicht davor

Die Autoren erkannten, dass der Roboter nicht laut aussprechen muss, was er denkt, um klug zu sein. Er muss die Gedanken nur in seinem Gehirn haben, während er sich bewegt.

Denken Sie an einen Meisterkoch. Ein Anfängerkoch schreibt vielleicht Schritt für Schritt ein Rezept auf ein Blatt Papier, bevor er zu kochen beginnt. Ein Meisterkoch schreibt nichts auf; er weiß einfach, was zu tun ist, weil er die Schritte so oft geübt hat. Sein „Denken“ ist in sein Muskelgedächtnis eingebaut.

ERVLA lehrt den Roboter, wie ein Meisterkoch zu sein:

Das Training: Sie gaben dem Roboter eine riesige Bibliothek von 978.000 Roboterbewegungen (wie ein riesiges Kochbuch).
Der Trick: Sie brachten dem Roboter bei, das „Rezept“ (den Plan) und die „Aktion“ (die Bewegung) gleichzeitig zu lesen.
Die Geheimzutat (Reasoning Dropout): Manchmal sagten sie dem Roboter während des Trainings: „Schreib diesmal nicht das Rezept, beweg dich einfach nur!“ Dies zwang den Robota zu lernen, die Idee der Aufgabe zu verstehen, ohne sie zuerst aufschreiben zu müssen. Er lernte, die Logik zu verinnerlichen.

3. Das „CoT-Kontaminations“-Problem

Das Paper fand auch eine versteckte Falle. Wenn sie Computer verwendeten, um diese „Rezepte“ automatisch für den Roboter zu schreiben, machten die Computer manchmal Fehler (wie zum Beispiel zu behaupten, der Becher stünde am falschen Ort).

Wenn der Roboter versuchte, diese falschen Rezepte auswendig zu lernen, wurde er verwirrt. Dies nennt man CoT-Kontamination.
Die Lösung: Sie brachten dem Roboter bei, die Teile des Rezepts zu ignorieren, die unsicher oder unzuverlässig erschienen, und sich stattdigest auf die klaren, soliden Anweisungen zu konzentrieren.

4. Die Ergebnisse: Ein Roboter, der tatsächlich funktioniert

Sie testeten diesen neuen Roboter (ERVLA) auf zwei Arten:

Im Simulator (Videospiel): Er wurde der beste Roboter der Welt bei seinen spezifischen Tests und schlug alle bisherigen Modelle. Er konnte schwierige Situationen bewältigen, in denen sich die Beleuchtung änderte oder Objekte bewegt wurden.
In der realen Welt: Sie setzten ihn auf einen echten physischen Roboterarm.
- Als er die Anweisung erhielt, „das wegzuräumen, was kein Obst ist“ (eine schwierige, vage Anweisung), wurden andere Roboter verwirrt. ERVLA verstand die Logik und erledigte es.
- Als er angewiesen wurde, eine lange, mehrstufige Aufgabe zu erledigen (wie das Abräumen eines ganzen Tisches), blieb ERVLA ruhig und schloss die Arbeit ab, während andere aufgaben oder den Faden verloren.

Zusammenfassende Analogie

Der alte Weg: Der Roboter ist ein Schüler, der einen 10-seitigen Aufsatz schreiben muss, bevor er einen einzigen Schritt machen darf. Wenn er in dem Aufsatz ein Wort falsch schreibt, fällt er durch die Prüfung.
Der ERVLA-Weg: Der Roboter ist ein erfahrener Athlet. Er hat so viel geübt, dass er den Spielplan sofort versteht. Er muss keinen Aufsatz schreiben, um zu wissen, wie er spielen soll; die Strategie ist in seine Bewegungen eingebaut.

Das Kernfazit: Das Paper zeigt, dass Roboter nicht klug werden, indem man sie zwingt, sich jeden Weg durch „Reden“ zu erklären. Stattdessen sollten sie trainiert werden, die Logik der Aufgabe zu absorbieren, damit ihre Handlungen natürlich dem richtigen Pfad folgen, selbst wenn die Anweisungen vage oder die Welt chaotisch ist. Sie haben auch das riesige „Kochbuch“ (Datensatz) und das „Gehirn“ (Modell) des Roboters zur Verfügung gestellt, damit andere es nutzen können.

Technisches Resümee: Überdenken von Embodied Chain-of-Thought für generalisierbare Robotermanipulation

Problemstellung

Vision-Language-Action (VLA)-Modelle haben sich als vielversprechendes Paradigma für die generalisierbare Robotersteuerung etabliert, indem sie semantische Priors aus großskaligen Vision-Language-Modellen (VLMs) in die verkörperte Entscheidungsfindung übertragen. Eine verbesserte Wahrnehmung und eine breitere semantische Abdeckung garantieren jedoch nicht zwangsläufig eine bessere Aktionsgenerierung. VLA-Modelle haben oft Schwierigkeiten in komplexen, Out-of-Distribution-Szenarien, die eine Deliberation vor der Ausführung erfordern.

Obwohl frühere Embodied Chain-of-Thought (ECoT)-Methoden versucht haben, diese Lücke zu schließen, indem sie explizite Reasoning-Spuren überwachen, bleiben mehrere kritische Probleme ungelöst:

Form und Integration: Es ist unklar, welche Formen des verkörperten Reasonings (z. B. Szenenverständnis, räumliche Verankerung, Trajektorienvorhersage) tatsächlich die effektive Aktionsgenerierung fördern versus jene, die lediglich verbalen Overhead hinzufügen.
Interaktion mit der Policy: Frühe ECoT-Formulierungen modellieren das Reasoning als autoregressives Präfix zur Aktionsgenerierung. Dieses Design ist fragil; lange Reasoning-Spuren erhöhen die Latenz, und Fehler im Reasoning-Präfix summieren sich während der Inferenz auf, was die nachfolgenden Aktions-Tokens negativ beeinflusst.
Skalierbarkeit: Das Skalierungsverhalten von CoT-Daten ist unklar. Großskalige verkörperte CoT-Datensätze sind aufgrund der hohen Annotationskosten knapp, und es ist unbekannt, ob die Skalierung der Reasoning-Supervision zu einer stärkeren Aktionsgenerierung führt oder Rauschen einführt, das das Lernen behindert.
CoT-Kontamination: In großskaligen, automatisch gelabelten Datensätzen können verrauschte Labels (z. B. instabile Bounding Boxes, driftende Endeffektor-Koordinaten) eine inkonsistente Supervision auf semantisch ähnliche Beobachtungen ausüben, was die Adaption erschwert.

Methodik: ERVLA

Die Autoren schlagen ERVLA (Embodied Reasoning Vision-Language-Action) vor, ein Modell, das darauf ausgelegt ist, linguistisches Reasoning effektiv zu nutzen, ohne auf ein obligatorisches Test-Time-CoT angewiesen zu sein.

1. Großskaliger Embodied CoT Korpus

Die Autoren haben den bisher größten verkörperten CoT-Korpus zusammengestellt, bestehend aus:

978.743 Trajektorien
226,3 Millionen Samples
2.592,5 Stunden Daten
Quellen sind unter anderem Bridge, Fractal, Droid, MolmoAct und AgiBot Datensätze.

Die Daten sind in ein hierarchisches Schema strukturiert, das das Reasoning in vier Kategorien unterteilt:

Verständnis (Understanding): Aufgabenziele und Intention.
Verankerung (Grounding): Räumliche Ausrichtung mit visuellen Entitäten (z. B. Objekt-Bounding-Boxes, Greiferpositionen).
Planung (Planning): Subtask-Dekomposition und Fortschrittsverfolgung.
Handeln (Acting): Aktionsorientierte Bewegungsbeschreibungen und zukünftige Punkt-Trajektorien.

2. Modellarchitektur

ERVLA integriert ein Vision-Language Reasoning Modul mit einem Diffusion-basierten Aktionsmodul:

Backbone: Ein VLM (speziell Qwen3-VL-4B) verarbeitet visuelle Beobachtungen und Textinstruktionen. Im Gegensatz zu „ThinkAct“-Stilen, die Planung und Aktion trennen, injiziert ERVLA aktionssensitive Supervision direkt in das VLM.
Aktionskopf: Ein Diffusion Transformer (DiT) generiert kontinuierliche Roboteraktionen mittels Flow Matching.
Wissens-Trunkierung (Knowledge Truncation): Der DiT konditioniert nur auf den Key-Value (KV) Cache des semantischen Präfixes (Reasoning) aus dem VLM, unter Ausschluss angehängter Control-Query-Tokens. Dies verhindert, dass das Aktionsmodell synthetische Abkürzungen ausnutzt, und reduziert Interferenzen durch trainingsspezifische Token-Muster.
Auxiliäre Aktions-Queries: Das VLM wird mit einem auxiliären Aktions-Regressionsverlust durch Query-Tokens trainiert. Dies leitet das Backbone dazu an, aktionsrelevante Semantik zu verstehen, statt nur Text zu produzieren.

3. Trainingsstrategie: CoT-Dropout

Eine zentrale Innovation ist die CoT-Dropout-Strategie. Während des Trainings wird das Modell mit einer gewissen Wahrscheinlichkeit ( $p_{cot}$ ) sowohl mit Proben mit expliziter CoT-Supervision als auch ohne diese (wobei der CoT-Bereich leer ist) konfrontiert.

Zweck: Dies ermöglicht es dem Modell, reichhaltige Reasoning-Spuren während des Trainings zu nutzen, um seine internen Repräsentationen zu formen, ermöglicht ihm aber gleichzeitig, während der Inferenz Aktionen direkt ohne CoT vorherzusagen.
Vorteil: Dies umgeht die autoregressive Instabilität von CoT-Präfixen, mildert die „CoT-Kontamination“ durch verrauschte Labels ab und behandelt das Reasoning als ein Signal, das die Repräsentationsräume umgestaltet, statt als einen obligatorischen verbalen Output.

Kernbeiträge

Datensatzkonstruktion: Erstellung des größten und umfassendsten verkörperten CoT-Korpus mit Multi-View- und Bimanual-Settings sowie strukturierten, hierarchischen Annotationen.
Empirische Analyse von CoT-Signalen: Durch umfangreiche Ablationsstudien identifizieren die Autoren, dass:
- Hochgradiges semantisches Verständnis allein nur geringfügige Gewinne bringt.
- Effektives CoT die hochgradige Semantik in konkrete linguistische Aktionsanweisungen (z. B. Endeffektor-Bewegung, Bildraum-Trajektorien) verankern muss.
- Explizites CoT aufgrund kumulierender Fehler nicht zuverlässig als autoregressives Aktionspräfix skaliert.
- Verrauschte Grounding-Felder (z. B. instabile Bounding Boxes) schädlich sein können, sofern sie nicht via Reasoning-Dropout reguliert werden.
ERVLA-Modell: Eine neuartige VLA-Architektur, die Reasoning in aktionsbewusste Repräsentationen internalisiert. Es erreicht eine State-of-the-Art Performance durch die Kombination von expliziter CoT-Supervision, Reasoning-Dropout, auxiliären Aktions-Queries und Wissens-trunkierten Konditionierungen.
Skalierungs-Erkenntnisse: Die Arbeit zeigt, dass verkörpertes CoT effektiv skaliert, wenn Reasoning-Supervision und Aktionsverluste gemeinsam im Repräsentationsraum optimiert werden, anstatt als rein wörtliche autoregressive Ziele behandelt zu werden.

Experimentelle Ergebnisse

Die Autoren evaluierten ERVLA in Simulations-Benchmarks und auf physischen Roboterplattformen.

Simulations-Benchmarks

LIBERO-Plus: ERVLA erreichte eine State-of-the-Art Erfolgsrate von 86,9 % und übertraf damit kompetitive Baselines wie $\pi0.5$ (85,5 %). Es zeigte eine starke Zero-Shot-Generalisierung und erreichte 100 % Erfolg bei Hintergrund- und Beleuchtungsvariationen im Spatial-Track.
VLABench: ERVLA erreichte eine durchschnittliche Erfolgsrate von 53,2 % und übertraf starke Baselines in herausfordernden Out-of-Distribution-Settings, die semantisches Verständnis und Instruktionsfolgen erfordern.
Skalierung: Experimente zeigten, dass ERVLA von erhöhtem verkörpertem CoT-Pre-Training profitiert, während autoregressive CoT+Aktions-Token-Modelle mit zunehmender Datenmenge aufgrund von Rauschakkumulation an Leistung verlieren.

Real-Roboter-Experimente

Eingesetzt auf physischen Robotern mit Third-Person- und Wrist-Kameras, wurde ERVLA in Aufgaben getestet, die Schubladenplatzierung und Tischräumung über vier Schwierigkeitsstufen umfassen: Basic, Distractors, Semantic und Long-horizon.

Performance: ERVLA übertraf Baselines (ECoT, WorldVLA, UniVLA, $\pi0.5), insbesondere bei der Handhabung von semantischer Ambiguität (z. B. „Lege das Objekt weg, das kein Obst ist“) und Long-horizon-Aufgaben.
Robustheit: Während Baselines mit autoregressiver Latenz und Fehlerfortpflanzung zu kämpfen hatten, ermöglichte die Fähigkeit von ERVLA, Reasoning zu internalisieren, eine robustere Ausführung unter semantischen Verschiebungen und Distraktoren.

Signifikanz und Ansprüche

Das Paper argumentiert, dass verkörpertes CoT weniger als Ausgabeformat (ein Roboter, der „mehr sagt“) und vielmehr als eine Schnittstelle zwischen semantischem Reasoning und Aktionslernen verstanden werden sollte.

Kern-These: Reasoning hilft Roboter-Policies nicht dadurch, dass es länger oder expliziter ist, sondern wenn seine Supervision zuverlässig, aktionsrelevant und so in die Policy integriert ist, dass sie Repräsentationen formt, anstatt das Dekodieren zu belasten.
Fehlermodi: Die Arbeit hebt hervor, dass eine naive autoregressive Kopplung von CoT und Aktion zu Skalierungsfehlern führt und dass verrauschte Grounding-Signale das Lernen kontaminieren können, wenn sie nicht reguliert werden.
Zukünftige Richtung: Die Autoren positionieren ERVLA als Fundament für zukünftige Arbeiten im Bereich des Reasoning-bewussten Roboterlernens und betonen die Notwendigkeit einer zuverlässigen Grounding-Supervision, adaptiven Test-Time-Reasonings und Architekturen, die Reasoning als eine lernbare Brücke von der Wahrnehmung zur Aktion behandeln, statt als verbale Dekoration.

Das Paper schließt mit der Feststellung, dass der Schlüssel zu generalisierbarer Robotermanipulation darin liegt, vortrainierte semantische Priors durch strukturiertes, internalisiertes Reasoning in aktionsrelevante Repräsentationen umzuwandeln, anstatt sich während der Ausführung auf explizite verbale Spuren zu verlassen.