💻 computer science

Position: Vision-Language-Action Models Cannot Be Verified to Perform Physical Reasoning

Dieses Positionspapier argumentiert, dass aktuelle Evaluierungsprotokolle für Vision-Language-Action (VLA)-Modelle nicht zwischen semantischem Matching und echtem physikalischem Denken unterscheiden können, was die Behauptungen über physikalische Generalisierung unverifizierbar macht und nach neuen experimentellen Designs verlangt, die diese distinkten Fähigkeiten kausal isolieren können.

Ursprüngliche Autoren: Taozhao Chen, Ian Manchester, Huaming Chen

Veröffentlicht 2026-07-01

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Taozhao Chen, Ian Manchester, Huaming Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Der „schlaue Koch“, der nicht kochen kann

Stellen Sie sich einen sehr klugen Koch vor, der jedes Kochbuch gelesen, jede Kochshow gesehen und Millionen von Lebensmittelbeschreibungen im Internet auswendig gelernt hat. Dieser Koch weiß genau, wie eine „scharfe Tomatensuppe“ aussieht, wie sie riecht und was im Rezept steht.

Stellen Sie sich nun vor, Sie bitten diesen Koch, die Suppe in einer echten Küche tatsächlich zu kochen.

Dieses Paper argumentiert, dass wir diesem Koch derzeit eine gute Note geben, nur weil er die Suppe perfekt beschreiben oder die richtigen Zutaten zeigen kann. Wir nehmen an, dass er, weil er die Wörter und Bilder so gut kennt, auch wissen muss, wie man den schweren Topf handhabt, die Hitze anpasst und umrührt, ohne sich die Hand zu verbrennen.

Die Autoren sagen: „Wir haben noch gar nicht getestet, ob er tatsächlich kochen kann. Wir haben nur getestet, ob er über das Kochen reden kann.“

Das Problem: Verwechslung von „Wissen“ und „Tun“

Das Paper konzentriert sich auf eine Art Robotergehirn, ein sogenanntes Vision-Language-Action (VLA)-Modell. Diese Roboter nutzen ein massives „Vision-Language-Model“ (VLM) – den Teil, der auf Internetfotos und Texten trainiert wurde –, um ihnen zu sagen, was sie tun sollen.

Die Autoren unterteilen das Gehirn des Roboters in zwei Teile:

Die semantische Karte (Das „Was“): Dies ist der Teil, der Objekte erkennt. Er sieht einen roten Ball und weiß: „Das ist ein Ball. Die Anweisung lautet: ‚Hebe den Ball auf‘.“ Dieser Teil ist großartig darin, Sprache und Bilder zu verstehen.
Die physische Entscheidung (Das „Wie“): Dies ist der Teil, der herausfindet, wie man den Ball greift. Ist er rutschig? Ist er schwer? Wenn ich zu fest zupacke, wird er dann zerbrechen? Dies erfordert ein Verständnis von Physik, Gewicht und Reibung.

Der Fehler: Das Paper behauptet, dass aktuelle Roboter auf einer versteckten Annahme basieren: „Wenn der Roboter das Bild und die Wörter perfekt versteht, wird er automatisch wissen, wie er seinen Arm korrekt bewegen muss.“

Die Autoren sagen, dass diese Annahme unbewiesen ist. Nur weil ein Roboter ein „schweres, rutschiges Glas“ auf einem Foto identifizieren kann, bedeutet das nicht, dass er weiß, wie viel Kraft er aufwenden muss, um es anzuheben, ohne es fallen zu lassen.

Warum können wir den Unterschied nicht erkennen? (Das „Problem mit dem Bewertungsbogen“)

Momentan testen wir diese Roboter, indem wir ihnen eine Aufgabe geben (wie „stelle das Glas auf den Tisch“) und sehen, ob sie erfolgreich sind. Wenn das Glas auf dem Tisch landet, geben wir ihnen eine „Erfolg“-Bewertung.

Das Paper argumentiert, dass dieser Bewertungsbogen fehlerhaft ist, weil er uns nicht verrät, warum der Roboter erfolgreich war.

Szenario A: Der Roboter hat die Wörter verstanden, die Physik begriffen und eine großartige Arbeit geleistet. (Echter Erfolg).
Szenario B: Der Roboter hat die richtige Aktion erraten, weil er dieses Setup bereits in seinen Trainingsdaten gesehen hat, selbst wenn er die Physik nicht verstanden hat. (Glückstreffer).
Szenario C: Der Roboter hat die Wörter perfekt verstanden, ist aber gescheitert, das Glas aufzuheben, weil es zu schwer war. (Physisches Versagen).

Die Analogie: Stellen Sie sich einen Schüler vor, der eine Mathearbeit schreibt. Wenn er die richtige Antwort gibt, gehen wir davon aus, dass er Mathe kann. Aber was, wenn er einfach nur den Lösungsschlüssel auswendig gelernt hat? Oder was, wenn er geraten hat?
Aktuelle Roboter-Tests sind wie ein Test, bei dem wir nur auf das Endergebnis schauen. Wir prüfen nicht, ob sie tatsächlich die Mathematik (Physik) gemacht oder nur das Muster abgeglichen haben (semantisches Raten).

Der „Narrative Drift“ (Die Geschichte, die uns entgleitet)

Das Paper beschreibt ein Phänomen namens „Narrative Drift“.

Erster Roboter: „Wir haben einen Roboter gebaut, der Internetwissen nutzt, um Arme zu steuern. Es funktioniert ein bisschen!“
Zweiter Roboter: „Wir haben einen größeren gebaut! Er funktioniert besser! Es muss daran liegen, dass das Internetwissen besser im Bereich der Physik wird.“
Dritter Roboter: „Wir haben einen noch größeren gebaut! Er ist fantastisch! Er muss ein Genie in Sachen Physik sein!“

Die Autoren sagen, das ist eine Geschichte, die wir uns immer wieder erzählen. Jedes Mal, wenn ein Roboter eine etwas höhere Punktzahl erreicht, nehmen wir an, dass dies daran liegt, dass der Roboter besser in Physik wird. Aber die Autoren argumentieren, dass wir die Physik nie isoliert betrachtet haben, um das zu beweisen. Wir haben einfach immer angenommen, dass das „Internetwissen“ (das VLM) die Hauptarbeit leistet, obwohl Internetfotos einen nicht lehren, wie schwer ein Ziegelstein sich anfühlt.

Die drei Ebenen der Verwirrung

Das Paper erklärt, warum wir nicht erkennen können, was passiert, anhand von drei Ebenen:

Ebene 1 (Das Ergebnis): Wir sehen einen Erfolg, wissen aber nicht, ob er zustande kam, weil der Roboter die Aufgabe verstanden hat oder nur die richtige Bewegung erraten hat.
Ebene 2 (Die Quelle): Wir wissen nicht, ob der Roboter aus seinem „Internet-Lesen“ (VLM) oder aus seinem „Roboter-Training“ (physische Praxis) gelernt hat. Sie sind miteinander vermischt.
Ebene 3 (Das Gehirn): Wir wissen nicht, ob der Roboter tatsächlich einige seiner intelligenten „Internet-Logik“-Fähigkeiten verloren hat, als wir ihn beigebracht haben, sich zu bewegen. Vielleicht hat er vergessen, wie man bei unmögbaren Aufgaben „Nein“ sagt, weil wir ihn gezwungen haben, Dinge einfach nur zu „tun“.

Die Lösung: Ein besserer Test

Die Autoren sagen nicht, dass diese Roboter nutzlos sind. Sie sagen lediglich, dass wir aufhören müssen zu raten. Sie schlagen eine neue Art des Testens vor:

Der „Kontrollierte Variation“-Test:
Anstatt dem Roboter einfach nur eine Aufgabe zu geben und zu sehen, ob er gewinnt, müssen wir eine Sache nach der anderen ändern:

Testen Sie das „Was“: Halten Sie die physische Welt exakt gleich, aber ändern Sie die Wörter oder die Bilder. Weiß der Roboter immer noch, was zu tun ist? (Dies testet den Sprachanteil).
Testen Sie das „Wie“: Halten Sie die Wörter und Bilder exakt gleich, aber ändern Sie die Physik (z. B. machen Sie das Objekt schwerer oder den Tisch rutschiger). Ist der Roboter immer noch erfolgreich? (Dies testet den physikalischen Anteil).

Wenn wir dies tun, können wir endlich sagen: „Okay, der Roboter ist großartig darin, Wörter zu verstehen, aber er scheitert, wenn sich die Physik ändert.“ Oder: „Der Roboter ist großartig in der Physik, aber er wird durch neue Wörter verwirrt.“

Das Fazit

Das Paper ist ein Aufruf, damit aufzuhören anzunehmen, dass Wissen über die Welt (aus dem Internet) dasselbe ist wie das Verständnis darüber, wie man sich in der Welt bewegt (Physik).

Derzeit loben wir Roboter dafür, dass sie gut darin sind, Aufgaben zu „besprechen“, während wir gleichzeitig annehmen, dass sie auch gut darin sind, Aufgaben zu „tun“. Die Autoren wollen, dass wir bessere Tests entwickeln, die diese beiden Fähigkeiten trennen, damit wir tatsächlich herausfinden können, ob Roboter lernen, physische Akteure zu werden, oder ob sie nur sehr gut im Musterabgleich sind.

Kurz gesagt: Nehmen Sie nicht an, dass ein Roboter eine schwere Kiste heben kann, nur weil er das Wort „schwer“ kennt. Wir müssen testen, ob er sie tatsächlich heben kann.

Technische Zusammenfassung: Vision-Language-Action-Modelle können nicht auf die Fähigkeit zum physikalischen Denken verifiziert werden

Problemstellung
Die Arbeit adressiert eine fundamentale, jedoch unverifizierte Annahme, die der aktuellen Forschung zu Vision-Language-Action-Modellen (VLA) zugrunde liegt: dass die durch internetgestützte Vision-Language-Pretraining gelernte semantische Generalisierung ausreicht, um physische Aktionsentscheidungen in Robotersystemen zu unterstützen. Während VLA-Systeme (z. B. RT-2, OpenVLA, $\pi^0$ ) verbesserte Erfolgsraten bei Manipulations-Benchmarks demonstriert haben, argumentieren die Autoren, dass aktuelle Evaluierungsprotokolle nicht unterscheiden können, ob diese Gewinne aus echtem physikalischem Denken oder lediglich aus verbessertem semantischem Matching und distributionaler Überlappung resultieren. Folglich fehlt dem Feld die Fähigkeit, Leistungssteigerungen kausal entweder der semantischen Kapazität oder der Generalisierung der physischen Ausführung zuzuschreiben.

Methodik und strukturelle Argumentation
Die Arbeit nutzt eine theoretische und strukturelle Analyse anstelle neuer empirischer Experimente. Die Kernmethodik umfasst:

Dekomposition von VLA-Policies: Die Autoren zerlegen eine VLA-Policy formal in zwei distinkte Komponenten:
- Semantische Abbildung ( $z_{sem}$ ): Die Transformation von visuellen Beobachtungen und sprachlichen Instruktionen in aufgabenspezifische Abstraktionen (Objektidentität, räumliche Relationen, Ziele), die aus statischen Bild-Text-Daten abgeleitet werden.
- Physische Aktionsentscheidung: Die Auswahl von Aktionen, die auf dem physischen Kontext ( $z_{phys}$ ) basieren (z. B. Masse, Reibung und Kontaktgeometrie), welcher aus statischen visuellen Daten nicht rekonstruierbar ist.
Formalisierung der „Annahme der semantischen Suffizienz“: Die Arbeit postuliert, dass aktuelle Architekturen implizit annehmen, dass $\pi(a_t | z_{sem}, z_{phys}) \approx \pi(a_t | z_{sem})$ . Die Autoren argumentieren, dass dies strukturell unbegründet ist, da die Überwachungssignale für das VLM-Pretraining (statische Bild-Text-Paare) die Interaktionsergebnisse (Kraft, Widerstand, Dynamik), die für das Erlernen von $z_{phys}$ erforderlich sind, explizit ausschließen.
Analyse der Identifizierbarkeit: Die Autoren identifizieren drei Ebenen der Nicht-Identifizierbarkeit in aktuellen Evaluierungsprotokollen:
- Attributions-Nicht-Identifizierbarkeit: Erfolgsraten vermengen Fehler im semantischen Grounding mit Fehlern in der physischen Ausführung.
- Quellen-Nicht-Identifizierbarkeit: Leistungssteigerungen können nicht eindeutig dem VLM-Pretraining, den Roboter-Interaktionsdaten oder deren Wechselwirkung zugeordnet werden, da Definitionen von „Out-of-Distribution“ (OOD) oft die Exposition gegenüber dem VLM-Pretraining ignorieren.
- Repräsentations-Ebene-Nicht-Identifizierbarkeit: Benchmarks schließen unpraktikable oder unsichere Instruktionen aus, was verhindert, zu detektieren, ob das Fine-Tuning vortrainierte Fähigkeiten wie die Beurteilung der Durchführbarkeit (Feasibility Judgment) verschlechtert.

Zentrale Beiträge

Identifikation von „Narrative Drift“: Die Arbeit führt das Konzept des Narrative Drift ein, bei dem aufeinanderfolgende Systeme die Interpretationen vorangegangener Leistungssteigerungen übernehmen und verstärken (z. B. die Zuschreibung von Scaling Laws auf physikalisches Denken), ohne den zugrunde liegenden kausalen Mechanismus zu isolieren.
Strukturelle Kritik der Evaluierung: Sie zeigt auf, dass aktuelle Benchmarks strukturell nicht in der Lage sind, die Annahme der semantischen Suffizienz zu testen, da es ihnen an kontrollierten Variationen mangelt, die semantischen Inhalt von der physischen Konfiguration trennen.
Neubewertung der Rollen von VLMs: Die Autoren schlagen vor, VLM-Backbones als semantische Schnittstellen für das Grounding von Sprache und Wahrnehmung zu betrachten, statt als implizite Quellen physischer Kompetenz. Sie legen nahe, dass physisches Denken distinkte repräsentative Kapazitäten erfordert, die durch Interaktion entwickelt werden, nicht bloß durch semantisches Pretraining.

Ergebnisse und Beobachtungen
Die Arbeit präsentiert keine neuen experimentellen Ergebnisse, sondern synthetisiert die bestehende Literatur, um eine konsistente empirische Signatur aufzuzeigen:

Fehlattribution von Fehlern: Wenn VLA-Systeme unter neuartigen physischen Bedingungen versagen (z. B. Handhabung von Objekten mit unterschiedlicher Masse oder Reibung), werden diese Fehler konsistent auf technische Faktoren (z. B. unzureichende Datendeckung, Modellgröße oder spureneffektive Korrelationen) zurückgeführt, anstatt auf das Scheitern der Annahme der semantischen Suffizienz.
Ambiguität des Erfolgs: Hohe Erfolgsraten sind konsistent mit multiplen Erklärungen, einschließlich echtem physischem Generalisierungsvermögen, verbessertem semantischem Matching oder einer erhöhten Überlappung zwischen Trainings- und Testverteilungen.
Systemische Konsequenzen: Die Unfähigkeit, diese Faktoren zu unterscheiden, führt zu einer Fehlallokation von Forschungsressourcen (z. B. Skalierung von Modellen, wenn der Flaschenhals die physische Interaktion ist), falscher Sicherheit bezüglich der Einsatzbereitschaft und einer dauerhaften Fehldiagnose architektonischer Limitationen.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass ihre Bedeutung darin liegt, die Bedingungen zu klären, unter denen Ansprüche auf physische Generalisierung sinnvoll evaluiert werden können. Sie stellt explizit klar, dass ihr Ziel nicht darin besteht, die Rolle von VLMs in der Robotik zu widerlegen, sondern aufzuzeigen, dass die Annahme der semantischen Suffizienz nicht unabhängig verifiziert wurde.

Methodologischer Wandel: Die Autoren argumentieren, dass Fortschritt in der Generalisierung der physischen Ausführung Evaluierungsdesigns erfordert, die kontrollierte Variationen einführen, um semantische und physische Generalisierung separat zu messen.
Architektonische Implikationen: Sie schlagen einen Wechsel der Designphilosophie vor: Anstatt davon auszugehen, dass physische Kapazität aus semantischen Repräsentationen emergiert, sollten Systeme mit explizit getrennten Komponenten für semantisches Grounding und physische Zustandsmodellierung entworfen werden.
Empirische Frage: Der Beitrag von VLM-basierten Repräsentationen zur physischen Leistung sollte als eine empirische Frage behandelt werden, die mittels kausaler Attribution getestet werden muss, anstatt als eine vorausgesetzte Prämisse.

Die Arbeit schließt mit dem Hinweis, dass ohne Evaluierungsprotokolle, die identifizierbare Signale für Schlüsselkapazitäten liefern können, implizite Annahmen Gefahr laufen, als de facto Prämissen zu verfestigen, was den wahren Weg zu echter allgemeiner verkörperter Intelligenz (Embodied Intelligence) verschleiern könnte.