💻 computer science

Decoding Task Progress from VLA Representations

Diese Arbeit zeigt, dass der Aufgabenfortschritt in Vision-Language-Action-Modellen (VLAs) linear aus deren internen Aktivierungen ablesbar ist, was den Einsatz einfacher Probes für eine effektive, label-freie Out-of-Distribution-Erkennung und das Runtime-Monitoring von eingesetzten Roboter-Policies ermöglicht.

Ursprüngliche Autoren: Atiksh Bhardwaj, Edward Weiyi Duan, Prithwish Dan, Wei-Chiu Ma, Preston Culbertson

Veröffentlicht 2026-08-14

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Atiksh Bhardwaj, Edward Weiyi Duan, Prithwish Dan, Wei-Chiu Ma, Preston Culbertson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Roboter nicht nur unbeholfene Arme sind, die immer wieder dieselbe Bewegung wiederholen, sondern kluge Helfer, die Ihre Stimme verstehen, das Chaos auf Ihrer Arbeitsplatte sehen und herausfinden können, wie sie es beseitigen können. Dies ist der Traum von „Vision-Language-Action“ (VLA)-Modellen. Betrachten Sie sie als das Gehirn eines Roboters, das eine superintelligente Kamera (Vision), einen Sprachübersetzer, der Ihre Befehle versteht (Language), und ein Set von Muskeln, die tatsächlich Bewegungen ausführen (Action), kombiniert. Wissenschaftler haben diese Gehirne mithilfe massiver vortrainierter Modelle aufgebaut – so als würde man dem Roboter eine Bibliothek mit jedem jemals geschriebenen Buch und jedem jemals gemachten Film geben, damit er bereits weiß, wie eine „Tasse“ oder eine „Vase“ aussieht, noch bevor er eine echte berührt.

Aber hier ist der knifflige Teil: Sobald wir diese Roboter darauf spezialisieren, bestimmte Aufgaben zu erledigen, wie zum Beispiel eine Banane auf einen Teller zu legen, beginnen sie manchmal, sich seltsam zu verhalten. Sie könnten durch eine leichte Änderung der Beleuchtung verwirrt werden oder sie könnten immer wieder versuchen, eine Banane zu greifen, die gar nicht da ist, und dabei lautlos scheitern, ohne dass wir wissen, warum. Wir brauchen eine Möglichkeit, in das Gehen des Roboters zu blicken, während er arbeitet, um zu sehen, ob er tatsächlich Fortschritte macht oder ob er nur auf der Stelle tritt. Hier kommt die Idee der „Interpretierbarkeit“ ins Spiel. Es ist wie ein Dashboard, das Ihnen nicht nur sagt, was der Roboter tut, sondern auch, was er denkt, was gerade passiert. Wenn wir die internen Gedanken des Roboters lesen können, können wir erkennen, wenn er feststeckt, und ihn korrigieren, bevor er etwas beschädigt.

In dieser Arbeit beschlossen Forscher zu testen, ob sie einen ganz spezifischen Gedanken im Gehirn eines Roboters lesen können: wie viel der Aufgabe noch zu tun ist? Sie nennen dies „Aufgabenfortschritt“ (task progress). Stellen Sie sich vor, Sie essen eine Pizza. Sie wissen, dass Sie zur Hälfte fertig sind, wenn Sie die Hälfte der Stücke gegessen haben. Die Forscher wollten wissen, ob die internen „Gehirnwellen“ des Roboters (die eigentlich nur Zahlen innerhalb seines Computers sind) natürlich ein Signal enthalten, das sagt: „Hey, ich bin zu 50 % fertig!“ oder „Oh nein, ich bin erst zu 10 % fertig!“

Sie testeten dies an einem Robotermodell namens $\pi0.5$ , das wie ein hochtechnologisches Robotergehirn aufgebaut ist, das auf einem berühmten Sprach- und Bildmodell namens PaliGemma basiert. Sie haben den Roboter nicht darauf trainiert, den Fortschritt zu berechnen; sie fragten lediglich: „Wenn wir uns die Zahlen im Gehirn des Roboters in diesem Moment ansehen, können wir erraten, wie viel Zeit für die Aufgabe noch übrig ist?“

Die große Entdeckung: Der Roboter weiß es (aber hört nicht zu)

Die Antwort war ein klares Ja. Die Forscher fanden heraus, dass der Aufgabenfortschritt deutlich im Gehirn des Roboters geschrieben steht, fast wie eine Linie in einem Graphen. Wenn man ein einfaches mathematisches Werkzeug (einen sogenannten „linearen Probe“) verwendet und die Zahlen in den ersten Schichten des Robotergehirns betrachtet, kann man genau sagen, wie viel von der Aufgabe noch verbleibt. Das ist erstaunlich, denn es bedeutet, dass der Roboter das Konzept von „verbleibender Zeit“ von Natur aus versteht, ohne dass man ihn explizit darauf trainiert hat, einen Countdown zu führen.

Noch interessanter ist, dass dieses „Fortschrittssignal“ bereits vorhanden war, bevor der Roboter jemals auf eine spezifische Roboteraufgabe trainiert wurde. Es war in das große vortrainierte Gehirn (PaliGemma) eingebettet, allein durch das Lesen von Büchern und das Ansehen von Bildern. Es ist, als hätte der Roboter das Konzept des „Beendens einer Geschichte“ allein durch das Lesen von Geschichten gelernt, und er wendet dieses gleiche Gefühl nun auf das Bewegen einer Tasse von einem Tisch in einen Kühlschrank an.

Der „Zauberstab“-Test: Können wir es steuern?

Hier wird es interessant. Die Forscher fragten sich: „Wenn wir wissen, dass der Roboter über den Fortschritt nachdenkt, können wir sein Gehirn kitzeln, damit er denkt, er sei schon weiter fortgeschritten, als er eigentlich ist?“ Sie versuchten, den Roboter zu „steuern“, indem sie ein Signal einspeisten, das besagte: „Du bist 20 % näher am Ziel!“

Das Ergebnis? Nein. Der Roboter hörte nicht zu. Obwohl die Forscher das Fortschrittssignal klar lesen konnten, gelang es ihnen nicht, das Verhalten des Roboters zu ändern, indem sie dieses Signal fälschten. Es ist, als würde man auf den Tacho eines Autos schauen und sehen, dass er „60 mph“ anzeigt, und dann versuchen, die Nadel mit dem Finger auf „100 mph“ zu drücken. Die Nadel mag sich bewegen, aber das Auto fährt dadurch nicht schneller. Das Gehirn des Roboters kennt den Fortschritt, aber dieses Wissen scheint nicht der Hauptschalter zu sein, der seine Muskeln steuert. Dies deutet auf eine Lücke hin: Der Roboter besitzt eine reiche interne Karte darüber, wo er sich befindet, aber er nutzt diese Karte nicht unbedingt in der Weise, wie er entscheiden soll, was als Nächstes zu tun ist, wie wir es gehofft hatten.

Der „Steckengebliebener Roboter“-Alarm

Ist dieser Signal also nutzlos, wenn wir den Roboter damit nicht steuern können? Keineswegs! Die Forscher fanden eine super praktische Anwendung dafür: das Erkennen, wenn der Roboter feststeckt.

Stellen Sie sich vor, Sie beobachten einen Roboter, der versucht, eine Rose in eine Vase zu stellen. Wenn der Roboter normal arbeitet, sollte das „Fortschrittssignal“ glatt nach unten gehen, wie ein Timer, der herunterzählt. Aber wenn der Roboter verwirrt ist – vielleicht steht die Vase an einer seltsamen Stelle oder die Beleuchtung ändert sich – könnte der Fortschritt des Roboters stoppen. Er könnte immer wieder denselben fehlgeschlagenen Versuch wiederholen.

Die Forscher bauten ein einfendes Alarmsystem unter Verwendung dieses Fortschrittssignals. Sie sagten dem System: „Wenn das Fortschrittssignal aufhört, sich nach unten zu bewegen, schlage Alarm!“ Sie testeten dies gegen andere, kompliziertere Methoden, die erfordern, dass der Roboter an Beispielen des Scheiterns trainiert wird. Ihr einfacher „Fortschrittsalarm“ funktionierte genauso gut oder sogar besser darin, zu erkennen, wann der Roboter scheiterte. Er musste nicht darauf trainiert werden, wie Scheitern aussieht; er wusste einfach, dass etwas nicht stimmte, wenn der Roboter nicht näher an das Ziel herankam.

Was das für die Zukunft bedeutet

Die Arbeit legt nahe, dass diese Robotergehirne voller verborgener, leicht lesbarer Signale darüber sind, was sie gerade tun. Wir können diese Signale als eine leichte, kostengünstige Methode nutzen, um Roboter in der realen Welt zu überwachen. Wenn ein Roboter feststeckt, müssen wir keine komplexe KI einsetzen, um herauszufinden, warum; wir können einfach seine interne „Fortschrittsuhr“ überprüfen. Wenn die Uhr stehen bleibt, wissen wir, dass es Zeit ist einzugreifen.

Obwohl es den Forschern nicht gelungen ist, diese Signale zu nutzen, um den Roboter magisch zum Erfolg zu zwingen (der Teil mit der „Steuerung“ funktionierte nicht), haben sie bewiesen, dass der Roboter ein klares internes Verständnis von Fortschritt besitzt. Dies gibt uns ein neues Werkzeug, um unsere zukünftigen Roboterhelfer sicher, ehrlich und auf Kurs zu halten und sicherzustellen, dass sie nicht nur so tun, als würden sie arbeiten, während sie in Wirklichkeit gar nichts tun.

Technisches Resümee: Dekodierung des Aufgabenfortschritts aus VLA-Repräsentationen

Problemstellung

Vision-Language-Action (VLA)-Modelle kristallisieren sich als universelle Policies für die Robotermanipulation heraus, da sie auf vortrainierten Vision-Language-Model (VLM)-Backbones basieren, um Open-Vocabulary-Aufgaben zu unterstützen. Die Bereitstellung dieser Modelle erfordert jedoch oft aufgabenspezifisches Fine-Tuning, was die Generalisierung verschlechtern, die Sprachsensitivität verringern und die Anfälligkeit gegenüber perzeptuellen Perturbationen erhöhen kann. Es besteht eine kritische Lücke in der Fähigkeit, den internen Zustand dieser Modelle zur Laufzeit zu überwachen. Während bestehende Interpretierbarkeitstools dekodieren können, was eine Policy über die Welt „weiß“ (z. B. Objektzustände), adressieren sie derzeit nicht, wo sich die Policy im Verhältnis zu ihrer spezifischen Aufgabe befindet. Insbesondere fehlt es an Werkzeugen, um den Aufgabenfortschritt – die normalisierte verbleibende Zeit in einer Trajektorie – intern zu überwachen, was essenziell ist, um stagnierende Ausführung oder Out-of-Distribution (OOD)-Fehler zu erkennen, ohne externe Belohnungssignale oder OOD-Labels zu benötigen.

Methodik

Die Autoren untersuchen, ob der Aufgabenfortschritt linear aus den internen Aktivierungen des VLA-Modells $\pi_{0.5}$ (basierend auf dem PaliGemma-Backbone) lesbar ist. Die Methodik ist strukturiert um drei Kernkonzepte: Dekodierbarkeit und Steuerbarkeit sowie die Anwendung dieser Signale auf die OOD-Detektion.

1. Merkmalsdefinition und Extraktion

Aufgabenfortschritt ( $\tau$ ): Definiert als der normalisierte Bruchteil einer Trajektorie, der bis zum Abschluss verbleibt ( $1 - t/T$ ), wobei $t$ der aktuelle Zeitschritt und $T$ die gesamte Trajektorienlänge ist. Dieses Label wird direkt aus Offline-Experten-Demonstrationen ohne zusätzliche Annotation abgeleitet.
Embedding-Extraktion: Die Autoren extrahieren die Residuenstrom-Aktivierungen ( $z_i$ ) aus den Transformer-Schichten von $\pi_{0.5}$ für jede Beobachtung im Datensatz.
Lineares Probing: Ein lineares Probe $\phi(z) = w^\top z + b$ wird trainiert, um $\tau$ aus den Aktivierungen vorherzusagen.

2. Formalisierung von Repräsentationen

Das Paper formalisiert drei verschiedene Ebenen der Merkmalsrepräsentation:

Schwache Dekodierbarkeit: Die Fähigkeit, ein lineares Signal, das mit $\tau$ korreliert, aus In-Distribution-Aktivierungen zu extrahieren.
Starke Dekodierbarkeit: Die Fähigkeit eines einzelnen Probes (ohne Retraining), auf kontrafaktisch transformierte Inputs zu generalisieren (z. B. das Vertauschen des Ziel-Nomen im Sprachprompt). Dies testet, ob das Signal von den korrekten semantischen Inputs abhängt oder von spuriösen Korrelationen.
Steuerbarkeit: Die Fähigkeit, in die Aktivierungen einzugreifen (indem man sie entlang des Gewichtsvektors des Probes verschiebt), um das Verhalten der Modell kausal zu verändern (z. B. das Modell dazu zu zwingen, so zu agieren, als hätte es mehr Fortschritt gemacht).

3. OOD-Detektionsmechanismus

Ein Laufzeit-Detektor wird unter Verwendung des Fortschritts-Probes konstruiert. Er vergleicht den vorhergesagten Fortschritt ( $\tau_{pred}$ ) mit dem erwarteten Fortschritt bassierend auf der verstrichenen Zeit ( $1 - t/E[T|\ell]$ ). Ein signifikanter Residuum ( $V_\tau(t) > \delta$ ) deutet darauf hin, dass die Policy stagniert, was den Zustand als OOD markiert. Diese Methode erfordert kein Training mit OOD-Labels.

Zentrale Beiträge

Definitionen: Die Autoren führen formale Definitionen für schwache Dekodierbarkeit, starke Dekodierbarkeit und Steuerbarkeit im Kontext generativer Modelle ein und unterscheiden dabei zwischen der Existenz eines Signals, dessen Abhängigkeit von korrekten Inputs und seinem kausalen Effekt auf Outputs.
Ergebnisse zur Dekodierbarkeit: Sie zeigen, dass der Aufgabenfortschritt sowohl schwach als auch stark dekodierbar aus dem Residuenstrom von $\pi_{0.5}$ $π_{0.5}$ ist.
- Das Signal ist im vortrainierten PaliGemma-Backbone bereits vor jeglichem roboter-spezifischen Fine-Tuning vorhanden, was darauf hindeutet, dass es aus groß angelegtem roboter-basiertem Pre-Training hervorgeht.
- Ein mit Sprach-Kontrafakten trainierter Probe (Vertauschen der Aufgaben-Nomen) passt seine Ausgabe korrekt an, was beweist, dass das Signal sprachlich fundiert ist und nicht nur eine Funktion von Zeit oder visuellen Merkmalen ist.
Einschränkung der Steuerbarkeit: Trotz der Dekodierbarkeit ist das Aufgabenfortschritts-Signal nicht steuerbar. Das Injizieren eines „Fortschritts-Boosts“ in die Aktivierungen verändert das zukünftige Verhalten der Modell nicht kausal (z. B. das Erzwingen eines Fortschritts) oder führt nicht erfolgreich zu dem kontrafaktischen Verhalten.
OOD-Detektion: Der Fortschritts-Probe dient als label-freier OOD-Detektor. Er erkennt stagnierenden Fortschritt, wenn die Policy auf Perturbationen (Rauschen, Unschärfe, Okklusion) oder unbekannte Aufgaben stößt.

Ergebnisse

Emergenz des Signals: Das Fortschrittsmerkmal ist über alle getesteten Modelle hinweg beobachtbar, einschließlich des rohen PaliGemma-Backbones, des Basis- $\pi_{0.5}$ und der feinabgestimmten Varianten. Die $\pi_{0.x}$ -Varianten (trainiert auf Roboterdaten) schneiden jedoch signifikant besser ab als das rohe VLM-Backbone, was darauf hindeutet, dass das Merkmal während des roboter-basierten Pre-Trainings etabliert wird.
Kontrafaktische Robustheit: Ein mit Sprach-Kontrafakten trainierter Probe erreicht eine starke Dekodierbarkeit ( $R^2 \approx 0.33$ auf In-Distribution-Daten aufgrund verrauschter Proxies, aber korrekte Verfolgung von $\tau=1.0$ unter vertauschten Instruktionen), während ein Standard-Probe nicht auf Sprachänderungen reagiert.
Scheitern der Steuerbarkeit: Experimente, bei denen ein Fortschritts-Boost ( $\tau_{boost} = 0.2$ ) in Schicht 0 injiziert wurde, zeigen, dass sich der vorhergesagte Fortschritt in nachfolgenden Schichten nicht ändert und die resultierenden Aktionen nicht mit dem kontrafaktischen Ziel übereinstimmen. Die injizierten Aktionen bleiben fern von den Ground-Truth-Zukunftsaktionen.
OOD-Detektionsleistung:
- Aufgabenübergreifende Generalisierung: Der fortschrittsbasierte Detektor ( $V_\tau$ ) erreicht einen AUROC von 0,833 bei ungesehenen Aufgaben (im Vergleich zu 0,796 bei gesehenen Aufgaben), was eine Robustheit ohne Retraining demonstriert. Er übertrifft Dichtebasierte Methoden (Mahalanobis, VAE) bei ungesehenen Aufgaben und ist konkurrenzfähig mit überwachten Baselines (SAFE-MLP) ohne die Notwendigkeit von OOD-Supervision.
- Perturbationsübergreifende Generalisierung: Wenn er nur auf In-Distribution-Daten trainiert und auf ungesehenen Rauschmodi getestet wird (z. B. trainiert auf Rauschen A/B, getestet auf C/D), erreicht $V_\tau$ einen pro-Episode AUROC von 0,960 und übertrifft damit überwachte Detektoren, die auf spezifische Rauschtypen trainiert wurden.

Bedeutung und Behauptungen

Das Paper behauptet, dass VLAs über reiche, linear lesbare interne Repräsentationen semantischer Größen wie des Aufgabenfortschritts verfügen. Dieser Befund legt nahe:

Überwachung ist machbar: Das Erlernen dieser Signale bietet einen leichtgewichtigen, interpretierbaren Weg zur Überwachung eingesetzter visuomotorischer Policies, ohne komplexe externe Modelle oder gelabelte Fehlerdaten zu benötigen.
Pre-Training ist entscheidend: Die Emergenz des Aufgabenfortschritts im vortrainierten Backbone zeigt, dass groß angelegtes roboter-basiertes Pre-Training ein strukturiertes Verständnis des Aufgabenabschlusses vermittelt, das durch das Fine-Tuning erhalten bleibt.
Beobachtbarkeit vs. Kontrollierbarkeit: Es gibt eine deutliche Lücke zwischen dem, was eine Policy repräsentiert (beobachtbarer Fortschritt) und dem, worauf sie agiert (Steuerbarkeit). Die Unfähigkeit, die Modell via Fortschritts-Injektion zu steuern, verdeutlicht, dass die Policy dieses spezifische interne Signal nicht als direktes Kontrollvariable für die Entscheidungsfindung nutzt.

Die Autoren positionieren diese Arbeit als einen Schritt zur Instrumentierung eingesetzter VLAs und bieten ein Werkzeug zur Erkennung stiller Fehler (stagnierender Fortschritt), das sowohl gegenüber Aufgabenvariationen als auch gegenüber Umweltperturbationen robust ist.