💻 computer science

ValueFormer: A Causal Transformer Value Function with Stage-Aware Labels for Semi-Autonomous Vision-Language-Action Policies

ValueFormer adressiert das stille Versagen von auf Imitationslernen basierenden Vision-Language-Action-Policies durch die Einführung eines kompakten, kausalen Transformers, der dichte, stadienbewusste pro-Frame-Wert-Labels generiert, um eine effektive Online-Fehlererkennung und Advantage-Schätzung zu ermöglichen, wodurch die Aufgabenerfüllungsraten bei realen Roboter-Manipulationsaufgaben signifikant verbessert werden, ohne dass kostspieliges Reinforcement Learning erforderlich ist.

Ursprüngliche Autoren: Inkyu Sa, Konstantin Stulov, Rajat Bhageria

Veröffentlicht 2026-08-05

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Inkyu Sa, Konstantin Stulov, Rajat Bhageria

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Roboter lernen, Hausarbeiten zu erledigen, nicht indem sie mit starren Regeln programmiert werden, sondern indem sie Menschen beobachten und sie nachahmen, ganz so wie ein Kleinkind, das lernt, sich die Schuhe zu binden, indem es einem Elternteil zusieht. Dieses Feld wird Vision-Language-Action (VLA) genannt, wobei ein Roboter seine „Augen“ (Kameras) und sein „Gehirn“ (Sprachmodelle) nutzt, um zu entscheiden, was als Nächstes zu tun ist. Das große Problem bei diesem Ansatz ist, dass der Roboter oft nur von erfolgreichen Beispielen lernt. Es ist, als würde man versuchen, Radfahren zu lernen, indem man nur Videos von Menschen sieht, die noch nie gestürzt sind. Wenn der Roboter anfängt zu wackeln oder den Lenker verliert, weiß er nicht, dass er scheitert, bis die ganze Sache kracht. Er hat kein internes „Bauchgefühl“, das ihm sagt: „Hey, du machst das super!“ oder „Stopp! Du wirst gleich das Sandwich fallen lassen!“

Dieses Paper widmet sich genau diesem fehlenden „B Bauchgefühl“. Die Forscher wollten dem Roboter ein zweites, kleineres Gehirn bauen, das wie ein Fortschrittsbalken fungiert. Anstatt nur darauf zu warten, dass der Roboter eine Aufgabe abschließt, um dann zu sagen „Gut gemacht“ oder „Fehlgeschlagen“, beobachtet dieses neue System den Roboter in Echtzeit, Bild für Bild. Es versucht zu beantworten: „Wie nah sind wir gerade an der Ziellinie?“ und „Haben wir gerade einen Fehler gemacht?“ Das Ziel ist es, teilautonome Roboter sicherer und hilfreicher zu machen, damit ein menschlicher Bediener nicht ständig auf einen Bildschirm starren muss, während er auf eine Katastrophe wartet.

Der „Fortschrittsbalken“ des Roboters, der weiß, wann man feststeckt

Treffen Sie ValueFormer, ein neues Werkzeug, das darauf ausgelegt ist, Robotern ein Gefühl für Fortschritt zu geben. Stellen Sie sich einen Roboter vor, der versucht, ein Sandwich zuzubereiten. Er muss den unteren Brötchenteil hinlegen, ein Patty hinzufügen, Käse, Tomate, Salat und schließlich das obere Brötchen platzieren. Wenn der Roboter beim Salat stecken bleibt, könnte ein Standardroboter, der nur von Erfolgsgeschichten trainiert wurde, einfach ewig versuchen, den Salat zu greifen, oder schlimmer noch, ihn überspringen und das obere Brötchen auf ein nacktes Patty legen, in dem Glauben, alles sei in Ordnung. Er hat keine Ahnung, dass er in Schwierigkeiten steckt.

Die Autoren dieses Papers erkannten, dass die größte Hürde nicht darin bestand, ein schickes neues Robotergehirn zu bauen, sondern herauszufinden, wie man dem Roboter beibringt, was „gut machen“ in jeder einzelnen Sekunde bedeutet.

Das Problem mit „Alles-oder-Nichts“-Labels

Stellen Sie sich vor, Sie bewerten die Mathearbeit eines Schülers. Wenn Sie ihm erst ganz am Ende eine Note geben, wissen Sie nicht, wann er steckengeblieben ist. Ist er bei der ersten Frage gescheitert oder bei der letzten?

Der alte Weg: Die meisten Roboter werden mit einem einfachen „Erfolg/Misserfolg“-Schalter am Ende der Aufgabe trainiert. Wenn das Sandwich fertig ist, ist es eine 1. Wenn es ein Chaos ist, ist es eine 0.
Der Fehler: Das ist zu spärlich (sparse). Wenn ein Roboter auf halbem Weg einen Fehler macht, aber weitermacht, sagt die „0“ am Ende dem Roboter nicht, welcher Teil schlecht war. Es ist, als würde man einem Läufer sagen: „Du hast das Rennen verloren“, ohne ihm zu sagen, dass er bei Meile 2 gestolpert ist.

Die Forscher versuchten einen anderen Ansatz. Sie wollten ein dichtes Label (dense label), eine Punktzahl, die sich jede Fraktion einer Sekunde aktualisiert und genau zeigt, wie nah der Roboter am Ziel ist. Aber hier liegt der Knackpunkt: Wenn man dem Roboter einfach nur sagt „Du hast versagt, also ist deine Punktzahl 0“ für den gesamten gescheiterten Versuch, wird der Roboter verwirrt. Er sieht die ersten Sekunden (in denen er gut gearbeitet hat) und denkt: „Warte, ich war eigentlich super, aber du sagst, ich versage? Dann muss ich wohl von Anfang an versagt haben!“ Dies verwirrt den Roboter und führt dazu, dass er selbst bei guten Versuchen schlecht abschneidet.

Die „Erfolg-dann-Zerfall“-Lösung

Der Hauptdurchbruch des Papers ist eine clevere Methode zur Kennzeichnung von Fehlern namens „Stage-Aware, Success-Then-Decay“ (Stufenbewusst, Erfolg-dann-Zerfall).

Stellen Sie sich vor, der Roboter steigt auf einen Berg (macht ein Sandwich).

Der Aufstieg: Während er steigt, geht seine „Fortschrittspunktzahl“ stetig nach oben.
Der Schliff: Wenn er ausrutscht und fällt (einen Fehler macht), sinkt die Punktzahl nicht sofort auf Null. Stattdessen bleibt sie hoch für die Teile, die er richtig gemacht hat (das untere Brötchen und das Patty) und zerfällt dann langsam, während das System erkennt, dass es Probleme gibt.
Das Ergebnis: Dies lehrt den Roboter, dass der erste Teil des Versuchs tatsächlich gut war, aber das Ende schlecht war. Es bewahrt die „Teilpunkte“ für die Arbeit, die vor dem Fehler geleistet wurde.

Die Autoren testeten dies gegen vier andere Methoden der Fehlermarkierung (wie das sofortige Absinken der Punktzahl auf Null oder das Herunterskalieren der gesamten Punktzahl). Sie fanden heraus, dass ihre Methode des „glatten Zerfalls“ die einzige war, die den Roboter nicht verwirrte. Sie ermöglichte es dem Roboter zu lernen, dass ein gescheiterter Versuch zu Beginn noch einen Wert hatte, was verhinderte, dass er seine Vorhersagen bei späteren erfolgreichen Versuchen „zusammenbrechen“ ließ.

Zwei Köpfe, ein Gehirn

ValueFormer ist ein kleines, effizientes Modell, das neben dem Hauptgehirn des Roboters läuft. Es hat ein einzigartiges „Dual-Head“-Design, vergleichbar mit einem Roboter, der zwei verschiedene Arten von Augen hat:

Das glatte Auge ( $V_{mc}$ ): Dies liefert eine kontinuierliche, sanfte Fortschrittspunktzahl (0 bis 1). Es sagt dem Bediener: „Wir sind zu 60 % fertig“ oder „Wir stagnieren“. Es eignet sich hervorragend zur Verfolgung des allgemeinen Fortschritts.
Das scharfe Auge ( $V_{bin}$ ): Dies ist ein binärer Alarm. Er springt im Moment eines Fehlers sofort auf „Gefahr!“. Es ist darauf ausgelegt, Fehler schnell abzufangen, etwa wenn der Roboter den Salat fallen lässt, damit ein Mensch eingreifen kann, bevor das gesamte Sandwich ruiniert ist.

Das Paper zeigt, dass das System durch das Training auf 1.427 realen Roboter-Episoden der Sandwich-Zubereitung lernte, vier deutliche Muster zu erkennen:

Sauberer Erfolg: Die Punktzahl steigt stetig an bis nach oben.
Erfolg-mit-Wiederholung: Die Punktzahl sinkt kurz ab, wenn der Roboter patzt (z. B. ein Patty fallen lässt), steigt aber wieder an, sobald er es korrigiert.
Früher Kollaps: Die Punktzahl steigt an, fällt dann ab und bleibt niedrig, weil der Roboter früh einen Fehler gemacht hat.
Steckenbleiben beim Kratzen: Die Punktzahl bleibt niedrig, weil der Roboter nur seine Runden dreht, ohne voranzukommen.

Ergebnisse aus der Praxis

Als die Forscher diesen „Fortschrittsbalken“ nutzten, um dem Roboter beim Lernen zu helfen, waren die Ergebnisse vielversprechend. Indem sie das „Bauchgefühl“ des Roboters nutzten, um seine Trainingsdaten zu gewichten (indem sie ihm sagten, dass er den Teilen, in denen er kämpfte, mehr Aufmerksamkeit schenken soll), verbesserten sie die Erfolgsrate des Roboters bei der Sandwich-Zubereitung von 70 % auf 85 %. Es gelang ihnen auch, eine spezifische schlechte Angewohnheit zu eliminieren, bei der der Roboter immer wieder versuchte, eine Zutat aufzuheben, die er bereits erfolgreich platziert hatte (ein „Repeat-Pick“-Fehler).

Die Autoren weisen jedoch vorsichtig darauf hin, dass obwohl die Verbesserung real ist, die Stichprobengröße (20 Sandwiches im Abschlusstest) klein ist, wessoeben die Ergebnisse eher „aufschlussreich“ als ein gelöstes Problem sind. Sie fanden auch heraus, dass das System etwas Zeit benötigt, um zu reagieren – etwa 5 bis 10 Sekunden –, da es eine kurze Historie dessen betrachtet, was zuvor geschah, bevor es ein Urteil fällt.

Schnell genug für den Betrieb machen

Schließlich musste das Team sicherstellen, dass dieser neue „Fortschrittsbalken“ den Roboter nicht verlangsamt. Zwei Gehirne auf einem Computerchip laufen zu lassen, ist schwierig. Sie entdeckten, dass die Hauptkosten nicht im „Denken“, sondern im „Sehen“ (Verarbeiten der Kamera-Bilder) lagen. Durch die Optimierung der Bildverarbeitung (unter Verwendung von „Batching“ und einem speziellen mathematischen Format namens „bf16“) konnten sie die Zeit für die Fortschrittsprüfung um das 3- bis 5-fache senken. Dies ermöglichte es dem System, flüssig mit 2 Hz (zweimal pro Sekunde) auf demselben Chip wie das Hauptgehirn des Roboters zu laufen, ohne Verzögerungen zu verursachen.

Kurz gesagt: ValueFormer gibt Robotern die Möglichkeit zu sagen: „Ich mache das ganz gut, aber ich habe gerade den Käse fallen lassen und brauche Hilfe“, anstatt am Ende einfach nur stillschweigend zu scheitern. Es verwandelt eine blinde Nachahmung in einen teilautonomen Partner, der weiß, wann er in Schwierigkeiten steckt.

Technisches Resümee: ValueFormer

Problemstellung

Vision-Language-Action (VLA)-Policies, die mittels Behavior Cloning trainiert wurden (z. B. die $\pi_0$ -Familie), scheitern oft lautlos. Da Imitation Learning kein intrinsisches Maß für den Fortschritt bietet, können ein Roboter, der saubere Fortschritte macht, und einer, der stagniert oder gescheitert ist, identische Aktionsströme und visuelle Ausgaben erzeugen. Reinforcement Learning (RL) könnte theoretisch ein Value-Signal liefern, ist jedoch für Aufgaben mit realen Robotern, die deformierbare Objekte (wie Lebensmittel) involvieren, unpraktikabel, da die Datenerhebung extrem kostspielig ist und aktuelle Simulatoren die physikalischen Interaktionen nicht originalgetreu reproduzieren können.

Bestehende Alternativen, wie etwa terminale Erfolgs-/Fehler-Bits, leiden unter extremer Spärlichkeit. Ein einzelnes Bit am Ende eines zweiminütigen Episodenverlaufs kann einem Operator nicht mitteilen, wann ein Fehler aufgetreten ist, noch kann es das dichte Signal liefern, das für die Schätzung des Advantages oder die Online-Sicherheitsfilterung erforderlich ist. Zudem sind einfache dichte Labeling-Schemata (z. B. die Zuweisung eines Wertes von 0 für alle Frames in einer gescheiterten Episode) aktiv schädlich; sie lehren das Modell, dass Beobachtungen in frühen Stadien eines gescheiterten Durchlaufs inhärent „schlecht“ sind, was dazu führt, dass das Modell selbst bei erfolgreichen Verläufen während des Einsatzes ein Scheitern vorhersagt.

Methodik

Das Paper schlägt ValueFormer vor, einen kompakten, policy-agnostischen kausalen Transformer, der aus einem einzigen Vorwärtspass zwei pro-Frame-Signale emittiert: einen glatten Monte-Carlo-Wert ( $V_{mc}$ ) zur Fortschrittsverfolgung und einen scharfen binären Wert ( $V_{bin}$ ) zur Fehlererkennung.

1. Stadienbewusstes „Success-Then-Decay“-Labeling

Der zentrale technische Beitrag ist ein neuartiges Labeling-Schema für gescheiterte Episoden, das das Problem der „falsch geformten Labels“ adressiert:

Pre-Failure (Vor dem Fehler): Frames, die einem Fehler in einer gescheiterten Episode vorausgehen, werden identisch zu erfolgreichen Episoden gelabelt, folgend einer ansteigenden Monte-Carlo-Kurve ( $V \approx \gamma^{N-1-k}$ ). Dies bewahrt die Teilgutschrift für die vor dem Fehler abgeschlossenen Stadien.
Post-Failure (Nach dem Fehler): Anstatt eines harten Abfalls auf Null (einem „Cliff“) fällt das Label glatt vom Wert zum Zeitpunkt des Fehlers ab ( $V_{fail} = V_{succ}(k_{fail}) \cdot \gamma^{k-k_{fail}}$ ). Dies kodiert die Intuition, dass ein Roboter, der spät in einer Aufgabe scheitert, immer noch mehr Anerkennung verdient als einer, der früh scheitert.
Binäre Detektion: Ein zweites Target, $V_{bin}$ , wird aus segmentbasierten Fehlerintervallen $(t_{start}, t_{end})$ generiert, statt aus einem einzelnen Fehlerpunkt. Dies ermöglicht es dem Modell, aus transienten Fehlern in ansonsten erfolgreichen Durchläufen zu lernen (z. B. ein fehlgeschlagener Griff, der korrigiert wird).

2. Architektur

ValueFormer ist ein leichtgewichtiger kausaler Transformer (ca. 3,5 Mio. trainierbare Parameter), der auf einem eingefrorenen DINOv3 ViT-L/16 Backbone aufgebaut ist.

Input: Er verarbeitet ein kurzes, festes Zeitfenster (8 Sekunden, 16 Frames) von sechs Ansichten: drei vollständige Kamerabilder und drei Region-of-Interest (ROI) Crops (Greifer- und Handgelenkregionen). Er nimmt zudem Joint-States und Zeit-Features auf.
Kausales Design: Der Transformer verwendet eine kausale Maske, wodurch sichergestellt wird, dass der Wert zum Zeitpunkt $t$ nur von vergangenen und aktuellen Frames abhängt, was ihn für die Online-Inferenz valide macht.
Dual-Head-Output:
- $V_{mc}$ Head: Ein 3-lagiges MLP, das einen glatten Wert in $[0, 1]$ produziert, überwacht durch die stadienbewussten Monte-Carlo-Labels.
- $V_{bin}$ Head: Ein 2-lagiges MLP, das eine scharfe Wahrscheinlichkeit für einen Fehler produziert, überwacht durch die Fehlerintervalle.

3. Training und Supervision

Das Modell wird auf beide Heads gemeinsam unter Verwendung von Binary Cross-Entropy (BCE) trainiert. Um das Labeling zu skalieren, nutzt die Autorenschaft Human-in-the-Loop (HIL) Interventionsflags aus Teleoperations-Sessions. Wenn ein Operator bei einem scheiternden Durchlauf übernimmt, wird das Intervall der Intervention als Fehlersegment behandelt, was eine dichte, kostengünstige Supervision liefert, die manuelle Annotationen ergänzt.

Kernergebnisse

Die Methode wurde an einer realen Roboteraufgabe zur Sandwich-Montage mit 1.427 Episoden (1.249 Experten-Erfolge, 178 autonome Durchläufe) evaluiert.

Effektivität des Labelings: Eine Ablationsstudie, die fünf Labeling-Formen verglich, zeigte, dass das vorgeschlagene „MC-smooth“ (success-then-decay) Schema die Alternativen (outcome-scaled, cliff, linear mix, late-diverge) signifikant übertraf. Es erreichte den niedrigsten Validierungs-BCE-Loss und den geringsten Rollout-MAE, während es „Outcome Leakage“ (Vorhersage eines Scheiterns bei $t=0$ basierend auf dem Endergebnis) vermeidete, wie es bei anderen Schemata der Fall war.
Qualitative Signaturen: ValueFormer reproduzierte erfolgreich vier kanonische Rollout-Signaturen auf Testdaten:
1. Glatt ansteigende Kurven für saubere Erfolge.
2. Dips und Erholungen für Erfolge mit Retries.
3. Rise-then-drop Muster für frühe Kollapse.
4. Flache Low-Profile für steckende/schrammelnde Episoden.
Fehlererkennung: Durch die Kombination von manuellen Annotationen mit Interventions-Segmenten erreichte der binäre Head eine Average Precision (AP) von 0,82 bei der gehaltenen Fehlererkennung (im Vergleich zu 0,38 mit rein manuellen Labels) und detektierte 95 % der Fehler vor dem Eingreifen des Operators.
Policy-Verbesserung (A/B-Test): In einem On-Robot-Experiment verbesserte die Nutzung des Critics zur Ableitung von pro-Frame Trainingsgewichten für die VLA-Policy die Aufgabenerfüllung von 70 % auf 85 % (innerhalb der statistischen Rauschgrenze bei $n=20$ ) und eliminierte einen spezifischen „Repeat-Pick“-Fehlermodus, der unter einem Flag-only Baseline bestehen blieb.
Effizienz im Deployment: Durch gebatchtes Encoding und BF16-Autocast auf dem eingefrorenen Encoder wurde die Live-Serving-Kosten um das 3–5-fache reduziert, was es ermöglichte, den Critic mit 2 Hz parallel zur Policy auf einer einzigen GPU laufen zu lassen, ohne den Control-Loop zu blockieren.

Bedeutung und Ansprüche

Das Paper argumentiert, dass nicht die Architektur, sondern das Label der kritische Flaschenhals beim Lernen von Value-Funktionen für Behavior Cloning ist. Der primäre Beitrag ist der Nachweis, dass ein dichtes, korrekt geformtes, stadienbewusstes Label essenziell ist, um ein nützliches Value-Signal zu lernen.

Dichte der Supervision: Der Übergang von einem terminalen Bit zu einem pro-Frame Target ist notwendig, aber nicht ausreichend; die Form dieses Targets bestimmt den Erfolg. Ein dichtes Label mit der falschen Form (z. B. ein flaches Null für alle Fehler) ist schlechter als gar kein Label, weil das Modell es getreu anpasst und somit falsche Assoziationen lernt.
Policy-Agnostizismus: ValueFormer arbeitet neben einer eingefrorenen VLA und erfordert keine Modifikation des Trainings-Loops oder des Input-Formats der Policy, was es zu einem Plug-and-Play-Modul für die $\pi_0$ -Familie macht.
Dual-Target-Design: Die Trennung eines glatten Wertes (für die Fortschrittsschätzung) und eines scharfen binären Signals (für Sicherheitsabbrüche) ermöglicht es einem einzigen Modell, sowohl den Bedarf des Operators an einem „Fortschrittsbalken“ als auch den Bedarf des Systems an einem sofortigen „Abort“-Trigger zu erfüllen.

Die Autoren kommen zu dem Schluss, dass, obwohl die spezifische Anwendung die Sandwich-Montage war, das Designmuster – ein kleiner, Dual-Output Value-Head mit engineered Targets, die sich einen Backbone teilen – einen generalisierbaren Pfad hin zu semi-autonomen Robotern bietet, die in der Lage sind, ihre eigenen Fehler zu erkennen, bevor eine menschliche Intervention erforderlich wird.