🤖 AI

ProgressVLA: Progress-Guided Diffusion Policy for Vision-Language Robotic Manipulation

Die Arbeit stellt ProgressVLA vor, ein neuartiges Modell für die robotische Manipulation, das durch eine robuste, auf großen Datensätzen vortrainierte Fortschrittsabschätzung und eine differenzierbare Fortschrittssteuerung die Erfolgsraten und Generalisierungsfähigkeit von Vision-Language-Action-Modellen bei langfristigen Aufgaben signifikant verbessert.

Ursprüngliche Autoren: Hongyu Yan, Qiwei Li, Jiaolong Yang, Yadong Mu

Veröffentlicht 2026-03-31

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hongyu Yan, Qiwei Li, Jiaolong Yang, Yadong Mu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie geben einem Roboter den Befehl: „Öffne die Schublade und lege den gelben Gegenstand hinein."

Ein herkömmlicher Roboter-AI-Modell (ein sogenanntes VLA-Modell) hört diesen Befehl und beginnt zu handeln. Aber es hat ein großes Problem: Es weiß nicht, wie weit es schon gekommen ist.

Es ist, als würde ein Koch in einer dunklen Küche kochen, ohne jemals auf die Uhr zu schauen oder den Ofen zu öffnen, um zu prüfen, ob das Essen fertig ist. Er rührt einfach weiter, bis er zufällig aufhört oder die Zeit abläuft. Oft macht er dann unnötige Bewegungen, verliert den Fokus oder gibt auf, obwohl er fast fertig war.

Die Forscher von ProgressVLA haben eine Lösung dafür gefunden. Sie haben dem Roboter ein intuitives „Fortschritts-Gefühl" gegeben.

Hier ist die einfache Erklärung, wie das funktioniert, mit ein paar anschaulichen Vergleichen:

1. Der „Fortschritts-Meter" (Der Fortschritts-Schätzer)

Stellen Sie sich vor, der Roboter hat einen kleinen Helfer im Kopf, der wie ein Navigator in einem Spiel funktioniert.

Das Problem: Wenn der Roboter eine Aufgabe bekommt, weiß er nicht, ob er gerade erst angefangen hat (0 %) oder ob er fast fertig ist (99 %).
Die Lösung: Der neue „Fortschritts-Meter" schaut sich ständig die Bilder der Kamera und den Sprachbefehl an. Er sagt dem Roboter: „Hey, du hast die Schublade gerade erst angefasst, du bist bei 10 %. Aber als du den Griff gezogen hast, bist du schon bei 50 %."
Der Clou: Dieser Meter wurde nicht nur auf einem einzigen Roboter trainiert, sondern hat Millionen von Videos von anderen Robotern gesehen. Er ist wie ein erfahrener Koch, der schon tausend Gerichte zubereitet hat und sofort erkennt, ob etwas „fertig" aussieht, auch wenn er den Ofen noch nie gesehen hat.

2. Der „Kompass" (Die Lenkung durch den Fortschritt)

Normalerweise probiert ein Roboter viele verschiedene Bewegungen aus, wie jemand, der blind durch einen Labyrinth läuft und gegen jede Wand rennt, bis er zufällig den Ausgang findet.

Mit ProgressVLA passiert etwas anderes:

Der Roboter plant seine Bewegungen in einem „Träumen"-Modus (einem virtuellen Raum).
Bevor er eine Bewegung wirklich ausführt, fragt er seinen Fortschritts-Meter: „Wenn ich diese Bewegung mache, komme ich dem Ziel näher?"
Die Analogie: Stellen Sie sich vor, Sie laufen durch einen dichten Nebel. Ohne Kompass laufen Sie zufällig herum. Mit dem Kompass (dem Fortschritts-Meter) spüren Sie sofort, welche Richtung den Berggipfel (das Ziel) näher bringt. Der Roboter ignoriert alle Wege, die ihn im Kreis laufen lassen, und konzentriert sich nur auf die Schritte, die den Fortschritts-Meter nach oben treiben.

3. Das „Ziel-Feedback" (Warum das so wichtig ist)

In der alten Welt mussten Roboter oft stur einen Befehl ausführen und dann hoffen, dass sie am Ende erfolgreich waren. Wenn sie scheiterten, wussten sie nicht, warum.

Mit dieser neuen Methode:

Der Roboter weiß in jedem einzelnen Moment, ob er auf dem richtigen Weg ist.
Wenn er merkt, dass er sich im Kreis dreht (der Fortschritts-Meter sinkt oder bleibt stehen), korrigiert er sofort seine Richtung.
Das Ergebnis: Der Roboter macht weniger unnötige Bewegungen, braucht weniger Zeit und ist viel zuverlässiger, besonders bei langen Aufgaben (wie „Hol den Apfel, schneide ihn, und bring ihn auf den Teller").

Zusammenfassung in einem Satz

ProgressVLA ist wie ein Roboter, der nicht nur blind Befehle ausführt, sondern einen intelligenten Navigator an Bord hat, der ihm ständig sagt: „Du bist schon weit gekommen, mach weiter so!" oder „Moment, das bringt uns nicht näher zum Ziel, probier es anders!"

Dadurch werden Roboter nicht nur schneller, sondern auch „klüger" darin, komplexe Aufgaben zu erledigen, ohne sich in Details zu verlieren. Sie wissen einfach, wann sie fertig sind und wann sie noch arbeiten müssen.

1. Problemstellung

Bestehende Vision-Language-Action (VLA)-Modelle für die robotische Manipulation leiden oft unter einem Mangel an Aufgabenfortschrittsbewusstsein (Progress Awareness).

Fehlende explizite Fortschrittsmessung: Die meisten Modelle verlassen sich auf handgefertigte Heuristiken zur Aufgabenbeendigung oder auf implizite, oft verrauschte Signale für das Erreichen eines Ziels.
Herausforderung bei langen Horizonten: Bei Aufgaben mit kaskadierten Teilzielen (Long-Horizon Tasks) führt dies zu ineffizienten Trajektorien. Generative Modelle (wie Diffusionsmodelle) erzeugen zwar lokal plausible Bewegungen, aber ohne ein dichtes Fortschrittskonzept verschwenden sie Rechenleistung auf irrelevante Pfade und scheitern oft an der korrekten Terminierung.
Rauschen in visuellen Daten: Das direkte Lernen von Fortschrittsignalen aus rohen Pixeln ist schwierig, da visuelle Störfaktoren (Kamerajitter, Hintergrundwechsel, Ablenkungsobjekte) mit der eigentlichen Aufgabendynamik verwechselt werden.

2. Methodik: ProgressVLA

Das vorgeschlagene Framework ProgressVLA integriert eine explizite Fortschrittschätzung direkt in den Generierungsprozess eines Diffusionspolicies. Es besteht aus drei Hauptkomponenten:

A. Fortschritts-Schätzer (Progress Estimator)

Dies ist ein Vision-Language-Evaluator, der einen normalisierten Fortschrittscore $p \in [0, 1]$ vorhersagt.

Eingabe: Sprachanweisung ( $l$ ), Startbild ( $o_0$ ) und aktuelles Bild ( $o_t$ ).
Training: Der Schätzer wird zunächst auf großen, unüberwachten Robotik-Datensätzen (Open X-Embodiment, OXE) vortrainiert und dann auf spezifischen Benchmarks (LIBERO, CALVIN) feinabgestimmt.
Fortschritts-Label: Als Ground-Truth dient der normalisierte Zeitschritt ( $t/T$ ) innerhalb einer Demonstration, da Expertendemonstrationen typischerweise einen monotonen Fortschritt aufweisen.

B. Weltmodell mit latenter Aktion (Latent Action World Model)

Um den Fortschrittsgradienten für die Steuerung zu nutzen, wird ein inverses Dynamikmodell verwendet, das in einem latenten Raum operiert.

Inverse Dynamik: Ein Encoder ( $E$ ) bildet den Übergang zwischen zwei Bildern ( $o_t \to o_{t+N}$ ) auf einen latenten Aktionsvektor ( $a_z$ ) ab.
Vorwärtsdynamik: Ein Decoder ( $D$ ) rekonstruiert das zukünftige Bild ( $\hat{o}_{t+N}$ ) basierend auf dem aktuellen Bild und dem latenten Aktionsvektor.
Zweck: Dieses Modell erlaubt es, die Konsequenzen einer potenziellen Aktion im Voraus zu „imaginieren" (Imagination), ohne den physischen Roboter bewegen zu müssen.

C. Fortschritts-gesteuerte Diffusions-Policy

Die eigentliche Policy nutzt den Fortschritts-Schätzer als Classifier Guidance im latenten Aktionsraum.

Prozess: Während des Diffusions-Denoising-Schritts wird ein Kandidat für einen latenten Aktions-Chunk ( $x_\tau$ ) durch das Weltmodell in ein zukünftiges Bild projiziert. Der Fortschritts-Schätzer bewertet dieses zukünftige Bild.
Gradienten-Steuerung: Da die Vorhersage differenzierbar ist, werden die Gradienten des Fortschrittscores ( $\nabla_{x_\tau} \hat{p}$ ) zurückpropagiert. Diese werden genutzt, um den Denoising-Schritt zu modifizieren und die Sampling-Richtung so zu steuern, dass Aktionen ausgewählt werden, die den Fortschritt maximieren.
Reinforcement Learning (RL) Feinabstimmung: Zusätzlich wird die Policy online mit gesammelten Trajektorien feinabgestimmt. Dabei wird eine KL-divergenz-regulierte Optimierung verwendet, um die Wahrscheinlichkeit von Aktionen mit hohem vorhergesagtem Fortschritt zu erhöhen, während die Abweichung von der Basis-Policy kontrolliert bleibt.

3. Wichtige Beiträge

Robuste Fortschrittschätzung: Entwicklung eines Schätzers, der auf großen Datensätzen vortrainiert wird und eine hohe Genauigkeit (niedrige Residuen von ~0,07 auf einer Skala von 0–1) sowie Zero-Shot-Generalisierung auf reale Szenarien erreicht.
Differentiable Progress Guidance: Einführung eines inversen Dynamik-Modells, das es ermöglicht, Fortschrittsgradienten direkt in den Diffusionsprozess zu integrieren. Dies verwandelt die Fortschrittsbewertung von einem nachgelagerten Kriterium in einen aktiven Steuerungsmechanismus.
End-to-End Framework: Eine vollständige Pipeline, die Vortraining, gemeinsame Feinabstimmung von Weltmodell und Schätzer sowie RL-basierte Online-Optimierung kombiniert.

4. Ergebnisse

Die Methode wurde auf mehreren Benchmarks und in realen Roboterszenarien evaluiert:

CALVIN (Simulation):
- ProgressVLA übertrifft starke Baselines (wie Diffusion Policy, OpenVLA, Dita) signifikant.
- Die „Success Rate" für das Aneinanderreihen von 5 Teilaufgaben (5-in-a-row) stieg von 52,7 % (Baseline) auf 52,0 % (ohne Guidance) bzw. 52,0 % (mit Guidance, je nach Konfiguration; im Paper wird ein Anstieg auf 56,4 % für die Variante mit vortrainiertem Evaluator und Guidance gegenüber 52,8 % ohne vortrainierten Evaluator hervorgehoben).
- Die durchschnittliche Anzahl abgeschlossener Aufgaben pro Episode erhöhte sich von 3,27 auf 3,73.
- Die Korrelation zwischen vorhergesagtem Fortschritt und linearem Rampenverlauf (Pearson r) verbesserte sich von 0,722 auf 0,934.
LIBERO (Simulation):
- Auf dem LIBERO-LONG-Subset (lange Horizonte) erzielte ProgressVLA mit voller Konfiguration eine Erfolgsrate von 66,2 %, verglichen mit 53,7 % bei OpenVLA.
- Der durchschnittliche Erfolg über alle Subsets stieg von 81,5 % (ohne Guidance) auf 84,5 % (Full).
Real-World Deployment (ARX Dual-Arm Roboter):
- In fünf realen Manipulationsaufgaben (z. B. Schublade öffnen, Objekte stapeln) stieg die Erfolgsrate von 23 % (Octo Baseline) auf 76 % (ProgressVLA mit Guidance).
- Die Effizienz verbesserte sich drastisch: Die durchschnittliche Anzahl der Schritte sank von 187,9 auf 53,3, und die zurückgelegte Distanz des Endeffektors reduzierte sich von 1,30 m auf 0,81 m.
- Das vortrainierte Modell zeigte eine robuste Generalisierung bei Lichtwechseln und neuen Objekten, während Modelle, die nur von Grund auf neu trainiert wurden, stark nachließen.

5. Bedeutung und Fazit

ProgressVLA adressiert eine fundamentale Lücke in der aktuellen Robotik-Forschung: die fehlende explizite Orientierung am Aufgabenfortschritt bei generativen Policies.

Paradigmenwechsel: Statt auf heuristische Abbruchkriterien zu setzen, ermöglicht das System eine zielgerichtete Generierung von Aktionen durch die direkte Optimierung des Fortschritts.
Effizienz und Zuverlässigkeit: Die Methode reduziert nicht nur die Anzahl der benötigten Schritte, sondern macht die Ausführung robuster gegen Rauschen und visuelle Ablenkungen.
Generalisierung: Durch das Vortraining auf großen Datensätzen und die Feinabstimmung auf spezifischen Aufgaben kann das System erfolgreich auf reale Roboter übertragen werden, ohne dass umfangreiche neue Datensätze für jede neue Umgebung benötigt werden.

Zusammenfassend demonstriert ProgressVLA, dass die Integration eines lernbaren Fortschritts-Signals in Diffusionsmodelle die Leistung von VLA-Policies in komplexen, langfristigen Manipulationsaufgaben erheblich steigern kann.