🤖 machine learning

ProcVLM: Learning Procedure-Grounded Progress Rewards for Robotic Manipulation

Das Papier stellt ProcVLM vor, ein Vision-Language-Modell, das prozedurverankerte Fortschrittsbelohnungen durch Schlussfolgerungen über verbleibende atomare Aktionen und visuelle Veränderungen erlernt und auf einem massiven Datensatz mit 60 Millionen Frames (ProcCorpus-60M) trainiert wurde, um dichte, diskriminierende Rückmeldungen für die robotische Manipulation über lange Zeithorizonte zu liefern.

Ursprüngliche Autoren: Youhe Feng, Hansen Shi, Haoyang Li, Xinlei Guo, Yang Wang, Chengyang Zhang, Jinkai Zhang, Xiaohan Zhang, Jie Tang, Jing Zhang

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Youhe Feng, Hansen Shi, Haoyang Li, Xinlei Guo, Yang Wang, Chengyang Zhang, Jinkai Zhang, Xiaohan Zhang, Jie Tang, Jing Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Zeitfalle"

Stellen Sie sich vor, Sie bringen einem Roboter bei, einen Kuchen zu backen.

Der alte Weg: Die meisten Roboter lernen, indem sie ein Video eines perfekt gebackenen Kuchens ansehen. Wenn der Roboter jedoch versucht, einen Kuchen zu backen und Mehl verschüttet, sagen die alten Systeme oft nur: „Sie haben am Ende versagt." Sie wissen nicht, warum es gescheitert ist oder wie weit der Roboter vor dem Fehler gekommen ist.
Die „Zeit"-Falle: Einige Systeme versuchen, den Fortschritt zu erraten, indem sie auf die Uhr schauen. Sie denken: „Wenn 10 Sekunden vergangen sind, muss der Roboter 50 % fertig sein!" Das ist jedoch falsch. Wenn der Roboter 10 Sekunden damit verbringt, nur zu versuchen, einen rutschigen Löffel aufzuheben, hat er tatsächlich keinen Fortschritt gemacht. Vergangene Zeit $\neq$ erledigte Arbeit.

Die Autoren dieses Papiers sagen: Roboter brauchen einen Lehrer, der die Schritte versteht, nicht nur die Uhr oder das Endergebnis.

Die Lösung: ProcVLM (Der „Schritt-für-Schritt"-Trainer)

Das Team hat ein neues KI-Modell namens ProcVLM entwickelt. Stellen Sie es sich als einen sehr aufmerksamen Trainer vor, der beobachtet, wie ein Roboter arbeitet, und ihm ständiges Feedback darüber gibt, wie genau der Prozess voranschreitet.

Wie es funktioniert (Der „Zuerst Denken"-Trick):
Anstatt nur eine Zahl zu erraten (wie „70 % fertig"), agiert ProcVLM wie ein menschlicher Trainer, der nachdenkt, bevor er spricht:

Es betrachtet die Szene: „Okay, der Roboter hält den blauen Teller."
Es denkt über den Plan nach: „Das Ziel ist es, den Teller in das Gestell zu legen. Der Roboter hat den Teller bereits gewaschen. Er muss ihn noch greifen, heben und hineinschieben."
Es berechnet den Fortschritt: „Da es das Waschen abgeschlossen hat und gerade beim Heben ist, ist es etwa 80 % fertig."

Dieser Ansatz „Zuerst Denken, dann Schätzen" bedeutet, dass der Roboter für das Abschließen eines Teil-Schritts (wie das Waschen) Anerkennung erhält, auch wenn er beim nächsten Schritt (wie dem Heben) stecken bleibt.

Die Trainingsdaten: Die „60 Millionen Einzelbilder"-Bibliothek

Um ProcVLM zu einem so guten Trainer zu erziehen, mussten die Forscher eine riesige Bibliothek mit Beispielen aufbauen.

Die Herausforderung: Echte Roboter-Videos haben normalerweise nur ein „Start"- und ein „End"-Label. Sie enthalten keine Labels für jede einzelne Sekunde dessen, was der Roboter tut.
Die Lösung: Sie nutzten eine superintelligente KI (einen „Großen VLM-Annotator"), um 400.000 Roboter-Videos anzusehen und automatisch detaillierte Notizen für jedes einzelne Einzelbild zu verfassen.
- Was hat der Roboter gerade getan? (z. B. „Die Tasse gegriffen")
- Was bleibt noch zu tun? (z. B. „Tasse ins Waschbecken legen")
- Ist die Aufgabe abgeschlossen? (Ja/Nein)
Das Ergebnis: Sie schufen ProcCorpus-60M, einen Datensatz mit 60 Millionen annotierten Einzelbildern. Es ist, als würde man aus einem 400.000-seitigen Buch, das nur Kapitelüberschriften hat, ein Buch mit einer detaillierten Zusammenfassung auf jeder einzelnen Seite machen.

Das „VQA"-Spiel: Lernen durch Fragenstellen

Sie verwandelten diese riesige Bibliothek in ein Spiel namens ProcVQA. Anstatt nur zuzusehen, musste die KI Fragen beantworten wie:

„Welche Aktion findet gerade statt?"
„Was ist der aller nächste Schritt, den der Roboter unternehmen sollte?"
„Basierend auf dem, was Sie sehen, wie viel Prozent der Aufgabe sind abgeschlossen?"

Indem ProcVLM dieses Spiel immer wieder mit 60 Millionen Beispielen spielte, lernte es, die Logik einer Aufgabe zu verstehen, nicht nur die Bilder.

Warum das wichtig ist: Die „Dichte Belohnung"

In der Welt des Roboter-Lernens ist eine „Belohnung" wie ein Leckerbissen.

Spärliche Belohnung (Alter Weg): Der Roboter erhält einen Leckerbissen nur, wenn die Aufgabe zu 100 % perfekt ist. Wenn er auf halbem Weg scheitert, bekommt er nichts. Das macht das Lernen langsam und frustrierend.
Dichte Belohnung (ProcVLM): ProcVLM gibt dem Roboter bei jedem Schritt einen „Leckerbissen" (Feedback). „Gut gemacht, dass du den Block aufgehoben hast!" „Okay, du hast ihn fallen lassen, aber du befindest dich immer noch in der richtigen Zone."

Da ProcVLM die Schritte versteht, kann es den Unterschied erkennen zwischen:

Stagnation: Der Roboter steckt fest und tut nichts.
Versagen: Der Roboter hat den Gegenstand fallen lassen.
Fortschritt: Der Roboter kämpft, bewegt sich aber vorwärts.

Die Ergebnisse: Funktioniert es?

Das Papier testete ProcVLM auf drei Hauptarten:

Aufgabenverständnis: Es wurde besser darin, zu erraten, an welchem Schritt der Roboter war und was als Nächstes zu tun war, im Vergleich zu anderen Top-KI-Modellen.
Schnelle Anpassung: Wenn ihm nur ein Beispiel einer neuen Aufgabe gezeigt wurde (selbst ein gescheitertes), konnte ProcVLM sofort verstehen, wie der Fortschritt für diese spezifische Aufgabe zu bewerten ist. Andere Modelle hatten Schwierigkeiten, sich mit so wenig Daten anzupassen.
Roboter unterrichten: Als sie ProcVLM nutzten, um einen echten Roboter beim Trainieren zu helfen (Schüsseln stapeln), lernte der Roboter schneller und stabiler als bei der Schulung mit Standardmethoden. Er war besser darin, mit chaotischen, realen Fehlern umzugehen.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie lernen Autofahren.

Alte KI: Sie erhalten nur am ganz Ende der Prüfung eine „Bestanden"- oder „Durchgefallen"-Note. Wenn Sie mitten im Test den Motor abstellen, erhalten Sie kein Feedback darüber, wie Sie es beheben sollen.
ProcVLM: Es ist wie ein Fahrlehrer, der auf dem Beifahrersitz sitzt. Er sagt: „Sie haben den Schlüssel gedreht, gut. Jetzt drücken Sie zu fest aufs Gas, lassen Sie etwas locker. Sie sind zu 60 % durch die Kreuzung, behalten Sie die Augen auf der Ampel."

ProcVLM gibt Robotern diese Art von kontinuierlicher, schrittweiser Anleitung, was sie intelligenter und zuverlässiger beim Erlernen neuer Aufgaben macht.

Technische Zusammenfassung: ProcVLM

Problemstellung

Langfristige robotische Manipulation erfordert dichte Feedback-Signale, die den Fortschritt einer Aufgabe durch prozedurale Stadien hinweg genau widerspiegeln, anstatt sich ausschließlich auf binäre Erfolgs-/Misserfolgs-Ergebnisse auf Trajektorien-Ebene zu verlassen. Bestehende Belohnungsmodelle verlassen sich häufig auf spärliche Endlabels oder zeitbasierte Interpolation. Die Autoren argumentieren, dass diese Ansätze kritische Zustände wie unvollendete Schritte, Stagnation und Fehlerwiederherstellung nicht erfassen, da die verstrichene Zeit bei komplexen Manipulationsaufgaben nicht notwendigerweise mit dem tatsächlichen Aufgabenfortschritt korreliert. Darüber hinaus fehlt es den meisten groß angelegten Robotik-Datensätzen an expliziten Annotationen der prozeduralen Struktur (z. B. Unteraufgaben-Grenzen und verbleibende Aktionen), was Belohnungsmodelle zwingt, auf indirekte Überwachung zurückzugreifen, die zeitliche Stellvertreter mit semantischem Fortschritt vermischt.

Methodik

1. Synthese prozeduraler Überwachung (ProcCorpus-60M)

Um das Fehlen dichter prozeduraler Überwachung zu adressieren, entwickelten die Autoren eine skalierbare Pipeline, um rahmenweise Annotationen aus rohen Robotik-Trajektorien zu synthetisieren.

Hierarchische Annotation: Unter Verwendung großer Vision-Language-Modelle (VLMs) als Annotatoren leitet die Pipeline zunächst hochrangige Aufgabenpläne und zeitliche Spannen von Unteraufgaben aus dem gesamten Video ab. Anschließend erweitert sie diese Segmente in rahmenweise Zuordnungen und generiert Schlussfolgerungshinweise (Zustandsbegründung, Abschlussstatus, verbleibende Aktionen) auf visuell deduplizierten Schlüsselbildern.
Datensatz-Konstruktion: Diese Pipeline wurde auf 30 embodied-Datensätze angewendet (einschließlich DROID, BridgeData V2, Fractal und Simulations-Benchmarks), was zu ProcCorpus-60M führte, das über 400.000 Trajektorien und 60 Millionen annotierte Rahmen enthält.
Fortschritts-Labeling: Kontinuierliche Fortschrittsziele werden durch die Kombination von Unteraufgaben-Struktur und intra-Unteraufgaben-visueller Bewegung abgeleitet. Ein Fortschrittsbudget wird jeder Unteraufgabe basierend auf ihrer relativen Dauer zugewiesen und dieses Budget über die Zeit entsprechend lokalen visuellen Änderungen ( $\|\dot{\phi}(\tau)\|$ ) verteilt, wodurch eine einfache lineare Zeitinterpolation vermieden wird.

2. ProcVQA und Trainingsparadigma

Die Annotationen werden in ProcVQA umgewandelt, ein 20-Milliarden-Token-Trainingskorpus, das auf der Schätzung des Aufgabenfortschritts basiert. Das Training folgt einem Paradigma „Begründung vor Schätzung", bei dem das Modell zunächst den aktuellen Ausführungsstadium und die verbleibenden atomaren Aktionen ableiten muss, bevor es einen kontinuierlichen Fortschritts-Score vorhersagt.

Aufgabenfamilien:
- Unteraufgaben-strukturierte Fortschrittsvorhersage: Das Modell gibt verbleibende atomare Unteraufgaben aus, gefolgt von einem kontinuierlichen Abschlussprozentsatz, der in <progress>-Tags eingewickelt ist.
- Aktionssegmentierung: Vorhersage zeitlicher Grenzen atomarer Aktionen.
- Zukunftsplanung: Vorhersage der Sequenz verbleibender Aktionen, die zur completion der Aufgabe erforderlich sind.
Architektur: ProcVLM basiert auf einem Qwen3-VL-2B-Instruct-Backbone. Es nutzt einen standardmäßigen autoregressiven Sprachmodellierungs-Kopf für Textgenerierung und einen dedizierten Fortschritts-Wert-Kopf (ein 3-Schichten-MLP) für kontinuierliche Regression.
Trainingsziele: Eine gemeinsame Verlustfunktion kombiniert den Sprachmodellierungsverlust ( $L_{LM}$ ) mit einem Regressionsverlust ( $L_{value}$ ) für den Fortschritts-Score. Ein Gating-Mechanismus aktiviert den Wert-Kopf nur, wenn Fortschrittsüberwachung vorhanden ist.
Zweistufiges Training:
1. Vortraining: Groß angelegtes Training auf dem gesamten ProcVQA-Datensatz (~20 Mrd. Token), um allgemeine prozedurale Repräsentationen zu erlernen.
2. Verfeinerung: Feinabstimmung auf einem kuratierten, hochwertigen Subset (~2,8 Mrd. Token), um die Unteraufgaben-Ausrichtung und Fortschritts-Schätzung zu schärfen.

Hauptbeiträge

ProcVLM: Ein fortschrittsbewusstes embodied VLM, das dichte, prozedur-verankerte Belohnungen vorhersagt. Es verknüpft die kontinuierliche Fortschritts-Schätzung mit Unteraufgaben-Semantik, verbleibenden Aktionen und dem Fortschritt innerhalb eines Stadiums durch ein Paradigma der „Begründung vor Schätzung".
Skalierbare Überwachungs-Pipeline: Eine Methode zur Umwandlung roher Manipulations-Trajektorien in rahmenweise, Unteraufgaben-strukturierte Annotationen, die ProcCorpus-60M und den ProcVQA-Benchmark liefert.
Systematische Evaluation: Umfassende Evaluation über prozedur-bewusstes Verständnis, Belohnungsmodellierung, aufgabenübergreifende Anpassung und nachgelagerte Policy-Optimierung.

Experimentelle Ergebnisse

Embodied Prozedurales Verständnis (ProcVQA)

Evaluiert auf In-Distribution (ID) und Out-of-Distribution (OOD) Aufteilungen übertraf ProcVLM Mainstream-VLMs (einschließlich GPT-5.4, Gemini 3.1 Pro und Qwen3.5) bei der Aktionssegmentierung, Zukunftsplanung und Aufgabenfortschritts-Schätzung. Es erzielte die höchsten BF1@5-, Success-, VOC- (Value-Order Correlation) und EPR@50-Werte (Effective Progress Resolution).

Generalisierbare Fortschritts-Belohnungsevaluation

Zero-Shot-Vergleich: Auf dem ProcVQA-OOD-Subset erzielte ProcVLM die beste VOC, was eine überlegene fortlaufende Fortschrittsordnung innerhalb der Trajektorie im Vergleich zu Baselines wie Robometer und RoboDopamine anzeigt.
One-Shot-Anpassung: Auf dem RoboFAC-Benchmark (Fehleranalyse an echten Robotern) verbesserte das Hinzufügen einer einzigen erfolgreichen Demonstration die VOC von ProcVLM um 85,7 % und die MCC um 18,8 %. Im Gegensatz dazu zeigten Baselines wie Robometer nur minimale Verbesserungen, was darauf hindeutet, dass spärliche Präferenzüberwachung für die Anpassung an eine einzelne Demonstration weniger effektiv ist.
Ablationsstudien: Das Entfernen der prozedur-bewussten Vortrainingsphase führte zu einer schweren Verschlechterung (z. B. -88,8 % bei MAE für die Fehlerlokalisierung), was bestätigt, dass groß angelegtes Vortraining für übertragbare Fortschritts-Wahrnehmung unerlässlich ist. Das Entfernen der begründungsformatierten Überwachung führte ebenfalls zu konsistenten Rückgängen und unterstreicht die Bedeutung einer expliziten Unteraufgaben-Struktur.

Nachgelagerte Policy-Optimierung

In Belohnungsgesteuerten Feinabstimmungs-Experimenten (RFT) unter Verwendung des Evo-RL-Frameworks:

Simulation (LIBERO-10): RFT mit ProcVLM-Belohnungen erzielte moderate Gewinne (+0,4 bis +1,2 Prozentpunkte) gegenüber der überwachten Feinabstimmung (SFT).
Echter Roboter (Stack Bowls): RFT zeigte signifikante Verbesserungen und erhöhte die Erfolgsraten um +25,0 % bei 5.000 Schritten und um +12,5 % bei 10.000 Schritten im Vergleich zu SFT. Die Autoren führen dies auf die Fähigkeit von ProcVLM zurück, verrauschte Segmente (z. B. wiederholte Greifversuche) in ferngesteuerten Daten herunterzuwiegen, was die Policy-Optimierung stabilisiert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass prozedur-verankerte Fortschritts-Schätzung ein kritischer Enabler für übertragbare Belohnungsmodellierung in der Robotik ist. Indem Fortschritt in der prozeduralen Struktur und nicht in zeitlichen Stellvertretern verankert wird, bietet ProcVLM diskriminierendes Feedback, das eine stabile Policy-Verbesserung unterstützt, insbesondere in Szenarien mit verrauschten Daten echter Roboter und langfristigen Aufgaben. Die Arbeit legt nahe, dass groß angelegtes prozedur-bewusstes Vortraining ein vielversprechender Weg zur Entwicklung von Belohnungsmodellen ist, die sich über Aufgaben und Fehlermodi hinweg generalisieren lassen und so eine belohnungsgesteuerte Policy-Optimierung über Offline-Demonstrationen hinaus ermöglichen.

Die Autoren räumen Einschränkungen ein und stellen fest, dass die Schätzungen von der Qualität der Unteraufgaben-Zerlegung abhängen und dass die aktuelle Arbeit sich auf einen spezifischen Satz belohnungsgesteuerter Optimierungseinstellungen konzentriert, anstatt alle Policy-Gradient- oder präferenzbasierten Integrationen erschöpfend abzudecken.