💻 computer science

SARM: Stage-Aware Reward Modeling for Long Horizon Robot Manipulation

Das Papier schlägt SARM vor, ein stufenbewusstes, videobasiertes Reward-Modellierungs-Framework, das natürliche Sprachannotationen nutzt, um konsistente Supervision für langfristige, kontaktreiche Aufgaben wie das Falten von T-Shirts zu generieren, was die nachgelagerte Policy-Training erheblich durch eine neuartige Reward-Ausgerichtete Behavior-Cloning-Methode (RA-BC) verbessert.

Ursprüngliche Autoren: Qianzhong Chen, Justin Yu, Mac Schwager, Pieter Abbeel, Yide Shentu, Philipp Wu

Veröffentlicht 2026-04-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Qianzhong Chen, Justin Yu, Mac Schwager, Pieter Abbeel, Yide Shentu, Philipp Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein T-Shirt zu falten. Dies ist keine einfache Aufgabe des „Aufhebens und Abstellens"; es ist ein langer, komplizierter Tanz, der das Greifen, Glätten von Falten, Falten der Ärmel und das Einstecken des Shirts in eine Ecke umfasst. Ist das Shirt zerknittert, wird es noch schwieriger.

Das Problem, mit dem die Autoren dieses Papiers konfrontiert waren, ist, dass Roboter unterrichten wie ein Kind, indem man ihnen Videos zeigt, aber einige dieser Videos schlecht sind.

Das Problem: Schlechte Videos und verwirrende Timer

In der Vergangenheit sammelten Forscher, um einen Roboter zu unterrichten, stundenlange Videos von Menschen, die die Aufgabe ausführten. Sie sagten dem Roboter: „Tun Sie genau das, was Sie im Video sehen." Dies nennt man Imitationslernen.

Allerdings gibt es zwei große Probleme:

Die Videos sind unordentlich: Einige menschliche Demonstrationen sind perfekt. Andere sind ungeschickt, dauern zu lange oder scheitern sogar halbwegs. Wenn Sie den Roboter mit allen Videos gleichermaßen unterrichten, gerät er in Verwirrung. Er lernt die schlechten Gewohnheiten zusammen mit den guten.
Die „Timer"-Falle: Um den Roboter zu unterrichten, sagten Forscher früher: „Bei 10 Sekunden sollten Sie hier sein; bei 20 Sekunden dort." Aber Menschen arbeiten nicht nach einem strengen Timer. Eine Person glättet das Shirt in 5 Sekunden; eine andere braucht 20. Wenn man einfach nur Sekunden zählt, erhält der Roboter eine verwirrte Karte. Er könnte denken, ein Shirt sei „halb gefaltet", nur weil 10 Sekunden vergangen sind, selbst wenn das Shirt noch ein zerknitterter Ball ist.

Die Lösung: SARM (Der „stagesensitive" Coach)

Die Autoren entwickelten ein neues System namens SARM (Stage-Aware Reward Modeling). Stellen Sie sich SARM als einen intelligenten Coach vor, der das Video des Roboters beobachtet und die Geschichte der Aufgabe versteht, nicht nur die Uhr.

Anstatt zu fragen: „Wie viele Sekunden sind vergangen?", fragt SARM: „In welchem Stadium der Aufgabe befinden wir uns?"

Die Analogie: Stellen Sie sich ein Filmskript vor. Ein schlechter Coach sagt: „Bei Minute 5 muss der Held kämpfen." Ein guter Coach (SARM) sagt: „Der Held befindet sich derzeit in der Szene 'Kämpfen'. Gewinnt er? Verliert er? Beginnt er gerade den Kampf?"
Funktionsweise: SARM betrachtet das Video und die Textbeschreibung (z. B. „Greifen Sie das Shirt", „Glätten Sie das Shirt"). Es zerlegt die lange Aufgabe in kleinere „Szenen" (Stadien). Dann beurteilt es den Fortschritt des Roboters innerhalb dieser Szene. Hat der Roboter das Shirt erfolgreich gegriffen? Glättet er es nun?
Das Ergebnis: SARM kann sich ein unordentliches Video ansehen, in dem der Roboter einen Fehler macht, feststellen: „Oh, Sie stecken in der 'Glättungs'-Phase fest", und eine Bewertung abgeben, die diese Realität widerspiegelt, anstatt nur zu sagen: „Sie sind spät dran, also erhalten Sie eine schlechte Bewertung."

Der zweite Schritt: RA-BC (Der „intelligente Filter")

Sobald SARM trainiert ist, ein guter Richter zu sein, nutzten die Autoren es, um RA-BC (Reward-Aligned Behavior Cloning) zu erstellen.

Die Analogie: Stellen Sie sich vor, Sie sind ein Schüler, der für eine Prüfung lernt. Sie haben einen Stapel mit 100 Übungsprüfungen.
- Alte Methode (Vanilla BC): Sie studieren jede Prüfung gleichermaßen, einschließlich derjenigen, bei denen der Lehrer einen Fehler gemacht hat oder der Schüler geschummelt hat. Sie verschwenden Zeit an schlechten Beispielen.
- RA-BC-Methode: Sie verwenden Ihren „intelligenten Coach" (SARM), um die Übungsprüfungen zuerst zu benoten. Der Coach sagt: „Diese Prüfung ist perfekt, lernen Sie sie intensiv! Diese hier ist unordentlich, überspringen Sie sie. Diese hier ist okay, lernen Sie ein wenig daraus."
Funktionsweise: RA-BC betrachtet alle menschlichen Videos, verwendet SARM, um sie zu bewerten, und gewichtet dann das Training neu. Es sagt dem Roboter: „Achten Sie besonders auf die perfekten Videos und ignorieren Sie die unordentlichen."

Die Ergebnisse: T-Shirts falten

Das Team testete dies an einem echten Roboter, der T-Shirts falten sollte, einschließlich der sehr schwierigen Aufgabe, mit einem zerknitterten Shirt zu beginnen.

Der alte Weg: Ohne ihr neues System gelang es dem Roboter nur 8 % der Zeit mit einem flachen Shirt und 0 % mit einem zerknitterten. Er war völlig verloren.
Der neue Weg (SARM + RA-BC):
- Mit einem flachen Shirt: 83 % Erfolg.
- Mit einem zerknitterten Shirt: 67 % Erfolg.

Warum dies wichtig ist

Das Papier zeigt, dass für Roboter, um komplexe, lange Aufgaben zu erledigen (wie Wäsche falten oder Geschirr ausräumen), die Datenqualität wichtiger ist als die Datenmenge. Sie brauchen nicht einfach mehr Videos; Sie brauchen eine Möglichkeit zu verstehen, welche Videos gut sind und wo sich der Roboter im Prozess befindet.

Indem sie einen „stagesensitiven" Coach verwenden, um die Geschichte der Aufgabe zu verstehen, und einen „intelligenten Filter", um die besten Beispiele auszuwählen, brachten sie einem Roboter bei, etwas zu tun, das für ihn zuvor fast unmöglich war.

Kurz gesagt: Sie brachten dem Roboter bei, aufhören, Sekunden zu zählen, und anfangen, die Geschichte der Aufgabe zu verstehen, sodass er aus den besten Beispielen lernen und die Fehler ignorieren kann.

1. Problemstellung

Das Paper adressiert die kritische Herausforderung der langfristigen, kontaktreichen Robotermanipulation, insbesondere im Zusammenhang mit verformbaren Objekten (z. B. T-Shirt-Falten). Während neuere Robot Behavior Models (RBMs) vielversprechend sind, haben sie Schwierigkeiten mit:

Inkonsistenter Demonstrationsqualität: Große Datensätze enthalten oft verrauschte, suboptimale oder fehlgeschlagene Trajektorien von nicht-experten Operatoren.
Spröder Kennzeichnung: Bestehende Methoden verlassen sich häufig auf Frame-Indizes oder einfache zeitbasierte Fortschrittslabels. Bei Aufgaben mit variabler Dauer und nicht-linearem Fortschritt (z. B. nimmt das Glätten eines Shirts je nach Stoff unterschiedlich viel Zeit in Anspruch) führt eine frame-basierte Kennzeichnung zu schwerem Rauschen, wodurch es unmöglich wird, zwischen einem „langsamen, aber korrekten" Schritt und einem „fehlgeschlagenen" Schritt zu unterscheiden.
Generalisierung: Modelle, die auf kuratierten Daten trainiert wurden, generalisieren nicht auf Out-of-Distribution (OOD)-Szenarien, wie z. B. die Erholung von Fehlern oder den Umgang mit Verdeckungen bei verformbaren Objekten.

Das Kernproblem besteht darin, wie konsistente, fein abgestufte Belohnungssignale aus diversen, variablen Demonstrationsdaten abgeleitet werden können, um das Policy-Lernen effektiv zu steuern, ohne perfekte, manuell erstellte Belohnungsfunktionen zu benötigen.

2. Methodik

Die Autoren schlagen ein zweiteiliges Framework vor: SARM (Stage-Aware Reward Modeling) zur Generierung von Belohnungen und RA-BC (Reward-Aligned Behavior Cloning) zur Nutzung dieser Belohnungen für das Training von Policies.

A. SARM: Stage-Aware Reward Modeling

SARM ist ein videobasiertes Belohnungsmodellierungs-Framework, das darauf ausgelegt ist, den Aufgabenfortschritt robust vorherzusagen.

Natürliche Sprachannotationen: Anstelle von Frame-Indizes verwendet die Methode natürliche Sprach-Subtask-Annotationen (z. B. „greifen", „glätten", „falten"), um Aufgaben in semantische Stufen zu zerlegen.
Dual-Head-Architektur:
1. Stage Estimator: Ein Klassifikationskopf, der den aktuellen hochleveligen Aufgabenstadium (z. B. „Glättungsphase") basierend auf visuellen Beobachtungen (RGB-Frames) und Gelenkzuständen vorhersagt.
2. Subtask Estimator: Ein Regressionskopf, der den fein abgestuften Fortschritt ( $\in [0, 1]$ ) bedingt durch das vorhergesagte Stadium vorhersagt.
Kennzeichnungsstrategie:
- Die Autoren berechnen eine datensatzweite Prior-Proportion ( $\bar{\alpha}_k$ ) für jeden Subtask basierend auf der durchschnittlichen zeitlichen Dauer dieses Subtasks über den gesamten Datensatz.
- Fortschrittslabels werden durch lineare Interpolation innerhalb der Subtasks generiert, wodurch sichergestellt wird, dass identische semantische Zustände (z. B. ein vollständig geglättetes Shirt) konsistente Fortschrittswerte erhalten, unabhängig davon, wie viele Frames es gedauert hat, dorthin zu gelangen.
Eingabeverarbeitung: Das Modell verwendet einen eingefrorenen CLIP-Encoder für visuelle Merkmale und einen Transformer-Encoder, um zeitliche Abhängigkeiten zu erfassen. Es setzt Rewind-Augmentation ein (Anhängen umgekehrter Frames von früheren Zeitstempeln), um die Robustheit gegenüber Fehlfällen und OOD-Szenarien zu verbessern.

B. RA-BC: Reward-Aligned Behavior Cloning

RA-BC ist ein Trainingsframework, das das erlernte SARM-Belohnungsmodell nutzt, um Demonstrationsdaten während des Policy-Trainings zu filtern und neu zu gewichten.

Berechnung des Fortschrittsdeltas: Für jede Trainingsprobe berechnet das Modell die Fortschrittsverbesserung ( $\Delta \phi$ ) zwischen dem aktuellen Zustand und dem nächsten Zustand unter Verwendung des SARM-Belohnungsmodells.
Dynamische Gewichtung:
- Das System führt Online-Laufstatistiken (Mittelwert $\mu$ und Standardabweichung $\sigma$ ) der Fortschrittsdeltas.
- Proben mit positivem Fortschritt (oberhalb eines Schwellenwerts) werden hochgewichtet, während solche mit negativem Fortschritt (Rückläufer/Fehlschläge) heruntergewichtet oder herausgefiltert werden.
- Ein „Prior-Override"-Mechanismus weist Proben, die eindeutig gut sind, ein Gewicht von 1 und solchen, die eindeutig schlecht sind, ein Gewicht von 0 zu, um eine entscheidende Filterung sicherzustellen.
Ziel: Der Standard-Behavior-Cloning (BC)-Verlust wird durch einen gewichteten Verlust ersetzt, wodurch die Policy effektiv lernt, nur die hochwertigen, fortschrittlichen Segmente des diversen Datensatzes zu imitieren.

3. Hauptbeiträge

SARM-Framework: Ein neuartiges, stufenbewusstes, videobasiertes Belohnungsmodell, das Aufgabenstufen und fein abgestuften Fortschritt unter Verwendung natürlicher Sprachannotationen gemeinsam vorhersagt. Es überwindet die Sprödigkeit der Frame-Index-Kennzeichnung und generalisiert gut auf OOD-Szenarien.
RA-BC-Framework: Eine Policy-Trainingsmethode, die das erlernte Belohnungsmodell nutzt, um automatisch hochwertige Demonstrationen zu identifizieren und neu zu gewichten, was ein effektives Lernen aus verrauschten, diversen Datensätzen ohne manuelle Filterung ermöglicht.
Empirische Validierung an verformbaren Objekten: Erfolgreiche Anwendung auf die hochanspruchsvolle Aufgabe des T-Shirt-Faltens, die signifikante Verbesserungen gegenüber dem Standard-Behavior-Cloning und anderen Belohnungsmodellierungs-Baselines demonstriert.

4. Experimentelle Ergebnisse

Die Autoren bewerteten ihren Ansatz an zwei Aufgaben: T-Shirt-Falten (langfristig, verformbar) und Geschirr ausräumen (mehrstufig, starr).

Leistung des Belohnungsmodells:
- SARM schnitt bei der Vorhersage des Fortschritts auf menschlichen Demonstrationen und realen Roboterausläufen deutlich besser ab als Baselines (LIV, VLC, GVL, REDS, ReWiND).
- Beim T-Shirt-Falten erreichte SARM einen MSE von 0,008 auf Validierungsdaten (vs. 0,019 für die nächstbeste Baseline) und einen Klassifizierungsscore von 0,94 auf realen Roboterausläufen (vs. 0,78 für ReWiND).
- SARM war robust gegenüber Lichtvariationen und Fehlermodi, bei denen andere Modelle verrauschte oder zu optimistische Signale produzierten.
Policy-Leistung (T-Shirt-Falten):
- Baselines: Ein reines BC, das auf dem gesamten diversen Datensatz ( $D_{all}$ ) trainiert wurde, erreichte 0% Erfolg bei der „Hard"-Aufgabe (Falten aus einem zerknitterten Zustand).
- Naive Filterung: Eine Filterung nach Dauer ( $D_{2min}$ ) verbesserte die Leistung, scheiterte jedoch weiterhin an der Hard-Aufgabe (0% Erfolg).
- RA-BC mit SARM:
  - Medium-Aufgabe (Flach zu Gefaltet): 83% Erfolgsrate.
  - Hard-Aufgabe (Zerknittert zu Gefaltet): 67% Erfolgsrate.
- Vergleich: RA-BC mit SARM schnitt bei der Hard-Aufgabe deutlich besser ab als RA-BC mit dem ReWiND-Belohnungsmodell (67% vs. 25%), was beweist, dass die Qualität des Belohnungsmodells der Engpass für RA-BC ist.
Ablationsstudien:
- Stufenbewusstsein: Das Entfernen des Stage Estimators verschlechterte die Leistung, was die Notwendigkeit einer hierarchischen Modellierung bestätigt.
- Rewind-Augmentation: Unverzichtbar für die Generalisierung auf reale Fehlerfälle; ohne sie wurde das Modell zu optimistisch.
- Modellgröße: Ein Modell mit 60 Millionen Parametern erwies sich als optimaler Kompromiss zwischen Kapazität und Overfitting.

5. Bedeutung

Dieses Paper bietet eine skalierbare und annotations-effiziente Lösung für die langfristige robotische Manipulation.

Dateneffizienz: Es zeigt, dass hochwertiges Policy-Lernen auch mit verrauschten, diversen Datensätzen möglich ist, wenn das Belohnungssignal präzise zwischen „langsamem Fortschritt" und „Fehler" unterscheiden kann.
Skalierbarkeit: Durch die Nutzung natürlicher Sprachannotationen (die leichter zu beschaffen sind als dichte Belohnungsfunktionen) und die Automatisierung der Belohnungsableitung skaliert die Methode auf komplexe Aufgaben wie die Manipulation verformbarer Objekte.
Praktische Auswirkungen: Die Ergebnisse beim T-Shirt-Falten (67% Erfolg aus einem zerknitterten Zustand) stellen einen bedeutenden Vorstoß für die Haushaltsrobotik dar, einem Bereich, in dem aktuelle Modelle aufgrund der Komplexität kontaktreicher, verformbarer Interaktionen typischerweise versagen.

Die Arbeit stellt fest, dass Belohnungsmodellierung ein kritischer Engpass im Imitationslernen ist und dass stufenbewusste, semantische Fortschrittsabschätzung der Schlüssel zur Erschließung robuster langfristiger Roboterfähigkeiten ist.