💻 computer science

SARM2: Multi-Task Stage Aware Reward Modeling for Self Improving Robotic Manipulation

Dieses Paper stellt SARM2 vor, ein Multi-Task Stage-Aware Reward Model in Kombination mit dem SPIRAL-Framework, welches durch die Generierung dichter, präziser Belohnungen aus autonomen Rollouts eine selbstverbessernde robotische Manipulation ermöglicht, um die Leistung von VLA-Policies bei Langzeitaufgaben signifikant zu steigern.

Ursprüngliche Autoren: Qianzhong Chen, Hau Zheng, Justin Yu, Suning Huang, Jiankai Sun, Ken Goldberg, Chuan Wen, Pieter Abbeel, Yide Shentu, Philipp Wu, Mac Schwager

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Qianzhong Chen, Hau Zheng, Justin Yu, Suning Huang, Jiankai Sun, Ken Goldberg, Chuan Wen, Pieter Abbeel, Yide Shentu, Philipp Wu, Mac Schwager

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter eine komplexe Hausarbeit bei, wie zum Beispiel das Falten einer Shorts oder das Reinigen eines Whiteboards. Dies sind keine einstufigen Handlungen, sondern lange Sequenzen aus kleinen Bewegungen.

Dieses Paper stellt ein neues System namens SARM2 und ein Lernframework namens SPIRAL vor, die helfen, diese Aufgaben viel schneller und besser zu lernen als bisher. So funktioniert es, einfach erklärt:

Das Problem: Der „blinde“ Roboter

Derzeit erfolgt das Training von Robotern meist durch „Behavior Cloning“ (Verhaltensklonen). Das ist so, als würde man einem Roboter ein Video zeigen, in dem ein Mensch eine Aufgabe ausführt, und ihm sagen: „Kopiere exakt das, was du siehst.“

Der Fehler: Wenn der Roboter frühzeitig einen winzigen Fehler macht, verliert er den Faden. Er weiß nicht, warum er gescheitert ist oder wie er es korrigieren kann, weil er nur blind kopiert.
Das Belohnungsproblem: Um einen Roboter dazu zu bringen, sich von selbst zu verbessern (mittels Reinforcement Learning), benötigt man eine „Bewertungskarte“ (ein Belohnungsmodell), die ihm bei jedem einzelnen Schritt sagt, wie gut er zurechtkommt.
- Alte Bewertungskarten waren zu vage (wie ein „Gut gemacht!“ erst ganz am Ende).
- Andere Bewertungskarten waren zu spezifisch (man musste für jede neue Aufgabe eine neue Karte von Grund auf neu erstellen).

Die Lösung: SARM2 (Die „schlaue Bewertungskarte“)

Die Autoren haben eine neue Art von Bewertungskarte namens SARM2 entwickelt. Betrachten Sie dies als ein universelles GPS für Roboteraufgaben.

Das „Aktions-Primitiv“-Wörterbuch:
Anstatt zu versuchen, die gesamte komplexe Aufgabe auf einmal zu verstehen, bricht SARM2 alles in winzige, grundlegende Bausteine herunter, die „Primitive“ genannt werden.
- Analogie: Stellen Sie sich eine Sprache vor. Sie benötigen kein neues Wörterbuch für jedes Buch, das Sie lesen; Sie brauchen nur das Alphabet und gängige Wörter. SARM2 besitzt ein Vokabular von etwa 22 grundlegenden Bewegungen (wie „aufheben“, „drücken“, „rotieren“, „klemmen“).
- Egal, ob der Roboter ein Hemd faltet oder eine Tafel wischt – es ist immer nur eine Kombination dieser 22 grundlegenden Bewegungen in unterschiedlicher Reihenfolge.
Der „Stage Estimator“ (Der GPS-Tracker):
SARM2 beobachtet, was der Roboter gerade tut, und fragt: „Welche dieser 22 grundlegenden Bewegungen führen wir gerade aus?“
- Wenn der Roboter gerade ein Hemd „rotiert“, weiß SARM2 genau, was bei einer Rotation „gut“ aussieht.
- Wenn er zu dem Schritt „falten“ übergeht, wechselt SARM2 sofort den Fokus darauf, was beim Falten „gut“ aussieht.
Das „Multi-Gate Expert“-System:
Dies ist das Gehirn von SARM2. Stellen Sie sich ein Krankenhaus mit vielen Spezialisten vor.
- Wenn ein Patient ein gebrochenes Bein hat, schickt man ihn zum Orthopäden. Wenn er Kopfschmerzen hat, schickt man ihn zum Neurologen.
- SARM2 funktioniert genauso. Wenn es die aktuelle „Bewegung“ identifiziert (z. B. „heben“), öffnet es die Tür für den spezifischen „Experten-KI“, der am besten darin ist, das Heben zu beurteilen. Es versucht nicht, ein allgemeines Gehirn für alles zu verwenden, sondern nutzt den richtigen Spezialisten für den richtigen Moment.

Das Ergebnis: SARM2 gibt dem Roboter eine sehr präzise, schrittweise Bewertung (eine „dichte Belohnung“), die ihm genau sagt, wie nah er ist, die Aufgabe zu vollenden, unabhängig von der jeweiligen Aufgabe.

Der Lernzyklus: SPIRAL (Das „selbstverbessernde Fitnessstudio“)

Sobald der Roboter über diese perfekte Bewertungskarte (SARM2) verfügt, haben die Autoren das System SPIRAL entwickelt, damit der Roboter eigenständig üben kann.

So funktioniert es:
1. Der Roboter versucht die Aufgabe selbstständig (ein „Rollout“).
2. SARM2 beobachtet ihn und bewertet jede einzelne Bewegung, die er ausgeführt hat.
3. Der Roboter nutzt diese Bewertungen, um zu lernen, was er beim nächsten Mal anders machen muss.
4. Er wiederholt dies immer und immer wieder und wird dadurch immer besser, ohne dass ein Mensch jede Sekunde zusehen muss.
Der „Schwungrad“-Effekt:
Normalerweise benötigen Roboter teure menschliche Demonstrationen, um zu lernen. SPIRAL erzeugt einen „Daten-Schwungrad-Effekt“. Der Robot generiert seine eigenen Trainingsdaten, wird von SARM2 bewertet, lernt daraus und generiert anschließend noch bessere Daten. Es entsteht eine sich selbst verbessernde Schleife.

Was haben sie bewiesen?

Das Team testete dies an echten Robotern mit zwei spezifischen Aufgaben:

Das Falten einer Shorts: Eine schwierige Aufgabe, die mit weichem, instabilem Stoff zu tun hat.
Das Reinigen eines Whiteboards: Eine Aufgabe, die das Halten einer Tafel während des Wischens erfordert.

Die Ergebnisse:

Genauigkeit: SARM2 war bei 80 % genauer in der Fortschrittsbewertung als bisherige Methoden.
Erfolgsrate:
- Beim Falten der Shorts stieg die Erfolgsquote der Roboter, die dieses System nutzen, von einem Scheitern in der Hälfte der Fälle auf eine Erfolgsquote von 100 %.
- Beim Reinigen des Whiteboards stieg die Erfolgsquote von 50 % auf 90 %.

Zusammenfassend

Das Paper argumentiert, dass wir Roboter nicht einfach nur Videos zeigen können, wenn wir sie wirklich intelligent machen wollen. Wir müssen ihnen beibringen, die winzigen „Schritte“ einer Aufgabe zu erkennen und ihnen für jeden Schritt eine perfekte Echtzeit-Bewertung zu geben. Durch die Kombination eines universellen „Schritt-Wörterbuchs“ mit einem Team spezialisierter Richter und einem selbstkorrigierenden Lernzyklus haben sie ein System geschaffen, in dem Roboter komplexe Aufgaben eigenständig, schnell und zuverlässig lernen können.

Technisches Resümee: SARM2 – Multi-Task Stage Aware Reward Modeling für die selbstverbessernde robotische Manipulation

1. Problemstellung

Vision-Language-Action (VLA)-Modelle haben das End-to-End-Policy-Learning als dominantes Paradigma für die robotische Manipulation etabliert. Diese Modelle haben jedoch typischerweise Schwierigkeiten mit Aufgaben mit langem Zeithorizont (long-horizon tasks) ohne umfangreiches Fine-Tuning auf domänenspezifischen Daten. Supervised Fine-Tuning (SFT) stützt sich auf kostspielige, hochwertige menschliche Demonstrationen und bleibt anfällig für Out-of-Distribution (OOD)-Fehler. Während Reinforcement Learning (RL) einen Weg zur Selbstverbesserung bietet, stößt es auf zwei kritische Engpässe:

Sparse Rewards: Bestehende Online-RL-Methoden verlassen sich oft auf spärliche Terminal-Rewards, die nicht die dichte, schrittweise Supervision bieten können, die für komplexe, kontaktreiche Aufgaben mit langem Zeithorizont notwendig ist.
Limitierungen von Reward-Modellen: Aktuelle Ansätze zur Reward-Modellierung fallen in zwei suboptimale Kategorien:
- Aufgabenspezifische Modelle: Genau, erfordern aber für jede neue Aufgabe spezifische Annotationen und ein erneutes Training (z. B. SARM), was die Skalierbarkeit einschränkt.
- Allgemeine VLM-Modelle: Breit anwendbar, produzieren aber auf Schrittebene zu grobkörnige, verrauschte Vorhersagen, was sie ungeeignet als dichte supervisory Signale für den feingliedrigen Manipulationsfortschritt macht.

Das Paper postuliert, dass die Skalierung von VLA-RL ein Reward-Modell erfordert, das gleichzeitig dicht (pro Schritt), genau (treu gegenüber dem Aufgabenfortschritt) und generell (über verschiedene Aufgaben hinweg ohne Retraining anwendbar) ist.

2. Methodik

Die Autoren schlagen SARM2 (Multi-Task Stage Aware Reward Modeling) und SPIRAL (Self-Policy Improvement via Reward-Aligned Learning) vor.

3.1 SARM2: Multi-Task Stage-Aware Reward Model

SARM2 adressiert den Trade-off zwischen Generalisierung und Genauigkeit durch die Kombination eines aufgabenagnostischen Stage-Estimators mit einem spezialisierten Value-Head.

Action-Primitive Stage Estimator:
- Anstatt aufgabenspezifischer Stage-Annotationen verwendet das Modell ein gemeinsames Vokabular von Aktions-Primitiven (z. B. „Pick“, „Place“, „Rotate“, „Erase“) als intermediale Repräsentation.
- Basierend auf einer Analyse von über 10.000 Stunden Manipulationsdaten identifizierten die Autoren K=21 Aktions-Primitive, die >90 % der Aufgabendauer abdecken, plus eine „Null“-Klasse für Unsicherheit.
- Der Estimator ist ein 4-schichtiger Causal Transformer, der Multi-View-Bilder (Handgelenk-links, Handgelenk-rechts, Draufsicht) und propriozeptive Zustände als Input erhält. Er klassifiziert das aktuelle Segment in eine der K+1=22 Primitive-Klassen.
- Dieser Estimator wurde auf einem balancierten Datensatz von 66 Stunden Segmenten über 100 Aufgaben trainiert, was ihm eine Generalisierung über Domänen hinweg ermöglicht.
Multi-Gate Mixture-of-Experts (MMoE) Value Head:
- Um dichte Value-Schätzungen (speziell normalisierte verbleibende Schritte bis zum Abschluss) zu erzeugen, verwendet SARM2 einen MMoE-Decoder.
- Architektur: Das Value-Modell nutzt ein separates 6-schichtiges Causal Transformer Backbone. Es erhält dieselben visuellen/propriozeptiven Inputs wie der Stage Estimator, plus das Task-Embedding und das vorhergesagte Primitive-Embedding aus dem Stage Estimator.
- Routing-Mechanismus: Das vorhergesagte Primitive wählt ein spezifisches Gate im MMoE aus. Jedes Gate routet Tokens zu einem gemeinsamen Pool von Experten (3-schichtige MLPs). Dieses Design ermöglicht es dem Modell, sich auf die visuellen Dynamiken und Fortschrittssignaturen spezifischer Primitive-Gruppen zu spezialisieren, während die Kapazität über Aufgaben hinweg geteilt wird.
- Zielsetzung: Das Modell sagt einen dichten Reward $r_t \in [-1, 0]$ voraus, der den verbleibenden Fortschritt repräsentiert. Die Loss-Funktion kombiniert den Mean Squared Error (MSE) auf die Ziel-Distanz mit Hilfs-Losses für Gate-Balance und Entropie, um Router-Kollaps zu verhindern.

3.2 SPIRAL: Self-Policy Improvement Framework

SPIRAL ist ein On-Policy, Reward-gesteuertes Framework, das darauf ausgelegt ist, einen „Robot Data Flywheel“ unter Verwendung der dichten Rewards von SARM2 zu kreieren.

Residual RL Substrat: SPIRAL baut auf dem DICE-RL Framework auf und nutzt einen Residual-Learning-Ansatz, bei dem eine Residual-Policy die Outputs einer Basis-VLA-Policy korrigiert.
Hybrides Ziel:
- Dichte Komponente: Verwendet TD3 mit dichten pro-Schritt Rewards, die von SARM2 bereitgestellt werden.
- Spärliche Komponente: Kombiniert dies mit einem Monte Carlo (MC) Objective, das durch spärliche Episoden-Rewards getrieben wird, um die Ausrichtung auf das ultimative Aufgabeziel sicherzustellen.
Autonome Schleife: Das Framework operiert in einem geschlossenen Kreislauf:
1. Initialisierung: Fine-Tuning einer Basis-VLA-Policy via Behavior Cloning (BC).
2. Einmalige Anpassung: Ein kleiner Satz menschlich annotierter Rollouts passt das Reward-Modell an die Rollout-Verteilung der Policy an.
3. Selbstverbesserung: Das System sammelt autonom Rollouts, labelt diese mit dem angepassten SARM2 neu und aktualisiert die Policy via Residual RL. Dieser Zyklus wiederholt sich ohne weiteren menschlichen Eingriff.

3. Kernbeiträge

SARM2: Ein Multi-Task Stage-Aware Reward Model, das einen generalisierbaren Action-Primitive Stage Estimator mit einem Multi-Gate MMoE Value Head koppelt. Diese Architektur erzeugt präzise, dichte Rewards über diverse Long-Horizon-Aufgaben hinweg innerhalb eines einzigen Modells und eliminiert die Notwendigkeit eines pro-Aufgabe-spezifischen Retrainings.
SPIRAL: Ein Reward-aligned On-Policy Residual RL Framework, das die dichten Rewards von SARM2 nutzt, um eine kontinuierliche Policy-Verfeinerung aus kostengünstigen autonomen Rollouts zu ermöglichen und so einen autonomen Robot Data Flywheel zu schließen.
Empirische Validierung: Nachweis, dass qualitativ hochwertige dichte Rewards entscheidend für eine stabile Selbstverbesserung sind, wobei signifikante Gewinne gegenüber Sparse-Reward- und VLM-basierten Baselines bei realen Aufgaben erzielt wurden.

4. Experimentelle Ergebnisse

Die Autoren evaluierten SARM2 und SPIRAL auf einem 10-Aufgaben-Benchmark und zwei spezifischen Real-World Long-Horizon-Aufgaben: Folding Shorts (Hose falten) und Cleaning Whiteboard (Whiteboard reinigen).

Performance des Reward-Modells

Genauigkeit: SARM2 reduzierte den Mean Squared Error (MSE) auf Held-out-Demonstrationen im Vergleich zu den stärksten Baselines (ReWiND, TOPReward, Robometer) um 80 %.
Generalisierung: Bei der Aufgabe „Cleaning Whiteboard“ (T2) erreichte SARM2 eine Rollout-Klassifikationskorrelation ( $\rho$ ) von 0,667, was die allgemeinen VLM-basierten Modelle (die oft negative Korrelationen aufgrund von Überoptimismus zeigten) deutlich übertraf.
Ablationen: Das Entfernen des Stage Estimators erhöhte den Demo-Loss um ~70 %; das Entfernen des Multi-Gate-Designs erhöhte ihn um ~30 %. Dies bestätigt, dass sowohl Stage-Awareness als auch MMoE-Routing synergetisch wirken.
Router-Gesundheit: Das MMoE-Routing blieb ausgewogen (Density Score ~0,10), während Single-Gate-Varianten unter Router-Kollaps litten (Density > 0,80).

Policy-Learning Performance (SPIRAL)

Folding Shorts:
- Flat: Die Erfolgsrate verbesserte sich von 58 % (initialer BC/RL-Dense) auf 100 % nach 3 Runden mit SPIRAL mit SARM2.
- Crumpled (Schwieriger): Die Erfolgsrate verbesserte sich von 33 % auf 67 %. Bemerkenswert ist, dass Sparse-Reward-Baselines bei dieser Aufgabe die Performance verschlechterten (Abfall auf 17 %), was die Notwendigkeit dichter Rewards unterstreicht.
Cleaning Whiteboard:
- Die Erfolgsrate verbesserte sich von 50 % auf 90 %.
- Der durchschnittliche Progress-Score stieg von 0,813 auf 0,975.
Vergleich: SPIRAL mit SARM2 übertraf konsistent alle Baselines, einschließlich LoRA-fine-getunter VLM-Reward-Modelle (Robometer-FT) und Sparse-Reward-RL. Die Ergebnisse deuten darauf hin, dass zwar Dichte notwendig ist, aber die Qualität und Stage-Awareness des Rewards die eigentlichen Engpässe für effektive Selbstverbesserung sind.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass SARM2 und SPIRAL zeigen, dass qualitativ hochwertige dichte Rewards der „load-bearing factor“ (tragende Faktor) für einen selbsttragenden Robot Data Flywheel sind. Die Arbeit stellt die Annahme infrage, dass allgemeine VLMs für die feingliedrige robotische Kontrolle ausreichend sind, und zeigt stattdessen, dass ein strukturierter, auf Primitiven basierender Ansatz für eine präzise Fortschrittsschätzung erforderlich ist.

Die Autoren betonen, dass ihre Methode eine kontinuierliche Policy-Verfeinerung bei Long-Horizon-Aufgaben mit minimalem menschlichem Eingriff nach einer initialen Anpassungsphase ermöglicht. Durch die Entkopplung der Stage-Estimation (generalisierbare Primitives) von der Value-Estimation (spezialisierte Experten) erreichen sie ein Modell, das sowohl über Aufgaben hinweg skalierbar als auch präzise genug ist, um On-Policy RL zu steuern.

Vom Autor anerkanntes Limit:

Embodiment Scope: Das Action-Primitive-Vokabular leitet sich aus bimanualen Tisch-Daten ab; die Erweiterung auf mobile Manipulation erfordert den Aufbau eines neuen Primitive-Sets.
Residual RL Ceiling: Das Framework verfeinert Policies via Residual Learning statt die VLA-Gewichte zu aktualisieren, was bedeutet, dass es Fehler auf der Ebene der Intention oder der High-Level-Aufgabendekomposition nicht korrigieren kann.
Sample Efficiency: Obwohl autonom, erfordert die On-Policy Rollout-Sammlung immer noch menschliche Operatoren für die routinemäßigen Resets zwischen den Episoden.