Object-Centric Residual RL for Zero-Shot Sim-to-Real VLA Enhancement

Technisches Resümee: Objektzentrierte Residual RL zur Zero-Shot Sim-to-Real-Verbesserung von VLAs

Problemstellung

Vision-Language-Action (VLA)-Modelle haben durch groß angelegtes Pretraining und Imitationslernen eine breite Generalisierung über Manipulationsaufgaben hinweg demonstriert. Die durch Imitationslernen abgeleiteten Policies sind jedoch inhärent fragil bei präzisen physischen Interaktionen; kleine Ausführungsfehler summieren sich über die Zeit auf, was zu Fehlern in ungesehenen Zuständen führt. Während Reinforcement Learning (RL) einen Mechanismus zur Erholung durch Online-Interaktion bietet, ist die direkte Anwendung von RL auf moderne VLAs eine Herausforderung, da deren Architekturen auf Diffusion oder Flow Matching basieren, die nicht ohne Weiteres über Standard-Policy-Gradienten differenzierbar sind.

Residual RL, das eine leichtgewichtige Korrektur-Policy auf einer eingefrorenen Basis-VLA trainiert, stellt eine natürliche Lösung dar. Dennoch stehen bestehende Ansätze vor einem grundlegenden „Sim-to-Real“-Dilemma:

1. Privilegierte Zustandsmethoden erfordern die Destillation eines zustandsbasierten Lehrers in einen bildbasierten Schüler für den Einsatz, was zu Leistungsverlusten führt.
2. Bildbasierte Methoden leiden unter großen visuellen Domänenunterschieden, was den Zero-Shot-Transfer von im Simulator trainierten Residuen verhindert.
3. Real-World RL eliminiert den Transfer-Gap, ist jedoch kostspielig, unsicher und erfordert komplexe Infrastruktur.

Die zentrale adressierte Herausforderung lautet: Kann eine rein in der Simulation trainierte Reinforcement-Learning-Policy die Robustheit von Real-World-VLAs im Zero-Shot-Szenario verbessern, ohne Distillation oder Real-World-RL zu nutzen?

Methodik

Die Autoren schlagen ein Objektzentriertes Residual RL-Framework vor, das VLA-Aktionen mittels Objektposen verfeinert und so einen kompakten Beobachtungsraum ermöglicht, der konsistent zwischen Simulation und Realität transferiert. Das Framework operiert in drei Stufen:

1. Paarweises Sim/Real VLA via Teleoperations-Replay
Um die Aktionsverteilungen über Domänen hinweg anzugleichen, spielt die Autorenschaft dieselben Teleoperations-Demonstrationen, die zur Ausbildung der Real-World-VLA ($\pi^{real}_{VLA}$) verwendet wurden, innerhalb einer Simulationsumgebung ab. Dies trainiert eine Simulations-Gegenpartei ($\pi^{sim}_{VLA}$) parallel zur realen VLA. Da beide durch identische Aktions-Trajektorien supervidiert werden, lernen sie abgestimmte Aktionsverteilungen trotz unterschiedlicher visueller Eingaben. Dies ermöglicht es dem Residuum, gemeinsam mit $\pi^{sim}_{VLA}$ in der Simulation zu trainieren und im Einsatz Zero-Shot auf $\pi^{real}_{VLA}$ zu transferieren. Entscheidend ist, dass das Residuum keine Bilder beobachtet, wessofern die Simulationsumgebung nicht visuell realistisch sein muss, was den technischen Aufwand reduziert.

2. Objektzentriertes Residual RL Training
Die Residual-Policy ($\pi^{sim}_{res}$) wird vollständig in der Simulation mittels TD3 trainiert. Die zentrale Innovation liegt im Beobachtungsraum $s_t$, der sowohl privilegierte Zustände als auch Rohbilder vermeidet:
$$s_t = [s^{obj}_t, s^{prop}_t, a^{base}_t]$$

• $s^{obj}_t$: 6-DoF-Posen (Position und Orientierung) aufgabenrelevanter Objekte, geschätzt über fertige Estimator (FoundationPose + SAM2).
• $s^{prop}_t$: Propriozeptiver Zustand (Endeffektor-Pose, Greiferzustand).
• $a^{base}_t$: Die aktuelle Action-Chunk der Basis-VLA.

Um die Robustheit gegenüber Fehlern und Ausfällen der Real-World-Posenschätzung zu gewährleisten, nutzt das Training zwei Augmentierungsstrategien:

• Pose Noise Injection: Zufällige Perturbationen werden auf Position und Orientierung (Quaternionen-Multiplikation) addiert, um Ungenauigkeiten der Schätzer zu simulieren.
• Pose Dropout: Mit einer gewissen Wahrscheinlichkeit wird der Objekt-Posen-Vektor auf Null gesetzt, was die Policy dazu zwingt, eine Fallback-Strategie zu erlernen, die sich ausschließlich auf Propriozeption und die Basis-Aktion stützt.

3. Zero-Shot Deployment
Beim Einsatz sind sowohl die reale VLA als auch die sim-trainierte Residual-Policy eingefroren. Das System fragt die reale VLA nach der Basis-Aktion ab und nutzt das Residuum für eine Korrektur basierend auf den beobachteten Objektposen. Fällt die Konfidenz des Posen-Estimators unter einen Schwellenwert, triggert das System den während des Trainings gelernten „Dropout“-Fallback. Die kombinierte Aktion wird berechnet als $a_t = a^{base}_t \oplus \pi^{sim}_{res}(s_t)$, wobei $\oplus$ die komponentenweise Zusammensetzung bezeichnet (Addition für Position/Greifer, Quaternionen-Multiplikation für Rotation).

4. VLA Selbstverbesserung
Erfolgreiche Durchläufe (Rollouts), die durch die residual-korrigierte Policy auf dem realen Roboter generiert wurden, können über Aufgaben hinweg aggregiert werden, um die Basis-VLA mittels Supervised Fine-Tuning (SFT) neu zu trainieren. Dies schafft einen Selbstverbesserungszyklus, der qualitativ hochwertigere Trainingsdaten generiert, ohne zusätzliche Teleoperation zu erfordern.

Wesentliche Beiträge

• Zero-Shot Sim-to-Real Framework: Ein neuartiges Residual-RL-Framework, das durch Nutzung eines domäneninvarianten Beobachtungsraums (Objektposen + Propriozeption) einen Zero-Shot-Transfer ohne Distillation oder Real-World-RL erreicht.
• Automatische Selbstverbesserung: Ein Mechanismus zur Aggregation erfolgreicher Real-Robot-Rollouts der residual-korrigierten Policy zur Neu-Trainierung einer einzelnen Multi-Task-VLA, was die Basis-Policy ohne neue menschliche Demonstrationen verbessert.
• Empirische Validierung: Demonstration einer konsistenten Verbesserung über fünf Manipulationsaufgaben auf einem realen Franka Research 3 (FR3) Roboter, wobei die durchschnittliche Erfolgsrate von 42 % auf 76 % gesteigert wurde.

Experimentelle Ergebnisse

Die Methode wurde auf fünf Tischmanipulationsaufgaben (Würfel heben, Pick-and-Place, Würfel stapeln, Schublade schließen, Becher aufstellen) unter Verwendung eines realen FR3-Roboters und einer MuJoCo-Simulation evaluiert.

• Leistungssteigerungen: Das sim-trainierte Residuum verbesserte die durchschnittliche Erfolgsrate auf dem realen Roboter von 42 % (Base VLA) auf 76 % (Base + Residual). In der Simulation verbesserte sich die durchschnittliche Erfolgsrate von 38 % auf 86 %.
• Ablationsstudien:
  • Robustheit: Sowohl Pose Noise Injection als auch Pose Dropout waren essenziell; das Entfernen einer der beiden verschlechterte die Leistung, wobei Pose Dropout entscheidend für die Resilienz gegen Detektionsfehler war.
  • Beobachtungsraum: Objektzentrierte Beobachtungen übertrafen signifikant bildbasierte Baselines (die aufgrund visueller Domänenunterschiede scheiterten) und Distillations-basierte Ansätze (die während der Distillation Leistungsverluste erlitten).
• Interventionsanalyse: Das Residuum griff konsistent ein, wenn die Basis-VLA nicht mit dem Ziel ausgerichtet war, und steuerte die Aktionen zum Ziel. Diese selektive Korrektur führte zu einer 9–22 % schnelleren Aufgabenbewältigung.
• Generalisierung: Es wurde gezeigt, dass das Framework mit verschiedenen VLA-Backbones kompatibel ist (getestet mit $\pi_{0.5}$), was bestätigt, dass die Beobachtungsschnittstelle nicht spezifisch für eine einzelne Architektur ist.
• Selbstverbesserung: Das erneute Training der Basis-VLA auf den residual-korrigierten Rollouts lieferte höhere Erfolgsraten und kürzere Episodenlängen im Vergleich zum Training auf den ursprünglichen Basis-Rollouts.

Bedeutung und Behauptungen

Das Paper behauptet, dass durch die Verschiebung des Beobachtungsraums der Residual-Policy von Bildern oder privilegierten Zuständen hin zu objektzentrierten Posen der Sim-to-Real-Gap ohne komplexe Domänenanpassung oder Distillation überbrückt werden kann. Dieser Ansatz nutzt die Generalisierung von VLAs und fügt durch eine leichtgewichtige, Zero-Shot-transferfähige Modul die Präzision von RL hinzu.

Die Autoren positionieren dies als praktischen Weg zur skalierbaren und autonomen Roboterverbesserung. Durch die Entkopplung des Korrekturmechanismus vom Training der Basis-Policy und die Nutzung einer wiederherstellbaren Zustandsrepräsentation ermöglicht die Methode den Einsatz von sim-trainierten RL-Policies im realen Einsatz. Zudem deutet die Fähigkeit, diese korrigierten Rollouts zur Neu-Trainierung der Basis-VLA zu nutzen, auf einen Pfad zur kontinuierlichen, automatisierten Systemoptimierung hin, der ohne die prohibitiven Kosten kontinuierlicher menschlicher Teleoperation auskommt.

Vom Autor bemerkte Limitationen:

• Abhängigkeit von Echtzeit-6-DoF-Posenverfolgung, die unter vollständiger Okklusion oder starkem Chaos versagen kann.
• Erfordernis der manuellen Spezifikation der aufgabenrelevanten Objekte.
• Die posenbasierte Beobachtung überbrückt den visuellen Gap, aber nicht den Dynamik-Gap (z. B. Reibung, Nachgiebigkeit), was kontaktreiche Aufgaben beeinflussen kann.
• Als Residual-Architektur kann das System nicht von Zuständen erholen, die weit außerhalb der Trainingsverteilung der Basis-VLA liegen.
• Aufgaben mit Sub-Millimeter-Präzision könnten die Genauigkeit der aktuellen Posen-Schätzung übersteigen.