Technisches Resümee: MirrorDuo

Problemstellung

Bildbasierte Behavior Cloning (BC) bietet einen skalierbaren Weg für die Erwerbung robotischer Fertigkeiten, steht jedoch vor erheblichen Einschränkungen bei der Dateneffizienz, insbesondere wenn es um die Generalisierung über räumliche Variationen in Arbeitsraum-Layouts oder asymmetrische Szenenkonfigurationen geht. Während Methoden, die 3D-Inputs (z. B. Punktwolken) nutzen, die SE(3)-starre Transformationsäquivarianz zur Synthese transformierter Demonstration ausnutzen können, führt die Anwendung solcher Transformationen auf 2D-RGB-Bilder oft zu inkonsistenten Ergebnissen. Bestehende Versuche, Symmetrie in 2D zu approximieren, wie etwa die SO(2)-Rotation von Third-Person-Bildern, sind auf In-Domain-Settings beschränkt und unterstützen keine breitere Generalisierung. Darüber hinaus bleibt die Reflexionssymmetrie – eine natürliche Eigenschaft vieler Manipulationsaufgaben (z. B. links-rechts Pick-and-Place-Varianten) – aufgrund der Herausforderungen bei der Aufrechterhaltung der semantischen Konsistenz zwischen gespiegelten Bildern und 6-DoF-Endeffektor-Aktionen (z. B. durch visuelle Artefakte wie die Asymmetrie des Roboterhandgelenks oder Hintergrundtexturen) in bildbasierten Policies untererforscht.

Methodik: MirrorDuo

Die Autoren schlagen MirrorDuo vor, eine allgemeine Formulierung zur Integration von Reflexionssymmetrie in das visuomotorische Lernen. Die Kerninnovation ist eine reflexionsbasierte Transformation, die gemeinsam auf RGB-Beobachtungen (sowohl Eye-in-Hand als auch Third-Person), propriozeptiven Zuständen und vollständigen 6-DoF-Endeffektor-Aktionen operiert, um für jede ursprüngliche Demonstration ein semantisch und physikalisch konsistentes gespiegeltes Gegenstück zu erzeugen.

Wichtige technische Komponenten

1. Pose-Raum-Spiegelung:

   • Um die Konsistenz mit der Bildspiegelung (horizontaler Flip) zu gewährleisten, definieren die Autoren eine Spiegelungsoperation im Pose-Raum. Für eine Endeffektor-Pose $X_H$ im Kameraraum wird die gespiegelte Pose $X^*_H$ über $X^*_H = X_C E X^{-1}_C X_H E$ abgeleitet, wobei $E = \text{diag}([-1, 1, 1, 1])$.
   • Unabhängigkeit von Kamerextrinsika: Um die Abhängigkeit von oft nicht verfügbaren Kamerextrinsika ($X_C$) zu vermeiden, reparametrisiert die Methode Posen in lokale Koordinatensysteme (Delta-Pose $\Delta X_H$ oder relative Pose $\delta X_H$). Dies ermöglicht es, die Spiegelungsoperation als $\Delta X^*_H = E \Delta X_H E$ auszudrücken, wodurch der Ansatz datensatzunabhängig wird.
   • SO(3)-Diskontinuitätshandhabung: Eine Reflexion in SO(3) kann abrupte Änderungen in der Rotation verursachen. Um sicherzustellen, dass der Roboter die gespiegelte Fertigkeit aus einer nahezu identischen Konfiguration heraus startet, erzwingt die Methode eine konstante Ausrichtungsrotation $Q$, die die mittlere Werkzeugachse der Anfangsposen auf die Welt-X-Achse abbildet und so Diskontinuitäten mildert.

2. Vereinheitlichter Spiegelungsoperator ($M$):

   • Die Methode definiert einen vereinheitlichten Operator $M$, der horizontales Flippen auf Bilder ($M_I$) und die elementweise Multiplikation mit einem Vorzeichenmuster-Vektor $\rho$ auf vektorisierte Posen und Aktionen anwendet. Dies erzeugt einen gepaarten Datensatz aus ursprünglichen und gespiegelten Tupeln $(o_t, a_t)$ und $(M(o_t), M(a_t))$.

3. Zwei komplementäre Anwendungen:

   • MirrorAug (Data Augmentation): Eine Strategie, bei der während des Batch-Samplings ein Teil der Trainingsdaten durch sein gespiegeltes Gegenstück ersetzt wird. Dies erweitert die Trainingsverteilung um gespiegelte Konfigurationen, ohne die Netzwerkarchitektur zu verändern.
   • MirrorDiffusion (Strukturelle Prior): Eine reflexionsäquivariante Diffusionspolicy, bei der die Spiegeltransformation als induktiver Bias in den latenten Diffusionsprozess eingebettet ist. Das Policy-Netzwerk nutzt E(n)-äquivariante Steerable CNNs, um sicherzustellen, dass die Rauschvorhersagefunktion mit Reflexionstransformationen kommutiert ($\pi(M(o)) = M(\pi(o))$).

4. Umgang mit visueller Asymmetrie:

   • Die Autoren räumen ein, dass die Spiegelung visuelle Out-of-Distribution (OOD)-Artefakte einführt (z. B. ein rechtshändiger Roboter, der im Spiegel linkshändig erscheint, oder asymmetrische Tischtexturen).
   • Um dies zu mildern, kombiniert der Ansatz MirrorDuo mit Random Overlay (Hintergrund-Augmentierung) und vortrainierten visuellen Backbones (ResNet-18 auf ImageNet), um die Robustheit gegenüber aufgabenspezifischen Variationen zu erhöhen.

Wichtige Beiträge

• Reflexionskonsistente Formulierung: Eine neuartige Methode zur Generierung gespiegelter Demonstrationspaare, die konsistent über 2D-Bilder, 3D-Propriozeption und 6-DoF-Aktionen sind, was effektiv „eins sammeln, eins gratis erhalten“ ermöglicht.
• Duale Nutzbarkeit: Das Framework dient sowohl als Datenaumentierungsstrategie (MirrorAug) als auch als struktureller Prior für das Erlernen äquivarianter Policies (MirrorDiffusion) und ist an Standard-Pipelines wie Behavior Cloning (BC) und Diffusion Policies anpassbar.
• Generalisierung auf ungespiegelte Arbeitsräume: Die Methode ermöglicht einen effizienten Skill-Transfer auf gespiegelte Arbeitsräume mit so wenig wie null oder fünf Demonstrationen im Zielarrangement, wobei sie Standard-Baselines in Low-Data-Regimen deutlich übertrifft.
• Robustheit gegenüber Asymmetrie: Die Arbeit zeigt, dass Reflexionssymmetrie selbst in Gegenwart signifikanter visueller Asymmetrien (Roboterdesign, Hintergrundtexturen) genutzt werden kann, wenn sie mit leichtgewichtigen Techniken zur visuellen Generalisierung kombiniert wird.

Experimentelle Ergebnisse

Die Autoren evaluierten MirrorDuo auf dem MimicGen-Datensatz (Simulation) und einem realen Franka Emika-Setup mit zwei Aufgaben: einem Plush-Toy Pick-and-Place (einseitig) und Blockstapeln (zweiseitig).

• Einseitiger Transfer (Simulation & Real):

  • In Settings, in denen die Demonstration auf eine Seite des Arbeitsraums beschränkt war, versagten Standard-Policies, die auf den Originaldaten trainiert wurden, bei der Generalisierung auf die gespiegelte Seite (Erfolgsraten nahe 0 % für einige Baselines).
  • MirrorAug in Kombination mit visueller Generalisierung (Random Overlay + vortrainierte Gewichte) ermöglichte es den Policies, eine nahezu In-Domain-Performance auf der gespiegelten Seite mit nur 5 zusätzlichen gegenüberliegenden Demonstrationen zu erreichen.
  • MirrorDiffusion (äquivariant) scheiterte am Zero-Shot-Transfer, da die Rauschinjektion während des reversen Diffusionsprozesses die globale Symmetrie brach, erholte sich jedoch mit minimalen gegenüberliegenden Daten.

• Zweiseitige Dateneffizienz:

  • Wenn die Demonstrationen über beide Seiten verteilt waren, verbesserte MirrorDuo die Dateneffizienz erheblich.
  • In Low- bis Medium-Data-Regimes (50–200 Demos) lieferten MirrorAug und MirrorDiffusion konsistente Leistungssteigerungen (z. B. +31 % auf Square D0) gegenüber den Baselines.
  • In High-Data-Regimes stagnierte der Leistungszuwachs, und in einigen komplexeren Long-Horizon-Aufgaben wurde ein leichter Leistungsabfall beobachtet, was auf fragmentierte Entscheidungsgrenzen zurückzuführen ist, die durch widersprüchliche Beobachtungsverteilungen fast identischer Aufgaben verursacht wurden.

• Echtwelt-Validierung:

  • Bei der realen Plush-Toy-Aufgabe erreichte Diffusion Policy (M, O, P) (MirrorAug + Overlay + Pretrained) 83,3 % Erfolg im gespiegelten Setup mit nur 5 gespiegelten Demos, was der In-Domain-Performance entspricht.
  • Eine Standard-Diffusion-Policy, die auf einseitigen Daten trainiert wurde, erreichte nur 3,3 % Erfolg im gespiegelten Setup.
  • Die Autoren merken an, dass MirrorDiffusion zwar theoretisch elegant ist, die Standard-Diffusion-Policy mit MirrorAug und visuellen Generalisierungstechniken jedoch praktischer erwiesen hat, da sie eine überlegene Performance unter anspruchsvollen visuellen Bedingungen und eine schnellere Trainingskonvergenz bietet.

Bedeutung und Ansprüche

Das Paper behauptet, dass MirrorDuo die Reflexionssymmetrie als einen mächtigen und untererforschten induktiven Bias für skalierbares, generalisierbares Robotenlernen etabliert. Durch die Nutzung der Überschneidung zwischen ursprünglichen und gespiegelten Domänen ermöglicht der Ansatz es Robotern, auf ungespiegelte Arbeitsraumkonfigurationen mit minimalem zusätzlichem Datenaufwand zu generalisieren.

Die Autoren betonen, dass die Projektion von 3D-Reflexionen in 2D-visuelle Beobachtungen Komplexität einführt (visuelle Asymmetrien), diese Herausforderungen jedoch effektiv durch leichte visuelle Generalisierungstechniken bewältigt werden können. Die Arbeit zeigt, dass reflexionskonsistentes Lernen hochgradig kompatibel mit bildbasierten Pipelines ist und eine praktische Lösung für die hohen Kosten der Erhebung diverser robotischer Demonstrationen bietet. Das Paper schließt damit, dass die Kombination von Reflexionssymmetrie mit leichten visuellen Generalisierungstechniken es Policies ermöglicht, visuelle Asymmetrien sowohl des Roboters als auch der Umgebung zu tolerieren, was einen robusten Einsatz in variierenden realen Umgebungen erleichtert.