Sintesi Tecnica: MirrorDuo

Definizione del Problema

Il machine learning basato su immagini per il behavior cloning (BC) offre un percorso scalabile per l'acquisizione di abilità robotiche, ma affronta significativi vincoli di efficienza dei dati, in particolare quando si deve generalizzare attraverso variazioni spaziali nei layout degli spazi di lavoro o configurazioni di scena asimmetriche. Mentre i metodi che sfruttano input 3D (ad esempio, nuvole di punti) possono sfruttare l'equivarianza per trasformazioni rigide SE(3) per sintetizzare dimostrazioni trasformate, l'applicazione di tali trasformazioni a immagini RGB 2D spesso produce risultati inconsistenti. I tentativi esistenti di approssimare la simmetria in 2D, come la rotazione SO(2) di immagini in terza persona, sono limitati a contesti in-domain e non riescono a supportare una generalizzazione più ampia. Inoltre, la simmetria di riflessione — una proprietà naturale di molti compiti di manipolazione (ad esempio, varianti sinistra-destra del pick-and-place) — rimane poco esplorata nelle policy basate su immagini a causa delle sfide nel mantenere la coerenza semantica tra le immagini specchiate e le azioni dell'end-effector a 6 gradi di libertà (6-DoF), specialmente in presenza di artefatti visivi (ad esempio, asimmetria del polso del robot, texture dello sfondo).

Metodologia: MirrorDuo

Gli autori propongono MirrorDuo, una formulazione generale per incorporare la simmetria di riflessione nell'apprendimento visomotore. L'innovazione principale è una trasformazione basata sulla riflessione che opera congiuntamente su osservazioni RGB (sia eye-in-hand che in terza persona), stati propriocettivi e azioni complete dell'end-effector a 6-DoF per generare una controparte speculare semanticamente e fisicamente coerente per ogni dimostrazione originale.

Componenti Tecnici Chiave

1. Mirroring dello Spazio della Posa:

   • Per garantire la coerenza con il mirroring dell'immagine (flip orizzontale), gli autori definiscono un'operazione di mirroring nello spazio della posa. Per una posa dell'end-effector $X_H$ nel frame della telecamera, la posa speculare $X^*_H$ è derivata tramite $X^*_H = X_C E X^{-1}_C X_H E$, dove $E = \text{diag}([-1, 1, 1, 1])$.
   • Indipendenza dalle Estrinseche della Telecamera: Per evitare la dipendenza dalle estrinseche della telecamera ($X_C$), spesso non disponibili, il metodo ri-parametrizza le pose in sistemi di coordinate locali (delta pose $\Delta X_H$ o posa relativa $\delta X_H$). Ciò consente all'operazione di mirroring di essere espressa come $\Delta X^*_H = E \Delta X_H E$, rendendo l'approccio indipendente dal dataset.
   • Gestione della Discontinuità SO(3): La riflessione in SO(3) può causare cambiamenti bruschi nella rotazione. Per garantire che il robot inizi la skill speculare da una configurazione quasi identica, il metodo impone una rotazione di allineamento costante $Q$ che mappa l'asse medio dello strumento delle pose iniziali sull'asse X del mondo, mitigando le discontinuità.

2. Operatore di Mirroring Unificato ($M$):

   • Il metodo definisce un operatore unificato $M$ che applica il flipping orizzontale alle immagini ($M_I$) e la moltiplicazione elemento per elemento per un vettore di pattern di segno $\rho$ alle pose e alle azioni vettorializzate. Questo crea un dataset accoppiato di tuple originali e speculari $(o_t, a_t)$ e $(M(o_t), M(a_t))$.

3. Due Applicazioni Complementari:

   • MirrorAug (Data Augmentation): Una strategia in cui, durante il campionamento dei batch, una parte dei dati di addestramento viene sostituita dalla sua controparte speculare. Questo espande la distribuzione di addestramento per includere configurazioni speculari senza modificare l'architettura della rete.
   • MirrorDiffusion (Prior Strutturale): Una policy di diffusione riflessa-equivariante in cui la trasformazione di riflessione è incorporata come un bias induttivo all'interno del processo di diffusione latente. La rete della policy utilizza Steerable CNN E(n)-equivarianti per garantire che la funzione di predizione del rumore commuti con le trasformazioni di riflessione ($\pi(M(o)) = M(\pi(o))$).

4. Gestione dell'Asimmetria Visiva:

   • Gli autori riconoscono che il mirroring introduce artefatti visivi out-of-distribution (OOD) (ad esempio, un robot destrimano che appare sinistrimano nello specchio, o texture asimmetriche del tavolo).
   • Per mitigare questo, l'approccio combina MirrorDuo con Random Overlay (aumento dei background) e backbone visivi pre-addestrati (ResNet-18 su ImageNet) per migliorare la robustezza alle variazioni irrilevanti per il task.

Contributi Chiave

• Formulazione Coerente con la Riflessione: Un metodo innovativo per generare coppie di dimostrazioni speculari che sono coerenti tra immagini 2D, propriocezione 3D e azioni 6-DoF, ottenendo efficacementamente l'effetto "raccogli uno, ottienine uno gratis".
• Utilità Duale: Il framework funge sia da strategia di data augmentation (MirrorAug) che da prior strutturale per l'apprendimento di policy equivarianti, adattabile a pipeline standard come il Behavior Cloning (BC) e le Diffusion Policies.
• Generalizzazione a Specchi Inosservati: Il metodo consente un efficiente trasferimento di skill a workspace speculari con appena zero o cinque dimostrazioni nella configurazione target, superando significativamente i baseline standard in regimi a bassi dati.
• Robustezza all'Asimmetria: Il paper dimostra che la simmetria di riflessione può essere sfruttata anche in presenza di significative asimmetrie visive (design del robot, texture dello sfondo) se combinata con tecniche leggere di generalizzazione visiva.

Risultati Sperimentali

Gli autori hanno valutato MirrorDuo sul dataset MimicGen (simulazione) e su un setup reale con Franka Emika per due task: un pick-and-place di un peluche (un lato) e lo stacking di blocchi (due lati).

• Trasferimento One-Side (Simulazione e Reale):

  • In scenari con dimostrazioni confinate su un lato dello workspace, le policy standard addestrate sui dati originali non riuscivano a generalizzare sul lato speculare (tassi di successo vicini allo 0% per alcuni baseline).
  • MirrorAug combinato con la generalizzazione visiva (Random Overlay + pesi pre-addestrati) ha permesso alle policy di raggiungere prestazioni quasi in-domain sul lato speculare con appena 5 dimostrazioni aggiuntive dal lato opposto.
  • MirrorDiffusion (equivariante) ha fallito il trasferimento zero-shot a causa dell'iniezione di rumore che rompeva la simmetria globale durante il processo di diffusione inversa, ma ha recuperato le prestazioni con un minimo di dati dal lato opposto.

• Efficienza dei Dati Two-Side:

  • Quando le dimostrazioni erano distribuite su entrambi i lati, MirrorDuo ha migliorato significativamente l'efficienza dei dati.
  • Nei regimi a bassi e medi dati (50–200 demo), MirrorAug e MirrorDiffusion hanno prodotto guadagni di performance costanti (ad esempio, +31% su Square D0) rispetto ai baseline.
  • Nei regimi ad alti dati, i guadagni di performance si sono stabilizzati e, in alcuni compiti complessi a lungo termine, è stato osservato un leggero calo delle prestazioni, attribuito a confini decisionali frammentati causati da distribuzioni di osservazione contrastanti di task quasi identici.

• Validazione nel Mondo Reale:

  • Sul task reale del peluche, Diffusion Policy (M, O, P) (MirrorAug + Overlay + Pretrained) ha raggiunto l'83,3% di successo sulla configurazione speculare con solo 5 demo speculari, eguagliando le sue prestazioni in-domain.
  • La standard Diffusion Policy addestrata su dati one-side ha ottenuto solo il 3,3% sul setup speculare.
  • Gli autori notano che, sebbene MirrorDiffusion sia teoricamente elegante, la standard Diffusion Policy con MirrorAug e tecniche di generalizzazione visiva si è rivelata più pratica, offrendo prestazioni superiori in condizioni visive difficili e una convergenza dell'addestramento più veloce.

Significato e Claim

Il paper sostiene che MirrorDuo stabilisce la simmetria di riflessione come un potente e poco esplorato bias induttivo per l'apprendimento robotico scalabile e generalizzabile. Sfruttando la sovrapposizione tra i domini originale e speculare, l'approccio consente ai robot di generalizzare a configurazioni di workspace non viste con un minimo di dati aggiuntivi.

Gli autori sottolineano che, sebbene la proiezione delle riflessioni 3D nelle osservazioni visive 2D introduca complessità (asimmetrie visive), queste sfide possono essere gestite efficacementamente. Il lavoro dimostra che l'apprendimento coerente con la riflessione è altamente compatibile con le pipeline basate su immagini, offrendo una soluzione pratica all'alto costo di raccolta di diverse dimostrazioni robotiche. Il paper conclude che la combinazione della simmetria di riflessione con tecniche leggere di generalizzazione visiva consente alle policy di tollerare le asimmetrie visive sia del robot che dell'ambiente, facilitando un deployment robusto in vari setting reali.