Riepilogo Tecnico: BEACON

Enunciato del Problema

L'apprendimento robotico tramite clonazione del comportamento (BC) ha fatto progressi significativi grazie a modelli sequenziali come le Diffusion Policies; tuttavia, rimane un collo di bottiglia critico: le policy addestrate in un dominio (sorgente) spesso degradano quando vengono implementate in un altro (target), anche quando la semantica del compito è identica. Questi divari di dominio derivano da discrepanze visive (texture, illuminazione, posa della telecamera) e disallineamenti fisici (attrito, dinamiche di contatto, ritardi di attuazione). Sebbene la raccolta di dataset su larga scala nel dominio target sia costosa e difficile da scalare, i dati sorgente (ad esempio, da simulazione o dimostrazioni umane) sono abbondanti ma spesso disallineati.

Gli approcci esistenti a questo problema rientrano in due categorie:

1. Randomizzazione del Dominio: Aumenta la diversità della sorgente per migliorare la robustezza, ma non allinea esplicitamente le distribuzioni.
2. Adattamento del Dominio: Allinea esplicitamente le rappresentazioni sorgente e target (ad esempio, tramite matching delle caratteristiche o training avversariale). Tuttavia, questi metodi spesso si basano su obiettivi euristici, possono trascurare spostamenti non visivi e faticano a gestire impostazioni multi-sorgente in cui le sorgenti differiscono tra loro e dal target.

La domanda centrale affrontata da questo articolo è: Come possiamo sfruttare le abbondanti ma disallineate dimostrazioni sorgente per migliorare la generalizzazione nel dominio target, minimizzando al contempo la necessità di dati target etichettati, senza fare affidamento su funzioni di perdita di allineamento euristico?

Metodologia: BEACON

Gli autori propongono BEACON (Best-Effort Adaptation for Cross-Domain Co-Training), un framework guidato dalla teoria che ripropone il co-training cross-dominio come un problema di ridistribuzione dell'importanza consapevole delle discrepanze.

Fondamento Teorico

BEACON si basa sul framework Best-Effort Adaptation (BEA) [23]. Invece di mescolare in modo ingenuo i dati sorgente e target o imporre l'allineamento delle caratteristiche, BEACON apprende congiuntamente una policy $\pi_\theta$ e un insieme di pesi per campione $q$ per minimizzare un limite di generalizzazione derivato teoricamente per il dominio target.

La funzione obiettivo (Eq. 6) minimizza:
$$\sum_{i=1}^{m+n} q_i (\ell_{BC}(\theta; x_i, y_i) + \lambda_d d_i) + \gamma \|q\|_\infty R(\theta) + \lambda_1 \|q - p_0\|_1 + \lambda_2 \|q\|_2^2$$

Dove:

• $\ell_{BC}$ è la funzione di perdita per la clonazione del comportamento tramite diffusione.
• $d_i$ è un termine di discrepanza che penalizza i campioni sorgente disallineati con il target.
• $p_0$ è un riferimento di pesatura (distribuzione empirica solo target).
• I termini di regolarizzazione ($\lambda_1, \lambda_2$) assicurano che i pesi appresi rimangano ancorati alla distribuzione target e prevengano soluzioni degeneri.

Adattamenti Pratici per la Robotica

L'applicazione del framework BEA originale alle policy di diffusione ad alta dimensionalità ha richiesto diversi adattamenti chiave:

1. Stima della Discrepanza a Livello di Istanza: Invece di una singola penalità a livello di dominio, BEACON calcola un punteggio di discrepanza per campione $d_i$. Lo stimatore predefinito utilizza k-Nearest Neighbors (k-NN) nello spazio di embedding del vision-encoder della policy. Misura la distanza di un campione sorgente dai suoi vicini target più prossimi, normalizzata dalla dispersione interna al target. Ciò permette al sistema di identificare e ridurre il peso di specifiche traiettorie sorgente "outlier" che sono visivamente o comportamentalmente incompatibili con il target, anche all'interno di un singolo simulatore.
2. Ottimizzazione Alternata Stocastica: A causa del costo computazionale dei modelli di diffusione, BEACON impiega aggiornamenti alternati stocastici invece della minimizzazione su batch completo. Alterna tra:
   • Aggiornamento dei Pesi ($q$): Un passo di subgradiente proiettato basato sulla perdita per esempio e sulla discrepanza.
   • Aggiornamento della Policy ($\theta$): Un passo AdamW sulla perdita del minibatch pesato.
   • Controllo della Complessità: Il controllo della capacità basato sulla norma originale è sostituito da un decadimento dei pesi compatibile con l'ottimizzatore ($\gamma \|q\|_\infty R(\theta)$), collegando il peso massimo del campione alla forza della regolarizzazione.
3. Estensione Multi-Sorgente (MS-BEACON): Per scenari con domini sorgente eterogenei (ad esempio, più simulatori), il metodo introduce uno schema di pesatura a due livelli: un peso a livello di dominio $w$ per selezionare i domini sorgente utili, e un peso a livello di istanza $\tilde{q}$ per filtrare le traiettorie disallineate all'interno di ciascun dominio.

Contributi Chiave

1. Co-Training Guidato dalla Teoria: BEACON è il primo metodo ad adattare il framework BEA alle policy robotiche generative, minimizzando direttamente un limite di generalizzazione basato sulla discrepanza invece di affidarsi a funzioni di perdita di allineamento delle caratteristiche euristico.
2. Ridistribuzione dell'Importanza a Livello di Istanza Scalabile: L'introduzione di stimatori di discrepanza scalabili a livello di istanza (k-NN nello spazio di embedding) permette al metodo di gestire efficacemente policy sequenziali ad alta dimensionalità e dati sorgente eterogenei.
3. Allineamento Implicito delle Caratteristiche: L'articolo dimostra che l'allineamento delle caratteristiche emerge naturalmente come sottoprodotto dell'obiettivo di ridistribuzione dell'importanza consapevole delle discrepanze, senza richiedere un termine di perdita di allineamento esplicito.
4. Robustezza Multi-Sorgente: L'estensione MS-BEACON bilancia efficacemente i domini sorgente eterogenei, mitigando il trasferimento negativo quando le sorgenti differiscono significativamente tra loro e dal target.

Risultati Sperimentali

BEACON è stato valutato su compiti di manipolazione sim-to-sim, sim-to-real e multi-sorgente (impilamento di blocchi, pulizia di tazze, inserimento di fili) su un robot Franka Emika Panda.

• Generalizzazione Superiore: BEACON ha costantemente superato le linee di base, incluse Target-Only, Co-Training a rapporto fisso e metodi di allineamento delle caratteristiche (MMD, UOT).
  • In sim-to-sim (divari di texture e punto di vista), BEACON ha raggiunto un tasso di successo medio di 0.64 (divario di texture) e 0.45 (texture + punto di vista), superando la prossima migliore linea di base (MMD) con un margine significativo.
  • In sim-to-real, dove le policy Target-Only hanno quasi fallito (0.10 di successo medio), BEACON ha raggiunto un 0.77 di successo medio, dimostrando robustezza sia ai divari visivi che fisici.
• Robustezza Out-of-Distribution (OOD): BEACON ha mantenuto le prestazioni quando valutato su istanze di compiti al di fuori della distribuzione delle dimostrazioni target, mentre le linee di base di allineamento delle caratteristiche (come MMD) hanno subito un degrado significativo.
• Allineamento Implicito: Le visualizzazioni UMAP hanno confermato che BEACON avvicina le caratteristiche latenti sorgente e target come risultato delle dinamiche di ridistribuzione, nonostante l'assenza di una funzione di perdita di allineamento esplicita.
• Efficienza dei Dati: L'aumento delle dimostrazioni target ha ulteriormente migliorato le prestazioni di BEACON, indicando che la ridistribuzione della sorgente amplifica il valore dei dati target invece di sostituirli.

Significato e Affermazioni

L'articolo afferma che BEACON offre un paradigma complementare ai metodi esistenti di adattamento del dominio. Invece di concentrarsi sull'imporre che gli spazi latenti corrispondano (il che può collassare la geometria rilevante per il compito), BEACON si concentra sulla selezione di quali traiettorie sorgente dovrebbero influenzare l'apprendimento target.

Gli autori affermano che:

• La ridistribuzione dell'importanza è una leva di progettazione più fondamentale per l'apprendimento robotico cross-dominio rispetto alla scelta di dove allineare le rappresentazioni in una rete.
• Basare questa leva sulla teoria della generalizzazione produce guadagni concreti in termini di robustezza ed efficienza dei dati.
• Il metodo è particolarmente efficace nei regimi a basso numero di dati target, dove la raccolta di grandi dataset target non è fattibile.

L'articolo riconosce le limitazioni, notando che gli esperimenti sono stati limitati a interazioni quasi-statiche e che l'assunzione di dati reali scarsi potrebbe non valere in tutti gli scenari futuri in cui potrebbero essere disponibili grandi dataset reali eterogenei. Tuttavia, i risultati suggeriscono che il meccanismo di ridistribuzione proposto rimane una strategia robusta per gestire gli spostamenti di dominio.