Continual Domain Randomization

1. Enunciato del Problema

L'Apprendimento per Rinforzo Profondo (DRL) nella robotica fa spesso affidamento su ambienti simulati per superare l'inefficienza nel campionamento e le preoccupazioni di sicurezza. Tuttavia, il "divario di realtà" (reality gap)—la discrepanza tra simulazione e mondo reale—spesso porta a scarse prestazioni nel trasferimento delle politiche (sim2real) senza ulteriore sintonizzazione.

• Limiti degli Approcci Correnti:
  • Simulazione Perfetta: Impossibile da ottenere per sistemi complessi a causa dell'usura dell'hardware e dei cambiamenti ambientali.
  • Adattamento del Dominio (Finetuning): Richiede dati reali, che sono dispendiosi in termini di tempo e potenzialmente pericolosi.
  • Randomizzazione del Dominio Standard (DR): Randomizza tutti i parametri di simulazione simultaneamente per coprire il divario di realtà. Tuttavia, randomizzare troppi parametri contemporaneamente aumenta la complessità del compito e l'incertezza dell'agente, portando spesso a politiche subottimali o al mancato convergere.
  • Randomizzazione Sequenziale senza CL: L'addestramento sequenziale su sottoinsiemi di parametri senza conservare la conoscenza dei passaggi precedenti porta all'oblio catastrofico, dove l'agente si sovrappone alla randomizzazione più recente e perde la robustezza rispetto a quelle precedenti.

2. Metodologia: Randomizzazione del Dominio Continuo (CDR)

Gli autori propongono la Randomizzazione del Dominio Continuo (CDR), un framework che combina la Randomizzazione del Dominio con l'Apprendimento Continuo (CL) per abilitare l'addestramento sequenziale su sottoinsiemi di parametri di randomizzazione, conservando al contempo la conoscenza dai passaggi precedenti.

Flusso di Lavoro Principale

1. Inizializzazione: L'agente viene prima addestrato in una simulazione idealizzata (senza randomizzazione) per apprendere il compito di base.
2. Addestramento Sequenziale: L'agente viene successivamente addestrato su una sequenza di simulazioni, dove ogni step abilita un sottoinsieme specifico di parametri di randomizzazione (es. latenza, coppia, rumore).
3. Apprendimento Continuo: Per prevenire l'oblio catastrofico, il sistema impiega algoritmi CL basati sulla regolarizzazione per "ricordare" gli effetti delle randomizzazioni precedenti.

Implementazione Algoritmica

Gli autori implementano due varianti utilizzando l'Ottimizzazione della Politica Prossimale (PPO) combinata con la Consolidazione dei Pesi Elastici (EWC):

• CDR-λ (Offline):

  • Utilizza l'EWC per regolarizzare la rete della politica.
  • Mantiene uno snapshot separato dei parametri della rete ($\theta^*$) e della Matrice di Informazione di Fisher empirica (FIM) per ogni compito passato.
  • Funzione di Perdita: $L(\theta) = L_C(\theta) + \sum \frac{\lambda_i}{2} ||\theta - \theta^*_i||^2_{F_i}$
  • Compromesso: Alto utilizzo di memoria (scalabilità lineare con il numero di compiti) ma forte conservazione della conoscenza passata.

• CDR-Oλ (Online):

  • Utilizza una variante Online-EWC per ridurre il sovraccarico di memoria.
  • Mantiene un solo snapshot della rete e una singola Matrice di Informazione di Fisher cumulativa.
  • La matrice di Fisher viene aggiornata ricorsivamente: $F^*_i = \gamma F^*_{i-1} + F_i$.
  • Compromesso: Utilizzo di memoria costante, ma potenziale conservazione più debole dei compiti molto vecchi rispetto alla versione offline.

• Normalizzazione: Un dettaglio tecnico chiave è la normalizzazione degli elementi della Matrice di Informazione di Fisher nell'intervallo $[0.0, 1.0]$ dopo ogni compito. Questo disaccoppia la costante di regolarizzazione $\lambda$ dalla scalatura arbitraria di diversi compiti, permettendo l'uso di un singolo $\lambda$ su tutta la sequenza.

3. Configurazione Sperimentale

Gli autori hanno valutato la CDR su due compiti di manipolazione robotica utilizzando un braccio KUKA LBR iiwa 14:

1. Compito di Raggiungimento: Un braccio a 2 giunti che raggiunge un bersaglio.
2. Compito di Presa: Un braccio ridondante a 7 giunti con una pinza Robotiq a 3 dita che afferra un cubo.

Parametri di Randomizzazione:
Tre parametri sono stati randomizzati sequenzialmente in ordini diversi (es. Coppia $\to$ Latenza $\to$ Rumore):

• Latenza (L): Ritardo casuale nell'osservazione dello stato.
• Coppia (T): Rigidezza e smorzamento dei giunti randomizzati.
• Rumore (N): Rumore del sensore.

Baseline:

• Ideale: Addestrato in simulazione non randomizzata.
• Randomizzato: Addestrato con tutti i parametri randomizzati simultaneamente.
• Finetuning: Addestramento sequenziale senza CL (nessuna regolarizzazione).

4. Risultati Chiave

Compito di Raggiungimento

• Prestazioni Sim2real: Il modello Ideale ha ottenuto le migliori prestazioni in simulazione ma è fallito nel mondo reale (alto jitter, bassa ricompensa) a causa dell'overfitting. La baseline Randomizzata ha funzionato bene nella realtà ma ha ottenuto ricompense inferiori in simulazione.
• Prestazioni CDR: Entrambe le varianti CDR hanno raggiunto un trasferimento sim2real comparabile o migliore rispetto alla baseline completamente Randomizzata.
  • CDR-Oλ ha ottenuto le più alte ricompense e stabilità nel mondo reale.
  • Il Finetuning ha funzionato bene in simulazione ma ha mostrato un scarso trasferimento nella realtà rispetto alla CDR, confermando che dimenticare le randomizzazioni precedenti è dannoso.
• Sensibilità all'Ordine: Le baseline sequenziali (Finetuning) erano altamente sensibili all'ordine di randomizzazione. La CDR è risultata significativamente più robusta all'ordine dei parametri.

Compito di Presa

• Complessità: Il compito di presa era più difficile, richiedendo maggiore precisione.
• Stabilità: Le strategie CDR hanno mostrato una varianza inferiore e un progresso di addestramento più stabile rispetto al Finetuning.
• Successo nel Mondo Reale:
  • CDR-Oλ ha raggiunto un tasso di successo nella presa del 78% in simulazione e del 60% nella realtà (con ordinamento NLT), superando la baseline Randomizzata (40% di successo reale).
  • Il Finetuning ha mostrato alta varianza; a seconda dell'ordine, poteva essere il miglior o il peggior esecutore, evidenziando la sua instabilità.
  • I modelli CDR hanno fornito prestazioni coerenti indipendentemente dall'ordine di randomizzazione.

Forza di Regolarizzazione ($\lambda$)

• $\lambda$ Basso: I modelli si comportano come il Finetuning (dimenticando i compiti precedenti), portando a un scarso trasferimento nel mondo reale.
• $\lambda$ Alto: I modelli diventano troppo rigidi, incapaci di adattarsi alle nuove randomizzazioni, risultando in scarse prestazioni sia in simulazione che nella realtà.
• Intervallo Ottimale: Un intervallo intermedio di $\lambda$ ha fornito il miglior equilibrio, permettendo l'adattamento mantenendo al contempo la robustezza.

5. Contributi Chiave

1. Framework Novello: Introduzione della Randomizzazione del Dominio Continuo (CDR), che tratta la randomizzazione del dominio come un problema di apprendimento continuo per introdurre sequenzialmente la complessità senza oblio catastrofico.
2. Efficienza di Memoria: Sviluppo di una variante CDR Online (CDR-Oλ) che evita la scalabilità lineare della memoria dell'EWC tradizionale mantenendo una singola matrice di Fisher, rendendola scalabile per lunghe sequenze di randomizzazioni.
3. Robustezza all'Ordinamento: Dimostrazione che la CDR è meno sensibile all'ordine in cui i parametri di randomizzazione vengono introdotti rispetto al finetuning sequenziale standard.
4. Trasferimento Zero-Shot: Trasferimento sim2real zero-shot di successo su robot reali senza richiedere dati di addestramento reali o adattamento del dominio.

6. Significato e Conclusione

Il paper affronta un collo di bottiglia critico nell'RL robotico: il compromesso tra la difficoltà di addestrare con alta randomizzazione e il rischio di overfitting a una specifica simulazione. Integrando l'apprendimento continuo, la CDR permette agli agenti di "imparare a imparare" attraverso condizioni di simulazione variabili, costruendo una politica robusta a un'ampia gamma di dinamiche.

• Impatto Pratico: La CDR offre un framework flessibile e generale per il trasferimento sim2real che non richiede la definizione preventiva di tutti i parametri di randomizzazione o l'accesso a dati reali per il fine-tuning.
• Lavori Futuri: Gli autori suggeriscono di combinare la CDR con la randomizzazione del dominio automatizzata o attiva per determinare dinamicamente gli intervalli ottimali dei parametri e estendere l'approccio alla randomizzazione basata sulla visione.

In sintesi, la CDR fornisce un'alternativa superiore sia alla randomizzazione statica che al semplice finetuning sequenziale, raggiungendo prestazioni sim2real all'avanguardia in compiti complessi di manipolazione robotica.