How Should a Simulation-to-Reality Transfer Budget Be Spent?

Sintesi Tecnica: Come dovrebbe essere allocato un budget per il trasferimento Sim-to-Real?

Definizione del Problema
Nel robot learning, il "gap di realtà" (reality gap) sorge quando le policy addestrate in simulazione falliscono sull'hardware fisico a causa delle discrepanze tra la dinamica simulata e quella reale. Due strategie primarie affrontano questo problema: l'Identificazione di Sistema (System Identification - ID), che utilizza dati da robot reali per stimare i parametri fisici e calibrare il simulatore, e la Randomizzazione del Dominio (Domain Randomization - DR), che addestra le policy su una distribuzione di simulatori randomizzati per apprendere comportamenti robusti. Entrambe le strategie competono per la stessa risorsa scarsa: il budget limitato di tempo di interazione con il robot reale (rollout). Mentre la letteratura esistente spesso studia questi metodi isolatamente, il compromesso tra l'allocazione del budget alla misurazione precisa (ID) rispetto alla giustificazione di una distribuzione di randomizzazione più ampia (DR) rimane poco compreso. Questo articolo inquadra la scelta come un problema di allocazione del budget: dato un numero fisso di rollout su robot reali, come dovrebbero essere divisi tra identificazione e ampiezza della randomizzazione?

Metodologia
Gli autori hanno condotto uno studio sim-to-sim controllato per isolare questo compromesso senza le variabili confondenti dell'hardware fisico.

• Configurazione: Un simulatore "Realtà" ($R$) con parametri fissi e nascosti (massa del pendolo $m$ e lunghezza della asta $\ell$) ha funto da sistema target. Un simulatore "Addestramento" ($T$) ha permesso di regolare questi parametri. I parametri reali sono stati impostati a $\theta^* = (2.0, 1.5)$, significativamente distanti dal prior nominale $\theta_0 = (1.0, 1.0)$.
• Allocazione del Budget: Lo studio ha variato due variabili indipendenti:
  1. $n$ (Budget di Identificazione): Il numero di rollout su $R$ utilizzati per stimare i parametri. Questi rollout hanno utilizzato una policy di eccitazione di coppia casuale. I parametri sono stati stimati tramite ricerca a griglia (grid search) minimizzando l'errore di predizione della velocità angolare a un passo, soggetto a rumore sensoriale gaussiano ($\sigma=1.0$).
  2. $w$ (Ampiezza della Randomizzazione): L'ampiezza della distribuzione uniforme utilizzata per randomizzare i parametri durante l'addestramento, definita come una frazione della stima puntuale $\hat{\theta}$. $w=0$ implica l'addestramento sulla stima puntuale; un $w$ maggiore implica una banda più ampia centrata su $\hat{\theta}$.
• Addestramento e Valutazione: Per ogni configurazione $(n, w)$, una policy Soft Actor-Critic (SAC) è stata addestrata per 75.000 step. Le prestazioni sono state valutate tramite il ritorno zero-shot sul sistema target nascosto $R$ su 20 episodi deterministici.
• Ambito: Lo studio ha analizzato l'intervallo $n \in \{0, 5, 10, 25, 50\}$ e $w \in \{0, 0.1, 0.2, 0.3, 0.5\}$ su dieci seed, per un totale di 250 run. La significatività statistica è stata valutata utilizzando intervalli di confidenza bootstrap accoppiati.

Risultati Chiave
Gli esperimenti hanno rivelato una gerarchia distinta nel valore della misurazione rispetto all'ampiezza della randomizzazione:

1. Dominanza della Misurazione: L'allocazione dei rollout del robot reale all'identificazione ($n$) è stato il driver principale delle prestazioni. Il gap di trasferimento si è chiuso bruscamente con i primi pochi rollout. Nello specifico, passare da $n=0$ a $n=10$ ha prodotto un miglioramento massicciamente superiore del ritorno (circa +427 punti), mentre aumentare $n$ oltre 10 ha fornito rendimenti decrescenti.
2. Le Stime Puntuali Superano la Randomizzazione: Una volta ottenuti dati reali ($n > 0$), l'addestramento sui parametri puntuali stimati ($w=0$) ha superato significativamente l'addestramento su qualsiasi banda di randomizzazione allargata. Anche una banda stretta ($w=0.2$) ha prodotto ritorni statisticamente inferiori rispetto a $w=0$.
3. La Randomizzazione Non può Sostituire la Misurazione: Una randomizzazione ampia che teoricamente conteneva il sistema reale (ad esempio, un baseline del range del prior coprente $[0.3, 3.0]$) non è riuscita a sostituire la misurazione. Le policy addestrate con $n=0$ e una randomizzazione ampia hanno ottenuto prestazioni scarse (ritorno $\approx -749$), comparabili al baseline $n=0, w=0$, e significativamente peggiori del baseline "pure fidelity" $n=50, w=0$ (ritorno $\approx -337$).
4. Robustezza: Questi risultati sono rimasti validi attraverso diversi gap di realtà (piccolo, principale, grande) e livelli di rumore sensoriale. Sebbene il "ginocchio" specifico della curva del budget sia cambiato con i livelli di rumore (ad esempio, richiedendo più rollout con rumore maggiore), l'ordine qualitativo è rimasto: la misurazione è critica e allargare la banda dopo la misurazione è dannoso.

Contributi e Significato
L'articolo non propone un nuovo algoritmo, ma fornisce una caratterizzazione misurabile del compromesso tra identificazione e randomizzazione sotto un budget fisso.

• Formalizzazione: Formula la scelta tra ID e DR come un singolo problema di allocazione del budget e mappa l'intera superficie del ritorno.
• Evidenza Empirica: Dimostra che in un regime in cui la dinamica è identificabile e la famiglia di simulatori contiene il target, la misurazione domina l'ampiezza. Un piccolo numero di rollout di identificazione chiude la maggior parte del gap di trasferimento.
• Raccomandazione Strategica: Gli autori concludono che le pipeline sim-to-real dovrebbero dare priorità alla misurazione dei parametri che possono essere identificati all'interno della classe di modello del simulatore. La randomizzazione del dominio dovrebbe essere riservata solo all'incertezza che rimane dopo la misurazione, piuttosto che essere usata come sostituto di essa.

Limiti e Ambito
Gli autori notano esplicitamente che questi risultati si applicano a un "regime benigno" in cui:

• Il simulatore è ben specificato (nessuna discrepanza strutturale del modello).
• Solo due parametri sono sconosciuti.
• Il sistema reale è rappresentabile dalla famiglia di simulatori.

L'articolo riconosce che in scenari reali che coinvolgono discrepanze strutturali (ad esempio, attrito non modellato, backlash o dinamiche di contatto) dove nessuna stima dei parametri può riprodurre perfettamente il target, il valore dell'ampiezza della randomizzazione può aumentare. I risultati attuali servono come baseline per quel setting più complesso, suggerendo che quando i parametri possono essere identificati, la fedeltà deve precedere la randomizzazione.