Riepilogo Tecnico: Garanzie Statistiche per la Randomizzazione del Dominio Offline

Definizione del Problema

Gli agenti di apprendimento per rinforzo (RL) falliscono frequentemente quando vengono distribuiti dalla simulazione al mondo reale a causa del "gap sim-to-real", causato dalle discrepanze tra la dinamica simulata e quella reale. Mentre la Randomizzazione del Dominio (DR) è una strategia dominante per mitigare questo problema, addestrando le policy attraverso una famiglia di simulatori con parametri fisici randomizzati, la tipica DR si affida alla randomizzazione uniforme (UDR) su ampi intervalli di parametri. Questo approccio ignora i dati offline esistenti raccolti dal sistema reale.

L'Offline Domain Randomization (ODR) affronta questo problema affrontando prima l'adattamento di una distribuzione su parametri del simulatore a un dataset offline prima di addestrare la policy. Sebbene metodi empirici come DROPO e DROID abbiano mostrato successo, le fondamenta teoriche dell'ODR rimangono inesplorate. Nello specifico, non è noto se la distribuzione adattata converga alla vera dinamica all'aumentare dei dati, o come l'ODR si confronti teoricamente con la UDR nella riduzione del gap sim-to-real.

Metodologia e Formulazione

Gli autori inquadrano l'ODR come un problema di Stima della Massima Verosimiglianza (MLE) su una famiglia parametrica di simulatori.

1. Setup: L'ambiente è modellato come un processo decisionale di Markov episodico (MDP). L'ambiente del mondo reale è $M_{\xi^*}$, dove $\xi^*$ è il vettore di parametri reali sconosciuto. Viene definita una classe di simulatori $\mathcal{U} = \{M_\xi : \xi \in \Xi\}$.
2. Dati Offline: Un dataset offline $\mathcal{D} = \{(s_i, a_i, s'_i)\}_{i=1}^N$ viene raccolto dal sistema reale sotto un'osservata politica di comportamento sconosciuta.
3. Stima: L'obiettivo è stimare una distribuzione $p_\phi(\xi)$ (parametrizzata da $\phi = (\mu, \Sigma)$, assunta essere Gaussiana) che massimizzi la verosimiglianza delle transizioni osservate. L'obiettivo è:
   $$\hat{\phi}_N = \arg\max_{\phi \in \Phi} \sum_{(s,a,s') \in \mathcal{D}} \log \left( \mathbb{E}_{\xi \sim p_\phi(\xi)} [P_\xi(s' | s, a)] \right)$$
   Questa formulazione tratta la probabilità di transizione come una miscela di transizioni del simulatore pesate dalla distribuzione appresa.
4. Addestramento della Policy: Una volta appresa $\hat{\phi}_N$, una policy viene addestrata nel simulatore utilizzando questa distribuzione come prior per la randomizzazione del dominio.

Contributi Chiave e Risultati Teorici

Il documento fornisce le prime prove di consistenza statistica per l'ODR, stabilendo le condizioni sotto le quali la distribuzione appresa converge alla vera dinamica.

1. Consistenza Debole (Sezione 4)

Sotto ipotesi di regolarità, positività e identificabilità debolmente condizionate, gli autori dimostrano che lo stimatore ODR è debolmente consistente.

• Assunzioni:
  • Regolarità del Simulatore: Le densità di transizione sono limitate e continue rispetto ai parametri.
  • Compattezza: Lo spazio dei parametri è compatto.
  • Positività della Miscela: La densità di miscela indotta è strettamente positiva sull'intero supporto del dataset.
  • Identificabilità: L'unica distribuzione di miscela che recupera esattamente il kernel di transizione reale è la distribuzione degenerata ai veri parametri $\xi^*$.
• Risultato: All'aumentare della dimensione del dataset $N \to \infty$, il massimizzatore empirico $\hat{\phi}_N$ converge in probabilità ai veri parametri $\phi^* = (\xi^*, 0)$.
  $$\hat{\phi}_N \xrightarrow{P} \phi^*$$

2. Consistenza Forte (Sezione 5)

Aggiungendo un'assunzione di Continuità Lipschitz Uniforme sulla funzione di log-verosimiglianza, gli autori elevano il risultato a consistenza forte.

• Assunzione: La funzione di log-verosimiglianza è Lipschitz continua uniformemente rispetto ai parametri distribuzionali $\phi$.
• Risultato: Lo stimatore converge quasi certamente ai veri parametri.
  $$\hat{\phi}_N \xrightarrow{a.s.} \phi^*$$
  Ciò implica che, con probabilità uno, la distribuzione stimata collassa esattamente sui veri parametri del simulatore al crescere dei dati.

3. Praticità e Relax (Sezione 6)

Gli autori analizzano la praticità delle loro assunzioni e forniscono dei "relax" per ampliare l'applicabilità:

• Assunzione i.i.d.: Il requisito di dati indipendenti e identicamente distribuiti può essere rilassato in stazionarietà stretta ed ergodicità, che vale per i dati raccolti da politiche di comportamento fisse.
• Positività della Miscela: L'assunzione di positività stretta può essere rilassata in una condizione di coda logaritmica, permettendo famiglie a code leggere (es. Gaussiana) dove la densità può tendere a zero.
• Continuità Lipschitz: Viene fornita una condizione sufficiente per il requisito Lipschitz: il kernel di transizione del simulatore deve essere due volte continuamente differenziabile ($C^2$) con gradienti e Hessiani limitati rispetto ai parametri fisici. Ciò è soddisfatto da simulatori governati da una fisica fluida.
• Copertura Parziale: Nei casi in cui il dataset non copre l'intero spazio stato-azione, lo stimatore converge a un insieme identificato $Q^*_\mu$ di parametri che sono osservazionalmente indistinguibili dati i dati, piuttosto che a un singolo punto.

Significato e Rivendicazioni

Il documento afferma di porre l'Offline Domain Randomization su un fondamento rigoroso. Dimostrando la consistenza, convalida l'osservazione empirica che i metodi ODR (come DROPO) superano la UDR tarata manualmente. Il lavoro colma il divario tra successo empirico e comprensione teorica, dimostrando che i log offline non sono semplicemente dataset passivi ma potenti strumenti per una randomizzazione del dominio basata su principi.

Gli autori dichiarano esplicitamente che i loro risultati chiariscono quando i dati offline possono guidare in modo fondato la scelta di una distribuzione di randomizzazione per l'offline RL a valle. Non pretendono di risolvere universalmente il gap sim-to-real, ma forniscono le garanzie statistiche necessarie per giustificare l'uso dell'ODR in contesti in cui valgono le assunzioni sottostanti (o i loro relax). Il lavoro unifica i successi empirici con le garanzie teoriche in un unico framework, offrendo diagnostica e relax per giustificare l'applicabilità dell'ODR in una gamma più ampia di scenari.