Resumo Técnico: Garantias Estatísticas para Randomização de Domínio Offline

Declaração do Problema

Agentes de aprendizado por reforço (RL) frequentemente falham ao serem implantados da simulação para o mundo real devido ao "gap sim-to-real", causado por discrepâncias entre a dinâmica simulada e a realidade. Embora a Randomização de Domínio (DR) seja uma estratégia dominante para mitigar isso, treinando políticas através de uma família de simuladores com parâmetros físicos randomizados, a DR padrão normalmente depende da randomização uniforme (UDR) sobre amplos intervalos de parâmetros. Essa abordagem ignora dados offline existentes coletados do sistema real.

A Randomização de Domínio Offline (ODR) aborda isso ao primeiro ajustar uma distribuição sobre os parâmetros do simulador a um conjunto de dados offline antes de treinar a política. Embora métodos empíricos como DROPO e DROID tenham mostrado sucesso, os fundamentos teóricos da ODR permanecem inexplorados. Especificamente, é desconhecido se a distribuição ajustada converge para a dinâmica verdadeira conforme os dados aumentam, ou como a ODR se compara teoricamente à UDR na redução do gap sim-to-real.

Metodologia e Formulação

Os autores tratam a ODR como um problema de Estimativa de Máxima Verossimilhança (MLE) sobre uma família paramétrica de simuladores.

1. Configuração: O ambiente é modelado como um Processo de Decisão de Markov (MDP) episódico. O ambiente do mundo real é $M_{\xi^*}$, onde $\xi^*$ é o vetor de parâmetros verdadeiro e desconhecido. Uma classe de simuladores $\mathcal{U} = \{M_\xi : \xi \in \Xi\}$ é definida.
2. Dados Offline: Um conjunto de dados offline $\mathcal{D} = \{(s_i, a_i, s'_i)\}_{i=1}^N$ é coletado do sistema real sob uma política de comportamento desconhecida.
3. Estimativa: O objetivo é estimar uma distribuição $p_\phi(\xi)$ (parametrizada por $\phi = (\mu, \Sigma)$, assumida como Gaussiana) que maximiza a verossimilhança das transições observadas. O objetivo é:
   $$\hat{\phi}_N = \arg\max_{\phi \in \Phi} \sum_{(s,a,s') \in \mathcal{D}} \log \left( \mathbb{E}_{\xi \sim p_\phi(\xi)} [P_\xi(s' | s, a)] \right)$$
   Esta formulação trata a probabilidade de transição como uma mistura de transições do simulador ponderadas pela distribuição aprendida.
4. Treinamento da Política: Uma vez que $\hat{\phi}_N$ é aprendido, uma política é treinada no simulador usando esta distribuição como o prior para a randomização de domínio.

Contribuições Principais e Resultados Teóricos

O artigo fornece as primeiras provas de consistência estatística para ODR, estabelecendo condições sob as quais a distribuição aprendida converge para a dinâmica verdadeira.

1. Consistência Fraca (Seção 4)

Sob suposições de regularidade, positividade e identificabilidade brandas, os autores provam que o estimador ODR é fracamente consistente.

• Suposições:
  • Regularidade do Simulador: Densidades de transição são limitadas e contínuas em relação aos parâmetros.
  • Compacidade: O espaço de parâmetros é compacto.
  • Positividade da Mistura: A densidade de mistura induzida é estritamente positiva sobre o suporte do conjunto de dados.
  • Identificabilidade: A única distribuição de mistura que recupera exatamente o kernel de transição verdadeiro é a distribuição degenerada nos parâmetros verdadeiros $\xi^*$.
• Resultado: À medida que o tamanho do conjunto de dados $N \to \infty$, o maximizador empírico $\hat{\phi}_N$ converge em probabilidade para o parâmetro verdadeiro $\phi^* = (\xi^*, 0)$.
  $$\hat{\phi}_N \xrightarrow{P} \phi^*$$

2. Consistência Forte (Seção 5)

Ao adicionar uma suposição de Continuidade Lipschitz Uniforme na função de log-verossimilhança, os autores elevam o resultado para consistência forte.

• Suposição: A função de log-verossimilhança é uniformemente Lipschitz contínua em relação aos parâmetros distributivos $\phi$.
• Resultado: O estimador converge quase certamente para o parâmetro verdadeiro.
  $$\hat{\phi}_N \xrightarrow{a.s.} \phi^*$$
  Isso implica que, com probabilidade um, a distribuição estimada colapsa exatamente sobre os parâmetros verdadeiros do simulador conforme os dados crescem.

3. Praticidade e Relaxações (Seção 6)

Os autores analisam a praticidade de suas suposições e fornecem relaxações para ampliar a aplicabilidade:

• Suposição i.i.d.: O requisito para dados independentes e identicamente distribuídos pode ser relaxado para estacionariedade estrita e ergodicidade, o que é válido para dados coletados por políticas de comportamento fixas.
• Positividade da Mistura: A suposição de positividade estrita pode ser relaxada para uma condição de cauda logarítmica, permitindo famílias de cauda leve (ex: Gaussiana) onde a densidade pode aproximar-se de zero.
• Continuidade Lipschitz: Uma condição suficiente para o requisito Lipschitz é fornecida: o kernel de transição do simulador deve ser duas vezes continuamente diferenciável ($C^2$) com gradientes e Hessianas limitados em relação aos parâmetros físicos. Isso é satisfeito por simuladores governados por física suave.
• Cobertura Parcial: Em casos onde o conjunto de dados não cobre todo o espaço de estados-ações, o estimador converge para um conjunto identificado $Q^*_\mu$ de parâmetros que são observacionalmente indistinguíveis dados os dados, em vez de um único ponto.

Significância e Alegações

O artigo afirma colocar a Randomização de Domínio Offline em um alicerce principiado. Ao provar a consistência, ele valida a observação empírica de que métodos de ODR (como DROPO) superam a DR uniforme ajustada manualmente. O trabalho preenche a lacuna entre o sucesso empírico e a compreensão teórica, demonstrando que logs offline não são meramente conjuntos de dados passivos, mas ferramentas poderosas para a randomização de domínio fundamentada.

Os autores afirmam explicitamente que seus resultados esclarecem quando dados offline podem guiar de forma sólida a escolha de uma distribuição de randomização para o aprendizado por reforço offline subsequente. Eles não alegam resolver o gap sim-to-real universalmente, mas fornecem as garantias estatísticas necessárias para justificar o uso de ODR em configurações onde as suposições subjacentes (ou suas relaxações) se sustentam. O trabalho unifica sucessos empíricos com garantias teóricas em um único framework, oferecendo diagnósticos e relaxações para justificar a aplicabilidade da ODR em uma gama mais ampla de cenários.