Resumen Técnico: Garantías Estadísticas para la Aleatorización de Dominios Offline

Planteamiento del Problema

Los agentes de aprendizaje por refuerzo (RL) frecuentemente fallan al ser desplegados de la simulación al mundo real debido al "gap sim-to-real" (brecha de simulación a realidad), causado por las discrepancias entre la dinámica simulada y la realidad. Mientras que la Aleatorización de Dominios (DR) es una estrategia dominante para mitigar esto mediante el entrenamiento de políticas a través de una familia de simuladores con parámetros físicos aleatorizados, la DR estándar típicamente depende de la aleatorización uniforme (UDR) sobre rangos de parámetros amplios. Este enfoque ignora los datos offline existentes recolectados del sistema real.

La Aleatorización de Dominios Offline (ODR) aborda esto ajustando primero una distribución sobre los parámetros del simulador a partir de un conjunto de datos offline antes de entrenar la política. Aunque métodos empíricos como DROPO y DROID han mostrado éxito, los fundamentos teóricos de ODR permanecen inexplorados. Específicamente, se desconoce si la distribución ajustada converge a la dinámica real a medida que los datos aumentan, o cómo ODR se compara teóricamente con UDR en la reducción del gap sim-to-real.

Metodología y Formulación

Los autores presentan ODR como un problema de Estimación de Máxima Verosimilitud (MLE) sobre una familia paramétrica de simuladores.

1. Configuración: El entorno se modela como un Proceso de Decisión de Markov (MDP) episódico. El entorno del mundo real es $M_{\xi^*}$, donde $\xi^*$ es el vector de parámetros reales desconocidos. Se define una clase de simuladores $\mathcal{U} = \{M_\xi : \xi \in \Xi\}$.
2. Datos Offline: Un conjunto de datos offline $\mathcal{D} = \{(s_i, a_i, s'_i)\}_{i=1}^N$ se recolecta del sistema real bajo una política de comportamiento desconocida.
3. Estimación: El objetivo es estimar una distribución $p_\phi(\xi)$ (parametrizada por $\phi = (\mu, \Sigma)$, asumida como Gaussiana) que maximice la verosimilitud de las transiciones observadas. El objetivo es:
   $$\hat{\phi}_N = \arg\max_{\phi \in \Phi} \sum_{(s,a,s') \in \mathcal{D}} \log \left( \mathbb{E}_{\xi \sim p_\phi(\xi)} [P_\xi(s' | s, a)] \right)$$
   Esta formulación trata la probabilidad de transición como una mezcla de transiciones del simulador ponderadas por la distribución aprendida.
4. Entrenamiento de la Política: Una vez aprendido $\hat{\phi}_N$, se entrena una política en el simulador utilizando esta distribución como el prior para la aleatorización de dominios.

Contribuciones Clave y Resultados Teóricos

El artículo proporciona las primeras pruebas de consistencia estadística para ODR, estableciendo las condiciones bajo las cuales la distribución aprendida converge a la dinámica real.

1. Consistencia Débil (Sección 4)

Bajo supuestos de regularidad, positividad e identificabilidad leves, los autores demuestran que el estimador de ODR es débilmente consistente.

• Supuestos:
  • Regularidad del Simulador: Las densidades de transición son acotadas y continuas con respecto a los parámetros.
  • Compacidad: El espacio de parámetros es compacto.
  • Positividad de la Mezcla: La densidad de mezcla inducida es estrictamente positiva sobre el soporte del conjunto de datos.
  • Identificabilidad: La única distribución de mezcla que recupera exactamente el núcleo de transición real es la distribución degenerada en los parámetros reales $\xi^*$.
• Resultado: A medida que el tamaño del conjunto de datos $N \to \infty$, el maximizador empírico $\hat{\phi}_N$ converge en probabilidad al verdadero parámetro $\phi^* = (\xi^*, 0)$.
  $$\hat{\phi}_N \xrightarrow{P} \phi^*$$

2. Consistencia Fuerte (Sección 5)

Al añadir un supuesto de Continuidad Lipschitz Uniforme en la función de log-verosimilitud, los autores elevan el resultado a consistencia fuerte.

• Supuesto: La función de log-verosimilitud es uniformemente Lipschitz continua con respecto a los parámetros distribucionales $\phi$.
• Resultado: El estimador converge casi seguramente al verdadero parámetro.
  $$\hat{\phi}_N \xrightarrow{a.s.} \phi^*$$
  Esto implica que, con probabilidad uno, la distribución estimada colapsa exactamente sobre los parámetros reales del simulador conforme los datos crecen.

3. Practicidad y Relajaciones (Sección 6)

Los autores analizan la practicidad de sus supuestos y proporcionan relajaciones para ampliar su aplicabilidad:

• Supuesto i.i.d.: El requisito de datos independientes e idénticamente distribuidos puede relajarse a estacionariedad estricta y ergodicidad, lo cual es válido para datos recolectados por políticas de comportamiento fijas.
• Positividad de la Mezcla: El supuesto de positividad estricta puede relajarse a una condición de cola logarítmica, permitiendo familias de colas ligeras (ej. Gaussiana) donde la densidad puede aproximarse a cero.
• Continuidad Lipschitz: Se proporciona una condición suficiente para el requisito de Lipschitz: el núcleo de transición del simulador debe ser dos veces continuamente diferenciable ($C^2$) con gradientes y Hessianos acotados con respecto a los parámetros físicos. Esto es satisfecho por simuladores gobernados por física suave.
• Cobertura Parcial: En casos donde el conjunto de datos no cubre todo el espacio de estados-acciones, el estimador converge a un conjunto identificado $Q^*_\mu$ de parámetros que son observacionalmente indistinguibles dados los datos, en lugar de a un único punto.

Significancia y Reivindicaciones

El artículo afirma situar la Aleatorización de Dominios Offline en un fundamento sólido. Al demostrar la consistencia, valida la observación empírica de que los métodos de ODR (como DROPO) superan a la DR uniforme ajustada manualmente. El trabajo cierra la brecha entre el éxito empírico y la comprensión teórica, demostrando que los registros (logs) offline no son meramente conjuntos de datos pasivos, sino herramientas poderosas para una aleatorización de dominios fundamentada.

Los autores declaran explícitamente que sus resultados clarifican cuándo los datos offline pueden guiar sólidamente la elección de una distribución de aleatorización para el RL offline descendente. No pretenden resolver el gap sim-to-real universalmente, sino proporcionar las garantías estadísticas necesarias para justificar el uso de ODR en entornos donde los supuestos subyacentes (o sus relajaciones) se cumplen. El trabajo unifica los éxitos empíricos con garantías teóricas en un solo marco, ofreciendo diagnósticos y relajaciones para justificar la aplicabilidad de ODR en un rango más amplio de configuraciones.