Resumen Técnico: Mean-Field PhiBE: Aprendizaje por Refuerzo de Campo Medio en Tiempo Continuo a partir de Datos en Tiempo Discreto

1. Formulación del Problema

Este artículo aborda el desafío del control de campo medio en tiempo continuo libre de modelo (también conocido como control de McKean-Vlasov o MKV) en entornos donde la dinámica de la población evoluciona continuamente, pero los datos solo están disponibles en tiempos de observación discretos.

• El Entorno: Un planificador social busca optimizar el rendimiento colectivo de una gran población de agentes cooperativos. El estado de la población se describe mediante una medida de probabilidad $\mu_t \in \mathcal{P}_2(\mathbb{R}^d)$ que evoluciona según una ecuación diferencial estocástica (SDE) de McKean-Vlasov controlada.
• El Objetivo: Un problema de control óptimo de horizonte infinito, descontado y con regularización de entropía. La recompensa corriente incluye un término de entropía para fomentar la exploración, lo que conduce a políticas de retroalimentación aleatorizadas.
• La Dificultad Central:
  • Perspectiva Basada en el Modelo: Si los coeficientes de deriva (drift) y difusión de la dinámica MKV fueran conocidos, la evaluación de la política se describiría mediante una ecuación Hamilton-Jacobi-Bellman (HJB) estacionaria en el espacio de Wasserstein $\mathcal{P}_2(\mathbb{R}^d)$. Sin embargo, esta ecuación depende de generadores infinitesimales (deriva y difusión) que no son identificables únicamente a partir de datos de transición en tiempo discreto.
  • Perspectiva Libre de Modelo: Una reducción directa a un proceso de decisión de Markov (MDP) en tiempo discreto evita el problema de la identificabilidad, pero descarta la estructura diferencial de tiempo continuo. Esto introduce un error de discretización que persiste incluso con muestras infinitas, causando que la política aprendida se desvíe del óptimo real en tiempo continuo.

El artículo pretende cerrar la brecha entre estas dos perspectivas: utilizando datos de tiempo discreto para aproximar la estructura HJB de tiempo continuo sin recurrir a una formulación de Bellman puramente de tiempo discreto.

2. Metodología

2.1. Fundamentos Basados en el Modelo

Los autores establecen primero el marco teórico para el entorno basado en el modelo:

• HJB Estacionaria: Demuestran la buena adecuación (well-posedness) de la ecuación HJB lineal estacionaria en $\mathcal{P}_2(\mathbb{R}^d)$ para una política aleatorizada fija. El funcional de valor $V_\pi$ es la solución clásica única en una clase de crecimiento polinómico.
• Teorema del Gradiente de la Política: Derivan un teorema del gradiente de la política para el control MKV de horizonte infinito con regularización de entropía. Crucialmente, el gradiente se expresa en términos de una ventaja infinitesimal por acción y la función de puntuación (score function) de la política. A diferencia de trabajos previos que requieren diferenciar los coeficientes promediados de deriva/difusión con respecto a los parámetros de la política (lo cual es difícil en entornos libres de modelo), esta formulación se basa en cantidades puntuales que pueden estimarse directamente.

2.2. El Mean-Field PhiBE (MF-PhiBE)

Para gestionar la falta de coeficientes conocidos, los autores introducen la Ecuación de Bellman de Física Informada de Campo Medio (MF-PhiBE).

• Concepto: En lugar de reemplazar el problema de tiempo continuo con una recursión de tiempo discreto, el MF-PhiBE preserva la estructura de la EDP en el espacio de Wasserstein.
• Mecanismo: La deriva infinitesimal $b$ y la difusión $\Sigma$ desconocidas en el generador HJB se reemplazan por estimadores de un solo paso calculados a partir de datos de transición en tiempo discreto $(s, \mu, a, s', r)$.
  • $\hat{b}(s, \mu, a) \approx \mathbb{E}[(s_{\Delta t} - s)/\Delta t]$
  • $\hat{\Sigma}(s, \mu, a) \approx \mathbb{E}[(s_{\Delta t} - s)(s_{\Delta t} - s)^\top/\Delta t]$
• Resultado: La ecuación resultante, $(\mathcal{L}^{\pi}_{\hat{b}, \hat{\Sigma}} - \beta)\hat{V}_\pi + r^\pi_\lambda = 0$, sirve como un sustituto de la verdadera ecuación HJB, manteniendo la estructura de suavidad del sistema físico mientras es computable a partir de los datos.

2.3. Algoritmo Actor-Crítico Libre de Modelo

El artículo propone un algoritmo actor-crítico libre de modelo basado en el MF-PhiBE:

• Paso del Crítico: Aproxima el funcional de valor $\hat{V}_\pi$ resolviendo el residuo empírico del MF-PhiBE mediante una proyección de Galerkin (por ejemplo, aproximación de función lineal o redes neuronales) sobre las leyes muestreadas.
• Paso del Actor: Actualiza los parámetros de la política utilizando el teorema del gradiente de la política. La ventaja instantánea se estima utilizando el crítico aprendido y los estimadores de un solo paso. Esto evita la necesidad de diferenciar coeficientes agregados desconocidos.

3. Contribuciones Clave y Resultados

3.1. Garantías Teóricas

• Consistencia de Primer Orden: Los autores demuestran que el valor inducido por una política óptima de MF-PhiBE aproxima el valor óptimo de tiempo continuo con un error de orden $\mathcal{O}(\Delta t)$. Esto se cumple para dinámicas no lineales generales bajo supuestos de regularidad.
• Precisión de Segundo Orden en LQR: En el caso específico de control de campo medio Lineal-Cuadrático (LQ), la aproximación logra una precisión de segundo orden ($\mathcal{O}(\Delta t^2)$) para la función de valor. Además, en el caso determinista no descontado, las medias de retroalimentación promedio de la política MF-PhiBE y la política exacta coinciden exactamente.
• Resolución de la No-Identificabilidad: El artículo demuestra que, si bien las matrices continuas en el tiempo (A, B) generalmente no son identificables a partir de las medias de transición de un solo paso debido al aliasing (no inyectividad de la exponencial de la matriz), la formulación MF-PhiBE recupera con éxito la ley de retroalimentación óptima al trabajar directamente con los estimadores $\hat{A}, \hat{B}$ en lugar de intentar recuperar los parámetros subyacentes.

3.2. Validación Numérica

• Benchmark LQR: Los experimentos en un problema de riesgo sistémico LQR muestran que el crítico empírico de MF-PhiBE recupera la estructura cuadrática del valor y que los parámetros del actor convergen a los coeficientes de retroalimentación óptimos derivados de las ecuaciones de Riccati.
• Comparación con Bellman de Tiempo Discreto: El artículo compara el enfoque MF-PhiBE frente a una formulación estándar de Bellman en tiempo discreto (MDP). Los resultados indican que, para la misma información de paso de tiempo, la política MF-PhiBE proporciona una aproximación sustancialmente más cercana a la función de valor óptima de tiempo continuo que la política de tiempo discreto, particularmente a medida que varía el paso de tiempo $\Delta t$.
• Aversión a la Multitud (Crowd Aversion): Un ejemplo no lineal en 2D que involucra la aversión a la multitud y el transporte de objetivos demuestra la capacidad del marco para manejar recompensas no cuadráticas e interacciones poblacionales complejas, transportando con éxito una población mientras se evitan las regiones de alta densidad.

4. Significado y Reivindicaciones

El artículo sostiene que su principal relevancia radica en demostrar que las observaciones en tiempo discreto no requieren una formulación de control en tiempo discreto.

• Preservación de la Estructura: Al incorporar la información de transición de tiempo discreto en una EDP de tiempo continuo (el MF-PhiBE), el método preserva la estructura de la ecuación diferencial de las dinámicas subyacentes. Esto evita el error de discretización inherente que afecta a las reducciones directas a MDP, incluso en el límite de datos infinitos.
• Viabilidad Libre de Modelo: El enfoque proporciona un camino riguroso para el aprendizaje de campo medio en tiempo continuo libre de modelo. Evita la necesidad de conocer los coeficientes de MKV o de diferenciar los términos de deriva/difusión promediados por la política, que suelen ser intratables en entornos basados en datos.
• Teórico vs. Práctico: El trabajo establece que el enfoque "informado por la física" (usar datos discretos para informar las EDP continuas) ofrece propiedades de aproximación superiores en comparación con el aprendizaje por refuerzo estándar de tiempo discreto para problemas de control en tiempo continuo, específicamente en el contexto de las interacciones de campo medio.

Los autores posicionan este trabajo como un puente entre la elegancia teórica del control MKV en tiempo continuo y la realidad práctica de la disponibilidad de datos en tiempo discreto, ofreciendo un algoritmo actor-crítico libre de modelo que respeta la naturaleza continua del sistema.