Soft Actor-Critic Control of a Behaviorally Heterogeneous S1S2IR Epidemic Model: Stability, Bifurcation, and COVID-19 Calibration

Resumen Técnico: Control de un Modelo Epidémico S1S2IR con Heterogeneidad Conductual mediante Soft Actor-Critic

Planteamiento del Problema
El artículo aborda el desafío de diseñar políticas de control epidémico para poblaciones que exhiben heterogeneidad conductual. Los modelos compartimentales tradicionales suelen asumir tasas de transmisión constantes o cronogramas de intervención fijos, lo que no logra capturar cómo los individuos alteran dinámicamente su comportamiento (por ejemplo, adoptando medidas protectoras) en respuesta al riesgo percibido. Además, las aplicaciones existentes de aprendizaje por refuerzo (RL) en epidemiología carecen a menudo de un fundamento analítico riguroso respecto a la estabilidad y las propiedades de bifurcación de los sistemas dinámicos subyacentes que controlan. Los autores pretenden cerrar esta brecha integrando un modelo S1S2IR con heterogeneidad conductual (que distingue entre poblaciones susceptibles inconscientes y conscientes) con un agente de aprendizaje por refuerzo Soft Actor-Critic (SAC) para crear un marco de control adaptativo y basado en datos.

Metodología
El marco propuesto opera en dos fases complementarias: caracterización analítica del sistema de bucle cerrado y validación numérica mediante el entrenamiento de RL.

1. Formulación Matemática (Modelo S1S2IR):

   • La población se divide en cuatro compartimentos: Susceptibles Naive ($S_1$), Susceptibles Conscientes/Protegidos ($S_2$), Infectados ($I$) y Recuperados ($R$).
   • El modelo incorpora rotación demográfica (nacimientos y muertes naturales) y tres parámetros de control variables en el tiempo generados por el agente de RL:
     • $\beta(t)$: Tasa de transmisión para $S_1$.
     • $\alpha_1(t)$: Tasa a la cual $S_1$ transiciona a $S_2$ (formación de conciencia).
     • $d(t)$: Multiplicador de susceptibilidad residual para $S_2$ ($0 \le d \le 1$).
   • El problema de control se formula como un Proceso de Decisión de Markov (MDP) donde el estado incluye las poblaciones de los compartimentos normalizadas y la fracción de tiempo transcurrido. La función de recompensa equilibra la penalización cuadrática de las infecciones frente al costo económico de las intervenciones.

2. Arquitectura de Control (Soft Actor-Critic):

   • Los autores emplean el algoritmo Soft Actor-Critic (SAC), un método de RL de máxima entropía.
   • El agente genera un vector de acción bruto en $[-1, 1]^3$, que se decodifica de forma determinante mediante un mapeo "squashed-Gaussian" para asegurar que las señales de control ($\beta, \alpha_1, d$) permanezcan estrictamente dentro de los límites físicamente admisibles.
   • Esta propiedad de acciones acotadas es crítica, ya que permite que el sistema de bucle cerrado sea tratado como un sistema dinámico de retroalimentación bien planteado incluso durante el proceso de entrenamiento.

3. Análisis Analítico:

   • Bien planteamiento (Well-posedness): El Teorema 2.1 demuestra que, para cualquier política medible (incluidas las no entrenadas), el sistema permanece invariante positivo y acotado, asegurando que el número de reproducción efectivo $R_{eff}(t)$ esté siempre bien definido.
   • Estabilidad y Bifurcación: Al "congelar" la política a un valor constante, los autores derivan el Equilibrio Libre de Enfermedad (DFE) y el Equilibrio Endémico (EE). Demuestran la estabilidad asintótica local para el DFE cuando $R_0 < 1$ y para el EE cuando $R_0 > 1$.
   • Tipo de Bifurcación: Mediante la reducción de variedad central (center-manifold reduction), el Teorema 3.3 establece que el sistema experimenta una bifurcación transcrítica hacia adelante (supercrítica) en $R_0 = 1$ cuando se varía el parámetro de respuesta conductual $d$. Crucialmente, esto demuestra que ningún estado endémico estable puede coexistir con un equilibrio libre de enfermedad estable por debajo del umbral, lo que implica que reducir $R_0$ por debajo de 1 es suficiente para la erradicación en este modelo.

4. Experimentos Numéricos:

   • El modelo fue calibrado utilizando datos reales de incidencia de COVID-19 de Italia, Alemania y Corea del Sur.
   • La política entrenada de SAC se comparó contra dos líneas base: "Sin Control" y "Control Estático" (parámetros fijos).
   • La robustez se probó mediante análisis de sensibilidad (variando $\beta_0$ y $\alpha_1$) y simulaciones de Monte Carlo (perturbando todos los parámetros en $\pm 20\%$).

Resultados Clave

• Desempeño Superior: La estrategia controlada por SAC superó significativamente a ambas líneas base. Comparado con el escenario de "Sin Control", SAC redujo las tasas de infección pico en más del 95% en los tres países. Comparado con el "Control Estático", SAC logró una reducción adicional del 26 al 64% en las infecciones pico.
• Eficiencia de Costos: La política de SAC logró estas reducciones con costos de intervención acumulados menores que la estrategia estática. El agente aprendió a concentrar los esfuerzos durante la fase de crecimiento exponencial y a relajar las restricciones a medida que la epidemia remitía.
• Estrategia Adaptativa: La política aprendida se descompuso naturalmente en tres fases: (1) Supresión (reduciendo drásticamente $\beta$ y maximizando $\alpha_1$), (2) Mantenimiento (manteniendo $R_{eff} < 1$), y (3) Relajación (liberando gradualmente las restricciones). Este comportamiento adaptativo es estructuralmente imposible para las políticas estáticas e invariantes en el tiempo.
• Robustez: Los análisis de sensibilidad y de Monte Carlo confirmaron que la política de SAC mantiene un control efectivo (infección pico < 2%) a través de una amplia gama de variaciones de parámetros, degradándose solo en escenarios extremos de alta transmisibilidad combinada con baja capacidad de respuesta conductual.

Significancia y Reivindicaciones
Los autores sostienen que su principal contribución es el desarrollo de un marco de doble trazabilidad: un controlador de aprendizaje por refuerzo que es simultáneamente transparente analíticamente y eficaz empíricamente.

• Transparencia Analítica: A diferencia de muchos enfoques de RL de "caja negra", los autores demuestran que el sistema controlado por SAC retiene las propiedades matemáticas de los modelos compartimentales clásicos. Específicamente, la naturaleza acotada de la política de SAC permite un análisis riguroso de equilibrio y bifurcación, demostrando que el controlador aprendido respeta la dinámica de umbral fundamental ($R_0 = 1$) de la enfermedad.
• Distinción Metodológica: El trabajo se distingue de la literatura previa al combinar una arquitectura de actor-crítico de máxima entropía fuera de la política (off-policy) con un análisis explícito de estabilidad y bifurcación del modelo subyacente.
• Implicación Práctica: Los resultados sugieren que el RL puede servir como una herramienta flexible para el control epidémico en tiempo real en poblaciones con heterogeneidad conductual, ofreciendo estrategias que son más efectivas y menos costosas que las intervenciones estáticas, manteniendo al mismo tiempo la robustez ante la incertidumbre de los parámetros.

Los autores señalan limitaciones, incluyendo la falta de estructura de edad, mezcla espacial y retrasos temporales en la implementación de políticas, e identifican la extensión del análisis de bifurcación al parámetro de conciencia $\alpha_1$ (que requiere computaciones de variedad central de orden superior) como un problema abierto para trabajos futuros.