Soft Actor-Critic Control of a Behaviorally Heterogeneous S1S2IR Epidemic Model: Stability, Bifurcation, and COVID-19 Calibration

Résumé Technique : Contrôle par l'algorithme Soft Actor-Critic d'un modèle épidémique S1S2IR à hétérogénéité comportementale

Énoncé du Problème
L'article traite du défi de la conception de politiques de contrôle épidémique pour des populations présentant une hétérogénéité comportementale. Les modèles compartimentaux traditionnels supposent souvent des taux de transmission constants ou des calendriers d'intervention fixes, échouant ainsi à capturer la manière dont les individus modifient dynamiquement leur comportement (par exemple, en adoptant des mesures de protection) en réponse au risque perçu. De plus, les applications existantes de l'apprentissage par renforcement (RL) en épidémiologie manquent souvent d'un fondement analytique rigoureux concernant les propriétés de stabilité et de bifurcation des systèmes dynamiques qu'elles contrôlent. Les auteurs visent à combler cette lacune en intégrant un modèle S1S2IR à hétérogénéité comportementale (distinguant les populations susceptibles non averties des populations averties) avec un agent d'apprentissage par renforcement de type Soft Actor-Critic (SAC) afin de créer un cadre de contrôle adaptatif et fondé sur les données.

Méthodologie
Le cadre proposé fonctionne en deux phases complémentaires : la caractérisation analytique du système en boucle fermée et la validation numérique via l'entraînement du RL.

1. Formulation Mathématique (Modèle S1S2IR) :

   • La population est divisée en quatre compartiments : Susceptibles Naïfs ($S_1$), Susceptibles Avertis/Protégés ($S_2$), Infectés ($I$), et Rétablis ($R$).
   • Le modèle intègre un renouvellement démographique (naissances et décès naturels) et trois paramètres de contrôle variant dans le temps, générés par l'agent de RL :
     • $\beta(t)$ : Taux de transmission pour $S_1$.
     • $\alpha_1(t)$ : Taux de transition de $S_1$ vers $S_2$ (formation de la conscience/sensibilisation).
     • $d(t)$ : Multiplicateur de susceptibilité résiduelle pour $S_2$ ($0 \le d \le 1$).
   • Le problème de contrôle est formulé comme un processus de décision de Markov (MDP) où l'état comprend les populations des compartiments normalisées et la fraction de temps écoulée. La fonction de récompense équilibre la pénalité quadratique des infections contre le coût économique des interventions.

2. Architecture de Contrôle (Soft Actor-Critic) :

   • Les auteurs emploient l'algorithme Soft Actor-Critic (SAC), une méthode de RL à entropie maximale.
   • L'agent produit un vecteur d'action brut dans $[-1, 1]^3$, qui est décodé de manière déterministe via une application « squashed-Gaussian » pour garantir que les signaux de contrôle ($\beta, \alpha_1, d$) restent strictement dans des limites physiquement admissibles.
   • Cette propriété d'actions bornées est critique, car elle permet au système en boucle fermée d'être traité comme un système dynamique de rétroaction bien posé, même pendant le processus d'entraînement.

3. Analyse Analytique :

   • Bien-poséité : Le Théorème 2.1 prouve que pour toute politique mesurable (y compris les politiques non entraînées), le système reste invariant positivement et borné, garantissant que le nombre de reproduction effectif $R_{eff}(t)$ est toujours bien défini.
   • Stabilité et Bifurcation : En « figeant » la politique à une valeur constante, les auteurs dérivent l'Équilibre Sans Maladie (DFE) et l'Équilibre Endémique (EE). Ils prouvent la stabilité asymptotique locale pour le DFE lorsque $R_0 < 1$ et pour l'EE lorsque $R_0 > 1$.
   • Type de Bifurcation : En utilisant la réduction de la variété centrale (center-manifold reduction), le Théorème 3.3 établit que le système subit une bifurcation transcritique directe (supercritique) à $R_0 = 1$ lorsque le paramètre de réponse comportementale $d$ est fait varier. Crucialement, cela prouve qu'aucun état endémique stable ne peut coexister avec un équilibre sans maladie stable en dessous du seuil, impliquant que réduire $R_0$ en dessous de 1 est suffisant pour l'éradication dans cette structure de modèle.

4. Expériences Numériques :

   • Le modèle a été calibré à l'aide de données réelles d'incidence de la COVID-19 provenant d'Italie, d'Allemagne et de Corée du Sud.
   • La politique SAC entraînée a été comparée à deux bases de référence : « Aucun Contrôle » (No Control) et « Contrôle Statique » (Static Control, paramètres fixes).
   • La robustesse a été testée via une analyse de sensibilité (variation de $\beta_0$ et $\alpha_1$) et des simulations de Monte Carlo (perturbation de tous les paramètres de $\pm 20\%$).

Résultats Clés

• Performance Supérieure : La stratégie contrôlée par SAC a nettement surpassé les deux bases de référence. Comparée au scénario « Aucun Contrôle », la méthode SAC a réduit les pics d'infection de plus de 95 % dans les trois pays. Comparée au « Contrôle Statique », elle a obtenu une réduction supplémentaire de 26 à 64 % des pics d'infection.
• Efficacité des Coûts : La politique SAC a atteint ces réductions avec des coûts d'intervention cumulés inférieurs à ceux de la stratégie statique. L'agent a appris à concentrer les efforts durant la phase de croissance exponentielle et à relâcher les restrictions à mesure que l'épidémie s'atténuait.
• Stratégie Adaptative : La politique apprise se décompose naturellement en trois phases : (1) Suppression (réduction marquée de $\beta$ et maximisation de $\alpha_1$), (2) Maintien (maintien de $R_{eff} < 1$), et (3) Relâchement (levée progressive des restrictions). Ce comportement adaptatif est structurellement impossible pour des politiques statiques et invariantes dans le temps.
• Robustesse : Les analyses de sensibilité et de Monte Carlo ont confirmé que la politique SAC maintient un contrôle efficace (pic d'infection < 2 %) sur une large gamme de variations de paramètres, ne se dégradant que dans des scénarios extrêmes de haute transmissibilité combinée à une faible réactivité comportementale.

Signification et Revendications
Les auteurs affirment que leur principale contribution est le développement d'un cadre à double tractabilité : un contrôleur d'apprentissage par renforcement qui est simultanément analytiquement transparent et empiriquement efficace.

• Transparence Analytique : Contrairement à de nombreuses approches de RL de type « boîte noire », les auteurs démontrent que le système contrôlé par SAC conserve les propriétés mathématiques des modèles compartimentaux classiques. Plus précisément, la nature bornée de la politique SAC permet une analyse rigoureuse des équilibres et des bifurcations, prouvant que le contrôleur appris respecte les dynamiques de seuil fondamentales ($R_0 = 1$) de la maladie.
• Distinction Méthodologique : Ce travail se distingue de la littérature antérieure en combinant une architecture acteur-critique à entropie maximale hors politique (off-policy) avec une analyse explicite de la stabilité et de la bifurcation du modèle sous-jacent.
• Implication Pratique : Les résultats suggèrent que le RL peut servir d'outil flexible pour le contrôle épidémique en temps réel dans des populations à hétérogénéité comportementale, offrant des stratégies plus efficaces et moins coûteuses que les interventions statiques tout en restant robustes à l'incertitude des paramètres.

Les auteurs notent des limites, notamment l'absence de structure par âge, de mélange spatial et de délais de mise en œuvre des politiques, et identifient l'extension de l'analyse de bifurcation au paramètre de sensibilisation $\alpha_1$ (qui nécessite des calculs de variété centrale d'ordre supérieur) comme un problème ouvert pour des travaux futurs.