From metric to action: The decision value of infectious disease forecasts

Cet article propose un cadre conceptuel intégrant la théorie de l'information et la théorie de la décision pour évaluer la valeur décisionnelle des prévisions épidémiques, en les traduisant en grandeurs sanitaires interprétables afin de mieux soutenir les décideurs publics face aux incertitudes.

L'essentiel

🌧️ De la Prévision Météo à la Décision : Comment choisir le bon modèle pour sauver des vies

Imaginez que vous êtes le capitaine d'un navire (le décideur de santé publique) et que vous devez traverser une mer orageuse (une épidémie). Vous avez plusieurs cartes de navigation (les modèles de prévision) qui vous disent où seront les vagues demain. Mais laquelle de ces cartes vous aidera vraiment à éviter le naufrage ?

C'est exactement le problème que résout cette étude. Jusqu'à présent, on évaluait les cartes en regardant à quel point elles étaient "mathématiquement précises". Mais l'auteur nous dit : "La précision mathématique ne sert à rien si elle ne vous aide pas à prendre la bonne décision."

Voici les trois idées clés de l'article, expliquées avec des analogies :

1. Le problème : La différence entre "avoir raison" et "être utile"

Pensez à un prévisionniste météo.

• L'approche ancienne : On dit "Ce modèle est le meilleur" parce qu'il a prédit la température exacte à 0,1 degré près, même si personne n'a besoin de cette précision pour décider s'il faut sortir son parapluie.
• L'approche nouvelle (celle de l'article) : On demande : "Ce modèle m'aide-t-il à décider s'il faut fermer l'école ou non ?"

L'article explique que les modèles sont souvent jugés par des mathématiciens (les prévisionnistes) sur des critères techniques. Mais ce qui compte vraiment, c'est la valeur pour le décideur. Un modèle peut être "moins précis" en moyenne, mais meilleur pour vous dire : "Attention, il y a un risque de 20 % d'une vague géante, donc fermez les écoles."

2. La solution : Le "Menu à la carte" pour les décideurs

L'équipe propose un nouveau cadre de travail (un "menu") pour évaluer les modèles. Au lieu de chercher un seul modèle "gagnant" pour tout le monde, ils disent qu'il faut adapter le modèle à la situation et à la personnalité du décideur.

Imaginez que vous achetez une voiture :

• Le décideur A (très prudent) : Il veut éviter tout accident, même si cela coûte très cher. Il préfère un modèle qui sonne l'alarme dès qu'il y a un petit nuage noir (il accepte de se tromper souvent pour ne rien rater).
• Le décideur B (plus risqué) : Il veut éviter de gaspiller de l'argent. Il ne veut fermer l'école que s'il y a une tempête certaine.

L'article montre comment mesurer quel modèle est le meilleur pour le décideur A et quel modèle est le meilleur pour le décideur B. Ils utilisent des outils comme le Murphy Diagram (une sorte de carte au trésor qui montre où chaque modèle brille ou échoue selon vos besoins) et la Valeur Économique Relative (qui calcule si le modèle vous a fait gagner ou perdre de l'argent/santé par rapport à une décision au hasard).

3. La météo changeante : Quand la prévision devient impossible

Les épidémies sont comme la météo : parfois, tout est calme et prévisible, et parfois, c'est le chaos total.

• L'analogie : Si vous essayez de prédire la trajectoire d'une feuille qui tombe dans un ouragan, aucun modèle ne sera parfait.
• L'apport de l'article : Ils ajoutent une étape cruciale : mesurer le "chaos". Avant de choisir un modèle, ils vérifient si la situation est prévisible ou non. Si l'épidémie est très chaotique, ils savent qu'il ne faut pas faire confiance aveuglément à un modèle, même s'il a bien fonctionné la semaine dernière. C'est comme dire : "Aujourd'hui, la mer est trop agitée pour utiliser cette carte, utilisons une autre stratégie."

🏆 Le verdict de l'étude (appliqué au COVID-19)

En testant ce nouveau système sur les prévisions du COVID-19 aux États-Unis, ils ont découvert quelque chose d'intéressant :

• Souvent, le modèle "moyen" (le modèle qui combine les avis de plusieurs experts, appelé l'Ensemble) était le plus utile pour la plupart des décideurs.
• Mais ! Pour des situations très spécifiques (par exemple, un décideur très effrayé par les pics de cas), un modèle différent pouvait être bien meilleur.

💡 En résumé

Cet article est un manuel d'instruction pour passer de "Qui a le meilleur score de maths ?" à "Qui m'aide le mieux à prendre la bonne décision pour protéger ma population ?".

Il nous apprend que :

1. Il n'y a pas de modèle parfait pour tout le monde.
2. Il faut définir ce que l'on veut éviter (mourir ? perdre de l'argent ?).
3. Il faut savoir quand faire confiance aux prévisions et quand se méfier du chaos.

C'est un changement de perspective majeur : on ne demande plus au modèle d'être un génie des mathématiques, mais un partenaire de confiance pour prendre des décisions difficiles dans l'incertitude.

Résumé technique

1. Problématique : Le fossé entre la prévision et la décision

Les prévisions épidémiologiques sont devenues un outil crucial pour soutenir les décisions de santé publique, notamment lors d'épidémies comme la COVID-19. Cependant, l'article identifie un problème fondamental : l'évaluation actuelle des modèles de prévision est déconnectée des besoins réels des décideurs.

• Limites des métriques actuelles : La plupart des évaluations se concentrent sur la qualité statistique des prévisions (calibration, netteté) sous l'angle du prévisionniste (ex: CRPS, WIS, Brier Score). Ces métriques agrègent souvent les erreurs sur l'ensemble de la distribution de probabilité sans tenir compte des préférences de risque spécifiques des décideurs.
• L'absence de valeur décisionnelle : Une prévision peut être statistiquement « bonne » (bien calibrée) mais offrir peu de valeur pour une décision spécifique (ex: décider d'augmenter la capacité des lits de réanimation). Il n'existe pas de protocole systématique pour mesurer la « valeur » d'une prévision, c'est-à-dire sa capacité à fournir des informations exploitables pour l'action.
• Le défi de l'incertitude : Les décideurs doivent agir face à des données bruitées, incomplètes et retardées, avec des dynamiques non linéaires et une pression sociétale élevée.

2. Méthodologie : Un cadre d'évaluation centré sur le décideur

Les auteurs proposent un nouveau cadre d'évaluation systématique qui fusionne la théorie de la décision, la théorie de l'information et les pratiques de la prévision météorologique. Ce cadre vise à évaluer les prévisions en fonction de leur utilité pour un décideur spécifique.

A. Le cadre conceptuel (Workflow)

Le processus (illustré dans la Figure 1) commence par la définition d'une question politique spécifique (ex: « L'incidence dépassera-t-elle le seuil X ? ») et d'un objectif de politique publique. Il ne s'agit plus de trouver le « meilleur modèle » absolu, mais le modèle optimal pour une décision donnée.

B. Intégration de la théorie Coût-Perte (Cost-Loss)

Le cœur de la méthodologie repose sur le rapport Coût-Perte ($C/L$) :

• Coût ($P$) : Le coût de la prise d'une mesure préventive (ex: ouvrir des lits de réa).
• Perte évitable ($Q$) : La perte subie si l'événement se produit sans action (ex: décès, surcharge hospitalière).
• Ratio $S = P/Q$ : Ce ratio définit la préférence de risque du décideur. Un ratio faible indique une grande aversion au risque (il vaut mieux agir même si la probabilité est faible).

Les auteurs démontrent que les métriques de scoring classiques (comme le CRPS) sont en réalité des intégrales pondérées de scores élémentaires basés sur ces ratios $C/L$.

C. Nouvelles métriques et visualisations

Pour évaluer la valeur décisionnelle, le cadre introduit plusieurs outils :

1. Valeur Économique Relative (REV) : Mesure l'économie réalisée par un modèle par rapport à un modèle de référence (ou un modèle parfait) pour un seuil d'événement et un ratio $C/L$ donnés.
2. Diagrammes de Murphy : Des visualisations qui tracent la performance d'un modèle en fonction soit de différents seuils d'événements (pour un décideur fixe), soit de différents ratios $C/L$ (pour un événement fixe). Cela permet d'identifier les modèles dominants selon le profil de risque.
3. Décomposition CORP : Utilisation de l'algorithme CORP pour décomposer les scores en trois composantes interprétables :
   • MCB (Miscalibration) : Mauvaise calibration.
   • DSC (Discrimination) : Capacité à distinguer les événements.
   • UNC (Uncertainty) : Variabilité irréductible des données.
4. Analyse de Prévisibilité (Entropie de Permutation) : Introduction d'une mesure de la prévisibilité intrinsèque de l'épidémie ($f$) basée sur l'entropie de permutation. Cela permet de déterminer si la performance d'un modèle est due à sa qualité ou simplement à la prévisibilité naturelle du système à un moment donné.

3. Contributions Clés

1. Changement de paradigme : Passage d'une évaluation centrée sur le prévisionniste (statistique pure) à une évaluation centrée sur le décideur (valeur opérationnelle).
2. Lien explicite entre métriques et décisions : Démonstration mathématique que les scores de prévision standards sont des cas particuliers de fonctions d'utilité liées aux ratios Coût-Perte.
3. Outils de diagnostic avancés : Développement de diagrammes de Murphy et de courbes REV pour visualiser comment la valeur d'un modèle varie selon les préférences de risque et la sévérité de l'événement.
4. Intégration de la prévisibilité : Proposition d'utiliser l'entropie de permutation pour anticiper la fiabilité future des modèles et éviter de faire confiance à des modèles performants uniquement parce que l'épidémie était prévisible à ce moment-là.

4. Résultats de l'Application (COVID-19)

Les auteurs ont appliqué ce cadre aux prévisions hebdomadaires de cas incidents de la COVID-19 aux États-Unis (2020-2022).

• Performance des modèles d'ensemble : Les modèles d'ensemble (moyenne pondérée de plusieurs modèles) ont généralement offert la meilleure valeur décisionnelle pour une large gamme de préférences de risque, surpassant souvent les modèles individuels.
• Hétérogénéité des performances : Le « meilleur » modèle varie considérablement selon le ratio $C/L$ du décideur et le seuil d'événement considéré. Un modèle performant en moyenne (CRPS) peut être sous-optimal pour un décideur très aversif au risque (seuil de haut quantile).
• Impact de la prévisibilité : La prévisibilité de l'épidémie (mesurée par l'entropie) varie dans le temps et l'espace.
  • Les modèles ont montré une performance relative supérieure lors de phases moins prévisibles (dynamiques complexes).
  • Cependant, même lors de phases prévisibles, les intervalles de prédiction (PI) centraux à 95% étaient souvent sous-estimés (couverture < 95%), suggérant un besoin de réajustement des poids des ensembles.
• Visualisation des compromis : Les diagrammes de Murphy ont permis d'identifier que certains modèles (comme Karlen-pypm) étaient particulièrement performants pour des décideurs spécifiques ou des événements extrêmes, là où l'ensemble global pouvait être moins précis.

5. Signification et Implications

Ce travail fournit une fondation théorique et pratique pour aligner la modélisation épidémique sur la prise de décision réelle.

• Pour les décideurs : Le cadre permet de choisir le modèle de prévision le plus adapté à leur contexte spécifique (ressources, tolérance au risque, seuils d'alerte), plutôt que de suivre aveuglément le modèle « gagnant » statistique.
• Pour les modélisateurs : Il offre une nouvelle perspective pour développer des modèles qui ne visent pas seulement la précision statistique, mais la pertinence décisionnelle.
• Pour la santé publique : En intégrant les préférences de risque et les coûts réels, ce cadre améliore la crédibilité et la défendabilité des décisions politiques prises sous incertitude. Il souligne également l'importance de la communication continue entre modélisateurs, économistes et décideurs pour définir les ratios Coût-Perte réalistes.

En conclusion, l'article plaide pour une approche « 3-U » (utile, utilisable, utilisé) où l'évaluation des prévisions est intrinsèquement liée à la valeur qu'elles apportent à l'action publique, transformant ainsi la prévision d'un exercice académique en un outil opérationnel robuste.