PRE-CISE: A PRE-calibration Coverage, Identifiability, and SEnsitivity analysis workflow to streamline model calibration

Le workflow pré-calibration PRE-CISE optimise l'étalonnage des modèles de santé en intégrant des analyses de couverture, de sensibilité et d'identifiabilité pour affiner les distributions a priori et les cibles de calibration, améliorant ainsi la fiabilité des analyses politiques.

L'essentiel

🧭 PRE-CISE : Le GPS avant de partir en voyage

Imaginez que vous êtes un chef cuisinier (le modèle de santé) qui doit préparer un plat parfait (une politique de santé) pour des milliers de personnes. Vous avez une recette, mais certains ingrédients sont mystérieux : vous ne connaissez pas exactement la quantité de sel, la température du four, ou le temps de cuisson.

Pour réussir, vous devez ajuster ces ingrédients jusqu'à ce que le plat ressemble à un plat de référence que vous connaissez bien (les données réelles). C'est ce qu'on appelle la calibration.

Le problème ? Si vous commencez à cuisiner au hasard, vous risquez de passer des heures à essayer des combinaisons impossibles, ou pire, de trouver plusieurs recettes différentes qui donnent le même goût, mais qui changent tout si vous voulez cuisiner pour demain. C'est le chaos !

C'est là qu'intervient PRE-CISE. C'est comme un GPS de pré-cuisson qui vous aide à préparer votre voyage avant même d'allumer le four. Il se compose de trois étapes magiques :

1. La Vérification de la Carte (Analyse de Couverture)

• L'analogie : Avant de partir, vous vérifiez si votre carte routière couvre bien la destination. Si vous avez défini que la température du four peut aller de 0°C à 1000°C, mais que votre plat ne cuit jamais avant 180°C, vous avez perdu du temps.
• Ce que fait PRE-CISE : Il teste rapidement des milliers de combinaisons d'ingrédients (paramètres) pour s'assurer que le modèle est capable de produire le résultat souhaité. Si le modèle ne peut pas "toucher" la cible (par exemple, prédire le bon nombre de malades), le GPS vous dit : "Hé, élargissez vos bornes ! Votre four ne chauffe pas assez ou pas assez fort." On ajuste donc les limites de nos ingrédients pour qu'ils soient réalistes.

2. Le Test de Sensibilité (Qui a le plus d'impact ?)

• L'analogie : Imaginez que vous ajustez le sel, le poivre et la cannelle. Le GPS vous dit : "Attends, changer le sel a un effet énorme sur le goût, mais changer la cannelle ne change presque rien."
• Ce que fait PRE-CISE : Il identifie quels ingrédients sont les stars de la recette. Si un ingrédient a un impact énorme sur le résultat, on le surveille de très près et on ajuste ses limites avec précision. S'il n'a aucun impact, on le laisse tranquille ou on le fixe. Cela permet de ne pas perdre de temps à chercher des aiguilles dans des bottes de foin.

3. Le Détecteur de Confusion (Analyse de Collinéarité)

• L'analogie : C'est le moment le plus subtil. Imaginez que vous essayez de deviner la quantité de sel et de poivre. Si vous augmentez le sel et que vous baissez le poivre, le goût reste exactement le même. Vous ne pouvez pas savoir quelle est la "vraie" recette. C'est ce qu'on appelle la non-identifiabilité : plusieurs recettes différentes donnent le même résultat.
• Ce que fait PRE-CISE : Il utilise un test mathématique pour voir si vos données sont assez précises pour distinguer les ingrédients.
  • Exemple du papier : Si vous regardez les cas de maladies chaque semaine, c'est comme regarder une photo floue : vous ne pouvez pas distinguer si c'est le sel ou le poivre qui fait la différence.
  • Mais si vous regardez les cas chaque jour (données haute résolution), c'est comme une photo HD : soudain, vous voyez clairement la différence entre le sel et le poivre. PRE-CISE vous dit : "Pour trouver la vraie recette, il te faut des données quotidiennes, pas hebdomadaires !"

🚀 Pourquoi c'est génial ?

Au lieu de lancer une recherche aveugle et coûteuse en temps de calcul (comme faire 10 000 essais de cuisson), PRE-CISE vous permet de :

1. Éviter les impasses : Ne pas chercher dans des zones où la recette est impossible.
2. Gagner du temps : Se concentrer sur les ingrédients qui comptent vraiment.
3. Être honnête : Savoir si les données permettent de trouver une seule vraie réponse ou s'il y a plusieurs possibilités.

En résumé

PRE-CISE, c'est l'art de préparer son terrain avant de construire la maison. Au lieu de commencer à poser des briques au hasard et de s'apercevoir que le toit ne tient pas, on vérifie d'abord que le terrain est solide, qu'on a les bons outils, et qu'on sait exactement ce qu'on veut construire.

Grâce à cette méthode, les décideurs en santé publique peuvent avoir plus confiance dans les modèles qui prédisent l'avenir (comme pour le COVID-19 ou les maladies chroniques), car ils savent que le modèle a été "nettoyé" et testé avant d'être utilisé pour prendre des décisions vitales.

Résumé technique

1. Problématique

Les modèles de politique de santé synthétisent des données empiriques et des connaissances expertes pour projeter les effets des interventions. Cependant, de nombreux paramètres (taux de transmission, probabilités de transition non observées) ne sont pas directement mesurables et doivent être estimés par calibrage (ajustement des sorties du modèle aux données observées).

Ce processus rencontre plusieurs défis majeurs :

• Coût computationnel : Le calibrage nécessite des simulations répétées dans des espaces de paramètres de haute dimension.
• Non-identifiabilité : Différents ensembles de paramètres peuvent produire des ajustements équivalents aux données cibles, rendant les projections incertaines et potentiellement divergentes pour la prise de décision.
• Mauvaise couverture des a priori : Si les distributions de probabilité a priori (les bornes initiales des paramètres) ne couvrent pas les cibles de calibrage, le processus de recherche est inefficace ou impossible.
• Absence de flux structuré : Bien que des outils comme l'analyse de sensibilité et les indices de colinéarité existent, ils sont rarement intégrés dans un flux de travail standardisé avant le calibrage intensif.

2. Méthodologie : Le flux de travail PRE-CISE

Les auteurs proposent PRE-CISE, un flux de travail pré-calibration intégrant trois analyses séquentielles pour optimiser le calibrage bayésien :

A. Analyse de Couverture (Coverage Analysis)

• Objectif : Vérifier que les sorties du modèle, générées à partir d'échantillons tirés des distributions a priori, englobent les cibles de calibrage.
• Procédure : On spécifie des bornes a priori, on échantillonne des ensembles de paramètres, on simule le modèle, et on compare les intervalles interquartiles (généralement 95 %) des prédictions aux cibles.
• Action : Si les cibles ne sont pas couvertes, les bornes des distributions a priori sont ajustées (élargies ou déplacées) avant d'entamer le calibrage coûteux.

B. Analyse de Sensibilité Locale (Local Sensitivity Analysis)

• Objectif : Quantifier l'influence de chaque paramètre sur les sorties du modèle pour guider le redimensionnement des bornes a priori.
• Procédure : Une approche « un paramètre à la fois » (one-at-a-time) est utilisée autour d'un vecteur de base (moyenne des bornes). On calcule les élasticités (changement proportionnel de la sortie par changement proportionnel du paramètre) pour former une matrice de sensibilité $S$.
• Application : Les normes des colonnes de la matrice (normes $L_1$ ou $L_2$) identifient les paramètres les plus influents. Les signes des élasticités indiquent la direction dans laquelle ajuster les bornes a priori pour améliorer la couverture des cibles.

C. Analyse de Colinéarité (Collinearity Analysis)

• Objectif : Diagnostiquer la non-identifiabilité pratique avant le calibrage complet.
• Procédure : À partir de la matrice de sensibilité normalisée, on calcule un indice de colinéarité ($\gamma$) basé sur la plus petite valeur propre du produit $S^T S$.
• Seuil : Un indice $> 15$ indique une non-identifiabilité pratique (les paramètres ne peuvent pas être récupérés de manière unique).
• Utilisation : Cette analyse permet de déterminer combien de paramètres peuvent être estimés avec un jeu de cibles donné et d'évaluer l'impact de la résolution des données (ex. : données quotidiennes vs hebdomadaires).

3. Contributions Clés

1. Intégration méthodologique : Première opérationnalisation structurée de techniques de modélisation inverse (couverture, sensibilité, colinéarité) spécifiquement pour les modèles de décision en santé.
2. Guide décisionnel : Fournit des règles claires pour ajuster les a priori, sélectionner les cibles de calibrage et anticiper les problèmes d'identifiabilité.
3. Transparence : Encourage la communication transparente des incertitudes et des solutions multiples lorsque l'identifiabilité ne peut être atteinte.
4. Applicabilité générale : Le flux est agnostique au modèle (applicable aux modèles de Markov, SEIR, microsimulations, etc.) et compatible avec des algorithmes de calibrage standards (IMIS, MCMC).

4. Résultats

Les auteurs ont validé PRE-CISE sur deux modèles :

A. Modèle Testbed « Sick-Sicker » (Markov à 4 états)

• Calibrage : 3 paramètres (probabilité de transition Sick $\to$ Sicker, ratios de mortalité excédentaire) ajustés sur la survie, la prévalence et la proportion Sick/Sicker à 10, 20 et 30 ans.
• Résultats :
  • L'analyse de couverture initiale a révélé un mauvais ajustement (sur-estimation de la prévalence).
  • La sensibilité locale a identifié que la probabilité de transition Sick $\to$ Sicker avait l'impact le plus fort. L'ajustement de ses bornes a priori a permis d'améliorer la couverture.
  • L'analyse de colinéarité a montré qu'un seul objectif de calibrage ne permettait d'identifier que 2 paramètres. L'utilisation combinée de multiples cibles temporelles a permis la récupération des 3 paramètres.

B. Étude de cas : Transmission du COVID-19 à Mexico (Modèle SEIR structuré par âge)

• Calibrage : 11 paramètres (taux de transmission, détection, efficacité des interventions non pharmaceutiques) ajustés sur les cas confirmés quotidiens.
• Résultats :
  • L'analyse de sensibilité a priorisé les taux de détection temporels et les effets de réduction des contacts.
  • L'ajustement itératif des bornes a priori a réduit l'espace de recherche, diminuant le temps de calcul de 18 %.
  • Identifiabilité : Avec des cibles quotidiennes, tous les indices de colinéarité étaient inférieurs à 15 (identifiables). Avec des cibles hebdomadaires, les indices dépassaient le seuil, indiquant une quasi-non-identifiabilité. Cela démontre l'importance cruciale de la résolution des données.

5. Signification et Impact

• Efficacité computationnelle : En affinant les a priori et en réduisant l'espace de recherche, PRE-CISE accélère la convergence des algorithmes de calibrage.
• Fiabilité des politiques : En diagnostiquant la non-identifiabilité avant le calibrage final, les décideurs peuvent éviter de fonder des stratégies sur des paramètres mal identifiés.
• Gestion de l'incertitude : Le flux de travail force les modélisateurs à reconnaître et à rapporter explicitement les zones de non-identifiabilité, offrant une vision plus honnête des limites des données disponibles.
• Recommandation pour les données : L'étude souligne que des données à haute résolution (quotidiennes vs hebdomadaires) sont souvent nécessaires pour garantir l'identifiabilité des modèles complexes.

En conclusion, PRE-CISE offre une voie pratique et transparente pour améliorer la rigueur, la reproductibilité et la fiabilité des analyses de modélisation en santé publique, en transformant le calibrage d'une « boîte noire » computationnelle en un processus itératif et diagnostiqué.