Quantifying advances in infectious disease forecast skill across seasons and pathogens
Cette étude introduit une nouvelle métrique de score de compétence comparant les prévisions à des références de modèles de type hindcast et de base pour démontrer que les prévisions d'ensemble et d'équipe pour l'influenza et la COVID-19 se sont généralement améliorées en termes de compétence au cours de la dernière décennie, malgré des résultats mitigés pour la COVID-19.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
Imaginez essayer de prédire la météo dans un mois. Vous connaissez les schémas généraux des saisons, mais le trajet spécifique d'une tempête, le jour exact où il pleuvra ou la force avec laquelle le vent soufflera restent des suppositions. La prévision des maladies infectieuses fonctionne de manière très similaire. Au lieu des nuages et des fronts, les scientifiques suivent les virus et les bactéries, en utilisant des données sur le nombre de personnes qui tombent malades, le nombre de personnes hospitalisées et le nombre de décès. L'objectif est de donner une longueur d'avance aux responsables de la santé publique, leur permettant de constituer des stocks de médicaments, de préparer des lits d'hôpital et d'avertir les communautés avant qu'une vague de maladie ne frappe. Depuis plus d'une décennie, des chercheurs aux États-Unis mènent une expérience collaborative massive pour voir s'ils peuvent s'améliorer dans ces prévisions. Ils ont rassemblé des milliers de prévisions provenant de dizaines d'équipes différentes, couvrant tout, de la grippe saisonnière à la pandémie mondiale de COVID-19. Mais une question cruciale demeure : ces prévisions s'améliorent-elles réellement avec le temps, ou font-elles simplement du surplace ?
Pour répondre à cela, une équipe de chercheurs de l'Université Northeastern et des Centres pour le contrôle et la prévention des maladies (CDC) a développé une nouvelle façon de mesurer le succès. Par le passé, les scientifiques comparaient les prévisions à l'aide de scores qui indiquaient quel modèle était meilleur qu'un autre pour une semaine spécifique, mais ces scores étaient difficiles à comparer entre différentes maladies ou différentes années. Un score qui semblait bon pour une saison de grippe légère pouvait paraître médiocre pour une année de pandémie chaotique, non pas parce que le modèle avait échoué, mais parce que la situation elle-même était plus difficile à prédire. Les chercheurs avaient besoin d'une règle capable de mesurer le progrès de manière équitable, quel que soit le désordre des données. Ils ont créé un « score de compétence » (skill score), une métrique qui compare chaque prévision à deux points de référence spécifiques. Le premier est un « hindcast » (rétroprévision), qui est un regard parfait vers le passé. Imaginez si vous pouviez voir l'avenir et ensuite noter exactement ce qui s'est passé, en tenant compte de tout le bruit et des erreurs dans la collecte des données. Cela représente le mieux que l'on puisse absolument faire. Le second point de référence est une « ligne de base » (baseline), une simple supposition qu'un ordinateur pourrait faire sans aucune modélisation complexe. En mesurant à quel point une véritable prévision est meilleure qu'une simple supposition, et à quel point elle se rapproche de la rétroprévision parfaite, les chercheurs pouvaient enfin voir si le domaine progressait réellement.
L'équipe a appliqué cette nouvelle règle de mesure à plus de 2,5 millions de prévisions générées sur dix ans. Ils ont examiné les prédictions pour les maladies de type grippal, les hospitalisations et les décès, ainsi que des cibles similaires pour la COVID-19. Ils ont testé ces prévisions par rapport à trois types différents de lignes de base simples : une qui regardait simplement l'historique à long terme de la maladie, une qui supposait que la semaine suivante ressemblerait exactement à la semaine précédente, et une qui suivait la tendance récente des données. Les résultats étaient clairs pour la grippe saisonnière. L'effort collectif de toutes les équipes de prévision, appelé un ensemble (ensemble), a systématiquement surpassé les simples suppositions. Plus important encore, la compétence de ces prévisions s'est améliorée régulièrement au fil du temps. Une prévision faite quatre semaines à l'avance pour la saison de grippe la plus récente était plus précise qu'une prévision faite seulement une semaine à l'avance lors de la toute première année du défi. Cela suggère qu'en ayant eu plus de temps pour apprendre, plus de données à étudier et de meilleurs outils à utiliser, les équipes sont réellement devenues plus douées pour voir l'avenir de la grippe.
L'histoire de la COVID-19 est plus complexe, reflétant les défis uniques d'une nouvelle maladie. Au début de la pandémie, lorsqu'il n'y avait presque aucune donnée historique pour apprendre, les prévisions étaient étonnamment bonnes pour prédire les cas et les décès, battant les lignes de base simples. Cependant, à mesure que la pandémie évoluait et que les règles du jeu changeaient — comme lorsque les méthodes de test ont évolué ou que les systèmes de déclaration ont été mis à jour — la précision des prévisions a chuté. Les modèles ont eu du mal à suivre ces changements soudains dans la manière dont les données étaient collectées. Si les prévisions pour les hospitalisations ont fini par montrer des signes d'amélioration, les prédictions pour les cas quotidiens et les décès n'ont pas montré la même tendance ascendante claire. Cela souligne une leçon clé : la prévision fonctionne mieux lorsque les schémas de la maladie sont stables et que les données sont cohérentes. Lorsque le sol se dérobe sous les modèles, même les algorithmes les plus intelligents peinent à trouver leurs marques.
Les chercheurs ont découvert que les prévisions les plus réussies n'étaient pas seulement le résultat d'une meilleure mathématique ou d'ordinateurs plus rapides, mais de meilleures données et d'une collaboration soutenue. Les prévisions de la grippe ont bénéficié de décennies de signalement cohérent, permettant aux modèles d'apprendre le rythme des saisons. En revanche, les difficultés liées aux prévisions de cas de la COVID-19 étaient souvent liées aux changements dans la manière dont les cas étaient comptés, ce qui introduisait une confusion qu'aucun modèle ne pouvait facilement démêler. L'étude a également révélé que, bien que les meilleures prévisions collectives soient très solides, de nombreuses équipes individuelles avaient encore du mal à battre les lignes de base les plus simples. Cela suggère que, si le domaine dans son ensemble progresse, il existe toujours un écart important entre les meilleurs modèles et les modèles moyens. Le nouveau cadre de score de compétence permet de voir ce progrès clairement, en séparant la difficulté de la tâche de la qualité de la prédiction. Il montre que la prévision des maladies infectieuses est une science en maturation, qui apprend à naviguer dans la réalité désordonnée des maladies humaines, mais il nous rappelle aussi que certains des moments les plus imprévisibles de la santé publique restent hors de portée.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.