Methods for Reproducible Comparison of Strategies in Stochastic Modelling

Ce papier démontre comment les méthodes d'appariement basées sur le hachage et de génération de nombres aléatoires pseudo-aléatoires, en particulier l'approche de hachage de Bernoulli, permettent des comparaisons efficaces et reproductibles de stratégies de simulation stochastique à travers des complexités de modèles variables tout en traitant efficacement des scénarios contrefactuels.

L'essentiel

Imaginez que vous soyez un décideur politique cherchant à choisir entre deux stratégies différentes pour stopper une maladie, comme la Stratégie A (un nouveau vaccin) et la Stratégie B (ne rien faire). Vous disposez d'un modèle informatique qui simule la propagation de la maladie. Parce que la vie réelle est désordonnée et imprévisible, votre modèle utilise des simulations « stochastiques » (aléatoires). C'est comme lancer des dés pour décider qui sera malade ensuite.

Le problème est que lorsque vous exécutez le modèle pour la Stratégie A, puis à nouveau pour la Stratégie B, les « lancers de dés » sont totalement différents à chaque fois. C'est comme comparer deux prévisions météorologiques différentes où l'une prédit de la pluie parce que l'ordinateur a lancé un 3, et l'autre prédit du soleil parce qu'il a lancé un 6. Vous ne pouvez pas savoir si la différence dans les résultats est due au fait que la stratégie est réellement meilleure, ou simplement parce que les lancers de dés aléatoires ont été malchanceux pour l'une d'elles. Ce « bruit » rend difficile de savoir quelle stratégie est vraiment la gagnante.

Cet article introduit une méthode ingénieuse pour éliminer ce bruit afin que vous puissiez comparer les stratégies équitablement.

L'idée centrale : l'astuce de l'« univers parallèle »

Les auteurs proposent une méthode appelée Appariement basé sur le hachage. Imaginez cela ainsi :

Imaginez que vous testiez deux voitures différentes (Stratégie A et Stratégie B) sur un circuit de course.

• L'ancienne méthode (Stochastique régulière) : Vous conduisez la Voiture A par une journée ensoleillée avec un vent arrière, et la Voiture B par une journée pluvieuse avec un vent de face. Si la Voiture A gagne, vous ne savez pas si c'est parce qu'elle est meilleure ou parce que la météo était plus clémente.
• La nouvelle méthode (Basée sur le hachage) : Vous conduisez les deux voitures le même jour exact, sur le même circuit exact, avec le même vent exact. La seule chose qui change est la voiture elle-même.

Dans le modèle informatique, la « météo » est la génération de nombres aléatoires. Les auteurs utilisent un outil mathématique appelé fonction de hachage pour agir comme une « machine à remonter le temps » ou une « réalité partagée ».

Voici comment cela fonctionne en termes simples :

1. Le Sel : Ils attribuent à chaque exécution de simulation un « sel » unique (comme un numéro d'identification secret).
2. Le Hachage : Avant que l'ordinateur ne lance les dés pour tout événement (comme une personne étant infectée), il examine l'heure actuelle, le type d'événement et l'ID secret. Il les fait passer dans une « machine à hacher » pour créer une graine spécifique.
3. Le Résultat : Parce que les entrées sont identiques pour les deux stratégies au même moment, les « lancers de dés » donnent le même résultat. Si 5 personnes sont infectées dans la Stratégie A, le modèle garantit que l'aléatoire sous-jacent aurait provoqué l'infection de 5 personnes dans la Stratégie B si les conditions avaient été les mêmes.

Cela permet au modèle de voir la vraie différence entre les stratégies, en éliminant la confusion causée par la chance aléatoire.

Les trois méthodes proposées

L'article suggère trois façons spécifiques de procéder, selon la complexité de votre modèle :

1. La méthode de hachage par défaut (L'approche « proportionnelle »)

• Fonctionnement : Elle utilise le générateur de nombres aléatoires standard mais réinitialise la graine à l'aide de la fonction de hachage avant chaque événement.
• L'analogie : Imaginez deux seaux d'eau. Si vous versez de l'eau dans le Seau A, la méthode de hachage garantit que si le Seau B contient deux fois plus d'eau, il reçoit exactement deux fois plus de « éclaboussures aléatoires ».
• Avantages/Inconvénients : C'est rapide et facile à utiliser. Cependant, il présente une petite particularité : il suppose que l'aléatoire s'adapte parfaitement au nombre de personnes. C'est comme dire que si vous avez 100 personnes, la « mauvaise chance » est exactement 100 fois pire que si vous avez 1 personne. Cela est généralement acceptable, mais pas parfaitement réaliste pour chaque individu.

2. La méthode de hachage de Bernoulli (L'approche « individuelle »)

• Fonctionnement : Au lieu de lancer un gros dé pour tout le groupe, elle lance une petite pièce pour chaque personne du modèle pour voir si elle est infectée.
• L'analogie : Au lieu de deviner combien de personnes dans une foule attraperont un rhume, vous vous approchez de chaque personne et demandez : « L'avez-vous attrapé ? » en utilisant la même logique de lancer de pièce pour les deux stratégies.
• Avantages/Inconvénients : C'est le plus précis car il traite chaque personne comme un individu. Cependant, c'est très lent. Si vous avez une ville de 1 million d'habitants, l'ordinateur doit lancer une pièce 1 million de fois pour chaque étape de la simulation. C'est comme essayer de compter chaque grain de sable sur une plage un par un.

3. La méthode de Bernoulli tronquée (Le « raccourci intelligent »)

• Fonctionnement : C'est un compromis. Elle sait que dans la plupart des cas, seule une poignée de personnes tombera malade à la fois. Ainsi, au lieu de lancer une pièce pour tout le monde, elle ne lance des pièces que pour les quelques « susceptibles », et saute le reste.
• L'analogie : Imaginez une loterie avec 1 million de billets, mais vous savez que seulement 5 personnes gagneront. Au lieu de vérifier les 1 million de billets, vous utilisez un astuce intelligente pour ne vérifier que les 5 billets qui ont une chance de gagner.
• Avantages/Inconvénients : C'est beaucoup plus rapide que la méthode de Bernoulli complète, mais toujours très précis pour les maladies qui se propagent lentement. C'est la solution « Goldilocks » (ni trop, ni trop peu) pour les modèles complexes.

Ce qu'ils ont découvert (Les résultats)

Les auteurs ont testé ces méthodes sur deux modèles :

1. Un modèle simple (SEIRV) : Un modèle de base d'une maladie évitable par la vaccination.
   • Résultat : Les nouvelles méthodes de hachage étaient beaucoup plus claires. Le « bruit » a disparu. Ils pouvaient clairement voir que le vaccin fonctionnait, alors que les anciennes méthodes faisaient parfois croire que le vaccin était inutile, voire nocif, simplement à cause d'une mauvaise chance aléatoire dans la simulation.
2. Un modèle complexe (gHAT) : Un modèle détaillé de la maladie du sommeil africaine, impliquant des mouches, des humains et différentes interventions.
   • Résultat : La méthode « Bernoulli tronquée » a été la gagnante ici. Elle leur a permis de comparer des stratégies (comme le dépistage actif contre le contrôle des vecteurs) sans que le bruit aléatoire ne brouille les résultats. Ils pouvaient affirmer avec confiance : « La Stratégie X est meilleure », sans s'inquiéter que l'ordinateur ait simplement mal lancé les dés.

Pourquoi cela compte

L'article soutient que sans ces méthodes, les décideurs politiques pourraient prendre de mauvaises décisions.

• Le risque : Si le bruit aléatoire fait paraître une bonne stratégie mauvaise, un décideur politique pourrait rejeter un vaccin qui sauve des vies.
• Le bénéfice : En utilisant ces méthodes de hachage « univers parallèle », la comparaison devient équitable. Vous comparez la stratégie, pas la chance.

Résumé

L'article ne prétend pas guérir des maladies ni inventer de nouveaux vaccins. Il fournit simplement une meilleure règle pour mesurer l'efficacité de différentes stratégies dans les modèles informatiques. Il garantit que lorsque les scientifiques disent « La Stratégie A est meilleure que la Stratégie B », ils le pensent réellement, et non pas simplement parce qu'ils ont eu de la chance avec les lancers de dés.

• Modèles simples : Utilisez la méthode Bernoulli pour une précision maximale.
• Modèles complexes : Utilisez la méthode Bernoulli tronquée pour un équilibre entre vitesse et précision.
• Usage général : La méthode de hachage par défaut est une option solide et rapide pour la plupart des situations.

Les auteurs soulignent que ces méthodes sont spécifiquement conçues pour les simulations tau-leaping (une méthode courante pour exécuter des modèles de maladies) et visent à rendre le « contrefactuel » (ce qui se serait passé si nous avions fait autre chose) beaucoup plus clair et moins bruyant.

Résumé technique

1. Énoncé du problème

Les simulations stochastiques sont essentielles pour modéliser des phénomènes réels tels que la dynamique des maladies infectieuses, car elles capturent l'incertitude et produisent des sorties entières discrètes (cruciales pour modéliser les événements d'extinction). Cependant, un défi majeur surgit lors de la comparaison de différentes stratégies d'intervention (par exemple, Stratégie A vs Stratégie B) à l'aide de ces modèles.

• Le problème central : Dans les simulations stochastiques standard, le « bruit » introduit par la génération de nombres aléatoires (RNG) est indépendant entre les différentes exécutions de stratégies. Lors de la comparaison de deux stratégies, cette indépendance crée un bruit statistique qui obscurcit la véritable différence entre elles.
• La conséquence : Les décideurs politiques peuvent conclure à tort qu'une stratégie supérieure est inférieure (ou inversement) en raison d'une variance aléatoire plutôt que de la dynamique réelle du modèle. Cela est particulièrement problématique lors du calcul de métriques telles que la probabilité qu'une stratégie soit meilleure qu'une autre, ou lors de l'évaluation de scénarios contrefactuels (par exemple, « Que se serait-il passé si nous avions intervenu plus tôt ? »).
• Limites des solutions existantes :
  • RNG avec graine fixe : Définir la même graine initiale pour différentes stratégies échoue car les trajectoires de simulation divergent immédiatement, brisant la dépendance entre les scénarios de « même réalité ».
  • Contrefactuels parfaits (par exemple, Kaminsky et al.) : Ces méthodes suivent chaque individu pour assurer un alignement parfait, mais elles sont prohibitives sur le plan computationnel (nécessitant une énorme quantité de RAM et de temps) et souvent incompatibles avec les modèles compartimentaux standards.

2. Méthodologie

Les auteurs proposent une suite de méthodes de génération de nombres pseudo-aléatoires (PRNG) basées sur le hachage. Ces méthodes garantissent que lorsque deux simulations (stratégies) rencontrent le même « événement » (défini par le temps, l'état et le type d'événement), elles génèrent le même résultat aléatoire, créant ainsi une dépendance statistique (couplage) entre les réalisations.

L'article s'appuie sur le package hashprng (Pearson & Abbott) et introduit trois approches spécifiques :

A. Méthode de hachage par défaut

• Mécanisme : Avant de tirer un nombre aléatoire pour un événement (généralement à partir d'une distribution de Poisson dans les algorithmes de saut tau), la graine aléatoire est définie sur la sortie d'une fonction de hachage.
• Entrées : La fonction de hachage prend l'intervalle de temps, un « sel » unique (identifiant la trajectoire de simulation spécifique) et le type d'événement.
• Propriété : Cela garantit que si deux stratégies ont le même nombre d'individus et les mêmes taux à un moment donné, elles tirent du même percentile de la distribution.
• Limitation : Elle présente une « proportionnalité ». Si la Stratégie B a $N$ individus de plus que la Stratégie A, le nombre d'événements dans B sera approximativement proportionnel aux individus supplémentaires, plutôt que d'être une réalisation indépendante du risque supplémentaire.

B. Méthode de hachage de Bernoulli

• Mécanisme : Remplace le tirage de Poisson par une somme d'épreuves de Bernoulli. Pour $N$ individus, l'algorithme tire $N$ variables aléatoires de Bernoulli (0 ou 1) pour déterminer si chaque individu subit l'événement.
• Dépendance : Les nombres aléatoires uniformes sous-jacents pour les tirages de Bernoulli sont générés via la même fonction de hachage.
• Avantage : Cela élimine le problème de « proportionnalité ». Si la Stratégie A a $k$ infections, la Stratégie B (avec plus de sujets sensibles) aura entre $k$ et $k + \Delta N$ infections, assurant une résolution cohérente des événements (plus de personnes ≠ moins d'événements).
• Inconvénient : Coûteux en calcul pour les grandes populations car il nécessite de tirer un nombre aléatoire pour chaque individu à chaque intervalle de temps.

C. Méthode de hachage de Bernoulli tronquée

• Mécanisme : Une optimisation computationnelle de la méthode de Bernoulli conçue pour les grandes populations avec de faibles taux d'événements. Au lieu de tirer $N$ variables de Bernoulli, elle tire un nombre limité ($m$) de variables de la queue de la distribution en utilisant des statistiques d'ordre (distribution Beta).
• Logique : Puisque le nombre attendu d'événements est généralement bien inférieur à la taille de la population ($E \ll N$), l'algorithme ne simule que la partie « active » de la distribution.
• Compromis : Elle est significativement plus rapide que le hachage de Bernoulli complet, mais introduit une très faible probabilité de « résolution incohérente » (où l'ajout d'une personne pourrait théoriquement causer plus de $m$ événements). Cette probabilité tend vers zéro à mesure que l'intervalle de temps diminue.

3. Contributions clés

1. Algorithmes novateurs : Introduction des méthodes de hachage de Bernoulli et de hachage de Bernoulli tronqué, étendant le cadre existant hashprng pour résoudre les problèmes de proportionnalité et d'évolutivité computationnelle.
2. Cadre théorique : Définition formelle de la « résolution cohérente des événements » et des propriétés mathématiques requises pour les comparaisons contrefactuelles dans les modèles stochastiques.
3. Analyse comparative : Une comparaison rigoureuse de ces nouvelles méthodes par rapport aux approches stochastiques standard, stochastiques avec graine fixe et « contrefactuels parfaits ».
4. Implémentation pratique : Démonstration de la manière d'intégrer ces méthodes dans des modèles épidémiologiques complexes (SEIRV et gHAT) sans nécessiter de modélisation basée sur les individus (IBM).

4. Résultats

Les auteurs ont testé leurs méthodes sur deux modèles épidémiologiques :

Étude de cas 1 : SEIRV (Infection simple évitable par vaccination)

• Configuration : Comparaison des stratégies de vaccination par rapport à aucune intervention.
• Constats :
  • Réduction de la variance : Les deux méthodes de hachage ont considérablement réduit la variance des « infections évitées » par rapport aux méthodes stochastiques standard et à graine fixe.
  • Supériorité de Bernoulli : La méthode de Bernoulli a fourni la variance la plus faible (meilleur couplage statistique) tout en maintenant des temps d'exécution raisonnables pour ce modèle simple.
  • Réalisme : Les méthodes standard et à graine fixe ont occasionnellement produit des « infections évitées négatives » (impliquant que la vaccination a causé plus d'infections), une impossibilité logique. Les méthodes de hachage ont éliminé ces artefacts.
  • Performance : Les méthodes de hachage étaient plus lentes que le stochastique standard (2 à 4 fois), mais le compromis en termes de précision a été jugé nécessaire.

Étude de cas 2 : gHAT (Modèle complexe de la maladie du sommeil africaine)

• Configuration : Un modèle complexe de maladie à transmission vectorielle impliquant un dépistage actif et un contrôle vectoriel.
• Constats :
  • Évolutivité : La méthode de Bernoulli complète était trop lente (plus de 100 fois). La méthode de Bernoulli tronquée a été mise en œuvre avec succès, offrant un équilibre entre vitesse et précision.
  • Prise de décision : Dans les analyses coût-efficacité (Bénéfice Monétaire Net), les méthodes de hachage ont produit une séparation plus claire entre les stratégies. Les méthodes standard montraient un bruit élevé, rendant difficile la détermination de la stratégie optimale à différents seuils de volonté de payer.
  • Dernier événement de transmission (LTE) : Les méthodes de hachage ont fourni des prédictions plus précises et moins bruitées pour l'année du dernier événement de transmission, une métrique critique pour les objectifs d'élimination.

5. Importance et implications

• Impact sur les politiques : Les méthodes permettent aux décideurs politiques de prendre des décisions à risque évité avec une plus grande confiance. En réduisant le « bruit » entre les stratégies, la probabilité qu'une stratégie soit véritablement meilleure qu'une autre peut être estimée plus précisément, évitant le rejet d'interventions bénéfiques en raison d'artefacts de simulation.
• Efficacité computationnelle : Les méthodes proposées offrent un « juste milieu » entre les « contrefactuels parfaits » infeasibles (basés sur les individus) et les approches stochastiques « standard » bruyantes. Elles sont applicables aux modèles compartimentaux standards sans nécessiter une réécriture complète du modèle.
• Généralisabilité : Bien que testées en épidémiologie, l'approche est applicable à toute simulation stochastique où la comparaison de scénarios contrefactuels est requise (par exemple, écologie, économie).
• Limites : Les méthodes sont spécifiques aux algorithmes de saut tau. L'approche de Bernoulli reste lourde en calcul pour les modèles à haut taux et grandes populations, nécessitant l'utilisation de la version tronquée, qui comporte un petit risque théorique d'incohérence.

Conclusion : L'article établit que l'appariement basé sur le hachage est une méthode robuste, computationnellement réalisable et statistiquement supérieure pour comparer des stratégies stochastiques, améliorant considérablement la fiabilité des preuves utilisées dans les politiques de santé publique.