📊 statistics

Bayesian sample size calculations for external validation studies of risk prediction models

Cet article propose un cadre bayésien général pour le calcul de la taille d'échantillon dans les études de validation externe de modèles de prédiction, permettant de quantifier l'incertitude sur la performance du modèle et d'optimiser la taille de l'échantillon en fonction de critères multiples tels que la précision attendue, la probabilité d'assurance ou la valeur de l'information, comme démontré dans une étude de cas sur la prédiction de la détérioration des patients hospitalisés atteints de COVID-19.

Auteurs originaux : Mohsen Sadatsafavi, Paul Gustafson, Solmaz Setayeshgar, Laure Wynants, Richard D Riley

Publié 2026-02-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mohsen Sadatsafavi, Paul Gustafson, Solmaz Setayeshgar, Laure Wynants, Richard D Riley

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌧️ Prévoir la pluie : Comment bien choisir la taille de son parapluie (ou de son étude)

Imaginez que vous êtes un météorologue. Vous avez créé un modèle très sophistiqué pour prédire s'il va pleuvoir à Paris. Ce modèle fonctionne bien à Lyon, à Marseille et à Bordeaux. Mais maintenant, vous voulez l'essayer à Paris.

Le problème ? Vous ne savez pas exactement comment il va se comporter à Paris. Peut-être que la pluie y est plus fine, ou plus violente. Pour être sûr que votre modèle est fiable, vous devez mener une étude de validation (un test sur le terrain). Mais avant de partir, vous devez répondre à une question cruciale : Combien de personnes devez-vous observer pour être convaincu ?

C'est là que cet article intervient. Il propose une nouvelle façon de répondre à cette question, en passant d'une approche "rigide" à une approche "intelligente et flexible".

1. L'ancienne méthode : Le tire-au-flanc (Approche Fréquentiste)

Jusqu'à présent, pour calculer le nombre de personnes à tester, les chercheurs utilisaient une méthode un peu comme un jeu de devinettes avec des règles strictes.

Le principe : Ils devaient deviner un chiffre fixe pour la performance du modèle (par exemple : "Le modèle sera bon à 75 %").
Le problème : C'est comme si vous disiez : "Je parie que la pluie tombera exactement à 5 mm." Mais en réalité, vous ne savez pas ! Vous avez seulement une idée approximative basée sur d'autres villes.
La conséquence : Si vous vous trompez sur votre chiffre de départ, votre calcul du nombre de personnes est faux. Soit vous en prenez trop (ce qui coûte cher et prend du temps), soit pas assez (et vous ne savez toujours pas si le modèle fonctionne).

De plus, cette méthode se concentrait uniquement sur la précision statistique (avoir une marge d'erreur très petite), comme si l'objectif était d'avoir une règle de mesure parfaite, sans se soucier de savoir si cette règle vous aide vraiment à prendre une décision (comme emporter un parapluie ou non).

2. La nouvelle méthode : Le Chef Cuisinier prudent (Approche Bayésienne)

Les auteurs de cet article proposent une approche Bayésienne. Imaginez un chef cuisinier qui prépare un grand banquet.

L'incertitude est la clé : Au lieu de dire "Je suis sûr à 100% que le plat sera bon", le chef dit : "D'après mes expériences passées, il y a 90 % de chances que ce soit délicieux, mais il y a un risque qu'il soit un peu trop salé."
Utiliser tout ce qu'on sait : Cette méthode permet d'intégrer toutes les informations précédentes (les tests à Lyon, Marseille, etc.) non pas comme des faits absolus, mais comme des probabilités. On crée une "carte des possibles" plutôt qu'un point fixe.

Les trois nouveaux outils du Chef :

A. La règle de la "Sécurité" (Assurance)
Au lieu de viser une précision moyenne, on demande : "Combien de personnes dois-je tester pour avoir 90 % de certitude que mon résultat sera bon ?"

Analogie : C'est comme acheter un parapluie. Vous ne voulez pas juste qu'il pleuve "en moyenne" moins fort. Vous voulez être sûr (à 90 %) que vous ne serez pas trempé, même s'il y a une forte averse. Cela vous oblige à prendre un parapluie un peu plus grand (un échantillon plus grand) pour être tranquille.

B. La règle de la "Valeur de l'Information" (VoI)
C'est la partie la plus intelligente. Elle se demande : "Est-ce que le temps et l'argent que je vais dépenser pour tester 1000 personnes valent vraiment le coup ?"

Analogie : Imaginez que vous avez déjà une très bonne idée de la météo. Tester 1000 personnes de plus ne vous apportera qu'une toute petite amélioration de votre prévision (peut-être 1 % de plus de précision).
Le résultat : Parfois, tester 500 personnes suffit amplement pour prendre la bonne décision. Tester 1000 de plus serait du gaspillage. Cette méthode permet d'arrêter l'étude exactement au moment où l'information supplémentaire ne vaut plus l'effort.

C. La décision finale (Utilité Clinique)
Pour les modèles de santé, ce n'est pas juste une question de chiffres. C'est une question de vie ou de mort (ou de traitement).

Analogie : Le but n'est pas d'avoir la mesure de la pluie la plus précise du monde, mais de savoir si on doit fermer les écoles ou non.
La méthode Bayésienne aide à choisir la taille de l'étude pour s'assurer qu'on ne se trompera pas de décision (ex: ne pas fermer les écoles alors qu'il faut le faire, ou l'inverse).

3. L'histoire vraie : Le virus COVID-19

Pour prouver que leur méthode fonctionne, les auteurs ont pris un exemple réel : un modèle pour prédire si un patient hospitalisé pour le COVID-19 allait s'aggraver.

La situation : Ils voulaient valider ce modèle dans une nouvelle région (Londres).
L'ancienne méthode : Elle disait : "Il faut tester 1 056 patients pour être sûr." Pourquoi ? Parce qu'un seul critère (la calibration) était très exigeant.
La nouvelle méthode :
1. Elle a intégré l'incertitude : "On ne sait pas exactement comment ça va se passer à Londres, mais on a une idée."
2. Elle a utilisé la "Valeur de l'Information".
3. Résultat : Elle a montré que tester 522 patients suffisait amplement pour prendre la bonne décision clinique.
4. Gains : On économise la moitié du temps et des ressources, sans perdre en sécurité pour les patients.

En résumé : Pourquoi c'est important ?

Cet article nous dit : "Arrêtez de deviner des chiffres fixes !"

Soyez honnêtes sur l'incertitude : Admettez que vous ne savez pas tout. Utilisez vos connaissances passées comme une "carte de probabilités".
Visez la sécurité, pas juste la moyenne : Préférez être sûr à 90 % que votre étude fonctionne, plutôt que d'avoir un résultat moyen qui pourrait échouer.
Ne gaspillez pas : Utilisez la "Valeur de l'Information" pour arrêter l'étude dès que vous en savez assez pour prendre une décision.

C'est comme passer d'un tireur qui vise un point fixe (et rate souvent) à un tireur qui ajuste son viseur en temps réel en fonction du vent, de la distance et de la valeur de la cible. C'est plus flexible, plus intelligent, et surtout, plus efficace pour la science et pour la société.

1. Problématique

Le dimensionnement des échantillons pour les études de validation externe de modèles de prédiction des risques repose actuellement sur des méthodes fréquentistes (notamment celles proposées par Riley et al.). Ces approches exigent que les chercheurs spécifient des valeurs fixes pour les métriques de performance du modèle (discrimination, calibration, bénéfice net) ainsi que des niveaux de précision cibles (par exemple, la largeur d'un intervalle de confiance à 95 %).

Cependant, cette approche présente deux limites majeures :

Incertitude ignorée : Les valeurs de performance réelles dans la population cible sont inconnues avant l'étude de validation. Les méthodes actuelles traitent les estimations issues d'études précédentes comme des vérités absolues, ignorant la variabilité d'échantillonnage et l'incertitude inhérente à ces estimations antérieures.
Inadéquation pour l'utilité clinique : Pour le Bénéfice Net (Net Benefit - NB), qui est une mesure décisionnelle, l'inférence basée uniquement sur la précision statistique (largeur d'IC) est souvent jugée peu pertinente. Il est plus important de savoir si l'étude permettra d'identifier correctement la stratégie de traitement optimale plutôt que de simplement estimer un paramètre avec précision.

2. Méthodologie

Les auteurs proposent un cadre bayésien général pour le calcul de la taille d'échantillon, applicable aux modèles de prédiction de résultats binaires. Ce cadre permet de quantifier l'incertitude autour des performances du modèle et d'utiliser des règles de décision basées sur la théorie de l'information.

A. Modélisation de l'incertitude a priori ( $P(\theta)$ )

Au lieu de fixer des valeurs ponctuelles, les auteurs modélisent les paramètres de performance du modèle ( $\theta$ ) comme des variables aléatoires.

Paramètres : Le vecteur $\theta$ comprend la prévalence ( $\phi$ ), la statistique $c$ (discrimination) et la fonction de calibration ( $h$ , définie par l'ordonnée à l'origine et la pente).
Identification : En supposant une distribution spécifique pour les risques calibrés (ex: Logit-normale), la connaissance de $\{\phi, c, h\}$ permet d'identifier de manière unique la distribution conjointe des risques prédits et des résultats observés.
Sources de données : Les distributions a priori sont construites à partir de statistiques résumées d'études précédentes (estimations ponctuelles et intervalles de confiance), souvent via des méta-analyses à effets aléatoires pour capturer l'hétérogénéité entre les populations.

B. Algorithmes de Monte Carlo

Pour déterminer la taille d'échantillon, l'article propose des algorithmes de simulation (pré-postérieurs) :

Échantillonnage de $\theta$ depuis la distribution a priori $P(\theta)$ .
Simulation d'un échantillon de validation virtuel $D_N$ de taille $N$ conditionné à $\theta$ .
Calcul des métriques de performance et de leurs intervalles de confiance sur cet échantillon simulé.
Répétition de ce processus pour générer la distribution prédictive des métriques pour une taille d'échantillon donnée.

C. Règles de dimensionnement proposées

Le cadre propose trois types de règles pour déterminer $N$ :

Précision attendue (ECIW) : Cibler la largeur moyenne attendue de l'intervalle de confiance (équivalent bayésien des critères de Riley).
Assurance (QCIW) : Cibler une probabilité (ex: 90 %) que la largeur de l'intervalle de confiance soit inférieure à un seuil donné. Cela garantit que l'étude atteindra la précision souhaitée avec une forte probabilité, tenant compte de la variabilité.
Analyse de la Valeur de l'Information (VoI) pour le Bénéfice Net :
- Assurance d'optimalité : Probabilité que l'étude identifie correctement la stratégie de traitement ayant le meilleur bénéfice net dans la population.
- Valeur Espérée de l'Information de l'Échantillon (EVSI) : Gain attendu en bénéfice net grâce à la réalisation de l'étude par rapport à la décision prise avec les informations actuelles.
- EVSI relative (rEVSI) : Ratio EVSI/EVPI (Valeur de l'Information Parfaite), permettant d'évaluer l'efficacité marginale de l'augmentation de la taille de l'échantillon.

3. Contributions Clés

Cadre unifié : Intégration de la discrimination, de la calibration et de l'utilité clinique (NB) dans une seule approche bayésienne.
Gestion de l'incertitude : Passage de valeurs fixes à des distributions de probabilité pour les performances du modèle, reflétant mieux la réalité de la recherche translationnelle.
Nouvelles règles de décision : Introduction de règles basées sur l'assurance (probabilité de succès) et la VoI, dépassant la simple recherche de précision statistique.
Outil logiciel : Développement du package R bayespmtools contenant deux fonctions principales : bayespm_prec() (pour évaluer la précision/VoI pour une $N$ fixe) et bayespm_samp() (pour déterminer la $N$ minimale selon les critères).

4. Résultats de l'Étude de Cas (Modèle ISARIC 4C pour le COVID-19)

L'étude de cas vise à valider le modèle ISARIC 4C (prédiction de la détérioration des patients COVID-19) dans la région de Londres, en utilisant les données des 8 autres régions du Royaume-Uni comme source d'information a priori.

Comparaison des tailles d'échantillon :
- Approche de Riley (Fréquentiste) : Recommande $N = 1056$ (dictée par la pente de calibration).
- Approche Bayésienne (Précision attendue) : $N \approx 1064$ (similaire à Riley).
- Approche Bayésienne (Assurance 90 %) : $N = 1181$ (dictée par la pente de calibration), car elle exige une probabilité plus élevée de respecter les critères de précision.
- Approche Bayésienne (Bénéfice Net / VoI) : L'analyse de l'EVSI montre des rendements décroissants. Pour atteindre une assurance de 90 % sur le Bénéfice Net, une taille de $N = 306$ suffit.
Analyse Hybride et Recommandation Finale :
Les auteurs proposent une approche hybride : fixer la taille d'échantillon sur la base de la discrimination et de la calibration (avec assurance), puis évaluer l'impact sur l'utilité clinique.
- Passer de $N=522$ (dicté par l'assurance sur la calibration) à $N=1181$ (dicté par la précision stricte de la calibration) double la taille de l'échantillon mais n'apporte qu'un gain marginal de 8,8 % en Bénéfice Net attendu.
- L'analyse visuelle des courbes d'erreur de calibration montre que même avec $N=522$ , les intervalles de crédibilité restent acceptables.
- Conclusion de l'étude de cas : Une taille d'échantillon de $N = 522$ est recommandée, car elle offre un compromis optimal entre la précision statistique, l'assurance et l'utilité clinique, évitant un gaspillage de ressources pour un gain clinique négligeable.

5. Signification et Implications

Changement de paradigme : Ce travail encourage les chercheurs à abandonner l'hypothèse de vérité fixe des performances du modèle pour adopter une vision probabiliste, intégrant explicitement l'incertitude dans la conception de l'étude.
Optimisation des ressources : En utilisant l'analyse VoI, les chercheurs peuvent justifier des tailles d'échantillon plus petites lorsque la précision accrue n'apporte pas de valeur clinique supplémentaire, ou au contraire, justifier des études plus grandes si l'incertitude actuelle bloque l'adoption d'une technologie de santé.
Rigueur décisionnelle : L'accent mis sur l'« Assurance d'optimalité » et l'EVSI répond aux critiques selon lesquelles les intervalles de confiance traditionnels sont peu pertinents pour les décisions cliniques. Cela permet de mieux aligner la conception des études sur les besoins réels de prise de décision en santé publique.
Limites et perspectives : L'approche est actuellement limitée aux résultats binaires et suppose une linéarité de la calibration sur l'échelle logit. Les auteurs suggèrent d'étendre la méthode aux résultats de survie et aux mises à jour de modèles.

En résumé, cette étude fournit une boîte à outils méthodologique robuste pour concevoir des études de validation externe plus réalistes, plus efficaces et plus alignées sur les objectifs cliniques, en passant d'une logique de « précision statistique pure » à une logique de « valeur de l'information ».