📊 statistics

Formalising Sample Size Calculations for the Development of Risk Prediction Models: The Importance of Accounting for Performance Variability

Cet article propose un nouveau cadre pour le calcul de la taille de l'échantillon dans le développement de modèles de prédiction des risques qui dépasse le ciblage des mesures de performance attendues pour tenir explicitement compte de la variabilité de la performance, garantissant ainsi une probabilité élevée d'atteindre un étalonnage et une robustesse acceptables du modèle.

Auteurs originaux : Menelaos Pavlou, Rumana Z. Omar, Gareth Ambler

Publié 2026-07-16

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Menelaos Pavlou, Rumana Z. Omar, Gareth Ambler

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef essayant de créer la recette parfaite pour un nouveau plat. Vous avez une liste d'ingrédients (les prédicteurs) et vous voulez concocter une recette (un modèle) qui a exactement le bon goût pour tous ceux qui la goûteront. Dans le monde de la médecine, ces « recettes » sont appelées modèles de prédiction de risque. Ils aident les médecins à deviner la probabilité qu'un patient subisse un événement de santé spécifique, comme une crise cardiaque ou une infection, en se basant sur des éléments tels que l'âge, le poids et les antécédents médicaux. Mais voici la partie délicate : le fait qu'une recette ait un goût incroyable dans votre propre cuisine ne signifie pas qu'elle aura le même goût dans toutes les autres cuisines. Si vous ne cuisinez que quelques fournées pour tester votre recette, vous pourriez avoir de la chance et atteindre la saveur parfaite par hasard, ou obtenir un lot bizarre et trop salé simplement parce que vous n'avez pas mélangé assez d'ingrédients. C'est le problème de la « variabilité ». Les scientifiques doivent savoir exactement combien de fournées (ou de patients) ils doivent tester pour être sûrs que leur recette est fiable, et non pas seulement un coup de chance.

Pendant longtemps, la méthode standard pour déterminer le nombre de patients nécessaires consistait à viser un résultat « moyen » parfait. C'était comme dire : « Si nous cuisinons 1 000 fournées, le goût moyen devrait être délicieux. » Mais les auteurs de cet article, Menelaos Pavlou, Rumana Z. Omar et Gareth Ambler, ont réalisé qu'aimer la moyenne n'est pas suffisant. Parfois, même si la moyenne est excellente, vous pourriez vous retrouver avec une fournée complètement immangeable à cause d'une mauvaise chance avec les ingrédients. Ils soutiennent que nous devons changer l'objectif : au lieu de simplement espérer que la moyenne soit bonne, nous devrions viser à ce que la plupart des fournées que nous cuisinons soient réellement bonnes. Ils appellent cela la « Probabilité de Performance Acceptable ». C'est comme dire : « Nous devons cuisiner suffisamment de fournées pour qu'il y ait une probabilité de 80 % que n'importe quelle fournée que nous sortons du four ait un excellent goût », plutôt que de simplement espérer que la moyenne de toutes les fournées soit bonne.

L'article suggère que l'ancienne façon de calculer les tailles d'échantillon conduit souvent à des modèles instables, surtout lorsque le modèle ne possède que peu d'ingrédients (prédicteurs). Si vous essayez de cuire un gâteau avec seulement deux ingrédients, vous avez besoin d'une cuisine beaucoup plus grande (plus de données) pour être sûr que vous n'avez pas simplement eu de la chance en mélangeant. Les auteurs ont utilisé des simulations informatiques pour montrer que, lorsque vous ignorez cette « variabilité », vous pourriez vous retrouver avec un modèle qui semble bon sur le papier mais qui échoue dans le monde réel. Ils proposent une nouvelle méthode qui tient compte de ce risque, nécessitant souvent des tailles d'échantillons plus importantes pour garantir la robustesse du modèle. Ils ont également examiné une technique appelée « shrinkage » (réduction), qui consiste à ajuster doucement votre recette pour la rendre un peu plus conservatrice, et ont constaté que bien que cela aide, cela ne résout pas complètement le problème si vous n'avez pas assez de données dès le départ.

La Recette d'une Prédiction Fiable

Considérez la construction d'un modèle de prédiction médicale comme l'entraînement d'un robot pour reconnaître des chats sur des photos. Vous montrez au robot des milliers d'images, et il apprend les motifs. Si vous ne lui montrez que dix images, il pourrait mémoriser parfaitement ces dix chats spécifiques mais échouer complètement lorsqu'il verra un nouveau chat. C'est ce qu'on appelle le « surapprentissage » (overfitting), et c'est l'ennemi d'une bonne prédiction. Pour éviter cela, les scientifiques doivent savoir exactement combien de photos (de patients) montrer au robot.

L'article commence par expliquer que la règle actuelle pour décider du nombre de patients nécessaires se concentre sur la valeur attendue. Imaginez que vous lanciez un dé. La « valeur attendue » est la moyenne que vous obtenez si vous le lancez un million de fois (ce qui est 3,5). L'ancienne méthode dit : « Lancons le dé suffisamment de fois pour que la moyenne soit de 3,5. » Mais les auteurs soulignent une faille : si vous ne lancez le dé que dix fois, vous pourriez obtenir un 6 à chaque fois, ou un 1 à chaque fois. La moyenne est de 3,5 sur le long terme, mais vos dix lancers spécifiques pourraient être un désastre. En termes médicaux, cela signifie qu'un modèle peut paraître parfait en moyenne à travers de nombreuses études, mais que le modèle spécifique construit pour votre hôpital pourrait être radicalement inexact.

Les auteurs introduisent un nouveau concept appelé PrAP (Probabilité de Performance Acceptable). Au lieu de simplement se soucier de la moyenne, la PrAP demande : « Quelles sont les chances que le modèle que nous construisons en ce moment même soit assez bon ? » Ils définissent une plage de performance « acceptable », comme une pente de calibration comprise entre 0,85 et 1,15 (où 1 est la perfection). L'objectif est de choisir une taille d'échantillon suffisamment grande pour qu'il y ait, disons, 80 % de chances que le modèle tombe dans cette zone « bonne ».

La Cuisine de Simulation

Pour tester leur idée, les auteurs ne se sont pas contentés de deviner ; ils ont lancé des milliers de simulations informatiques. Ils ont créé de fausses données de patients avec différents nombres d'« ingrédients » (prédicteurs), allant de 4 à 28. Ils ont comparé deux façons de décider du nombre de patients à utiliser :

La Méthode Standard : Calculer la taille nécessaire pour que la performance moyenne soit de 0,9 (proche de la perfection).
La Nouvelle Méthode : Calculer la taille nécessaire pour qu'il y ait 80 % de chances que la performance se situe entre 0,85 et 1,15.

Les résultats ont été révélateurs. Lorsque les modèles avaient un petit nombre de prédicteurs (comme 4 ou 5), la Méthode Standard suggérait une taille d'échantillon relativement petite. Cependant, lorsqu'ils ont réellement exécuté les simulations, ils ont constaté que les modèles construits avec ce petit échantillon étaient totalement erratiques. Parfois ils étaient excellents, mais souvent ils étaient terribles. La probabilité d'obtenir un « bon » modèle n'était que d'environ 54 % — soit pratiquement un pile ou face !

En revanche, la Nouvelle Méthode exigeait une taille d'échantillon beaucoup plus importante. Pour un modèle possédant seulement 4 prédicteurs, la Nouvelle Méthode exigeait 2,7 fois plus de patients que la Méthode Standard. Mais la récompense était immense : avec cet échantillon plus large, la probabilité d'obtenir un bon modèle passait à l'objectif de 80 %. Les auteurs ont découvert que pour les modèles ayant de nombreux prédicteurs (comme 18 ou plus), les deux méthodes suggéraient des tailles d'échantillons similaires, mais pour les modèles plus simples et plus petits, la différence était massive.

Le Raccourci du « Shrinkage » ?

L'article a également étudié une astuce populaire appelée shrinkage (réduction). Imaginez que vous ayez cuit un gâteau et qu'il soit un peu trop sucré. Le shrinkage est comme retirer un tout petit peu de sucre pour le rendre plus sûr. En statistiques, cela consiste à réduire légèrement la force des prédictions du modèle pour éviter l'excès de confiance.

Les auteurs ont testé si l'utilisation du shrinkage pouvait permettre aux chercheurs de se passer de tailles d'échantillons plus importantes. Ils ont découvert que le shrinkage aidait effectivement à améliorer la performance moyenne, rendant les modèles plus proches de la perfection. Cependant, cela introduisait un nouveau type d'instabilité. Parce qu'il faut estimer combien réduire, cette estimation ajoute sa propre incertitude. Les simulations ont montré que, bien que le shrinkage améliore les chances d'avoir un bon modèle, il ne résout pas entièrement le problème si la taille de l'échantillon est trop petite. En fait, pour les modèles très petits (moins de 6 prédicteurs), l'incertitude supplémentaire apportée par le shrinkage signifiait que la probabilité d'obtenir un bon modèle n'était guère améliorée. Les auteurs suggèrent que le shrinkage est un outil utile, mais qu'il ne doit pas être utilisé comme une baguette magique pour éviter de collecter suffisamment de données.

Un Test en Conditions Réelles : Chirurgie de la Valve Cardiaque

Pour prouver que leur théorie n'était pas qu'une fantaisie informatique, les auteurs l'ont appliquée à un véritable ensemble de données de 16 679 patients ayant subi une chirurgie de la valve cardiaque. Ils voulaient construire un modèle pour prédire le risque de décès à l'hôpital.

En utilisant la méthode Standard, ils ont calculé qu'ils avaient besoin de 2 250 patients. En utilisant leur nouvelle méthode PrAP, ils ont calculé qu'ils avaient besoin de 2 740 patients. Ils ont ensuite lancé une simulation où ils échantillonnaient de manière répétée ces groupes à partir des données réelles pour voir ce qui se passait.

Les résultats ont confirmé leurs soupçons. Le groupe de 2 250 patients (Standard) avait une performance médiane qui était bonne, mais les modèles variaient énormément. Certains étaient excellents, d'autres médiocres. Le groupe de 2 740 patients (Nouveau) était beaucoup plus cohérent. Presque tous les modèles construits avec ce groupe plus large tombaient dans la plage « acceptable ». De plus, lorsqu'ils ont ajouté le shrinkage à la mêlée, le groupe plus large (2 740) a montré une amélioration claire de la fiabilité, tandis que le groupe plus petit n'a pas vu beaucoup de bénéfice.

Ce qu'il faut retenir

Le message principal de cet article est une mise en garde contre l'excès de confort face aux résultats « moyens ». Dans le monde à enjeux élevés de la prédiction médicale, un taux de réussite moyen ne suffit pas si les modèles individuels peuvent échouer de manière spectaculaire. Les auteurs suggèrent que pour construire des modèles de risque véritablement fiables, en particulier ceux qui possèdent peu d'ingrédients, les chercheurs doivent être prêts à collecter plus de données. Ils proposent une nouvelle façon de calculer les tailles d'échantillon qui donne la priorité à la probabilité de succès plutôt qu'à la moyenne des succès.

Bien que cela puisse signifier rassembler plus de patients que ce qui était auparavant jugé nécessaire, l'échange est un modèle qui est stable et digne de confiance. Comme le notent les auteurs, si vous voulez être sûr à 80 % que votre modèle fonctionne, vous ne pouvez pas simplement viser la moyenne ; vous devez viser la marge de sécurité. Leur travail fournit les outils mathématiques pour faire exactement cela, garantissant que lorsqu'un médecin s'appuie sur un modèle de prédiction, il ne s'agit pas d'un simple coup de chance, mais d'une recette bien testée.

Résumé technique : Formalisation du calcul de la taille de l'échantillon pour le développement de modèles de prédiction du risque

1. Énoncé du problème

Les méthodologies actuelles pour calculer la taille des échantillons dans le développement de modèles de prédiction du risque se concentrent principalement sur la garantie que la valeur attendue d'une mesure de performance (par exemple, la pente de calibration, la statistique C) atteigne une cible prescrite. Par exemple, les approches standards sélectionnent souvent une taille d'échantillon telle que la pente de calibration (CS) attendue soit égale à 0,9. Cependant, ces méthodes négligent la variabilité d'échantillonnage. Par conséquent, même en respectant les tailles d'échantillon recommandées, la performance réelle d'un modèle développé sur un ensemble de données spécifique peut varier considérablement. Lorsque la variabilité est élevée, la probabilité d'obtenir un modèle dont la performance est proche de la cible peut être inacceptablement basse, entraînant une instabilité du modèle et des probabilités individuelles prédites peu fiables. Ce problème est particulièrement prononcé lorsque le nombre de prédicteurs est faible par rapport à la taille d'échantillon requise pour atteindre les objectifs de performance moyenne.

2. Méthodologie

Les auteurs proposent un cadre qui intègre explicitement à la fois la valeur attendue et la variabilité des mesures de performance dans les calculs de taille d'échantillon. La méthodologie repose sur les composantes suivantes :

Mécanisme de génération de données (DGM) : Le cadre suppose une distribution jointe $P(Y, \mathbf{X}; \boldsymbol{\phi})$ pour le résultat $Y$ et les prédicteurs $\mathbf{X}$ . Bien que l'accent principal soit mis sur les résultats binaires modélisés par régression logistique avec l'estimation du maximum de vraisemblance (MLE), les principes sont présentés de manière générale.
Probabilité de performance acceptable (PrAP) : Une nouvelle métrique est introduite pour quantifier la probabilité qu'un modèle de performance se situe dans une plage acceptable prescrite (par exemple, $0,85 \leq \text{CS} \leq 1,15$ ). Les tailles d'échantillon sont ensuite déterminées pour garantir que cette probabilité dépasse un seuil cible (par exemple, 80 %).
Correction de biais pour les formules analytiques : L'article traite d'une limitation connue des formules analytiques existantes (par exemple, Riley et al., 2019) qui sous-estiment systématiquement les tailles d'échantillon pour les modèles présentant une forte force prédictive (C-statistique élevée). Les auteurs proposent un ajustement heuristique où la statistique C anticipée ( $C$ ) est remplacée par une valeur ajustée conservatrice ( $C_{adj}$ ). Cet ajustement tient compte de la divergence entre les coefficients de la régression logistique et ceux de l'analyse discriminante linéaire (LDA) sous une discrimination élevée, augmentant ainsi efficacement la taille d'échantillon requise pour atteindre les cibles de calibration.
Approximation analytique pour la PrAP : Pour éviter l'intensité computationnelle d'une simulation complète, les auteurs dérivent une formule d'approximation analytique pour la variance de la pente de calibration ( $\text{Var}(\hat{s}_n)$ ). Cette formule, combinée à la pente de calibration attendue, permet le calcul de la PrAP et la détermination ultérieure de la taille d'échantillon requise via une optimisation numérique.
Évaluation du rétrécissement (Shrinkage) : L'étude examine l'impact du rétrécissement linéaire post-estimation (et des méthodes pénalisées comme la régression Ridge) sur la PrAP. Des simulations et une étude de cas sur des données réelles évaluent si le rétrécissement peut atténuer la nécessité de tailles d'échantillon plus grandes ou améliorer la probabilité de performance acceptable.

3. Principales contributions

Formalisation de la PrAP : L'article définit formellement la « Probabilité de performance acceptable » comme une cible primaire pour les calculs de taille d'échantillon, déplaçant l'accent de la performance moyenne vers la stabilité de la performance à travers les ensembles de données de développement.
Démonstration de l'impact de la variabilité : À travers des études de simulation, les auteurs démontrent que les calculs standards (visant une médiane de CS = 0,9) entraînent une PrAP inacceptablement basse pour les modèles avec un petit nombre de prédicteurs. Par exemple, avec $p=4$ prédicteurs, la probabilité d'obtenir un CS compris entre 0,85 et 1,15 n'était que de 54 % sous les calculs standards, alors que la nouvelle approche (visant une PrAP = 0,8) nécessitait des tailles d'échantillon nettement plus grandes pour assurer la stabilité.
Ajustement heuristique pour une discrimination élevée : L'article fournit une correction pratique ( $C_{adj}$ ) pour les formules analytiques existantes, améliorant leur précision pour les modèles ayant des C-statistiques élevées ( $C \geq 0,8$ ).
Approximation analytique : Une méthode analytique efficace est proposée pour approximer la taille d'échantillon requise pour une PrAP cible, offrant une alternative plus légère en termes de calcul que l'optimisation basée sur la simulation, tout en maintenant une précision raisonnable.
Rôle du rétrécissement (Shrinkage) : L'étude clarifie que, bien que les méthodes de rétrécissement (facteur de rétrécissement linéaire, Ridge) améliorent généralement la médiane de la pente de calibration, elles introduisent une variabilité supplémentaire due à l'estimation du facteur de rétrécissement. Par conséquent, le rétrécissement ne permet pas universellement de réduire les exigences de taille d'échantillon ; dans les petits ensembles de données, l'augmentation de la variabilité peut atténuer les bénéfices du rétrécissement concernant la PrAP.

4. Résultats

Résultats des simulations :
- Les calculs de taille d'échantillon standards (visant une médiane CS = 0,9) produisent une grande variabilité de performance pour les petits modèles (peu de prédicteurs), conduisant à une faible PrAP.
- Le « Nouveau » calcul proposé (visant une PrAP = 0,8) entraîne des tailles d'échantillon sensiblement plus grandes pour les petits modèles (par exemple, 2,7 fois plus grandes pour $p=4$ ) mais converge avec les calculs standards pour les modèles plus larges ( $p \geq 18$ ).
- La correction de biais proposée ( $C_{adj}$ ) améliore considérablement la précision des formules analytiques pour les C-statistiques élevées, rapprochant la médiane de la pente de calibration de la cible de 0,9.
- L'approximation analytique pour la PrAP correspond étroitement aux résultats basés sur la simulation, sauf à des niveaux de discrimination très élevés ( $C > 0,85$ ).
- Le rétrécissement améliore la probabilité de calibration acceptable pour les modèles avec un nombre modéré à élevé de prédicteurs ( $p > 6$ ) mais offre un bénéfice limité pour les modèles très petits où l'incertitude du facteur de rétrécissement prédomine.
Étude de cas (Chirurgie de la valve cardiaque) :
- Appliqué à un ensemble de données de 16 679 patients, le nouveau calcul a augmenté la taille d'échantillon requise de 2 250 (standard) à 2 740 (nouveau) pour atteindre une PrAP = 0,8.
- Le rééchantillonnage a confirmé que le nouveau calcul atteignait la PrAP cible, alors que le calcul standard ne le faisait pas.
- Les méthodes de rétrécissement (Facteur de rétrécissement linéaire, Ridge modifié) ont amélioré la performance de calibration et la PrAP par rapport au MLE seul, ce qui est cohérent avec les résultats de simulation.

5. Signification et affirmations

L'article soutient que la prise en compte de la variabilité de la performance est essentielle pour un développement de modèle robuste. Les auteurs affirment que le fait de s'appuyer uniquement sur des objectifs de performance attendus peut conduire au développement de modèles instables, particulièrement dans les scénarios avec peu de prédicteurs. En introduisant le cadre de la PrAP, l'article fournit un mécanisme pour garantir qu'un modèle développé sur un ensemble de données spécifique est susceptible de performer de manière acceptable lors de la validation.

Les auteurs affirment modestement que leur cadre et leurs outils (implémentés dans le package R samplesizedev) offrent une approche plus rigoureuse de la détermination de la taille de l'échantillon. Ils soulignent que, bien que les méthodes basées sur la simulation soient exigeantes en termes de calcul, les approximations analytiques proposées constituent une alternative viable et efficace. De plus, ils mettent en garde contre l'utilisation du rétrécissement comme stratégie principale pour réduire les exigences de taille d'échantillon, suggérant plutôt que les tailles d'échantillon soient calculées en supposant le MLE, le rétrécissement étant appliqué lors de l'ajustement du modèle pour améliorer la performance, à condition que le nombre de prédicteurs ne soit pas extrêmement petit. Ce travail souligne la nécessité de dépasser les mesures de performance « moyennes » pour garantir la fiabilité des modèles de prédiction du risque dans la pratique clinique.