Sample Size Calculations for Developing Clinical Prediction Models: Overview and pmsims R package

Cet article présente un cadre conceptuel et le package R open-source pmsims, qui proposent une approche novatrice basée sur la simulation pour calculer de manière flexible et efficace la taille d'échantillon nécessaire au développement de modèles de prédiction clinique.

L'essentiel

🎯 Le Défi : Combien de "Témoins" faut-il pour prédire l'avenir ?

Imaginez que vous êtes un chef cuisinier (le chercheur) qui veut créer une nouvelle recette de gâteau (un modèle de prédiction clinique) pour deviner si un patient aura une maladie ou non.

Le problème, c'est que pour apprendre à faire ce gâteau parfait, vous avez besoin de tester des ingrédients. Mais la question cruciale est : Combien de tests devez-vous faire avant de pouvoir dire "Ma recette est bonne" ?

• Si vous ne testez que sur 3 gâteaux, vous avez peut-être eu de la chance, mais votre recette échouera sur 1000 autres. C'est ce qu'on appelle le surapprentissage (ou overfitting) : vous avez appris par cœur les détails d'un seul gâteau au lieu de comprendre la logique générale.
• Si vous testez sur 1 million de gâteaux, c'est sûr, mais c'est trop long et trop cher.

C'est là que cet article intervient. Il répond à la question : "Quelle est la taille minimale de notre échantillon pour être sûr que notre modèle fonctionnera bien dans la vraie vie ?"

---

🧐 Les Anciennes Méthodes : Des Règles du Doigt (et pourquoi elles ne suffisent plus)

Pendant longtemps, les chercheurs utilisaient des règles simples, comme des recettes de grand-mère :

• La règle des "10 événements par variable" : "Si tu as 10 ingrédients (variables), il te faut au moins 100 gâteaux (données)."
• Le problème : C'est trop simpliste. C'est comme dire "pour conduire une voiture, il faut 10 litres d'essence". Ça ne dépend pas du type de route, de la météo ou du modèle de la voiture ! Ces règles ne fonctionnent pas bien pour les modèles complexes (comme l'Intelligence Artificielle) ou les données bizarres.

---

🚀 La Nouvelle Solution : Le Package "pmsims" (Le Simulateur de Vol)

Les auteurs ont créé un nouvel outil appelé pmsims (un logiciel gratuit en R). Pour comprendre comment ça marche, imaginons qu'il s'agit d'un simulateur de vol pour un avion.

Au lieu de construire un vrai avion et de le faire crasher 100 fois pour voir combien de passagers il faut, on utilise le simulateur :

1. On crée un monde virtuel : Le logiciel génère des milliers de "patients virtuels" avec des caractéristiques réalistes (âge, poids, antécédents).
2. On entraîne le modèle : On fait apprendre notre "recette" à ces patients virtuels.
3. On teste la performance : On regarde si la recette fonctionne sur de nouveaux patients virtuels.
4. On répète l'expérience : On recommence ça des centaines de fois avec des tailles d'échantillons différentes (50 patients, 100, 500, 1000...).

L'astuce de génie (Les Courbes d'Apprentissage et les Gaussiens) :
Au lieu de tester toutes les tailles possibles (ce qui prendrait des années), le logiciel utilise une technique intelligente (appelée Gaussian Process). C'est comme un détective qui devine où se trouve le trésor en traçant une courbe lisse entre quelques points clés, au lieu de fouiller chaque centimètre carré du sol. Cela permet de trouver la réponse beaucoup plus vite.

---

🎲 La Grande Différence : "En Moyenne" vs "Avec une Garantie"

C'est le cœur de l'article. Il y a deux façons de répondre à la question "Combien de données faut-il ?" :

1. La méthode "Moyenne" (L'optimiste) :

   • Question : "Si je fais 100 modèles, est-ce que leur moyenne de performance est bonne ?"
   • Risque : C'est comme dire : "En moyenne, je gagne 10€ par jour au casino." Sauf que certains jours, vous perdez tout. C'est dangereux pour un médecin qui doit prendre une décision vitale.

2. La méthode "Assurance" (Le prudent) :

   • Question : "Quelle taille d'échantillon faut-il pour être sûr à 80% que n'importe quel modèle que je crée fonctionnera bien ?"
   • Analogie : C'est comme construire un pont. On ne veut pas que le pont tienne "en moyenne". On veut qu'il tienne dans 99% des cas, même s'il y a une tempête ou un vent fort.
   • pmsims utilise cette méthode "Assurance". Il vous dit : "Pour être sûr à 80% que votre modèle ne va pas échouer, il vous faut X patients."

---

📊 Ce qu'ils ont découvert (Les Résultats)

En testant leur outil sur trois cas réels (comme prédire une maladie cardiaque ou un AVC), ils ont vu que :

• Les anciennes méthodes donnaient des chiffres très différents (parfois 200, parfois 20 000 patients !).
• Les modèles d'Intelligence Artificielle (Machine Learning) ont besoin de beaucoup plus de données que les modèles statistiques classiques (parfois 5 à 10 fois plus).
• Si on utilise la méthode "Assurance" (la prudente), le nombre de patients requis augmente, mais c'est le prix à payer pour la sécurité des patients.

---

🔮 L'Avenir : Vers des Données Plus Complexes

L'article conclut en disant que le travail n'est pas fini. Le monde médical devient de plus en plus complexe :

• Données en cascade : Des données qui changent dans le temps (comme un rythme cardiaque qui varie toute la journée).
• Données manquantes : Comme un dossier médical incomplet.
• Équité : S'assurer que le modèle fonctionne aussi bien pour les hommes que pour les femmes, ou pour toutes les origines ethniques.

Le logiciel pmsims est conçu pour être flexible, comme des Lego. Les chercheurs pourront ajouter de nouvelles pièces (nouvelles méthodes de données, nouvelles règles d'équité) sans avoir à reconstruire tout le jouet.

💡 En Résumé

Cet article nous dit : "Arrêtez de deviner la taille de votre échantillon avec des règles simplistes."

Utilisez plutôt pmsims, un simulateur intelligent qui vous dit exactement combien de données vous devez collecter pour être sûr que votre outil de prédiction médicale ne vous laissera pas tomber quand il sera utilisé sur de vrais patients. C'est un pas de géant vers des médecines plus sûres et plus fiables.

Résumé technique

Résumé Technique : Calcul de la taille d'échantillon pour les modèles de prédiction clinique

1. Problématique

Les modèles de prédiction clinique sont de plus en plus utilisés pour soutenir la prise de décision médicale. Cependant, la détermination de la taille d'échantillon minimale nécessaire pour leur développement reste un défi critique et souvent négligé.

• Conséquences d'un échantillon insuffisant : Surapprentissage (overfitting), faible généralisabilité et prédictions biaisées.
• Limites des approches actuelles :
  • Les règles heuristiques (ex: 10 événements par variable) sont trop simplistes et ignorent la complexité des données.
  • Les formules analytiques fermées (ex: méthodes de Riley et al.) sont rapides mais reposent sur des hypothèses distributionnelles strictes, limitant leur applicabilité aux modèles complexes (Machine Learning) ou aux structures de données hiérarchiques.
  • Les approches par simulation offrent de la flexibilité mais sont souvent coûteuses en calcul et manquent d'outils logiciels accessibles pour les chercheurs appliqués.
• Le problème fondamental : La plupart des méthodes existantes se basent sur des critères de moyenne (la performance attendue doit dépasser un seuil), négligeant la variabilité inhérente à l'échantillonnage. Cela signifie qu'un modèle peut atteindre la performance cible en moyenne, mais échouer dans la majorité des cas réels.

2. Méthodologie et Cadre Théorique

L'article propose un nouveau cadre conceptuel et une approche pratique basée sur la simulation pour résoudre ce problème.

A. Distinction entre critères de moyenne et critères d'assurance
Les auteurs introduisent une distinction cruciale dans la définition du problème de la taille d'échantillon :

• Critère basé sur la moyenne : Trouver le plus petit $n$ tel que l'espérance de la performance $E[M|n]$ dépasse un seuil cible $M^*$.
• Critère d'assurance (Assurance Criterion) : Une formulation plus stricte exigeant que la performance dépasse le seuil $M^*$ avec une probabilité élevée (ex: 80 %). Cela garantit que la majorité des modèles entraînés sur des jeux de données de taille $n$ atteindront la performance souhaitée, tenant compte explicitement de la variance des performances entre différents échantillons de développement.

B. Sources de variabilité
L'approche prend en compte quatre sources de variabilité affectant la performance du modèle :

1. Erreur irréductible du résultat : Variabilité intrinsèque des données (bruit biologique).
2. Variabilité des données de développement : Instabilité du modèle due à la taille de l'échantillon (cible principale du calcul).
3. Aléa d'ajustement du modèle : Stochastique des algorithmes (ex: forêts aléatoires, réseaux de neurones).
4. Variabilité des données de validation : Incertitude liée à la taille du jeu de test (géré par des échantillons de validation indépendants larges).

C. L'approche proposée : pmsims
Pour implémenter le critère d'assurance de manière efficace, les auteurs développent pmsims, un package R open-source et agnostique au modèle. Le workflow comprend quatre étapes :

1. Définition du scénario : Spécification du générateur de données (distributions, corrélations), du modèle de prédiction (régression, ML) et des métriques de performance (AUC, pente de calibration, MAPE, etc.).
2. Calibration du générateur : Ajustement des paramètres pour refléter la population cible et garantir une performance idéale ($M_{ideal}$) sur de grands échantillons.
3. Estimation de la courbe d'apprentissage : Génération itérative de jeux de données synthétiques de tailles variées. L'algorithme utilise des Processus Gaussiens (GP) comme modèles de substitution (surrogate models) pour interpoler la courbe d'apprentissage et optimiser la recherche de la solution. Cela réduit considérablement la charge computationnelle par rapport aux simulations brutes.
4. Détermination de la taille minimale : Identification du plus petit $n$ pour lequel le 20e percentile de la distribution des performances (correspondant à une assurance de 80 %) dépasse le seuil cible $M^*$.

3. Résultats Principaux

Les auteurs ont validé leur approche à travers trois études de cas comparant pmsims à d'autres méthodes (règle EPV, pmsampsize, samplesizedev, formules empiriques, etc.).

• Variabilité des estimations : Les tailles d'échantillon estimées varient considérablement selon la méthode, la métrique de performance et le type de modèle.
  • Pour la régression logistique, les estimations variaient de 200 à 6 000 sujets selon la méthode.
  • Pour les modèles d'apprentissage automatique (ML), les besoins étaient nettement plus élevés (5 à 10 fois plus que la régression logistique), allant de 2 000 à plusieurs dizaines de milliers.
• Performance de pmsims :
  • Les estimations de pmsims se situaient au milieu des fourchettes observées pour les cas étudiés.
  • Pour un critère de pente de calibration de 0,90 avec assurance, pmsims a estimé des tailles de 3 510, 4 198 et 1 439, se comparant favorablement aux outils existants tout en offrant une flexibilité supérieure.
  • L'approche met en évidence que les modèles mal spécifiés (où le modèle de prédiction ne correspond pas au générateur de données) nécessitent des tailles d'échantillon massives (ex: >20 000).
• Efficacité computationnelle : L'utilisation des Processus Gaussiens permet d'optimiser l'allocation du budget de calcul, rendant l'approche par simulation viable pour des scénarios complexes.

4. Contributions Clés

1. Cadre conceptuel : Introduction formelle de la distinction entre critères de moyenne et critères d'assurance, soulignant l'importance de la stabilité des prédictions.
2. Outil logiciel (pmsims) : Développement d'un package R flexible, agnostique au modèle, permettant aux chercheurs de définir leurs propres générateurs de données, modèles et métriques.
3. Intégration technologique : Combinaison innovante de courbes d'apprentissage, d'optimisation par Processus Gaussiens et de simulations pour équilibrer précision et coût computationnel.
4. Analyse comparative : Fourniture d'une taxonomie complète des méthodes existantes et démonstration pratique de leurs limites via des études de cas.

5. Signification et Perspectives

Cet article comble un vide méthodologique majeur dans le développement de modèles de prédiction clinique.

• Impact pratique : Il offre aux chercheurs un outil robuste pour éviter le surapprentissage et garantir que leurs modèles seront performants dans la population cible réelle, pas seulement en moyenne théorique.
• Adaptabilité : La nature modulaire de pmsims permet son extension future à des données complexes (hiérarchiques, multimodales, séries temporelles) et à des métriques émergentes (équité, stabilité).
• Défis futurs : Les auteurs identifient la nécessité d'intégrer la gestion des données manquantes, l'amélioration des générateurs de données synthétiques (via l'IA générative) et l'adaptation aux structures de données corrélées (données longitudinales, clusters).

En conclusion, pmsims représente une avancée significative vers des modèles de prédiction clinique plus fiables, équitables et généralisables, en passant d'une approche heuristique ou purement analytique à une approche par simulation guidée par l'assurance.