📊 statistics

Compatibility of Missing Data Handling Methods across the Stages of Producing Clinical Prediction Models

Cet article démontre que pour garantir une performance prédictive impartiale et une compatibilité tout au long du cycle de vie du modèle de prédiction clinique, les chercheurs doivent aligner leurs stratégies de gestion des données manquantes lors du développement et de la validation avec les contraintes spécifiques du déploiement du modèle, comme l'utilisation de l'imputation multiple lorsque les données manquantes sont exclues ou le maintien de méthodes d'imputation cohérentes lorsque les données manquantes sont autorisées.

Auteurs originaux : Antonia Tsvetanova, Matthew Sperrin, David A. Jenkins, Niels Peek, Iain Buchan, Stephanie Hyland, Marcus Taylor, Angela Wood, Richard D. Riley, Glen P. Martin

Publié 2026-02-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Antonia Tsvetanova, Matthew Sperrin, David A. Jenkins, Niels Peek, Iain Buchan, Stephanie Hyland, Marcus Taylor, Angela Wood, Richard D. Riley, Glen P. Martin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef essayant de créer la recette parfaite pour un nouveau plat (un Modèle de Prédiction Clinique). Votre objectif est de prédire comment un client réagira au plat. Pour ce faire, vous avez besoin d'ingrédients spécifiques (des prédicteurs comme l'âge, la pression artérielle, etc.). Mais parfois, vous n'avez pas tous les ingrédients lorsque vous cuisinez, ou vos clients ne vous ont peut-être pas fourni toutes les informations concernant leurs préférences alimentaires.

Ce document traite de la manière de gérer ces « ingrédients manquants » à trois étapes différentes de votre processus de cuisine :

Le Développement : Créer la recette dans votre cuisine de test.
La Validation : Goûter la recette avec un nouveau groupe de personnes pour voir si elle fonctionne.
Le Déploiement : Servir le plat au grand public.

Les auteurs ont découvert que la manière dont vous gérez les ingrédients manquants dans votre cuisine de test et lors de votre séance de dégustation doit correspondre à la manière dont vous prévoyez de servir le plat au public. Si vous ne faites pas correspondre les deux, votre recette échouera, ou vous penserez qu'elle est délicieuse alors qu'en réalité, elle est très mauvaise.

Voici la répartition de leurs découvertes en utilisant des analogies simples :

Les deux règles principales du jeu

Les auteurs proposent deux règles d'or pour gérer les données manquantes :

La règle de la « Non-Dégradation » : Lorsque vous développez votre recette, vous devez gérer les ingrédients manquants d'une manière qui garantit que le plat final aura le même goût que la version « parfaite » (celle où vous aviez tous les ingrédients).
La règle de la « Vérité » : Lorsque vous validez (testez) votre recette, vous devez gérer les ingrédients manquants d'une manière qui vous donne un score honnête. Vous ne voulez pas vous tromper en pensant que la recette est meilleure ou pire qu'elle ne l'est réellement.

Scénario A : Le restaurant « Strict » (Aucune donnée manquante autorisée)

Imaginez un restaurant chic où le chef refuse de cuisiner un plat à moins que le client ne fournisse chaque ingrédient inscrit sur le menu. Si un ingrédient manque à un client, le chef dit : « Désolé, je ne peux pas cuisiner pour vous. »

Le conseil du document : Si votre plan est d'être ce chef strict, vous devez développer et tester votre recette en utilisant l'Imputation Multiple (IM).
- L'analogie : Considérez l'Imputation Multiple comme un « devineur magique » qui remplit les ingrédients manquants en fonction de ce que vous savez déjà, mais qui le fait d'une manière qui tient compte de l'incertitude. Crucialement, ce « devineur magique » a besoin de connaître le résultat final (le client a-t-il aimé le plat ?) pour faire de bonnes suppositions pendant la phase de développement.
- Le Piège : Si vous développez votre recette en utilisant l'« Imputation par la Moyenne » (en se contentant de deviner l'ingrédient moyen pour tout le monde) ou l'« Analyse des Cas Complets » (en jetant tout client qui lui manque un ingrédient), votre recette sera faible. Lorsque vous essaierez enfin de la servir au public strict, elle aura un mauvais goût (dégradation du modèle).

Scénario B : Le Food Truck « Flexible » (Données manquantes autorisées)

Maintenant, imaginez un food truck où le chef accepte les ingrédients manquants. Si un client oublie de dire s'il est allergique aux noix, le chef utilise simplement un « niveau de noix par défaut » standard ou une méthode de « supposition » spécifique pour remplir le vide afin que la cuisine puisse continuer.

Le conseil du document : Si votre plan est d'être ce food truck flexible, vous devez utiliser exactement la même méthode pour remplir les ingrédients manquants pendant le développement, le test et le service.
- L'analogie : Si vous décidez d'utiliser une « Imputation par Régression » (un type spécifique de supposition intelligente basée sur d'autres ingrédients) pour combler les vides pour vos clients, vous devez utiliser cette même méthode de « supposition intelligente » lors de la création de la recette et lors de vos tests.
- Le Piège : Si vous créez la recette en utilisant l'« Imputation par la Moyenne » (les moyennes) mais que vous dites ensuite à vos clients : « Ne vous inquiétez pas, nous utiliserons une méthode de 'Supposition Intelligente' pour combler vos informations manquantes », la recette se brisera. Les mathématiques ne seront plus alignées. Le document a découvert que mélanger les méthodes (comme développer avec une méthode et valider avec une autre) conduit presque toujours à un score biaisé — vous pensez que votre food truck est un succès, mais il est en train d'échouer.

Le « Sous-Modèle de Patron » (Le cas particulier)

Le document a également examiné une méthode appelée Sous-Modèles de Patron (Pattern Sub-Models).

L'analogie : Au lieu d'une seule grande recette, vous écrivez quatre mini-recettes différentes :
1. Une pour les clients qui ont donné toutes les informations.
2. Une pour les clients à qui il manque l'ingrédient A.
3. Une pour les clients à qui il manque l'ingrédient B.
4. Une pour les clients à qui il manque les deux.
Le conseil du document : Si vous prévoyez d'utiliser cette approche de « mini-recette » au food truck, vous devez développer et tester en utilisant exactement cette même approche de « mini-recette ». Vous ne pouvez pas développer avec des mini-recettes et ensuite tester en faisant la moyenne de tout.

La conclusion principale

Les auteurs ont réalisé des milliers de simulations informatiques et vérifié des données chirurgicales réelles pour prouver leur point. Ils ont découvert que les pratiques courantes sont souvent erronées.

Erreur commune : De nombreux chercheurs développent un modèle en utilisant une méthode (comme l'Imputation Multiple) pour obtenir les meilleures statistiques, mais le déploient ensuite en utilisant une méthode plus simple (comme l'Imputation par la Moyenne) parce qu'il est plus facile de la coder dans une application.
Le résultat : Cela crée un « paradoxe du menteur ». Le modèle semble excellent en laboratoire, mais lorsqu'il arrive dans le monde réel, ses performances sont médiocres, ou les scores de performance sont complètement faux.

Résumé en une phrase

Pour construire un outil de prédiction médicale fiable, vous devez décider d'abord comment vous gérerez les données manquantes lorsque l'outil sera réellement utilisé dans le monde réel, puis vous devez utiliser exactement cette même méthode pour construire et tester l'outil ; mélanger et assortir les méthodes mène à des modèles brisés et à de faux espoirs.

Résumé technique : Compatibilité des méthodes de gestion des données manquantes à travers les étapes de production de modèles de prédiction clinique

Énoncé du problème
Les données manquantes dans les variables prédictives constituent un défi omniprésent tout au long du cycle de vie des modèles de prédiction clinique (MPC), couvrant le développement, la validation et le déploiement. Bien que la recherche méthodologique ait largement traité les données manquantes pour l'inférence causale (se concentrant sur des estimations de paramètres non biaisées), les objectifs de la modélisation prédictive diffèrent : l'objectif principal est une prédiction précise et bien calibrée pour de nouveaux individus. Les pratiques actuelles manquent souvent de directives sur la manière dont les décisions de gestion des données manquantes lors du développement et de la validation doivent s'aligner sur la stratégie de déploiement prévue. Plus précisément, il n'est pas clair si les méthodes utilisées pour gérer l'absence de données lors de la construction et des tests du modèle sont « compatibles » avec la manière dont le modèle sera finalement utilisé en pratique clinique. Les incohérences — comme l'utilisation de l'imputation multiple (IM) lors du développement mais de l'imputation par la moyenne lors du déploiement — peuvent entraîner des estimations de performance biaisées ou une dégradation du modèle.

Méthodologie
Les auteurs ont étudié cette question à travers deux approches complémentaires : une étude de simulation à grande échelle et une analyse empirique de données chirurgicales réelles.

Étude de simulation :
- Conception : En suivant le cadre ADEMP, l'étude a simulé une population cible de 200 000 individus avec deux prédicteurs ( $X_1, X_2$ ) et un résultat binaire. $X_1$ était sujet à des données manquantes, tandis que $X_2$ et le résultat étaient entièrement observés.
- Mécanismes de données manquantes : Six graphes acycliques dirigés (DAG) ont été utilisés pour induire des mécanismes de données manquantes complètement aléatoires (MCAR), manquantes au hasard (MAR) et non aléatoires (MNAR). Les proportions de données manquantes variaient de 10 % à 50 %, et les corrélations entre les prédicteurs étaient variées.
- Méthodes de gestion : Cinq stratégies ont été évaluées à chaque étape (développement, validation, déploiement) :
  - Analyse de cas complets (CCA)
  - Imputation par la moyenne/le mode
  - Imputation par régression déterministe simple (RI)
  - Imputation multiple (IM), testée à la fois avec l'inclusion du résultat (IM-avec-Y) et sans l'inclusion de celui-ci (IM-sans-Y).
  - Sous-modèles de motifs (PSM).
- Critères de compatibilité : L'étude a défini la « compatibilité » selon deux principes :
  1. Minimiser la dégradation du modèle : La différence entre la performance du modèle déployé et la performance du modèle réel sous une stratégie de déploiement spécifique.
  2. Validation non biaisée : Le processus de validation doit produire une estimation non biaisée de la performance du modèle lorsqu'il est déployé selon cette même stratégie.
- Scénarios : L'étude a testé toutes les combinaisons de stratégies de développement, de validation et de déploiement à travers 600 scénarios.
Analyse empirique :
- Données : Les auteurs ont utilisé le North-West Clinical Outcomes Research Registry (NCORR) contenant 6 600 patients subissant une chirurgie de résection pulmonaire.
- Tâche : Prédire la mortalité à 90 jours après la chirurgie à l'aide d'un modèle de régression logistique basé sur le MPC RESECT-90.
- Procédure : Un échantillonnage par bootstrap a été utilisé pour créer 100 ensembles de données de développement. Les modèles ont été développés en utilisant les diverses méthodes de gestion des données manquantes, puis validés par rapport à l'ensemble de données original, en appliquant les stratégies de validation correspondantes pour évaluer le biais de performance.

Résultats clés
Les résultats de la simulation et l'analyse empirique ont démontré de manière cohérente que la compatibilité dépend fortement de la stratégie de déploiement prévue :

Déploiement nécessitant des données complètes (E-all) :
- Pour minimiser la dégradation et assurer une validation non biaisée, les modèles doivent être développés et validés en utilisant l'imputation multiple incluant le résultat (IM-avec-Y) ou les données entièrement observées.
- Sous des mécanismes de données manquantes complexes (par exemple, MNAR), même l'IM-avec-Y présentait une certaine dégradation, mais elle restait supérieure aux autres méthodes.
- L'utilisation de la CCA ou de l'imputation par la moyenne pour le développement a entraîné une dégradation significative du modèle lors d'un déploiement sous une stratégie E-all.
Déploiement autorisant les données manquantes :
- Lorsqu'un MPC est destiné à être déployé en autorisant les données manquantes (en utilisant une méthode d'imputation spécifique comme l'imputation par la moyenne, la RI, l'IM-sans-Y ou le PSM), la même méthode doit être utilisée lors du développement et de la validation.
- Imputation par la moyenne/le mode : Développer avec l'IM et déployer avec l'imputation par la moyenne a entraîné des estimations de performance biaisées et des erreurs de calibration.
- Imputation par régression (RI) et PSM : Ces méthodes ont performé de manière satisfaisante uniquement lorsque les stratégies de développement, de validation et de déploiement étaient identiques.
- IM-sans-Y : Bien que théoriquement attrayante pour le déploiement, l'utilisation de l'IM-sans-Y lors du développement a conduit à des estimations biaisées de l'association prédicteur-résultat, causant une dégradation lors d'un déploiement sous une stratégie E-IM.
Biais de validation :
- Une conclusion critique est que le biais de validation était principalement piloté par la méthode utilisée pour gérer les données manquantes lors de la validation, plutôt que par la méthode utilisée lors du développement.
- Si un modèle est validé à l'aide d'une méthode différente de la stratégie de déploiement prévue, les estimations de performance seront biaisées, quelle que soit la manière dont le modèle a été initialement construit.

Signification et affirmations
L'article soutient que la décision de la gestion des données manquantes au moment du déploiement doit fondamentalement informer les décisions prises lors du développement et de la validation. Les auteurs affirment que :

Les pratiques actuelles sont défectueuses : Les combinaisons courantes de méthodes trouvées dans la littérature (par exemple, développer avec l'IM et valider/déployer avec l'imputation par la moyenne) entraînent fréquemment des estimations de performance prédictive biaisées et des modèles sous-optimaux.
L'alignement est essentiel : Pour atteindre la compatibilité, les chercheurs doivent travailler à rebours à partir de la stratégie de déploiement.
- Si l'objectif est un modèle pour les patients avec des données complètes, utilisez l'IM-avec-Y (ou les données complètes) tout au long du processus.
- Si l'objectif est un modèle pour les patients avec des données manquantes, utilisez l'identité de la méthode d'imputation (par exemple, RI ou PSM) à travers le développement, la validation et le déploiement.
Implications pratiques : Les auteurs soulignent que si l'IM-avec-Y est statistiquement robuste pour un déploiement de données complètes, elle est souvent peu pratique pour le déploiement (nécessitant l'accès aux données originales ou des ressources computationnelles complexes). Par conséquent, si un modèle doit gérer des données manquantes en pratique, les développeurs devraient privilégier les méthodes déterministes comme l'imputation par régression ou les sous-modèles de motifs dès le départ, plutôt que d'essayer d'adapter un modèle construit pour des données complètes.

L'étude conclut que sans cet alignement, la translation des MPC vers la pratique clinique risque de reposer sur des estimations de performance inexactes, ce qui pourrait compromettre les soins aux patients.