Nested cross-validation reduces optimism in metabolomics-based prediction of immune checkpoint inhibitor outcomes
Cette étude démontre que la validation croisée imbriquée réduit considérablement l'optimisme et fournit des estimations de performance plus fiables que la séparation simple par échantillon de test ou la validation croisée non imbriquée lors du développement de modèles prédictifs basés sur la métabolomique pour les résultats des inhibiteurs de points de contrôle immunitaire.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous soyez un détective tentant de résoudre un mystère : pourquoi certains patients cancéreux répondent-ils incroyablement bien à un nouveau type de médicament appelé inhibiteur de point de contrôle immunitaire (ICI), alors que d'autres non ? Ces médicaments sont comme une recharge de la force de police du corps (le système immunitaire) pour traquer les cellules cancéreuses. Mais la force de police ne se présente pas toujours au travail, et nous avons besoin d'un moyen de prédire qui recevra l'aide dont il a besoin. Les scientifiques ont commencé à examiner les minuscules messagers chimiques flottant dans notre sang, appelés métabolites, pour servir d'indices. Ce domaine est appelé la métabolomique. C'est comme essayer de deviner la météo en observant le comportement des fourmis avant une tempête. Le problème est que ces indices chimiques sont désordonnés, il y en a des milliers, et le nombre de patients que nous pouvons étudier est souvent assez restreint. Lorsque vous essayez de trouver des motifs dans un petit tas d'indices désordonnés, il est très facile de vous tromper en pensant avoir trouvé un motif parfait alors qu'il ne s'agit en fait que d'une coïncidence. C'est le danger de l'« optimisme excessif » en science.
Ce document est essentiellement un conte moral sur la façon dont nous vérifions notre travail de détective. Les chercheurs voulaient voir si la façon dont nous testons nos modèles de prédiction nous fait croire qu'ils sont meilleurs qu'ils ne le sont réellement. Ils ont comparé trois méthodes de test différentes : un test simple de « séparation » (holdout test) (où l'on divise les données une seule fois en un groupe d'entraînement et un groupe de test), une « validation croisée non imbriquée » (non-nested cross-validation) (où l'on mélange les données et qu'on les teste, mais où l'on laisse accidentellement les indices du groupe de test influencer le choix des indices), et une « validation croisée imbriquée » (nested cross-validation) (une méthode plus stricte et plus prudente où l'on garde les indices de test complètement cachés jusqu'à la toute fin).
L'étude a porté sur six ensembles différents d'échantillons de sang prélevés avant le début du traitement et dix ensembles prélevés après, en utilisant des machines de haute technologie pour mesurer les produits chimiques. Ils ont fait passer leurs modèles de prédiction par ces trois méthodes de test. Les résultats ont été un signal d'alarme. Lorsqu'ils utilisaient la méthode « non imbriquée », les modèles semblaient être des stars, avec un score moyen (appelé ROC-AUC) de 0,882 pour les échantillons pré-traitement. Mais lorsqu'ils utilisaient la méthode « imbriquée », plus stricte, le score chutait pour atteindre un score beaucoup plus modeste de 0,705. C'est une énorme différence ! C'est comme un élève qui obtient un A+ à un examen blanc parce qu'il a jeté un coup d'œil aux réponses, mais qui obtient un C à l'examen réel lorsque les réponses sont cachées. La méthode « non imbriquée » surestimait la capacité du modèle de près de 0,18 point en moyenne.
Les chercheurs ont découvert que le principal coupable de ce succès fictif était l'étape où l'ordinateur choisit les indices chimiques les plus importants. Si vous laissez l'ordinateur choisir les meilleurs indices en utilisant les mêmes données qu'il utilise pour noter le test, il s'embrouille et prend un bruit aléatoire pour un signal réel. La méthode « imbriquée » corrige cela en forçant l'ordinateur à choisir les indices sur un ensemble de données distinct avant même qu'il ne voie les données de test. Curieusement, la méthode de « séparation » (holdout) (la division simple) n'a pas autant surestimé le score que la méthode non imbriquée, mais elle était très instable, donnant une large gamme de réponses possibles, comme une règle tremblante. La méthode imbriquée donnait une plage de réponses plus serrée et plus fiable.
L'étude a également examiné si le fait de tester avant ou après le traitement importait. La réponse est : cela dépend du groupe spécifique de patients. Pour certains types de cancers, les échantillons de sang prélevés avant le traitement étaient les meilleurs prédicteurs, tandis que pour d'autres, les échantillons prélevés après le début du traitement étaient meilleurs. Il n'y avait pas de « moment magique » unique pour tester tout le monde.
Enfin, l'équipe a testé cela sur un autre type de machine (la RMN plutôt que la spectrométrie de masse habituelle) avec des patients atteints de mélanome, et le même schéma se vérifie : la méthode imbriquée stricte donnait un score plus réaliste et plus bas que les méthodes plus lâches. Les auteurs concluent que pour les petites études comme celles-ci, où nous essayons de trouver des biomarqueurs pour le traitement du cancer, nous devons utiliser la méthode imbriquée stricte. Si nous ne le faisons pas, nous risquons de nous enthousiasmer pour un prédicteur « parfait » qui n'est en fait qu'un mirage créé par nos propres erreurs de test. Bien que cela ne nous donne pas encore un test médical prêt à l'emploi, cela nous donne les bonnes règles du jeu pour que, lorsque nous trouverons un véritable biomarqueur, nous puissions lui faire confiance.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.