Feature leakage inflates machine-learning estimates of antiretroviral non-adherence risk in children living with HIV: a tiered sensitivity analysis of the EARTH cohort

Dans le monde de la médecine moderne, les médecins s'appuient de plus en plus sur l'informatique pour aider à prédire quels patients pourraient avoir des difficultés à prendre leurs médicaments quotidiens. Cela est particulièrement critique pour les enfants vivant avec le VIH, où manquer des doses de traitement antirétroviral peut avoir des conséquences graves et potentiellement mortelles. Pour faire ces prédictions, les chercheurs rassemblent de vastes quantités de données issues des visites hospitalières, telles que le nombre de pilules qu'il reste à un enfant, si un parent a signalé une dose manquée, ou le temps qu'il a fallu pour renouveler une prescription. Ils injectent ces informations dans des modèles d'apprentissage automatique, qui sont des programmes informatiques sophistiqués conçus pour trouver des modèles et prévoir les comportements futurs. L'espoir est que ces outils puissent identifier les enfants à risque tôt, permettant aux cliniques d'intervenir avant que la santé d'un enfant ne se détériore. Cependant, un piège caché existe dans la manière dont ces données sont collectées et utilisées. Si l'information utilisée pour faire la prédiction est trop étroitement liée à la définition même du problème, l'ordinateur peut paraître être un génie alors qu'il ne fait que lire le corrigé. Ce phénomène, connu sous le nom de fuite de données (data leakage), crée une illusion de perfection qui disparaît dès que le modèle est testé dans le monde réel.

Une équipe de chercheurs de l'Ouganda a récemment enquêté sur ce problème exact en utilisant des données de la cohorte EARTH, une étude à long terme suivant des enfants vivant avec le VIH. Ils voulaient comprendre à quel point le succès apparent d'un modèle d'apprentissage automatique dépendait d'un type spécifique de problème méthodologique : utiliser les indices mêmes qui définissent le problème pour résoudre le problème. Dans leur étude complémentaire, l'équipe avait construit un modèle pour prédire l'« observance sous-optimale », qu'ils définissaient comme un enfant manquant des doses, tombant à court de médicaments ou retardant un renouvellement de pharmacie. Pour être rigoureux, ils avaient précédemment supprimé les points de données spécifiques qui créaient directement cette définition avant d'entraîner leur ordinateur. Ce travail précédent avait montré des résultats modestes et réalistes. Mais pour cette nouvelle analyse, les chercheurs ont posé une question différente : que se passe-t-il si nous laissons ces indices ? Ils voulaient voir à quel point la performance du modèle serait gonflée si on lui permettait de jeter un coup d'œil au corrigé.

Pour le découvrir, les chercheurs ont reconstruit le jeu de données à partir du même groupe de 208 enfants et 590 visites cliniques, mais ils ont organisé les données en trois couches distinctes de rigueur. La première couche était la version « non contrôlée », où l'ordinateur recevait chaque pièce d'information disponible, y compris les rapports directs de doses manquées et le décompte exact des pilules restantes. Ce sont les faits spécifiques que les chercheurs ont utilisés pour décider si un enfant adhérait mal ou non. Lorsque l'ordinateur a été entraîné sur cette couche, les résultats ont été d'une perfection stupéfiante. Six types différents d'algorithmes d'apprentissage automatique, y compris des modèles complexes basés sur des arbres, ont obtenu un score de 1,000, ce qui signifie qu'ils n'ont commis aucune erreur dans leurs prédictions. L'ordinateur ne prédisait pas l'avenir ; il répétait simplement les règles qui lui avaient été données. Il a trouvé que si un enfant avait manqué une dose, le modèle prédisait une non-observance, et si ce n'était pas le cas, il prédisait l'observance. C'était une boucle parfaite, mais inutile pour une prédiction dans le monde réel.

Les chercheurs sont ensuite passés à la deuxième couche, la version « lâchement contrôlée ». Ici, ils ont supprimé les cinq champs spécifiques qui définissaient directement le résultat : le rapport d'une dose manquée, le retard dans la collecte à la pharmacie, le rapport de rupture de stock de médicaments, le calcul du retard et la quantité de médicaments restants. Sans ces indices directs, la performance de l'ordinateur a chuté de manière significative. Le meilleur modèle, un programme appelé CatBoost, a vu son score de précision passer de la perfection de 1,000 à 0,735. Bien que ce soit toujours un résultat décent, c'est loin de la perfection de la première couche. Cette chute a prouvé que le succès initial était largement une illusion créée par le modèle lisant la définition du problème plutôt que d'apprendre un véritable motif.

Cependant, l'histoire ne s'est pas arrêtée là. Les chercheurs ont remarqué que même dans cette deuxième couche, une variable dominait encore les décisions du modèle : un champ indiquant si l'enfant avait interrompu son traitement depuis la dernière visite. Bien que cette variable ne définisse pas techniquement le résultat, elle était si étroitement liée au concept d'observance qu'elle agissait comme un substitut (proxy) quasi parfait. Lorsque les chercheurs ont supprimé cette dernière variable pour créer la troisième couche, la « strictement contrôlée », la performance du modèle a encore chuté. Le score du modèle CatBoost est tombé à 0,680, et sa capacité à identifier correctement les cas les plus critiques est tombée à 0,407. Ce résultat final correspondait étroitement à la performance modeste observée dans leur étude précédente, plus rigoureuse, confirmant que le véritable signal prédictif dans les données était beaucoup plus faible que les chiffres initialement gonflés ne le suggéraient.

L'étude souligne une leçon cruciale pour quiconque utilise des ordinateurs pour prédire des résultats médicaux. Les chercheurs ont constaté que les modèles basés sur des arbres, qui sont populaires pour leur capacité à gérer des données complexes, étaient particulièrement sensibles à ce genre d'inflation car ils excellent à trouver les règles exactes qui définissent une catégorie. Lorsque le résultat cible est construit à partir d'une combinaison simple de variables de processus — telle que « dose manquée OU rupture de médicaments » — le modèle peut facilement mémoriser ces règles et atteindre des scores parfaits qui ne reflètent pas la réalité. Les chercheurs soulignent que des variables comme les registres de renouvellement de pharmacie ne sont pas intrinsèquement mauvaises ; elles sont utiles pour prédire différents résultats, comme si le virus d'un enfant sera supprimé. Le danger survient uniquement lorsque l'objectif est de prédire l'observance elle-même, et que le modèle est autorisé à utiliser les mesures mêmes qui définissent l'observance comme ses principaux indices.

En fin de compte, cette analyse sert d'avertissement contre le fait de prendre les chiffres de haute performance pour argent comptant. Les chercheurs ont démontré que l'inclusion de champs définissant le résultat peut artificiellement augmenter la discrimination d'un modèle de 0,41 point, une différence massive qui pourrait conduire les cliniciens à faire confiance à un outil qui n'est pas réellement prêt à être utilisé. Ils suggèrent que les études futures devraient adopter une approche par paliers, en supprimant systématiquement les composants directs et les substituts proches pour auditer ce type de fuite. Ce faisant, les scientifiques peuvent s'assurer que les modèles qu'ils construisent détectent des signaux réels et transportables qui tiendront bon dans le monde réel, plutôt que de simplement refléter la structure des données qui leur ont été injectées. Ce travail confirme que si l'apprentissage automatique est porteur de grandes promesses pour améliorer les soins dans les contextes à faibles ressources, sa puissance doit être tempérée par une compréhension rigoureuse de la construction des données.