$\Delta$Representation: Geometry Supervised Representation Learning of Phenotypes via Counterfactual Reasoning for Medical VLMs

Dans le bourdonnement discret d'un service de radiologie hospitalier, un médecin étudie une coupe de scanner (CT-scan), cherchant la différence subtile entre un poumon sain et un poumon malade. Pour l'œil humain, cette tâche repose sur des années de formation pour reconnaître comment une maladie spécifique modifie l'apparence d'un tissu normal. Ces dernières années, les ordinateurs ont commencé à apprendre cette même compétence grâce à des systèmes d'intelligence artificielle connus sous le nom de modèles de vision-langage. Ces systèmes sont entraînés à regarder des images médicales et à lire du texte clinique, apprenant ainsi à relier ce qu'ils voient à ce qui est écrit. L'objectif est de créer un assistant numérique capable d'aider les médecins à interpréter les scanners, à repérer les anomalies et à générer des rapports. Cependant, un obstacle important subsiste : ces modèles informatiques ont souvent du mal à comprendre qu'une maladie n'est pas un objet distinct flottant dans le corps, mais plutôt un changement affectant la structure normale du corps. Ils voient l'image comme un tout, mais ils ont du mal à isoler précisément comment une lésion, ou une zone endommagée, diffère du tissu sain qui l'entoure. Sans cette compréhension précise, l'ordinateur peut identifier que quelque chose ne va pas, mais il ne peut pas expliquer de manière fiable ce qui ne va pas exactement, ni où cela se situe, avec la précision dont un médecin a besoin.

Une équipe de chercheurs a proposé une nouvelle façon d'enseigner ces modèles informatiques, une méthode qui se concentre sur le concept de changement plutôt que sur l'image finale elle-même. Ils appellent leur approche une méthode d'apprentissage des représentations visuelles par raisonnement contrefactuel. En termes simples, au lieu de simplement montrer à l'ordinateur l'image d'un poumon malade et de lui demander de nommer la maladie, les chercheurs apprennent à l'ordinateur à imaginer ce à quoi cet endroit spécifique ressemblerait s'il était sain. Le système apprend d'abord une carte détaillée de la façon dont les parties saines du corps sont disposées dans l'espace, comprenant que le cœur occupe une relation spécifique avec les poumons et que les vaisseaux sanguins suivent un chemin continu. Une fois cette carte de l'anatomie normale établie, l'ordinateur regarde une zone malade et pose une question hypothétique : « Si cet endroit était normal, à quoi ressemblerait-il ? » En comparant l'image réelle du tissu malade à cette version saine imaginée, le système calcule la différence spécifique. Cette différence, ou cet « incrément » de changement, devient la clé pour identifier la maladie. Les chercheurs ont constaté qu'en se concentrant sur cet écart entre l'état réel et l'état sain imaginé, l'ordinateur devient bien meilleur pour localiser précisément où se trouve un problème et pour décrire exactement quel type de problème il s'agit.

La méthode repose sur deux étapes distinctes. Premièrement, le système subit une phase d'entraînement où il apprend la géométrie du corps humain en l'absence de toute maladie. On lui présente des milliers d'images d'anatomie saine et on lui apprend à organiser sa compréhension interne de ces structures de sorte que les relations spatiales correspondent à la réalité. Si le modèle sait où se trouve le poumon gauche par rapport au poumon droit, et comment le tissu circule de manière continue au sein d'un même organe, il construit un point de référence stable. Cela est crucial car cela donne à l'ordinateur un point de base fiable. Dans la seconde étape, le système rencontre des images contenant des lésions, telles que des nodules ou des zones d'inflammation. Pour chaque patch de tissu malade, le système utilise sa connaissance de l'anatomie saine pour estimer ce que ce patch devrait être si elle n'était pas malade. Il soustrait ensuite cette version saine estimée de l'image malade réelle. Le résultat est un signal clair qui met en évidence uniquement le changement pathologique, éliminant le bruit de fond de l'anatomie normale. Cela permet au modèle de comprendre qu'un « nodule pulmonaire » n'est pas seulement une forme aléatoire, mais un type spécifique de changement visuel par rapport au tissu pulmonaire normal.

Pour tester cette idée, les chercheurs ont appliqué leur méthode à plusieurs modèles existants d'intelligence artificielle médicale et les ont évalués sur deux grands ensembles de données publiques contenant des scanners thoraciques. Un ensemble de données comprenait plus de deux mille images avec des notes détaillées sur quatre types spécifiques de pathologies pulmonaires, tandis que l'autre contenait des centaines de scanners avec des annotations d'experts pour les nodules pulmonaires. Les résultats ont montré une amélioration spectaculaire de la capacité des modèles à accomplir deux tâches critiques : localiser la position exacte d'une lésion sur le scanner et identifier correctement le type de maladie. Par exemple, lorsqu'il a été testé sur l'un des modèles, la capacité à localiser précisément l'emplacement d'un problème est passée d'une précision d'environ dix pour cent à plus de cinquante pour cent. De même, la précision de l'identification du type de maladie spécifique a plus que triplé dans certains cas. Les chercheurs ont observé qu'à mesure qu'ils alimentaient le système avec davantage d'exemples de tissus malades, sa capacité à distinguer les différents types de conditions devenait plus fine, un peu comme un étudiant qui apprend à faire la différence entre des oiseaux de l'aspect similaire après en avoir vu beaucoup plus d'exemples.

L'étude a également démontré que cette approche fonctionne bien même lorsque l'ordinateur est sollicité pour générer des rapports écrits complets sur les scanners, une tâche connue sous le nom de génération de rapports radiologiques. Lors de ces tests, les modèles équipés de la nouvelle méthode étaient capables de produire des rapports non seulement plus précis dans leurs descriptions, mais aussi plus aptes à lier ces descriptions aux parties correctes de l'image. Dans une étude de cas spécifique, un modèle standard n'a pas remarqué une opacité en verre dépoli, un trouble subtil du poumon, et a rapporté que le scanner était normal. Le modèle utilisant la nouvelle méthode, cependant, a correctement identifié l'anomalie, a décrit sa texture et sa forme, et a noté sa localisation dans la partie inférieure du poumon. Ce succès suggère qu'en apprenant à l'ordinateur à comprendre la disposition normale du corps et en mesurant ensuite l'écart par rapport à cette disposition, le système acquiert une compréhension plus profonde et plus fiable de la maladie. Les chercheurs ont conclu que cette façon d'apprendre, qui sépare le normal de l'anormal par un processus de comparaison, offre un outil puissant pour améliorer la façon dont l'intelligence artificielle interprète les images médicales, menant potentiellement à des diagnostics plus précis et à un meilleur soutien pour les médecins à l'avenir.