MIRROR: Multimodal Intelligent Radiology Reasoning and Observation Reporter

Dans le monde de l'imagerie médicale, un programme informatique qui examine une image du thorax humain et repère une maladie n'est plus un fantasme ; c'est une réalité qui est déjà arrivée. Ces programmes, construits sur l'apprentissage profond, peuvent scanner des milliers de radiographies et identifier des modèles de maladies qui correspondent souvent à la compétence d'un spécialiste humain. Pourtant, pour qu'un médecin fasse confiance à une telle machine, l'ordinateur doit faire plus que simplement murmurer un chiffre. Il doit s'expliquer. Il doit pointer l'endroit sur l'image où il voit le problème et décrire pourquoi il pense que cet endroit est malade. Le danger surgit lorsqu'un ordinateur tente de rédiger un rapport pour un médecin. Si l'ordinateur est autorisé à regarder l'image pendant qu'il écrit, il pourrait inventer des détails qui semblent parfaitement professionnels mais qui n'ont jamais été réellement vus par la partie du système qui effectue le diagnostic. Cela crée un écart silencieux entre ce que la machine sait et ce qu'elle dit savoir, un écart qui pourrait conduire un médecin à commettre une erreur dangereuse.

Une équipe de recherche a construit un prototype de système appelé MIRROR pour résoudre ce problème spécifique de confiance. Le système est conçu avec une règle stricte : la partie du logiciel qui rédige le rapport n'est jamais autorisée à voir l'image de la radiographie. Au lieu de cela, l'image est d'abord analysée par un classificateur qui liste simplement quelles maladies sont présentes et leur probabilité. Un second outil met ensuite en évidence la zone générale sur l'image où ces maladies apparaissent. Seule cette liste de constatations et de localisations est transmise au moteur de rédaction. Parce que le rédacteur ne peut pas voir l'image, il est physment impossible pour lui d'inventer une nouvelle maladie ou de décrire un détail qu'il n'a pas reçu. Les chercheurs ont testé ce système sur des radiographies thoraciques et ont découvert que, bien que l'ordinateur soit très doué pour classer les maladies les plus probables, il peinait à prendre une décision finale sur la plupart d'entre elles. Plus important encore, ils ont découvert que même lorsque l'ordinateur rédigeait un rapport fluide et professionnel, il incluait souvent des mesures médicales spécifiques que le système n'avait jamais réellement calculées.

L'équipe a construit ce pipeline en trois étapes distinctes pour garantir que le rapport final reste honnête. Premièrement, un réseau neuronal, qui est un type de programme informatique modélisé d'après le cerveau humain, scanne la radiographie et attribue un score de probabilité à quatorze types différents de conditions thoraciques. Deuxièmement, un outil de localisation regarde la même image et dessine une carte approximative montrant où l'ordinateur pense que la maladie se trouve, traduisant cette localisation en un nom simple comme « poumon supérieur gauche ». Troisièmement, un modèle de langage prend uniquement la liste des maladies, leurs scores et leurs localisations nommées pour rédiger le rapport médical final. Le choix de conception crucial ici est que le modèle de langage ne voit jamais la radiographie elle-même. C'est comme un secrétaire à qui l'on remettrait une liste de faits dactylographiée et à qui l'on demanderait d'écrire une histoire, mais qui lui serait interdit de consulter les documents originaux. Cela garantit que la liste des maladies dans le rapport correspond exactement à la liste que l'ordinateur a trouvée, empênant le système d'halluciner une condition qui n'a jamais été détectée.

Lorsque les chercheurs ont testé ce système sur une large collection de radiographies thoraciques, les résultats ont révélé un tableau complexe de ce que la machine peut et ne peut pas faire. L'ordinateur était étonnamment doué pour comprendre la structure des images. Il pouvait faire la différence entre un thorax sain et un thorax malade, et il classait la probabilité des maladies d'une manière bien meilleure qu'un choix aléatoire. Pour certaines conditions, comme la présence de liquide dans les poumons ou un cœur élargi, le système était assez précis. Cependant, lorsqu'on lui demandait de prendre une décision finale sur la présence ou l'absence d'une maladie, le système restait silencieux sur onze des quatorze conditions pour lesquelles il avait été entraîné. Il ne se sentait tout simplement pas assez confiant pour dire « oui » ou « non » pour la plupart d'entre elles. Ce silence n'était pas un choix de conception, mais le résultat des données d'entraînement et de la faible résolution des images utilisées lors du test. Le système a appris à reconnaître des motifs, mais n'a pas appris à prendre les décisions tranchées requises pour un diagnostic clinique.

Peut-être la découverte la plus révélatrice est venue de l'examen des rapports générés par le système. Parce que la partie rédactionnelle du système était si fluide, elle produisait un texte qui ressemblait exactement à un rapport écrit par un médecin humain. Cependant, les chercheurs ont découvert que cette fluidité avait un coût caché. Dans un exemple, le rapport indiquait que la taille du cœur était normale et que les angles au bas des poumons étaient dégagés. Le système n'avait jamais mesuré la taille du cœur, ni vérifié ces angles. Il avait simplement complété ces phrases parce qu'elles sont des expressions courantes dans les rapports médicaux. Le système était correct concernant les maladies qu'il avait détectées, mais il inventait les détails autour d'elles. Cela a démontré une limite critique : le système pouvait garantir que la liste des maladies était réelle et vérifiable, mais il ne pouvait pas garantir que les phrases les décrivant étaient vraies. Le rapport était ancré dans les preuves des maladies trouvées, mais déconnecté des détails inventés pour compléter l'histoire.

Les chercheurs ont également montré que cette architecture pouvait être adaptée à d'autres types d'imagerie médicale, tels que les IRM cérébrales ou les scanners de la tête, en changeant simplement une liste de noms et de termes plutôt que de réécrire l'intégralité du code informatique. Cela suggère que la méthode consistant à séparer la détection de la rédaction est un outil flexible qui pourrait fonctionner dans différents domaines médicaux. Cependant, l'équipe a pris soin de préciser qu'il s'agit d'un prototype de recherche, et non d'un dispositif médical prêt pour les hôpitaux. Le système n'a pas été testé sur de vrais patients, et les chercheurs n'ont pas encore mesuré si avoir ces rapports aide réellement les médecins à prendre de meilleures décisions. Ce travail sert de preuve de concept, montrant qu'il est possible de construire un système où les faits sont verrouillés, même si la prose qui les entoure ne l'est pas.

En fin de compte, la valeur de ce travail réside dans la clarté de ses limites. Le système prouve que l'on peut construire une machine incapable de mentir sur ce qu'elle a trouvé, car la partie qui rédige le rapport est coupée de l'image. Mais il prouve aussi qu'une machine peut encore paraître confiante sur des choses qu'elle ne connaît pas. Les chercheurs concluent que pour les décisions à enjeux élevés en médecine, nous devons être très prudents quant à ce en quoi nous faisons confiance. Nous pouvons faire confiance à la liste des constatations si le système est construit de cette manière, mais nous ne pouvons pas faire confiance au texte environnant à moins qu'il ne soit vérifié par un humain. Le système ne remplace pas le médecin ; il offre plutôt une nouvelle façon de voir où la machine est certaine et où elle ne fait que deviner, transformant une boîte noire en un processus transparent qu'un humain peut auditer.