A multi-model study of diagnostic faithfulness in AI-generated histopathology images

Les pathologistes sont les détectives du monde microscopique, examinant de fines coupes de tissus humains sous un microscope pour diagnostiquer des maladies. Leur travail repose sur un langage précis pour décrire ce qu'ils voient : la forme des cellules, la texture des tissus et l'agencement des structures. Pendant des décennies, le partage de ces leçons visuelles a été difficile. Les images réelles de patients sont protégées par des lois strictes sur la confidentialité, et trouver suffisamment d'exemples de maladies rares pour enseigner aux étudiants ou entraîner des ordinateurs est une lutte constante. Ces dernières années, un nouveau type d'intelligence artificielle est apparu, capable de transformer des descriptions écrites en images. L'espoir est que ces machines puissent générer des images pédagogiques parfaites ou créer de vastes bibliothèques de tissus synthétiques pour la recherche, contournant ainsi le besoin de données réelles de patients. Mais une question critique demeure : si un ordinateur écrit la description d'une maladie spécifique puis en dessine une image, cette image ressemble-t-elle réellement à la réalité, ou s'agit-il simplement d'une supposition plausible ?

Une équipe de chercheurs de l'Université Tsinghua s'est donné pour mission de répondre à cette question en testant sept modèles d'intelligence artificielle différents. Ils voulaient voir si ces machines pouvaient traduire fidèlement des rapports médicaux en images d'histologie précises. Pour ce faire, ils ont construit un test rigoureux utilisant 579 exemples réels tirés de manuels médicaux faisant autorité. Ces exemples couvraient un large éventail de systèmes corporels humains, du cerveau et des poumons à la peau et aux organes reproducteurs. Les chercheurs ont injecté les descriptions écrites de ces cas de manuels dans les sept modèles d'IA et leur ont demandé de générer les images correspondantes. Ils ont ensuite comparé les résultats à l'aide de trois méthodes automatisées différentes. Une méthode vérifiait si le style général et la texture des images générées correspondaient aux images réelles. Une deuxième méthode mesurait à quel point les détails spécifiques de l'image s'alignaient avec les mots spécifiques de la description. La troisième méthode était un test de mémoire : ils ont montré l'image générée par l'IA au système et lui ont demandé s'il pouvait retrouver le rapport médical original qui l'avait créée.

Les résultats ont révélé un tableau complexe de ce que ces machines peuvent et ne peuvent pas faire. Un modèle, nommé Nano Banana Pro, a obtenu de meilleurs résultats que les autres lors des trois tests. Il a créé des images qui ressemblaient le plus aux exemples des manuels et qui s'alignaient le mieux avec les descriptions écrites. Cependant, même ce modèle performant a éprouvé des difficultés lors du test de mémoire. Lorsqu'on lui présentait une image générée, le système ne parvenait à identifier correctement le rapport médical original que dans environ 6 % des cas. Cela signifie que, bien que les images aient semblé généralement réalistes, elles manquaient des détails spécifiques et uniques qui permettraient à un médecin ou à un ordinateur de distinguer un cas particulier d'un autre. L'étude a également révélé que les différentes méthodes de test étaient souvent en désaccord entre elles. Un modèle pouvait produire des images statistiquement similaires à des tissus réels mais échouer à capturer les détails spécifiques décrits dans le texte, tandis qu'un autre modèle pouvait faire l'inverse.

Ce désaccord met en évidence une limite cruciale dans notre façon d'évaluer l'intelligence artificielle en médecine. Un modèle peut être excellent pour imiter l'« aspect » général d'un échantillon de tissu sans pour autant comprendre la maladie spécifique qu'il est censé représenter. Les chercheurs ont constaté qu'un modèle spécialisé entraîné uniquement sur le tissu mammaire performait bien pour imiter l'apparence générale des échantillons de sein, mais cela ne garantissait pas qu'il puisse restituer avec précision les caractéristiques spécifiques d'un cas particulier. L'étude conclut qu'il est dangereux de se fier à un score unique pour juger ces modèles. Pour savoir si une IA est utile pour l'enseignement médical ou la recherche, nous devons mesurer à la fois le réalisme général des images et leur capacité à correspondre à des descriptions spécifiques. Tant que ces systèmes ne pourront pas reproduire de manière fiable les détails fins de la maladie, ils resteront des outils puissants pour générer des visuels généraux, mais ne sont pas encore prêts à remplacer la précision de la pathologie réelle.