💻 computer science

DALPHIN: Benchmarking Digital Pathology AI Copilots Against Pathologists on an Open Multicentric Dataset

L'article présente DALPHIN, le premier benchmark multicentrique ouvert pour les copilotes d'IA en pathologie numérique, qui évalue des modèles à usage général et spécifiques à la pathologie par rapport à 31 pathologistes sur 130 diagnostics et révèle que PathChat+ atteint un niveau d'expertise dans quatre des six tâches.

Auteurs originaux : Carlijn Lems, Sander Moonemans, Natálie Klubíčková, Biagio Brattoli, Taebum Lee, Seokhwi Kim, Veronica Vilaplana, Laura Pons, Sapir Hochman, Mauricio Eduardo Suárez-Franck, Pedro Luis Fernandez, Juliu

Publié 2026-05-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Carlijn Lems, Sander Moonemans, Natálie Klubíčková, Biagio Brattoli, Taebum Lee, Seokhwi Kim, Veronica Vilaplana, Laura Pons, Sapir Hochman, Mauricio Eduardo Suárez-Franck, Pedro Luis Fernandez, Julius Drachneris, Donatas Petroska, Renaldas Augulis, Arvydas Laurinavicius, Domingos Oliveira, Diana Montezuma, Anouk B. Bouwmeester, Dominique van Midden, Anne-Marie Vos, Shoko Vos, Jolique van Ipenburg, Maschenka Balkenhol, Koen Winkler, Iris Nagtegaal, Konnie Hebeda, Uta Flucke, Katrien Grünberg, Josef Skopal, Brinder S. Chohan, Jordi Temprana-Salvador, Enrico Munari, Luca Cima, Giulia Querzoli, Yosamin Gonzalez Belisario, Jaeike W. Faber, Geert J. L. H. van Leenders, Jan H. von der Thüsen, Lodewijk A. A. Brosens, Ronald R. de Krijger, Pieter Wesseling, Sandrine Florquin, Mateusz Maniewski, Adam Kowalewski, Robert Barna, Dina Tiniakos, Joan Lop Gros, Rogier Donders, Jake S. F. Maurits, Ming Yang Lu, Chengkuan Chen, Faisal Mahmood, Jeroen van der Laak, Nadieh Khalili, Frédérique Meeuwsen, Francesco Ciompi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une compétition de cuisine massive et à haut risque. D'un côté, vous avez trois chefs célèbres (modèles d'IA) qui ont lu tous les livres de cuisine du monde. De l'autre, vous avez un jury de 31 juges humains, allant de cuisiniers amateurs locaux à des experts mondialement reconnus étoilés Michelin. Le défi ? On leur donne à tous un seul ingrédient mystérieux (une image microscopique de tissu) et on leur demande de décrire ce que c'est, si c'est « mauvais » (cancéreux), et quel plat spécifique cela pourrait être.

Ce papier, intitulé DALPHIN, est le bulletin de notes de cette compétition. C'est la première fois que quelqu'un organise un test équitable et ouvert pour voir si ces « chefs IA » peuvent réellement aider de vrais médecins (anatomopathologistes) à diagnostiquer des maladies, ou s'ils ne sont que de simples devineurs sophistiqués.

Voici le détail de ce qui s'est passé, en utilisant des analogies simples :

1. L'Arène : Un concours de « Recette Secrète »

Habituellement, quand vous testez une IA, vous lui donnez un examen blanc, puis vous lui laissez étudier les réponses avant le vrai test. C'est de la triche.

L'équipe DALPHIN a construit un coffre-fort sécurisé et verrouillé pour les réponses. Ils ont créé un ensemble de données de 300 cas médicaux réels provenant de six pays différents, couvrant 130 types de maladies différents (des problèmes cutanés courants aux tumeurs rares).

La Surprise : Les modèles d'IA devaient répondre à des questions sur ces images, mais ils ne pouvaient pas voir les « bonnes » réponses avant d'avoir terminé. Les réponses étaient gardées dans un coffre-fort numérique, accessible uniquement par un système informatique sécurisé qui les notait automatiquement. Cela garantit que personne ne peut tricher en mémorisant le test.

2. Les Concurrents

Le papier a testé trois « chefs » spécifiques :

GPT-5 : Une IA à usage général (comme une encyclopédie ultra-intelligente qui sait un peu de tout).
Gemini 2.5 Pro : Une autre IA à usage général (également très intelligente, mais avec un cerveau différent).
PathChat+ : Une IA spécialisée entraînée spécifiquement sur des manuels médicaux et des images d'anatomopathologie (comme un chef qui ne cuisine que de la cuisine italienne).

3. Les Défis (Les Questions)

L'IA et les juges humains devaient accomplir quatre tâches principales, imitant la façon dont un médecin examine une lame :

Le test « Qu'est-ce que c'est ? » : En regardant un aperçu flou et un détail zoomé, pouvez-vous dire s'il s'agit de tissu pulmonaire, cutané ou hépatique ?
Le test « Est-ce mauvais ? » : Y a-t-il une tumeur ici ? (Oui/Non).
Le test « À quel point est-ce mauvais ? » : S'il y a une tumeur, est-elle inoffensive (bénigne), dangereuse (maligne), ou quelque part entre les deux ?
Le test « Qu'est-ce que c'est exactement ? » : Donnez un nom de diagnostic spécifique ou répondez à une question à choix multiples piège sur la maladie.

4. Les Résultats : Qui a gagné ?

Le Spécialiste contre les Généralistes
L'IA spécialisée (PathChat+) a été la grande gagnante dans la catégorie « diagnostic ». Elle a performé presque aussi bien que les médecins experts humains. C'était comme un chef maître qui pouvait goûter une sauce et dire immédiatement : « C'est un classique Bolognese. »

Les Généralistes (GPT et Gemini) ont eu plus de mal avec les noms médicaux spécifiques. Ils étaient comme des cuisiniers généralistes qui pouvaient vous dire que c'est de la « soupe », mais ne parvenaient pas vraiment à nommer la recette précise.

Les Chefs « Trop Confiants » et « Pas Assez Confiants »
Le papier a révélé certaines bizarreries de personnalité amusantes chez l'IA :

Gemini était l'« alarmiste ». Il avait tendance à voir des tumeurs là où il n'y en avait pas. C'était comme un gardien de sécurité qui pense que chaque ombre est un voleur. Il était très bon pour repérer les vraies tumeurs, mais criait aussi « au loup » trop souvent.
GPT était le « sceptique ». Il avait tendance à manquer des tumeurs, pensant que tout allait bien. C'était comme un gardien qui ignore un bruit suspect parce que « c'est probablement juste le vent ». Il était très bon pour confirmer que tout était sûr, mais manquait les mauvaises choses.

L'Élément Humain
Les juges humains ont été divisés en trois groupes :

Experts : Les spécialistes de haut niveau.
Semi-experts : Des médecins qui connaissent le domaine mais ne font pas partie du top 1 %.
Non-experts : Des internes (stagiaires) ou des médecins qui ne sont pas spécialisés dans cette partie spécifique du corps.

La Grande Surprise :
Dans de nombreuses tâches, les modèles d'IA (en particulier PathChat+) ont performé aussi bien que les humains non-experts et parfois même que les semi-experts. Cependant, dans les tâches les plus difficiles (comme le diagnostic de cancers rares ou de détails complexes), les humains experts ont encore battu tout le monde, y compris l'IA.

5. Le Piège du « Contexte »

Les chercheurs ont testé deux façons de poser des questions :

Indépendant : Poser une question à la fois, comme dans un jeu télévisé.
Contextuel : Poser des questions à la suite, où l'IA se souvient de ce qu'elle a dit dans la question précédente.

Ils ont constaté que se souvenir de la conversation (Contextuel) aidait l'IA à rester cohérente, mais cela avait aussi un inconvénient : si l'IA commettait une erreur dans la première question, elle avait tendance à s'entêter sur cette erreur dans la deuxième question. C'est comme un détective qui se trompe sur le premier indice et construit ensuite toute sa théorie sur cette erreur.

6. La Conclusion

Ce papier ne dit pas « L'IA est prête à remplacer les médecins ». Il dit plutôt :

L'IA devient vraiment bonne dans des tâches médicales spécifiques, correspondant parfois au niveau d'un interne formé ou d'un semi-spécialiste.
Différentes IA ont différentes personnalités. Certaines sont trop effrayées (elles manquent des choses), d'autres sont trop paranoïaques (elles voient des choses qui n'existent pas).
Nous avons besoin d'un moyen équitable de les tester. Le benchmark DALPHIN est comme un terrain d'essai permanent et sécurisé qui nous permettra de suivre comment ces modèles d'IA s'améliorent (ou échouent) au fil du temps sans qu'ils ne trichent.

En bref, ces copilotes IA sont comme des stagiaires très intelligents et enthousiastes. Ils sont utiles et souvent dans le vrai, mais ils ont toujours besoin d'un expert chevronné (un anatomopathologiste humain) pour vérifier leur travail, surtout lorsque le cas est rare ou délicat.

Résumé technique : DALPHIN, évaluation des copilots d'IA en pathologie numérique

Énoncé du problème

L'émergence de modèles de fondation dotés de capacités de réponse aux questions visuelles (VQA) offre une opportunité transformatrice pour la pathologie numérique, pouvant potentiellement assister les pathologistes dans le diagnostic de routine. Cependant, le développement rapide de ces modèles vision-langage (VLM) nécessite une évaluation indépendante et robuste pour évaluer leur utilité clinique et leurs limites. Les benchmarks existants font face à des obstacles majeurs :

Fuite de données : Les jeux de données disponibles publiquement (par exemple, PathVQA) risquent de voir des données de test s'infiltrer dans les ensembles d'entraînement des modèles, gonflant ainsi les métriques de performance.
Manque de reproductibilité : Certains benchmarks (par exemple, PathQABench) reposent sur des sous-ensembles privés qui empêchent la reproduction des résultats ou l'évaluation de nouveaux modèles.
Portée limitée : De nombreuses études manquent de comparaisons à travers différents niveaux d'expertise des pathologistes ou échouent à couvrir la diversité des sous-spécialités en pathologie, des institutions et des protocoles de coloration.
Contexte clinique : L'interprétation diagnostique en pathologie est sujette à une variabilité interobservateur, pourtant peu de benchmarks contextualisent la performance des modèles par rapport à des experts humains de niveaux de compétence variés.

Il existe un besoin critique d'un benchmark multicentrique et ouvert qui séquestre la vérité terrain pour prévenir les fuites tout en permettant l'évaluation de copilots d'IA locaux et en ligne par rapport à une base humaine diversifiée.

Méthodologie

Le benchmark DALPHIN

Les auteurs présentent DALPHIN, le premier benchmark ouvert multicentrique pour les copilots d'IA en pathologie numérique.

Composition du jeu de données : Le benchmark comprend 300 cas (1 236 images d'histologie) collectés auprès de six établissements de santé internationaux répartis dans six pays. Il couvre 130 diagnostics répartis sur 14 sous-spécialités en pathologie (incluant uro-génitale, gastro-intestinale, des tissus mous, mammaire, thoracique, néphropathologie, etc.), englobant des entités néoplasiques, non néoplasiques et rares.
Format des images : Pour imiter le flux de travail du pathologiste, les cas incluent des vues d'ensemble d'images de lames entières (WSI) à basse résolution et des régions d'intérêt (ROI) à plus haute résolution extraites de lames colorées à l'Hématoxyline et Éosine (H&E) ou au Periodic Acid-Schiff (PAS).
Conception des questions : Chaque cas inclut jusqu'à six questions :
1. Questions d'orientation du cas : Identification du tissu ( $Q_{tissue}$ ), statut néoplasique ( $Q_{neoplasm}$ ) et comportement néoplasique ( $Q_{behavior}$ ).
2. Questions avancées : Un diagnostic en réponse libre ( $Q_{diagnosis}$ ), une question à choix multiples spécifique au cas ( $Q_{mc}$ ) et une question en réponse libre spécifique au cas ( $Q_{open}$ ).
Vérité terrain : Les réponses de référence sont fournies par le pathologiste contributeur qui avait accès à la WSI complète, au contexte clinique et aux tests complémentaires. Ces réponses sont séquestrées et accessibles uniquement indirectement via une plateforme d'évaluation sécurisée (Grand Challenge) pour prévenir les fuites.

Protocole d'évaluation

Modèles évalués : L'étude a évalué deux VLM à usage général (GPT-5, Gemini 2.5 Pro) et un VLM spécifique à la pathologie (PathChat+).
Scénarios de génération : Les modèles ont été testés dans deux scénarios :
1. Contextuel (Séquentiel) : Les modèles ont répondu aux questions séquentiellement par cas, conservant le contexte précédent (simulant un flux de travail diagnostique).
2. Indépendant : Chaque question a été traitée comme une requête autonome sans contexte préalable.
Base humaine (Étude de lecture) : Une étude de lecture a été menée avec 31 pathologistes (24 certifiés par le conseil, 7 résidents) provenant de 10 pays. Les participants ont été stratifiés en :
- Experts en sous-spécialité : Plus de 10 ans d'expérience dans la sous-spécialité spécifique.
- Semi-experts : Praticiens courants dans la sous-spécialité mais avec moins de 10 ans d'expérience.
- Non-experts : Résidents ou pathologistes ne pratiquant pas couramment dans la sous-spécialité spécifique.
- Note : En raison de contraintes de ressources, tous les 300 cas n'ont pas été examinés par tous les niveaux d'expertise. Le jeu de données a été analysé dans des sous-ensembles imbriqués : $DALPHIN_{full}$ (300 cas, modèle uniquement), $DALPHIN_{reader}$ (115 cas, 1 expert + 3 non-experts par cas), et $DALPHIN_{semi}$ (60 cas, ajoutant 2 semi-experts).

Métriques

Tâches de classification ( $Q_{tissue}, Q_{neoplasm}, Q_{behavior}, Q_{mc}$ ) : Évaluées à l'aide de la précision, du score F1, du coefficient de corrélation de Matthews (MCC), de la précision, du rappel, de la spécificité et du $\kappa$ de Cohen.
Tâches en réponse libre ( $Q_{diagnosis}, Q_{open}$ ) : Évaluées à l'aide de métriques NLP traditionnelles (BLEU-1, ROUGE-L, METEOR, CIDEr) et de métriques de similarité sémantique (BERTScore, similarité BioBERT).
Analyse statistique : Les différences ont été testées à l'aide de tests de permutation appariés bilatéraux ( $n=1\,000$ ) avec rééchantillonnage par bootstrap pour les intervalles de confiance.

Résultats clés

1. Reconnaissance d'organes ( $Q_{tissue}$ )

Performance des modèles : PathChat et Gemini ont significativement surpassé GPT-5 en reconnaissance d'organes. PathChat a obtenu les scores les plus élevés, suivi de Gemini.
Comparaison humaine : Dans le sous-ensemble de lecture, les pathologistes experts ont significativement surpassé les trois VLM. PathChat et Gemini ont performé de manière comparable aux pathologistes non experts, tandis que GPT-5 a obtenu un score significativement inférieur à tous les niveaux d'expertise humaine.
Variation par sous-spécialité : La performance variait selon le domaine ; la peau était bien reconnue par tous les modèles, tandis que les tissus mous étaient les plus difficiles. PathChat omettait fréquemment les prédictions de tissus pour les cas de tissus mous, indiquant une « absence de tissu normal résiduel ».

2. Statut et comportement néoplasiques ( $Q_{neoplasm}, Q_{behavior}$ )

Statut néoplasique : PathChat a surpassé les deux modèles à usage général dans la classification globale (F1 et MCC). La performance de PathChat était statistiquement indiscernable de celle des experts et des non-experts dans l'étude de lecture.
Analyse des biais :
- Gemini présentait un biais orienté vers la sensibilité, tendant à surestimer les néoplasmes (rappel élevé, spécificité plus faible).
- GPT-5 présentait un biais conservateur, tendant à sous-estimer les néoplasmes (spécificité élevée, rappel plus faible).
- PathChat affichait une performance équilibrée, approchant le rappel au niveau des experts avec une précision comparable à celle des non-experts.
Classification du comportement : PathChat a à nouveau surpassé les modèles généraux. Les matrices de confusion ont révélé que les VLM étaient plus susceptibles de confondre les lésions bénignes et malignes entre elles, tandis que les pathologistes humains les classaient plus fréquemment comme « in situ » ou « incertaines ».

3. Raisonnement diagnostique ( $Q_{diagnosis}$ )

Performance : PathChat a significativement surpassé GPT-5 et Gemini sur toutes les métriques NLP et de similarité sémantique, approchant la performance des pathologistes experts.
Généralisation : La supériorité de PathChat sur les modèles à usage général était cohérente à travers les niveaux de difficulté diagnostique (basique, large, approfondi) et l'incidence du cancer (commun vs rare).
Comparaison humaine : Dans le sous-ensemble de lecture, les experts ont légèrement surpassé PathChat pour les diagnostics larges et approfondis et les cancers rares, tandis que les modèles à usage général ont performé en dessous des niveaux des non-experts pour les diagnostics basiques.

4. Questions spécifiques au cas ( $Q_{mc}, Q_{open}$ )

Choix multiples ( $Q_{mc}$ ) : Tous les VLM ont montré une précision similaire (74–78 %), sans différences significatives entre eux. Les experts ont surpassé tous les modèles.
Réponse libre ( $Q_{open}$ ) : Gemini a montré un avantage de performance par rapport à PathChat et GPT-5 sur l'ensemble complet des données, en particulier dans les catégories cliniques et les sous-spécialités spécifiques (uro-génitale, mammaire, thoracique). Cependant, dans le sous-ensemble de lecture, les différences entre les modèles et les niveaux d'expertise humaine étaient minimes.

5. Génération contextuelle vs indépendante

Compromis : La plupart des métriques n'ont montré aucune différence significative entre les scénarios contextuels et indépendants.
Propagation des erreurs : PathChat a performé significativement mieux dans le scénario contextuel pour les tâches de statut et de comportement néoplasiques. Inversement, les modèles à usage général ont obtenu une précision plus élevée aux questions à choix multiples dans le scénario indépendant, suggérant que le contexte préalable peut parfois introduire des effets d'ancrage ou une propagation d'erreurs pour ces modèles.

Importance et affirmations

L'article affirme que DALPHIN établit une nouvelle norme pour l'évaluation des copilots d'IA en pathologie numérique en abordant les problèmes critiques de fuite de données et de manque de reproductibilité.

Évaluation robuste : En séquestrant la vérité terrain et en utilisant une plateforme d'évaluation indirecte, DALPHIN permet l'évaluation continue et à long terme de modèles en évolution rapide sans compromettre l'intégrité du jeu de données.
Pertinence clinique : L'inclusion d'une base humaine diversifiée (experts, semi-experts, non-experts) fournit un contexte cliniquement interprétable pour la performance des modèles, soulignant que si les modèles spécifiques à la pathologie (PathChat) peuvent approcher un niveau de performance expert dans des tâches spécifiques, des écarts importants subsistent, en particulier pour les cancers rares et le raisonnement complexe.
Comportement des modèles : L'étude révèle des schémas de comportement distincts parmi les modèles (par exemple, sensibilité de Gemini vs conservatisme de GPT), ce qui est crucial pour comprendre les risques potentiels lors du déploiement clinique.
Science ouverte : La publication des images, des questions et du code d'évaluation favorise la transparence et permet à la communauté d'évaluer les futurs modèles par rapport à une norme multicentrique cohérente.

Les auteurs concluent que si les copilots d'IA montrent des promesses, leur performance est hautement dépendante de la tâche, et aucune métrique unique ne capture pleinement leur utilité clinique. Le benchmark sert d'outil pour stimuler le développement d'assistants d'IA plus fiables et ancrés dans la réalité clinique.