💬 NLP

ReXrank: A Public Leaderboard for AI-Powered Radiology Report Generation

Le document présente ReXrank, un classement public et un cadre d'évaluation standardisé comprenant le jeu de données à grande échelle ReXGradient ainsi que de multiples métriques pour évaluer et comparer objectivement les modèles d'IA pour la génération automatisée de rapports de radiographie thoracique.

Auteurs originaux : Xiaoman Zhang, Hong-Yu Zhou, Xiaoli Yang, Oishi Banerjee, Julián N. Acosta, Mohammed Baharoon, Josh Miller, Ouwen Huang, Pranav Rajpurkar

Publié 2026-08-13

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xiaoman Zhang, Hong-Yu Zhou, Xiaoli Yang, Oishi Banerjee, Julián N. Acosta, Mohammed Baharoon, Josh Miller, Ouwen Huang, Pranav Rajpurkar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où un ordinateur pourrait regarder une image floue en noir et blanc de vos côtes et rédiger instantanément un rapport médical sur ce qui ne va pas. Ce n'est pas de la magie ; c'est une branche de la science appelée intelligence artificielle (IA) appliquée à la médecine, plus précisément à la radiologie. Pendant des années, des scientifiques ont appris aux ordinateurs à « lire » les radiographies, mais il y avait un problème majeur : tout le monde ne jouait pas selon les mêmes règles. Certaines équipes testaient leur IA sur un ensemble d'images, d'autres sur un autre, et elles utilisaient différentes méthodes pour évaluer la qualité de l'écriture de l'IA. C'était comme si mille écoles différentes notaient des devoirs de mathématiques avec des corrigés différents — on ne pouvait pas savoir qui était réellement le meilleur élève. Cet article s'aventure dans cette salle de classe chaotique pour construire un tableau de bord unique, équitable et géant, où chaque IA peut être testée dans les mêmes conditions.

L'article présente ReXrank, un classement public conçu pour être l'arbitre ultime de l'IA qui rédige des rapports de radiographies thoraciques. Considérez cela comme une compétition culinaire à enjeux élevés, mais au lieu de chefs, les candidats sont des modèles informatiques, et au lieu de juger un soufflé, on juge la capacité d'un robot à décrire ce qu'il voit dans une image médicale. Les auteurs ont rassemblé une immense « cuisine d'essai » secrète appelée ReXGradient, contenant 10 000 études de radiographies thoraciques réelles provenant de 67 hôpitaux différents à travers les États-Unis. C'est l'« examen final » que aucune IA n'a encore vu. Ils ont également inclus trois autres ensembles de données publics pour s'assurer que les modèles ne font pas que mémoriser des réponses, mais apprennent réellement à cuisiner.

Pour noter les robots, les chercheurs n'ont pas utilisé une seule règle ; ils en ont utilisé huit différentes. Certaines règles vérifient si les mots ressemblent à ceux écrits par un humain (comme vérifier si une phrase est fluide), tandis que d'autres sont des règles médicales spécialisées qui vérifient si l'IA a correctement identifié des maladies spécifiques ou si elle n'a pas accidentellement déclaré qu'un patient a une fracture alors qu'il n'en a pas. Ils ont même utilisé une règle d'« erreur clinique » qui agit comme un éditeur strict, comptant combien d'erreurs l'IA a commises qu'un vrai médecin aurait détectées.

Une fois la poussière retombée, les résultats étaient clairs. Un modèle, nommé MedVersa, s'est distingué comme le champion, obtenant systématiquement les scores les plus élevés dans presque tous les tests, particulièrement sur le difficile et secret jeu de données ReXGradient. Il a battu même les célèbres modèles d'IA à usage général comme GPT-4V, qui sont bons en beaucoup de choses mais pas nécessairement entraînés spécifiquement pour les rapports médicaux. L'article suggère que les modèles entraînés sur un mélange de différentes sources de données ont tendance à être plus robustes, tandis que d'autres ont eu du mal lorsque les données étaient différentes de celles auxquelles ils étaient habitués. Curieusement, l'étude a révélé que certains ensembles de données publics étaient trop faciles, agissant comme un test d'entraînement qui n'avait pas préparé les modèles à la réalité, alors que le jeu de données privé ReXGradient était le véritable test de résistance qui a révélé quels modèles étaient réellement prêts pour l'hôpital.

Les auteurs précisent avec prudence que, bien que MedVersa soit actuellement le meilleur performeur, ce n'est pas un problème « résolu ». La médecine est complexe, et l'article souligne que ces modèles sont toujours évalués pour leur capacité à se généraliser à de nouvelles situations inédites. L'objectif de ReXrank n'est pas de déclarer un vainqueur permanent, mais de fournir un moyen standardisé à la communauté scientifique pour suivre les progrès, garantissant que lorsque les outils d'IA aideront finalement les médecins, ils soient fiables, précis et sûrs pour les patients partout dans le monde.

Résumé technique : ReXrank : Un classement public pour la génération de rapports de radiologie assistée par l'IA

Problématique

Bien que les modèles pilotés par l'IA aient démontré un potentiel significatif pour automatiser la génération de rapports de radiologie pour les radiographies thoraciques, le domaine manque d'un benchmark standardisé pour évaluer et comparer objectivement leurs performances. Les ensembles de données existants, tels que MIMIC-CXR, souffrent de divisions de données inconsistantes, d'un manque de métriques d'évaluation standardisées et de distributions de données qui ne parviennent pas à tester adéquatement la capacité d'un modèle à se généraliser à des contextes cliniques diversifiés et inédits. Cette absence de cadre unifié entrave l'analyse comparative fiable entre différentes architectures de modèles et limite l'évaluation de la robustesse clinique.

Méthodologie

Pour combler ces lacunes, les auteurs introduisent ReXrank, un classement public et un défi conçu pour évaluer la génération de rapports de radiologie assistée par l'IA. La méthodologie repose sur un cadre d'évaluation complet impliquant quatre ensembles de données distincts et huit métriques diversifiées.

Ensembles de données

ReXrank évalue les modèles sur une combinaison de données publiques et privées afin d'assurer la robustesse à travers diverses distributions :

ReXGradient : Un large ensemble de test privé comprenant 10 000 études provenant de 67 sites médicaux américains et de 7 004 patients. Il sert de benchmark principal pour évaluer la généralisation dans des environnements cliniques réels et diversifiés.
MIMIC-CXR : La division de test officielle (2 347 études) de ce large ensemble de données publiques.
IU-Xray : La division de test officielle (590 études) de cet ensemble de données publiques.
CheXpert Plus : L'ensemble de validation (200 études), utilisé comme division de test puisqu'aucun ensemble de test officiel n'est disponible.

Le cadre évalue les modèles sur deux tâches spécifiques : la génération de la section Findings (constatations) uniquement, et la génération des sections Findings and Impressions (constatations et impressions).

Métriques d'évaluation

Le cadre utilise huit métriques pour fournir une vue multidimensionnelle de la performance des modèles, allant de la similitude lexicale à la précision clinique :

BLEU-2 : Mesure la précision des n-grammes.
BERTScore : Calcule la similitude cosinus entre les plongements (embeddings) BERT des rapports générés et de la vérité de terrain (ground-truth).
SembScore : Calcule la similitude cosinus entre les vecteurs indicateurs de 14 pathologies extraites par CheXbert.
RadGraph-F1 : Évalue le chevauchement des entités cliniques et des relations extraites par RadGraph.
RadCliQ-v1 : Une métrique composite combinant BLEU, BERTScore, SembScore et RadGraph-F1. Elle est utilisée comme métrique de classement principale (rapportée sous forme de son inverse, $1/\text{RadCliQ-v1}$ , où une valeur plus élevée est préférable).
RaTEScore : Une métrique sensible aux entités, robuste face aux synonymes médicaux et sensible à la négation.
GREEN : Une métrique basée sur un LLM qui identifie et explique les erreurs cliniquement significatives.
FineRadScore : Une métrique basée sur un LLM (utilisant GPT-4o) estimant le nombre minimum de corrections ligne par ligne nécessaires pour transformer un rapport candidat en un rapport de vérité de terrain.

Modèles participants

Le classement présente actuellement 16 modèles provenant de 10 institutions, incluant des modèles vision-langage spécialisés (ex. MedVersa, MAIRA-2, RadFM), des modèles de fondation ajustés par instruction (ex. CheXagent, GPT-4V), et des modèles entraînés sur des ensembles de données spécifiques (ex. VLCI, Cvt2distilgpt2).

Résultats clés

L'évaluation de 16 modèles à travers les quatre ensembles de données produit plusieurs conclusions clés :

Performance de pointe : MedVersa émerge comme le modèle le plus performant, atteignant les meilleurs scores de $1/\text{RadCliQ-v1}$ sur ReXGradient ( $1,01 \pm 0,01$ pour Findings, $0,98 \pm 0,05$ pour Findings+Impression), MIMIC-CXR ( $1,10 \pm 0,02$ pour Findings, $0,92 \pm 0,02$ pour Findings+Impression), et IU-Xray ( $1,46 \pm 0,03$ pour Findings, $1,45 \pm 0,04$ pour Findings+Impression). Il surpasse systématiquement GPT-4V, un modèle vision-langage généraliste de pointe, sur de multiples métriques et ensembles de données.
Caractéristiques des ensembles de données :
- IU-Xray est identifié comme l'ensemble de données le moins exigeant, produisant des scores de performance systématiquement élevés pour les modèles, suggérant qu'il peut manquer de la complexité requise pour une différenciation rigoureuse.
- CheXpert Plus présente la variance la plus élevée et la performance globale la plus faible, probablement en raison de sa distribution de données distincte et de la petite taille de son ensemble de validation.
- ReXGradient démontre une variance de performance remarquablement faible entre les modèles, soulignant sa haute qualité de données et son utilité comme benchmark fiable pour évaluer la robustesse des modèles.
Impact des données d'entraînement : Les modèles entraînés sur plusieurs ensembles de données (ex. CheXpertPlus_CheX_MIMIC) ont tendance à surpasser ceux entraînés sur des ensembles de données uniques, suggérant que l'entraînement multi-données aide à combler les écarts de distribution. Inversement, les modèles performent généralement mieux lorsqu'ils sont évalués sur la même distribution que celle vue lors de l'entraînement (ex. VLCI_IU sur IU-Xray vs VLCI_MIMIC).
Complexité de la tâche : La performance varie entre la génération de "Findings" uniquement et "Findings + Impressions". Par exemple, MedVersa montre une légère dégradation lors de la génération des deux sections sur ReXGradient (passant de $1,01 \pm 0,01$ à $0,98 \pm 0,05$ ), tandis que CheXpertPlus_CheX_MIMIC montre une amélioration, potentiellement due à l'utilisation de modèles spécialisés distincts pour chaque sous-tâche.

Signification et revendications

L'article affirme que ReXrank fournit un cadre d'évaluation standardisé qui permet des comparaisons significatives de la performance des modèles et offre des informations cruciales sur la robustesse des modèles à travers divers contextes cliniques. En intégrant un large ensemble de données privé (ReXGradient) avec des benchmarks publics et une suite de métriques cliniquement pertinentes, ReXrank va au-delà de la simple similitude textuelle pour évaluer la précision clinique et les capacités de généralisation des systèmes d'IA.

Les auteurs positionnent ReXrank non pas seulement comme un classement pour les radiographies thoraciques, mais comme un cadre fondamental destiné à préparer le terrain pour l'évaluation complète du reporting automatisé sur l'ensemble du spectre de l'imagerie médicale. L'inclusion des intervalles de confiance à 95 % dans les résultats souligne davantage la rigueur statistique de l'évaluation, visant à fournir une base fiable pour la recherche future et l'adoption clinique.