🤖 AI

EarlyDx: An Admission-Anchored Benchmark for Open-Ended Generation of Evidence-Supported ED-Encounter Diagnoses

Cet article présente EarlyDx, un banc d'essai à grande échelle pour le diagnostic d'urgence ouvert et fondé sur des preuves utilisant uniquement des données d'admission issues de MIMIC-IV, lequel révèle que les modèles de langage de grande taille actuels peinent à inférer de manière fiable des diagnostics à partir de preuves initiales limitées malgré les améliorations apportées par le post-entraînement.

Auteurs originaux : Jiahui Li, Ruili Fang, Zishuai Liu, Yutong Guo, Nan Yang, Wenzhan Song, Jin Lu, Fei Dou

Publié 2026-08-03

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiahui Li, Ruili Fang, Zishuai Liu, Yutong Guo, Nan Yang, Wenzhan Song, Jin Lu, Fei Dou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre un mystère, mais que vous n'avez le droit d'observer la scène du crime que pendant les cinq premières minutes. Vous avez un carnet rempli d'indices : une empreinte de pas boueuse, une fenêtre brisée et un témoin qui tremble encore. Votre tâche est de deviner ce qui se passe en ce moment même, avant l'arrivée de la police, avant que les analyses de laboratoire ne reviennent, et avant que le suspect ne passe aux aveux. C'est la réalité quotidienne des médecins dans un service d'urgences (SAU). Ils doivent établir un « diagnostic de travail » — une meilleure supposition sur ce qui ne va pas chez le patient — en utilisant uniquement les informations limitées disponibles au moment où le patient franchit la porte.

Pendant longtemps, les scientifiques ont essayé d'apprendre aux ordinateurs à faire ce travail en utilisant l'intelligence artificielle (IA). Ils ont construit des « benchmarks », qui sont comme des scores de tests, pour voir à quel point ces machines sont intelligentes. Mais la plupart de ces tests étaient truqués. Ils donnaient à l'IA tout l'historique du séjour hospitalier du patient (y compris le diagnostic final établi plusieurs jours plus tard) et lui demandaient de prédire le début. C'est comme donner au détective la solution du mystère et lui demander de deviner les indices. De plus, ces tests forçaient l'IA à choisir parmi une liste de réponses courte et fixe, comme un questionnaire à choix multiples, plutôt que de la laisser rédiger sa propre réponse en langage libre. Ce document, intitulé EarlyDx, décide de réparer le jeu. Il construit un nouveau test plus équitable qui force l'IA à agir comme un véritable médecin urgentiste : en observant uniquement les preuves disponibles au moment exact de l'admission et en rédigeant un diagnostic en texte libre, tout comme le ferait un humain.

Le Nouveau Jeu : EarlyDx

Les chercheurs ont créé un nouveau terrain de jeu massif appelé EarlyDx, construit à partir de plus de 154 000 visites aux urgences. Imaginez une immense bibliothèque d'histoires de patients. Dans cette bibliothèque, ils ont soigneusement interrompu chaque histoire précisément au moment où le patient était admis à l'hôpital. Ils ont jeté toutes les notes écrites plus tard, tous les résultats de laboratoire revenus le lendemain, et tous les diagnostics finaux établis après le traitement complet du patient. Ils n'ont conservé que les preuves du « moment de l'admission » : l'âge du patient, son motif de consultation (ce qui fait mal), ses signes vitaux et les tests immédiats comme les radiographies ou les moniteurs cardiaques effectués sur le moment.

Mais voici la partie délicate : les « réponses » dans cette bibliothèque ne sont pas seulement les diagnostics finaux. Les chercheurs ont utilisé un « auditeur » IA spécialisé pour vérifier chaque diagnostic enregistré dans le dossier du patient. Ils ont demandé : « Ce diagnostic peut-il être prouvé uniquement par les preuves que nous avons au moment de l'admission ? »

Supporté : La preuve est là (ex: une radiographie montre une fracture).
Partiellement supporté : L'indice est présent, mais ce n'est pas une certitude absolue (ex: le patient a un antécédent de diabète, mais nous n'avons pas encore de test sanguin).
Non supporté : Le diagnostic est vrai, mais nous ne pouvions pas le savoir à l'admission (ex: une hémoculture qui prend trois jours pour pousser).

Les modèles d'IA sont uniquement évalués sur les réponses « Supportées » et « Partiellement supportées ». Si l'IA devine un diagnostic qui nécessite des informations que nous n'avions pas encore, elle ne reçoit aucun crédit. Cela garantit que le test mesure le véritable raisonnement, et non une chance de deviner ou la mémorisation de la clé de réponse finale.

La Grande Surprise : L'IA s'appuie sur le texte explicite

Lorsque les chercheurs ont lancé leurs tests, ils ont découvert quelque chose de surprenant. Ils ont testé les modèles d'IA les plus intelligents au monde, y compris de gros modèles généralistes et des modèles médicaux spécialisés. Les résultats ont montré que la plupart de ces modèles « zero-shot » (modèles qui n'ont pas été spécifiquement entraînés sur ce nouveau test) sont en réalité très mauvais pour inférer un diagnostic.

Au lieu de penser comme un détective, ils agissent comme une photocopieuse. Environ 43 % du temps, le diagnostic correct était écrit textuellement dans les notes du patient (ex: la note disait « suspicion de pneumonie », et l'IA s'est contentée de copier « pneumonie »). Lorsque l'IA devait inférer un diagnostic — en reliant des points qui n'étaient pas explicitement énoncés — ces modèles s'effondraient. Ils ne parvenaient à trouver que 3 % à 31 % des diagnostics cachés. C'est comme un élève qui peut copier la réponse si elle est écrite au tableau, mais qui échoue complètement s'il doit résoudre le problème de mathématiques par lui-même.

Même lorsque les chercheurs ont procédé à un « fine-tuning » (réentraînement) d'un modèle d'IA plus petit sur cette tâche spécifique, celui-ci s'est nettement amélioré, mais il n'a toujours pas atteint le niveau d'un médecin humain. Le modèle réentraîné pouvait trouver environ 56 % des diagnostics cachés, ce qui est une grande amélioration, mais il laissait encore de nombreux cas critiques de côté.

Le Facteur Humain et l'Écart « Critique pour le Temps »

L'étude a également comparé ces modèles d'IA à un véritable médecin humain qui examinait les mêmes notes d'admission. Le médecin humain était bien meilleur pour trouver les indices cachés, captant environ 68 % des diagnostics supportés. Cependant, le médecin humain listait également beaucoup plus de possibilités, créant un « diagnostic différentiel » (une liste de ce que cela pourrait être). Les modèles d'IA avaient tendance soit à lister trop peu de choses (manquant ainsi le danger), soit à lister trop de choses aléatoires (étant trop vagues).

La découverte la plus inquiétante est survenue lorsqu'ils ont examiné les conditions critiques pour le temps — des urgences vitales comme les crises cardiaques, les AVC ou le sepsis. Dans ces cas, manquer un diagnostic est bien plus grave que de donner une fausse alerte. Le médecin humain trouve un équilibre prudent : il signale beaucoup de dangers potentiels pour rester sûr. Les modèles d'IA, cependant, ont eu du mal à trouver cet équilibre. Certains étaient si prudents qu'ils manquaient le danger ; d'autres étaient si imprudents qu'ils signalaient tout. Aucun système d'IA testé jusqu'à présent n'a pu égaler la capacité du médecin humain à dire : « Cela semble dangereux, vérifions cela », avec le bon niveau de confiance.

Le Verdict

L'article conclut que, bien que l'IA s'améliore dans la lecture des notes médicales, elle n'est pas encore prête à remplacer le travail de détective humain requis dans une salle d'urgence. Les modèles actuels sont principalement bons pour l'extraction (trouver ce qui est déjà écrit) mais mauvais pour l'inférence (comprendre ce qui est impliqué). Les chercheurs suggèrent que pour que l'IA soit réellement utile, elle doit apprendre à raisonner avec l'incertitude, en admettant quand elle n'est pas sûre et en signalant les dangers potentiels, plutôt que de simplement essayer de deviner la réponse finale. Jusqu'à présent, le jeu du « diagnostic précoce » reste une spécialité humaine, l'IA agissant comme un assistant utile mais imparfait.

Résumé technique : EarlyDx

Énoncé du problème

Le diagnostic clinique lors de l'admission à l'hôpital nécessite la synthèse d'indices limités et incomplets (constantes, examens biologiques, imagerie, antécédents) pour former un diagnostic de travail en situation d'incertitude. Les benchmarks existants pour le diagnostic médical sont mal adaptés pour évaluer les modèles de langage de grande taille (LLM) modernes dans ce contexte spécifique, en raison de trois limitations principales :

Étiquettes à ensemble fermé : Les diagnostics sont mappés vers des ensembles fixes de codes CIM, perdant ainsi la nuance clinique et l'information lors de la conversion texte-code.
Modalités restreintes : Les benchmarks excluent souvent les signaux riches issus du texte libre (motifs de consultation, comptes rendus radiologiques) au profit de caractéristiques tabulaires.
Incohérence temporelle : Les modèles reçoivent des entrées au moment de l'admission mais sont supervisés par des diagnostics de sortie qui intègrent l'ensemble du parcours hospitalier, incluant des informations indisponibles au moment de l'admission.

Par conséquent, les benchmarks actuels ne parviennent pas à distinguer la capacité d'un modèle à extraire des informations explicites d'un dossier de sa capacité à inférer des diagnostics à partir de signaux partiellement observés.

Méthodologie

Les auteurs introduisent EarlyDx, un benchmark à grande échelle ( $N=154\,834$ rencontres) dérivé de MIMIC-IV, conçu pour évaluer un diagnostic précoce à vocabulaire ouvert, strictement ancré au moment de l'admission ( $t_0$ ).

Construction des données

Cohorte : Comprend tous les passages aux urgences (ED) ayant entraîné une admission hospitalière.
Entrée : Un prompt textuel sérialisé contenant uniquement les enregistrements disponibles au moment de ou avant $t_0$ (temps d'admission). Cela inclut la démographie, le motif de consultation, les constantes de triage, les constantes sérielles aux urgences, les médicaments habituels, les mesures de base, les résultats de laboratoire, les interprétations d'ECG, les comptes rendus radiologiques et les antécédents. L'imagerie et les signaux physiologiques sont rendus sous forme de comptes rendus de résultats, et non de données brutes.
Étiquettes : Les diagnostics de référence sont les titres CIM à vocabulaire ouvert de la table des diagnostics de l'épisode d'urgence, plutôt que des codes à ensemble fermé ou des diagnostics de sortie.

Vérification fondée sur les preuves

Une innovation critique est l'utilisation d'un auditeur LLM (MiniMax M3) pour vérifier chaque étiquette de texte libre par rapport aux preuves au moment de l'admission. Les étiquettes sont catégorisées en :

Supportées : Des preuves directes dans l'entrée (laboratoires, imagerie, constantes) étayent le diagnostic.
Partiellement supportées : Les preuves sont indirectes ou circonstancielles (ex: antécédents, médicaments habituels) mais non définitives à l'admission.
Non supportées : Le diagnostic dépend d'informations indisponibles à l'admission (ex: cultures microbiologiques, bilan post-admission).

La piste d'évaluation principale évalue les modèles uniquement sur les étiquettes entièrement supportées (32,7 % du total des étiquettes), garantissant que le benchmark mesure l'inférence diagnostique plutôt que la récupération d'informations futures.

Protocole d'évaluation

Correspondance sémantique : La correspondance exacte par chaîne de caractères est peu fiable pour le texte libre. Les auteurs emploient un protocole de type LLM-en-tant-que-juge (Qwen3.5-27B) pour calculer la correspondance un-à-un entre les diagnostics prédits et de référence, gérant les synonymes et les abréviations.
Métriques : La précision, le rappel et le F1 micro-moyennés sont rapportés.
Baselines : L'étude évalue des LLM généralistes en zero-shot (ex: GPT-5.5, Claude Opus), des LLM spécialisés en médecine (ex: MedGemma, HuatuoGPT) et un modèle post-entraîné (Qwen3.5-4B affiné avec un Chain-of-Thought conditionné par l'or).

Contributions clés

Benchmark ancré à l'admission : Un jeu de données à grande échelle où la supervision est strictement limitée aux preuves disponibles à l'admission, utilisant des étiquettes de texte libre à vocabulaire ouvert plutôt que des codes fermés.
Vérification des preuves : Un pipeline qui filtre les étiquettes en fonction de leur support par les preuves d'entrée, séparant les tâches d'« extraction » des tâches d'« inférence ».
Analyse empirique des capacités des LLM : Une évaluation systématique montrant que les LLM actuels peinent pour l'inférence de diagnostic précoce, s'appuyant souvent sur l'extraction de texte plutôt que sur le raisonnement face à l'incertitude.

Résultats

Écart de performance : Les modèles zero-shot (généralistes et médicaux) obtiennent généralement un score inférieur à 0,40 F1 sur la piste principale. Le post-entraînement produit des gains significatifs, le modèle Qwen3.5-4B affiné atteignant un F1 de 0,51 sur les étiquettes supportées, surpassant la plus forte baseline zero-shot de +0,11.
Extraction vs Inférence :
- 43 % des diagnostics supportés apparaissent textuellement dans l'entrée (explicite). Les modèles zero-shot en récupèrent 37 à 65 %.
- 57 % des diagnostics supportés sont implicites (doivent être inférés). Les modèles zero-shot n'en récupèrent que 3 à 31 %, les modèles spécialisés en médecine ne récupérant que 3 à 6 % et les modèles généraux 9 à 31 %.
- Le post-entraînement améliore le rappel implicite à 56 % pour le modèle affiné, mais un écart important subsiste par rapport à la performance humaine.
Conditions critiques pour le temps : Sur six diagnostics critiques (ex: infarctus du myocarde, sepsis), aucun système évalué n'atteint l'équilibre d'un clinicien entre sensibilité et précision. Les modèles zero-shot ont tendance à avoir une sensibilité élevée mais une très faible précision (25–28 %), tandis que le modèle post-entraîné atteint une haute précision (78 %) mais une sensibilité plus faible (54 %).
Référence humaine : Un clinicien humain évalué sur les mêmes entrées a obtenu le rappel supporté le plus élevé (0,68) mais un F1 comparable aux meilleurs modèles zero-shot, principalement en raison d'une sur-prédiction (énumération d'un diagnostic différentiel large), suggérant que même les experts peinent à restreindre le différentiel sans l'intégralité du parcours clinique.

Signification et affirmations

L'article affirme que EarlyDx révèle une limitation fondamentale des LLM actuels : ils sont efficaces pour extraire des diagnostics explicitement mentionnés dans les dossiers mais échouent à synthétiser les preuves pour inférer des diagnostics en situation d'incertitude.

Résultat négatif mais utile : Le benchmark démontre que les LLM « frontières », tant généraux que médicaux, ne synthétisent pas de manière fiable les preuves de l'admission. Le goulot d'étranglement n'est pas la connaissance médicale, mais la capacité à traduire cette connaissance en un diagnostic calibré sous incertitude.
Validité de l'évaluation : En filtrant pour les étiquettes supportées par les preuves, le benchmark évite la « fuite temporelle » liée à l'utilisation des diagnostics de sortie, offrant un test plus rigoureux de la capacité de diagnostic précoce.
Limites : Les auteurs notent que les étiquettes de référence sont des codes de facturation administrative (et non des diagnostics cliniques adjudiqués) et que l'entrée manque de signes d'examen physique (ex: apparence du patient), ce qui limite le plafond atteignable pour les modèles comme pour les humains. Ils suggèrent que les travaux futurs explorent les prédictions graduées (ex: diagnostics « suspectés ») pour mieux s'aligner sur la pratique clinique où les dangers non confirmés doivent être signalés.

L'article conclut que bien que le post-entraînement réduise l'écart, aucun système actuel n'atteint le point de fonctionnement d'un clinicien pour les conditions critiques, soulignant la nécessité de recherches supplémentaires sur le raisonnement fondé sur les preuves sous incertitude.