Résumé Technique : ClinicalBench et EpiKG

1. Énoncé du Problème

Les benchmarks actuels de raisonnement clinique (par exemple, HealthBench Professional, MedQA) évaluent les modèles de langage de grande taille (LLM) sur des vignettes « propres » où les faits sont préfournis. Cependant, l'utilisation réelle des dossiers médicaux électroniques (DME) nécessite une étape préalable : la fidélité de la récupération à partir de dossiers désordonnés et longitudinaux.

Dans les DME réels, une réponse correcte dépend de la navigation à travers :

• La négation : « Le patient nie toute douleur thoracique. »
• La temporalité : Distinguer les conditions actuelles, les antécédents résolus et les hypothèses futures.
• L'attribution de l'expérimentateur : Différencier l'état du patient de l'histoire d'un membre de la famille (par exemple, « la sœur a eu un infarctus du myocarde »).

Les systèmes existants de Génération Augmentée par Récupération (RAG) et de Graphes de Connaissances (KG) aplatissent souvent ce contexte. Ils éliminent les métadonnées d'assertion (par exemple, traiter « éliminer le diabète » de la même manière que « diabète présent ») et échouent à router la récupération en fonction de l'intention de la question. Cela crée un écart de propagation épistémique, où la perte de l'état d'assertion lors de l'extraction et du stockage conduit à un raisonnement incorrect, même si le modèle sous-jacent est capable.

2. Méthodologie

2.1 Le Système EpiKG

Les auteurs proposent EpiKG, un système clinique KG-RAG au niveau du patient conçu pour préserver les métadonnées épistémiques de bout en bout. Il implémente trois mécanismes fondamentaux :

1. Schéma d'Assertion Épistémique : Une taxonomie à 7 valeurs ($\alpha \in \{Prés., Abs., Poss., Cond., Hypo., Antéc.Fam., Hist.\}$) étend la taxonomie i2b2 en séparant l'Histoire de l'Histoire Familiale. Cette étiquette est propagée à travers l'extraction, la correspondance OMOP et la matérialisation du KG.
2. Stockage Bi-Temporel + NLP-Asseré : Les arêtes stockent le temps de validité, le temps de transaction (tradition de Snodgrass) et une étiquette de temporalité dérivée du NLP ($\tau_a \in \{Passé, Présent, Futur\}$).
3. Routage Sensible à l'Intention : Un classificateur mappe les questions vers des stratégies spécifiques de traversal de graphe :
   • Changement : Différenciation d'ensemble entre admissions.
   • État_Actuel : Filtrage des arêtes avec $\tau_a = Présent$ ou validité ouverte.
   • Historique : Sélection des arêtes passées et inférence du statut « résolu » pour les conditions présentes lors d'admissions antérieures mais absentes lors de la dernière.
   • Par Défaut : Traversal BFS bidirectionnel.

2.2 ClinicalBench : Le Benchmark d'Évaluation

Pour tester sous tension la récupération sensible aux assertions, les auteurs introduisent ClinicalBench :

• Cohorte : 43 patients MIMIC-IV (échantillon de commodité ; 32 avec deux admissions, 11 avec une seule).
• Portée : 400 questions réparties en 9 catégories sensibles aux assertions (négation, conditionnel, incertitude, antécédents_familiaux, séquence, état_actuel, durée, historique, changement).
• Conception : Un test de stress intra-distribution où les questions sont rédigées à partir des mêmes dossiers anonymisés utilisés pour la récupération, se concentrant sur la fidélité de la récupération plutôt que sur la généralisation inter-sites.
• Conditions d'Ablation :
  • C1 : LLM seul.
  • C2/C2b : RAG standard (TF-IDF / Dense/Contriever).
  • C3 : KG-RAG sans assertions.
  • C4 : KG-RAG avec assertions mais sans routage d'intention.
  • C4g : KG-RAG sensible à l'intention (système complet).
  • C6 : Long Context (toutes les notes concaténées).
  • C7 : KG déterministe (sans LLM).

2.3 Protocole d'Évaluation

• Modèles : Évalués sur six LLM (Claude Opus 4.6, GPT-OSS 20B, MedGemma 27B, Gemma 4 31B, MedGemma 1.5 4B, Qwen 3.5 35B).
• Métriques :
  • Point Principal : Test de McNemar exact apparié « leave-author-out » sur $n=50$ items arbitrés par deux médecins externes (Hird et Nadeem) avec des notes strictes unanimes.
  • Points Sensibles : Évaluateur déterministe par mots-clés ($n=362$, changement exclu), vote majoritaire de trois médecins ($n=100$), et classification d'intention oracle.
• Intégrité des Données : Les auteurs reconnaissent un taux de défaut de 56 % dans les réponses de référence v2 générées automatiquement (en raison d'erreurs de classificateur NLP) et rapportent les résultats sur la base d'un ensemble partiellement corrigé, avec transparence concernant les limites de la référence or.

3. Résultats Clés

3.1 Point Principal (Aveugle à l'Auteur)

Le test de McNemar exact apparié « leave-author-out » sur l'arbitrage des médecins externes ($n=50$) a montré :

• C4g vs C1 : $\Delta = +22,0$ points de pourcentage (pp).
• Intervalle de Confiance : IC de Newcombe à 95 % $[+5,1, +31,5]$.
• Significativité : $p = 0,0192$.
  Cela confirme que le KG-RAG sensible à l'intention surpasse significativement les bases de référence LLM seules lorsqu'il est évalué par des médecins indépendants.

3.2 Nouveauté Architecturale et Ablation

• Récupération vs Routage : La récupération seule (C2b, RAG Dense) a fourni un gain important par rapport à C1 (+29,0 pp). Cependant, l'ajout d'assertions sans routage (C4) a en réalité détérioré les performances par rapport à C3 (-3,8 pp) sur les catégories temporelles.
• L'Effet du Routage : Le routage sensible à l'intention (C4g) a récupéré et étendu les gains.
  • C2b $\to$ C4g (mots-clés) : +8,84 pp ($p = 1,79 \times 10^{-3}$).
  • C2b $\to$ C4g (oracle) : +12,43 pp.
• Interactions de Catégories : Les assertions seules ont aidé les catégories sensibles aux assertions (par exemple, Négation +22,7 pp) mais ont nui aux catégories temporelles (par exemple, Historique -30,0 pp). Le routage a inversé ces déficits.

3.3 Convergence Inter-Modèles

Les six modèles ont tous bénéficié de l'architecture C4g. Cependant, l'ampleur de l'amélioration était inversement corrélée à la force de base du modèle ($\beta = -1,123, r = -0,921, p = 0,009$). Les auteurs interprètent cela comme une régression vers la moyenne plutôt que comme une preuve que la récupération structurée remplace le nombre de paramètres du modèle.

3.4 SliceBench (Étude de Complexité)

Une petite étude de cas (6 patients, 144 questions) a suggéré un effet dépendant de la complexité où les gains du KG-RAG étaient plus importants pour les patients ayant plus de consultations (Niveau C : +5,0 pp contre Niveau A : +0,6 pp), bien que cela n'ait pas atteint une significativité statistique agrégée.

4. Contributions et Signification

L'article apporte trois contributions principales :

1. ClinicalBench : Un benchmark novateur et sensible aux assertions conçu pour tester sous tension la fidélité de la récupération sur de vrais DME, exposant des interactions condition-catégorie que les scores agrégés masquent.
2. EpiKG et l'Écart de Propagation Épistémique : Une formalisation de la perte des métadonnées d'assertion dans les pipelines de NLP clinique et une implémentation système qui préserve les métadonnées d'assertion et temporelles comme propriétés de première classe tout au long de la récupération.
3. Validation Architecturale : Des preuves empiriques que le routage sensible à l'intention est le composant critique pour réaliser les bénéfices de la récupération structurée. L'article démontre que porter des étiquettes d'assertion sans routage peut dégrader les performances, tandis que le routage par intention de question améliore significativement les QA cliniques inter-admissions.

Signification :
Les auteurs soutiennent que si les benchmarks de raisonnement mesurent le « dernier kilomètre » du raisonnement clinique sur des entrées propres, le « premier kilomètre » consiste à lire le bon patient à partir de dossiers désordonnés. Ce travail postule que la représentation est le prérequis sous-estimé pour l'IA clinique. Les résultats suggèrent que pour les QA cliniques, préserver les métadonnées épistémiques (négation, temporalité, attribution) et aligner les stratégies de récupération avec l'intention de la question sont plus impactants que d'augmenter simplement la taille du modèle ou d'utiliser des fenêtres de contexte long.

Limites et Portée :
L'article est modeste dans ses affirmations :

• Il s'agit d'un test de stress mono-site, intra-distribution, et non d'une validation de phénotype multi-sites.
• Les réponses de référence présentent des défauts connus (taux d'erreur de 56 % dans la v2), et les auteurs déclarent explicitement que le benchmark est une « sonde » plutôt qu'une mesure définitive de la préparation au déploiement clinique.
• La circularité de l'auteur (concepteur, bâtisseur et évaluateur interne) est atténuée par l'arbitrage de médecins externes et la réplication inter-modèles, mais reste une limitation structurelle.
• Le travail ne revendique pas une préparation au déploiement clinique ; il identifie la gouvernance, la sécurité et la validation multi-sites comme des prérequis pour un déploiement futur.