📄 health informatics

Towards understanding the disease landscape of clinical trials in Germany: Ontology and embedding-based pipelines versus Large Language Models for ICD-10 Harmonization

Cette étude démontre que si une ontologie déterministe et un pipeline basé sur l'encodage peuvent partiellement harmoniser les données hétérogènes des conditions d'essais cliniques en Allemagne selon les normes CIM-10, les modèles de langage de grande taille (spécifiquement GPT-4o) les surpassent de manière significative en atteignant un accord quasi parfait avec le codage d'experts humains, offrant ainsi une solution supérieure pour l'analyse du paysage des maladies entre les registres.

Auteurs originaux : Ndabashinze, R., Franzen, D., Kozuch, E., Aagerup, J., Fink, A., Yerunkar, S. S., Hunter, K., Mayo-Wilson, E., Ying, X., Kilicoglu, H., Schorr, S. G., Seidler, A. L.

Publié 2026-08-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ndabashinze, R., Franzen, D., Kozuch, E., Aagerup, J., Fink, A., Yerunkar, S. S., Hunter, K., Mayo-Wilson, E., Ying, X., Kilicoglu, H., Schorr, S. G., Seidler, A. L.

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'organiser une bibliothèque massive où chaque livre est écrit dans une langue différente, utilise un alphabet différent, et possède parfois simplement un post-it disant « quelque chose à propos d'une personne malade » au lieu d'un titre. C'est l'état actuel des données des essais cliniques. Les scientifiques mènent des milliers d'expériences pour tester de nouveaux médicaments, mais ils enregistrent ces essais dans des bases de données différentes à travers le monde. Certains utilisent des codes médicaux stricts, d'autres des dictionnaires médicaux sophistiqués, et certains écrivent simplement en langage courant ou en allemand. C'est comme essayer de compter combien de personnes étudient les « problèmes cardiaques » quand une base de données dit « problèmes cardiaques », une autre dit « troubles du cœur », et une troisième dit juste « aïe, ma poitrine me fait mal ». Sans un moyen de traduire toutes ces descriptions différentes en un langage commun, il est extrêmement difficile d'avoir une vue d'ensemble de quelles maladies les scientifiques étudient réellement et où se trouvent les lacunes.

Pour résoudre cela, les chercheurs ont besoin d'un traducteur. Dans le monde médical, la « langue universelle » pour les maladies est appelée CIM-10, une liste géante de codes qui catégorise chaque condition de santé connue. Le défi consiste à prendre les descriptions désordonnées et mixtes des registres d'essais et à les transformer automatiquement en le code CIM-10 correct. Pendant longtemps, les scientifiques ont essayé de construire des programmes informatiques qui agissent comme des bibliothécaires stricts, suivant un manuel de règles rigide pour faire correspondre les mots aux codes. Plus récemment, un nouveau type de cerveau informatique super intelligent appelé Modèle de Langage de Grande Taille (LLM) est entré en scène. Ces modèles sont entraînés sur d'énormes quantités de texte et sont excellents pour comprendre le contexte et les nuances, presque comme un humain capable de lire entre les lignes. La grande question est : ces cerveaux d'IA peuvent-ils faire un meilleur travail de traduction des descriptions d'essais que les anciens systèmes basés sur des règles ?

Ce document plonge directement dans cette question en construisant un pipeline de haute technologie pour traduire les descriptions d'essais cliniques de quatre registres majeurs en Allemagne vers les codes standardisés CIM-10. Les chercheurs ont créé un « pipeline déterministe », ce qui est une façon élégante de dire un processus robotisé à plusieurs étapes. D'abord, le robot extrait les mentions de maladies. Ensuite, il tente de les faire correspondre en utilisant un dictionnaire médical strict (ontologie) et un moteur de recherche intelligent qui recherche des significations similaires (embeddings). Ils ont même ajouté une deuxième version qui reclasse les meilleures hypothèses pour voir si elle peut trouver la bonne. Mais ils ne se sont pas arrêtés là. Ils ont également testé un puissant Modèle de Langage de Grande Taille (GPT-4o), mais avec une nuance : ils ont forcé l'IA à suivre exactement la même logique étape par étape et les mêmes règles que les experts humains, juste pour voir si l'IA pouvait être un meilleur « bibliothécaire » que le robot.

Les résultats ont été un choc pour l'approche traditionnelle. Lorsque les chercheurs ont testé leur pipeline robotique basé sur des règles contre un « standard de référence » de codes écrits par des experts médicaux humains, le robot n'a réussi qu'environ 49 % du temps lorsqu'il cherchait le code spécifique à trois lettres. Il était correct pour deviner la catégorie générale (comme « maladie cardiaque » par rapport à « maladie pulmonaire »), réussissant environ 59 % des cas, mais il peinait sur les détails. Le robot se confondait souvent avec des maladies aux noms similaires ou ne parvenait pas à trouver le bon code dans son dictionnaire.

Cependant, le Modèle de Langage de Grande Taille était dans une catégorie totalement différente. Lorsque la même IA a reçu les mêmes règles et la même tâche, elle a atteint une précision stupéfiante de 96,7 %. Elle était en accord presque parfait avec les experts humains. Le document suggère que le super-pouvoir de l'IA n'est pas seulement de connaître les codes, mais sa capacité à comprendre le contexte d'une phrase. Par exemple, si un essai mentionne le « diabète de l'adulte », l'IA sait instantanément qu'il s'agit du diabète de type 2, alors que le robot pourrait rester bloqué en essayant de faire correspondre les mots exacts. L'IA a également réussi à attribuer des codes plausibles à environ 82 % des mentions que le robot avait abandonnées et rejetées.

Les auteurs ont constaté que l'échec principal du robot ne résidait pas dans le classement des codes, mais dans le fait de ne même pas trouver le bon code au départ. Si le code correct ne figurait pas dans la liste initiale de candidats du robot, aucun reclassement ne pouvait le sauver. L'IA, en revanche, était bien meilleure pour déterminer quel code devrait être le bon, même lorsque le texte était désordonné ou vague. L'étude conclut que si les anciens systèmes basés sur des règles sont corrects pour obtenir une idée générale des tendances des maladies, les Modèles de Langage de Grande Taille sont les grands gagnants pour obtenir les détails précis. Ils suggèrent que les études futures examinant le paysage des essais cliniques devraient utiliser ces outils d'IA pour obtenir une image beaucoup plus claire et précise des maladies étudiées, aidant ainsi à garantir que les efforts de recherche sont réellement concentrés sur les besoins de santé qui comptent le plus.

Résumé technique : Pipelines basés sur les ontologies et les plongements lexicaux versus les grands modèles de langage pour l'harmonisation de la CIM-10 dans les essais cliniques allemands

Énoncé du problème
Les essais cliniques en Allemagne sont enregistrés dans de multiples systèmes hétérogènes, notamment le registre allemand des essais cliniques (DRKS), ClinicalTrials.gov, le registre européen des essais cliniques (EUCTR) et le Clinical Trials Information System (CTIS). Ces registres utilisent des terminologies de classification disparates — telles que la CIM-10-GM, MeSH, MedDRA et des descriptions en texte libre — pour consigner les conditions de santé. Ce manque de standardisation entrave l'analyse inter-registres, limite l'interopérabilité avec les taxonomies mondiales comme la charge mondiale de morbidité (GBD) et occulte le véritable paysage des priorités de recherche sur les maladies. Bien qu'un codage manuel soit possible, il est laborieux et sujet à la variabilité inter-codeurs. L'étude répond au besoin d'une méthode automatisée et reproductible pour harmoniser ces diverses descriptions de pathologies en une classification unifiée de la CIM-10 de l'OMS.

Méthodologie
Les auteurs ont développé et évalué deux approches distinctes pour mapper les mentions de conditions aux codes CIM-10 de l'OMS : un pipeline hybride déterministe et un grand modèle de langage (LLM) contraint par la même logique de décision utilisée par les experts humains.

Sources de données et prétraitement :
- L'étude a analysé 23 061 essais interventionnels affiliés à l'Allemagne, enregistrés entre 2013 et 2025.
- Les champs de conditions ont été extraits, normalisés (incluant la traduction de l'allemand vers l'anglais et la consolidation des synonymes) et divisés en mentions individuelles.
- Une méthode de liaison hiérarchique a fusionné les dossiers entre les registres en utilisant des identifiants et la correspondance de titres.
Le pipeline hybride (approche en quatre étapes) :
- Étape 1 (Extraction et Normalisation) : Analyse les champs de conditions, distinguant les termes de maladies réels des descriptions narratives d'études.
- Étape 2 (Classification des mentions) : Classifie les mentions comme mappables vers la CIM-10 (Niveau 1 : A–Q, U ; Niveau 2 : R, S, T, O, Z) ou non mappables (Niveau 3 : volontaires sains, études pharmacocinétiques). Cela utilise un classificateur de régression logistique élastique supervisé, entraîné sur des étiquettes "silver-standard", avec un contournement conservateur pour les mots-clés explicites de maladies.
- Étape 3 (Mapping ontologique déterministe) : Génère des codes candidats via des parcours UMLS :
  - DRKS : Mapping direct à partir de la CIM-10-GM.
  - ClinicalTrials.gov : Termes MeSH liés à la CIM-10 via UMLS.
  - CTIS/EUCTR : Termes MedDRA liés via UMLS.
  - Solution de repli (Fallback) : Correspondance de chaînes Jaro-Winkler si les liens ontologiques échouent.
- Étape 4 (Classement assisté par plongement lexical) : Utilise les plongements (embeddings) SapBERT pour récupérer les 10 meilleurs candidats sémantiquement similaires à la CIM-10. Un score de confiance hybride combine les preuves ontologiques, la similitude de plongement (SapBERT), la similitude lexicale (Jaro-Winkler) et des bonus/pénalités spécifiques (ex: pour les correspondances exactes, les codes vagues ou l'alignement du domaine thérapeutique). Un ré-classeur (reranker) à encodeur croisé (Méthode 2) a également été testé pour affiner les meilleurs candidats.
Évaluation du LLM :
- GPT-4o a été évalué en parallèle sur un échantillon stratifié de 500 mentions (incluant des cas à haute confiance, des cas de la zone de révision, de la zone de rejet et des cas de Niveau 3).
- Crucialement, le LLM n'a pas été sollicité pour générer des codes librement. Il a été contraint de suivre la même cascade de décision que les réviseurs humains : tenter une assignation directe, utiliser le contexte de l'essai si nécessaire, mapper vers les catégories GBD si la CIM-10 était impossible, et assigner "NO_ICD" uniquement en dernier recours.
Cadre d'évaluation :
- Un standard de référence ("gold standard") a été créé par deux réviseurs médicaux codant indépendamment le sous-ensemble de 500 échantillons (accord inter-juges $\kappa \ge 0,70$ ).
- La performance a été mesurée par la précision, la fidélité (precision), le rappel (recall), le score F1 et le coefficient $\kappa$ de Cohen aux niveaux de trois caractères, de bloc et de chapitre.
- L'analyse des erreurs distingue les erreurs intra-famille (même domaine de maladie) des erreurs inter-chapitres.

Contributions clés

Développement de pipeline : Création d'un pipeline conscient des registres, en quatre étapes, qui intègre le mapping ontologique déterministe (UMLS) avec la récupération sémantique par plongement (SapBERT) pour harmoniser les données d'essais multi-registres.
Benchmarking comparatif : Une comparaison rigoureuse tête-à-tête entre un pipeline déterministe complexe et un LLM contraint (GPT-4o) utilisant un standard de référence expert unifié.
Caractérisation des erreurs : Analyse détaillée révélant qu'une partie significative des erreurs du pipeline (environ 25 %) provient d'échecs de génération de candidats (le code correct n'a jamais été récupéré), plutôt que d'erreurs de classement.
Analyse de récupération : Démonstration de la capacité du LLM à assigner des codes cliniquement plausibles à des mentions que le pipeline a rejetées (82,4 % des mentions de la zone de rejet) ou exclues (62,8 % des mentions de Niveau 3).

Résultats

Performance du pipeline : Le pipeline hybride de base a atteint une précision de 49,0 % et un $\kappa$ de Cohen de 0,487 au niveau de trois caractères de la CIM-10 par rapport au standard expert. La performance s'améliore aux niveaux plus larges (58,7 % de précision, $\kappa$ = 0,561 au niveau du chapitre). Le ré-classeur à encodeur croisé (Méthode 2) n'a apporté que des améliorations marginales.
Rappel des candidats : Le code correct était présent dans l'ensemble des candidats récupérés dans seulement 73,7 % des cas, indiquant un plafond de performance pour les méthodes de classement si le candidat correct est manquant.
Performance du LLM : Le LLM contraint a nettement surpassé le pipeline, atteignant 96,7 % de précision et un $\kappa$ de Cohen de 0,966 au niveau de trois caractères.
Arbitrage (Adjudication) : Les 96,7 % de précision rapportés reflètent des résultats arbitrés où les réviseurs experts ont résolu les désaccords initiaux entre le LLM et le standard de référence. Avant l'arbitrage, la précision brute du LLM par rapport à la référence était de 62,7 % ( $\kappa$ de Cohen = 0,625) ; après examen expert de ces désaccords, la précision est montée à 96,7 %, suggérant que beaucoup de divergences initiales étaient dues à des formulations ambiguës ou à l'interprétation du contexte plutôt qu'à une défaillance du modèle.
Types d'erreurs : La plupart des erreurs du pipeline étaient au sein de la même famille de maladies (64,3 %), tandis que les erreurs de classification inter-chapitres représentaient 30,4 %.

Signification et affirmations
L'article affirme que l'harmonisation automatisée des données de conditions d'essais cliniques à travers des registres hétérogènes est réalisable et soutient l'utilisation d'un cadre commun CIM-10 pour les analyses inter-registres. Les auteurs concluent que, bien que les pipelines d'ontologies et de plongements déterministes atteignent un accord modéré avec le codage expert, les LLM contraints à un cadre de décision structuré atteignent un accord quasi parfait (lorsqu'ils sont arbitrés par rapport aux standards experts).

L'étude postule que la principale valeur des LLM modernes dans ce domaine ne réside pas dans la génération de codes à partir de zéro, mais dans le raisonnement clinique, la désambiguïsation et l'évaluation des candidats au sein d'un ensemble contraint de diagnostics plausibles fournis par des sources de connaissances externes. Les conclusions suggèrent que les LLM peuvent efficacement soutenir l'analyse de la distribution des conditions de santé dans les essais cliniques allemands et servir d'outil prometteur pour classer d'autres caractéristiques d'essais non standardisées, à condition qu'ils opèrent dans un cadre ancré qui atténue les hallucinations et assure l'alignement avec la logique de codage établie.

Articles similaires