💻 computer science

PhenoAgent: agentic LLM framework for phenotyping electronic health records via structured query decomposition and self-correction

PhenoAgent est un cadre d'agent LLM respectueux de la vie privée qui utilise la décomposition de requêtes structurées, l'autocorrection et le consensus multi-modèles pour extraire avec précision des phénotypes cliniques à partir de dossiers de santé électroniques en texte libre, surpassant de manière significative les références traditionnelles tout en égalant la performance des médecins sur des ensembles de données hospitalières japonaises.

Auteurs originaux : Yuki Kashiwada, Rieko Sakurai, Yuta Yokokawa, Kenichiro Ando, Chinatsu Gocho, Chiaki Murata, Kosuke Tohda, Maki Tanioka, Shinya Sonobe, Tatsuya Harada, Jun Takayama

Publié 2026-06-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuki Kashiwada, Rieko Sakurai, Yuta Yokokawa, Kenichiro Ando, Chinatsu Gocho, Chiaki Murata, Kosuke Tohda, Maki Tanioka, Shinya Sonobe, Tatsuya Harada, Jun Takayama

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un hôpital comme une immense bibliothèque où l'histoire de chaque patient est écrite dans un journal intime unique et désordonné (le dossier de santé électronique). La plupart de ces histoires sont écrites sous forme de paragraphes libres, et non de listes de contrôle bien nettes. Si un médecin veut trouver tous les patients qui ont vécu une situation spécifique et complexe — comme « une crise cardiaque ayant nécessité une machine d'assistance respiratoire spécifique » — il ne peut pas simplement chercher les mots « crise cardiaque » et « machine ». Il doit lire des milliers de journaux intimes désordonnés pour trouver ceux où ces deux éléments se sont produits ensemble, ou qui sont décrits de différentes manières ou cachés au milieu de longues phrases.

PhenoAgent est un nouvel outil intelligent conçu pour agir comme un bibliothécaire super efficace et respectueux de la vie privée, capable de lire ces journaux intimes désordonnés et de trouver exactement les bons patients sans jamais quitter l'enceinte de l'hôpital.

Voici comment cela fonctionne, décomposé en étapes simples :

1. La « Décomposition de la recette » (Décomposition de requête structurée)

Imaginez que vous demandiez à un chef de préparer un « Sauté de bœuf épicé au tofu ». Au lieu de simplement crier la commande, PhenoAgent décompose d'abord cette commande en une liste de courses stricte :

Doit contenir : Bœuf
Doit contenir : Tofu
Doit contenir : Sauce épicée
Ne DOIT PAS contenir : Poulet

Dans l'article, cela s'appelle la décomposition de requête structurée. Le système prend une question médicale complexe et la transforme en une liste de contrôle claire et structurée (un schéma JSON) avant même de commencer à lire les dossiers des patients. Cela empêche l'ordinateur de s'embrouiller avec un langage désordonné.

2. La « Boucle d'autocorrection » (Autocorrection)

Parfois, même les ordinateurs intelligents s'embrouillent et écrivent leurs réponses dans le mauvais format (comme écrire un paragraphe au lieu d'une liste de contrôle). Pheno-Agent possède un « correcteur orthographique » intégré pour la logique.

Il demande à trois « experts » IA différents de lire le journal du patient et de remplir la liste de contrôle.
Si un expert fait une erreur ou écrit la réponse dans le mauvais format, le système dit : « Attendez, cela ne semble pas correct. Réessayez. »
L'expert réessaie (jusqu'à deux fois de plus) jusqu'à ce que la réponse corresponde parfaitement à la liste de contrôle. C'est la boucle d'autocorrection.

3. Le « Jury unanime » (Vote d'ensemble unanime)

C'est la règle de sécurité la plus importante. PhenoAgent ne demande pas seulement à une IA ; il demande à trois modèles d'IA différents (GPT-OSS-20B, DeepSeek-32B et Llama-3.1-Swallow-70B).

Considérez ces trois IA comme un jury.
Pour décider qu'un patient correspond aux critères, les trois jurés doivent voter « Oui ».
Si même un seul juré dit « Non » ou « Je ne suis pas sûr », le patient n'est pas sélectionné.
Cela rend le système très prudent. Il pourrait manquer quelques patients (sensibilité plus faible), mais il est extrêmement peu probable qu'il choisisse quelqu'un qui n'a pas sa place. Il vaut mieux être prudent que de commettre une erreur lorsqu'on traite des données médicales.

Pourquoi est-ce spécial ?

La plupart des outils d'IA actuels vivent dans le « cloud » (sur de gros serveurs appartenant à des entreprises technologiques). Les hôpitaux ne peuvent souvent pas envoyer de données de patients vers ces serveurs en raison des lois sur la protection de la vie privée.

L'avantage du « Local » : PhenoAgent est conçu pour fonctionner entièrement sur un seul ordinateur à l'intérieur de l'hôpital. Il utilise des modèles à « poids ouverts » (comme des logiciels gratuits et open-source) afin que l'hôpital garde toutes les données entre ses propres murs. Aucune donnée ne sort du bâtiment.
L'avantage du « Non-Anglais » : Il a été testé spécifiquement sur des dossiers hospitaliers japonais, qui sont notoirement difficiles pour les ordinateurs car ils mélangent différents systèmes d'écriture et des abréviations.

Les résultats : À quel point cela a-t-il fonctionné ?

Les chercheurs ont testé PhenoAgent sur de vrais dossiers de patients provenant de deux hôpitaux japonais différents.

La référence (Gold Standard) : Ils ont comparé le travail de l'IA par rapport à deux médecins humains. Un patient n'était comptabilisé comme une « correspondance » que si les deux médecins étaient d'accord pour dire qu'il correspondait aux critères.
Le score : PhenoAgent a performé presque aussi bien que l'accord entre les deux médecins. Il a obtenu un « macro-F1 » d'environ 71,6, ce qui est très proche du score d'accord humain de 71,4.
Battre les anciennes méthodes : Il a écrasé les anciennes méthodes (comme la recherche par mots-clés simples ou les recherches classiques dans les bases de données) en une marge considérable — améliorant la précision de 24 à 43 points.

Le revers de la médaille (Limites)

L'article note que parce que PhenoAgent utilise la règle du « Jury unanime », il est très strict.

Si l'état d'un patient est décrit de manière vague ou indirecte dans les notes, l'IA peut dire « Non » car les trois jurés n'ont pas pu tous être d'accord.
C'est un compromis : le système privilégie la précision (s'assurer de ne pas choisir les mauvaises personnes) plutôt que de trouver absolument tous les correspondants possibles. C'est excellent pour la recherche clinique où vous avez besoin d'une liste de patients très propre, mais cela pourrait manquer certains cas rares.

Résumé

PhenoAgent est un bibliothécaire IA respectueux de la vie privée, tournant localement, qui décompose les questions médicales complexes en listes de contrôle, vérifie son propre travail et exige que trois experts IA différents soient d'accord avant de sélectionner un patient. Il a prouvé qu'il pouvait trouver les bons patients dans les dossiers hospitaliers japonais désordonnés presque aussi bien que des médecins humains, sans jamais envoyer de données sensibles sur Internet.

Résumé Technique : PhenoAgent

Énoncé du Problème

Les informations sur les phénotypes cliniques sont principalement ancrées dans des dossiers de santé électroniques (DSE) sous forme de texte libre non structuré, ce qui crée une barrière significative pour les requêtes structurées destinées à la sélection de cohortes et au recrutement pour les essais cliniques. Bien que le phénotypage computationnel soit essentiel pour l'utilisation secondaire des DSE (par exemple, la recherche, l'amélioration de la qualité), les méthodes existantes présentent des limites :

Les requêtes standards et la recherche par mots-clés peinent face aux synonymes, à la négation et aux expressions contextuelles complexes.
Les méthodes basées sur des règles ou des dictionnaires nécessitent une curation manuelle extensive et manquent de flexibilité pour les phénotypes composites ad hoc (par exemple, « insuffisance cardiaque traitée par ECMO »).
Les approches d'apprentissage automatique (machine learning) dépendent souvent d'un ajustement fin (fine-tuning) spécifique à la tâche et de jeux de données annotés, ce qui limite leur déploiement clinique de routine.
Les modèles de langage génératifs (LLM) offrent des promesses mais font face à des contraintes pratiques dans les contextes cliniques, spécifiquement concernant la confidentialité des patients (limitant l'utilisation d'API basées sur le cloud) et la nécessité d'un déploiement local préservant la vie privée au sein des pare-feu hospitaliers.
Les contextes non anglophones, particulièrement le texte clinique japonais, présentent des défis uniques dus à la multiplicité des systèmes d'écriture, aux abréviations spécifiques aux institutions et à la segmentation de phrases non segmentées, avec moins de ressources annotées disponibles par rapport à l'anglais.

Méthodologie : Le Cadre PhenoAgent

Les auteurs proposent PhenoAgent, un cadre d'agent LLM déployable localement en trois étapes, conçu pour extraire des phénotypes cliniques composites à partir de textes libres de DSE japonais sans dépendre de services cloud ou d'annotations spécifiques à une tâche.

1. Décomposition de la Requête Structurée

Au lieu de traiter directement une requête en langage naturel contre un dossier, PhenoAgent décompose d'abord une requête clinique $Q$ en un schéma JSON structuré $S_k$ . Ce schéma énumère les concepts médicaux constitutifs requis pour répondre à la requête et assigne un champ booléen à chacun. Cette étape contraint la tâche d'extraction en aval et réduit l'ambiguïté, permettant au système de gérer des combinaisons complexes de diagnostics, de traitements et de comorbidités sans ajustement fin par requête.

2. Évaluation Sémantique Auto-Correctrice

Le cadre évalue chaque dossier clinique $C$ par rapport au schéma $S_k$ en utilisant des LLM à poids ouverts (open-weight).

Processus : Le modèle génère un objet JSON contenant des valeurs binaires et des justifications en texte libre pour chaque champ du schéma.
Validation : Les sorties sont validées par rapport au schéma JSON requis. Si la validation échoue (par exemple, un JSON mal formé), le système déclenche une boucle d'auto-correction, sollicitant à nouveau le même modèle avec un rappel de format. Jusqu'à deux tentatives de réessai sont autorisées (trois tentatives au total).
Repli (Fallback) : Si une sortie valide n'est pas obtenue après les tentatives, les champs non résolus sont définis comme négatifs. Ce mécanisme, inspiré du cadre Reflexion, résout la majorité des échecs de formatage.

3. Vote d'Ensemble Unanime

Pour assurer la stabilité et réduire les hallucinations spécifiques aux modèles, PhenoAgent emploie un ensemble de trois LLM distincts à poids ouverts : GPT-OSS-20B, DeepSeek-32B et Llama-3.1-Swallow-70B.

Règle de Décision : Un cas est classé comme positif uniquement lorsque les trois modèles constituants conviennent unanimement que chaque champ requis dans le schéma est positif.
Justification : Cette règle de vote conservatrice privilégie la précision sur la sensibilité, filtrant les prédictions instables et garantissant que seules les extractions à haute confiance sont acceptées.

Détails de Mise en Œuvre

Déploiement : L'ensemble du pipeline s'exécute localement sur une station de travail unique (Apple M4 Max avec 128 Go de mémoire unifiée) en utilisant des modèles quantifiés en 8 bits via le framework MLX. Aucun appel API externe n'est effectué.
Jeux de Données : Évalué sur deux jeux de données indépendants de services d'urgence japonais :
- TUH-DEM : 842 admissions de l'hôpital universitaire de Tohoku (2022–2023).
- OUH-DEM : 196 admissions de l'hôpital universitaire d'Okayama (2023–2024).
Étiquettes de Référence : La vérité terrain a été établie via une concordance entre deux médecins. Un dossier était étiqueté positif uniquement si deux urgentistes certifiés indépendants jugeaient qu'il correspondait à la requête.

Résultats Clés

Métriques de Performance

PhenoAgent a été comparé à trois bases de recherche d'information (Recherche par mots-clés, Recherche sémantique avec expansion ICD-10, BM25) et à six bases de comparaison à un seul LLM.

Scores F1 Macro :
- TUH-DEM (Interne) : PhenoAgent a atteint un F1 macro de 71,6 (IC 95 % 66,5–75,7). Cela correspondait à l'F1 de concordance inter-médecins de 71,4 et dépassait le meilleur score F1 d'un LLM seul (GPT-OSS-20B à 67,3) ainsi que les bases de recherche d'information (Recherche sémantique à 47,9) de 24 à 34 points.
- OUH-DEM (Externe) : PhenoAgent a maintenu un F1 macro de 71,1 (IC 95 % 68,6–73,8), démontrant sa généralisabilité à travers différentes institutions ayant des pratiques de documentation distinctes. Il a surpassé les bases de recherche d'information de 35 à 43 points.
Accord (Kappa de Cohen $\kappa$ ) :
- PhenoAgent a obtenu des valeurs $\kappa$ de 0,69 (TUH-DEM) et 0,68 (OUH-DEM), nettement supérieures à la recherche par mots-clés ( $\approx$ 0,38–0,44) et aux bases de comparaison à un seul LLM (allant de 0,31 à 0,61).
Compromis Précision-Sensibilité :
- PhenoAgent a maintenu une précision élevée (70,5 % dans TUH-DEM, 78,8 % dans OUH-DEM) comparable à la recherche par mots-clés, mais a obtenu une sensibilité nettement plus élevée (76,5 % contre 34,0 % pour la recherche par mots-clés dans TUH-DEM).
- La stratégie de vote unanime a produit un profil de prédiction conservateur, privilégiant les extractions à haute confiance. Bien que les LLM seuls aient atteint une sensibilité plus élevée dans certains cas de validation externe, la précision de PhenoAgent est restée robuste.

Observations Spécifiques

Phénotypes Rares : Le cadre a bien performé sur les phénotypes rares (prévalence < 5 %), bien que la performance ait varié pour les conditions cliniquement ambiguës comme le sepsis, où les preuves sont souvent implicites ou déduites des trajectoires cliniques plutôt que de termes explicites.
Auto-Correction : La boucle d'auto-correction a résolu 84 à 99 % des échecs de format JSON, contribuant à une amélioration de 1,3 point de l'F1 macro dans le jeu de données TUH-DEM.
Sélection de Modèles : L'ensemble de modèles à usage général (sélectionnés via une recherche exhaustive) a rivalisé avec des modèles médicaux spécialisés (ex: MedLLM-72B), suggérant que le respect des instructions et la génération de sorties structurées sont critiques pour cette tâche.

Signification et Revendications

Les auteurs affirment que PhenoAgent démontre que les flux de travail d'agents LLM peuvent soutenir l'extraction flexible et respectueuse de la vie privée de phénotypes à partir de textes libres de DSE dans des contextes cliniques non anglophones.

Les principales contributions mises en évidence incluent :

Déployabilité Locale : Le cadre fonctionne entièrement dans des environnements gérés par l'hôpital en utilisant des modèles à poids ouverts, répondant aux barrières critiques concernant la confidentialité des patients, la gouvernance des données et les restrictions réseau.
Flexibilité sans Ajustement Fin : En utilisant la décomposition de requête structurée, le système gère les phénotypes composites (diagnostic + traitement/comorbidité) sans nécessiter d'ajustement fin par requête ou d'ingénierie d'ontologie étendue.
Parité de Performance avec les Experts : La performance du système approche le niveau de cohérence inter-évaluateurs observé entre les médecins, suggérant qu'il peut servir d'outil fiable pour la sélection de cohortes de recherche clinique.
Robustesse dans les Contextes Non Anglophones : L'application réussie aux DSE japonais valide l'approche pour des contextes où les jeux de données annotés et les ressources de langage clinique sont limités.

L'article conclut que, bien que la règle de vote unanime crée un système axé sur la précision adapté à la sélection de cohortes de recherche (où les faux positifs augmentent la charge de revue manuelle), le cadre est modulaire. Il peut s'adapter à différents équilibres précision-sensibilité (par exemple, via un vote majoritaire) et intégrer des modèles locaux plus puissants à mesure qu'ils deviennent disponibles, servant de pont pratique entre les avancées des LLM à usage général et une infrastructure de recherche clinique fiable.