💬 NLP

Serialisation Strategy Matters: How FHIR Data Format Affects LLM Medication Reconciliation

Cette étude démontre que la stratégie de sérialisation des données FHIR influence significativement les performances des modèles de langage pour la réconciliation médicamenteuse, recommandant un format narratif clinique pour les modèles jusqu'à 8B et un format JSON brut pour les modèles de 70B et plus, tout en soulignant que l'omission est la principale source d'erreur et que les petits modèles peinent à gérer la polypharmacie.

Auteurs originaux : Sanjoy Pator

Publié 2026-04-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sanjoy Pator

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un médecin très occupé. Vous devez vérifier la liste des médicaments d'un patient qui vient d'arriver à l'hôpital, pour vous assurer qu'aucun n'a été oublié ou doublé. C'est une tâche vitale : une erreur peut coûter la vie.

Aujourd'hui, on utilise des intelligences artificielles (des "cerveaux numériques" appelés LLM) pour aider à cette tâche. Mais ces IA ne comprennent pas directement les dossiers médicaux bruts. C'est là que cette étude intervient.

Voici l'histoire de cette recherche, racontée simplement :

1. Le Problème : La Langue des Machines vs. La Langue des Humains

Les dossiers médicaux sont stockés dans un format appelé FHIR. C'est comme un immense livre de code informatique, rempli de chiffres, de codes secrets et de structures complexes (du JSON).

L'analogie : Imaginez que vous deviez donner à un humain une recette de cuisine écrite uniquement en code binaire (010101) ou en une liste de codes-barres. Même si l'information est là, c'est illisible et confus.

Les chercheurs se sont demandé : "Comment devons-nous traduire ce dossier médical pour que l'IA le comprenne le mieux ?"

Ils ont testé quatre façons de présenter les données à l'IA :

Le Code Brut (JSON) : Laisser le dossier tel quel, en code informatique.
Le Tableau (Markdown) : Une grille simple, comme un tableau Excel.
Le Récit Clinique (Narratif) : Transformer les données en phrases simples : "Le patient prend actuellement de l'aspirine et du paracétamol."
La Chronologie : Une ligne du temps, du plus vieux au plus récent, sans séparer le présent du passé.

2. La Grande Découverte : La Taille de l'IA change tout

C'est ici que ça devient fascinant. Le "meilleur" format dépend de la taille du cerveau de l'IA.

Pour les IA de taille moyenne (les "petits génies") :
Si vous utilisez une IA de taille standard (comme Mistral-7B ou Llama-8B), le Récit Clinique (le format narratif) est le gagnant absolu.
- L'analogie : C'est comme si vous expliquiez une histoire à un enfant. Si vous lui donnez un tableau de chiffres, il se perd. Mais si vous lui dites : "Voici ce que le patient prend aujourd'hui", il comprend tout de suite.
- Résultat : En utilisant le récit, ces IA ont fait 19 % de moins d'erreurs qu'avec le code brut. C'est énorme !
Pour les IA géantes (les "super-cerveaux" de 70 milliards de paramètres) :
Si vous utilisez une IA énorme (comme Llama-3.3-70B), le Code Brut (JSON) redevient le meilleur.
- L'analogie : Ces géants sont si intelligents qu'ils peuvent lire le code informatique directement, comme un expert lit un plan d'architecte sans avoir besoin qu'on lui explique les lignes. Ils n'ont pas besoin qu'on "traduise" l'histoire pour eux.

3. Le Piège Mortel : Oublier vs Inventer

L'étude a révélé un problème de sécurité très important.

Ce que font mal les IA : Elles oublient des médicaments (elles ne les listent pas).
Ce qu'elles font rarement : Elles inventent des médicaments qui n'existent pas.
L'analogie : Imaginez un assistant qui vous dit : "Voici les médicaments que je suis sûr que le patient prend." Il ne va pas inventer de faux médicaments (ce qui serait dangereux), mais il risque d'oublier d'en mentionner un.
Leçon pour les médecins : Ne cherchez pas à vérifier si l'IA a inventé quelque chose. Vérifiez plutôt ce qu'elle a oublié. La sécurité dépend de la complétude de la liste, pas de sa précision sur ce qui est écrit.

4. Le Mur de la Complexité

Il y a une limite à la capacité des petites IA.

Si un patient prend 7 à 10 médicaments en même temps (ce qui est courant pour les personnes âgées), les petites IA commencent à paniquer et oublient beaucoup de choses.
Seules les IA géantes (70B) arrivent à gérer ces patients complexes sans perdre le fil.
Le problème : Ce sont justement les patients les plus fragiles (ceux avec beaucoup de médicaments) qui risquent le plus d'être mal servis par les petites IA.

5. L'Échec Étonnant : Le Savoir ne suffit pas

Les chercheurs ont testé une IA spécialisée en médecine (BioMistral), entraînée sur des millions de livres médicaux. Résultat ? Zéro. Elle n'a rien produit de compréhensible.

L'analogie : C'est comme avoir un professeur de médecine qui connaît tous les noms de médicaments par cœur, mais qui a oublié comment répondre à une question simple. Il a le savoir, mais il a perdu la capacité de suivre les instructions.
Conclusion : Pour que l'IA fonctionne, il ne suffit pas de lui apprendre la médecine ; il faut lui apprendre à suivre des instructions (comme un bon élève).

En Résumé : Que faut-il retenir ?

Le format compte énormément : Ne donnez pas les données brutes à une petite IA. Transformez-les en phrases simples (un récit).
La taille compte aussi : Si vous avez une IA géante, vous pouvez lui donner les données brutes.
La sécurité avant tout : Dans ce domaine, il vaut mieux qu'une IA oublie un médicament (que vous pourrez retrouver en relisant le dossier) plutôt qu'elle en invente un.
Pas de magie : Une IA entraînée sur des données médicales mais qui ne sait pas suivre des instructions est inutile.

Cette étude nous dit qu'il n'y a pas de solution unique. Pour utiliser l'IA dans les hôpitaux, il faut adapter la façon dont on lui parle à la taille de son cerveau, et toujours garder un œil humain pour vérifier qu'elle n'a rien oublié.

1. Problématique

La réconciliation médicamenteuse lors des transferts de soins (admissions, sorties d'hôpital) est un processus critique et sujet aux erreurs, où des médicaments peuvent être omis, dupliqués ou mal dosés. Bien que les Grands Modèles de Langage (LLM) soient de plus en plus proposés pour automatiser cette tâche en traitant des dossiers patients structurés au format FHIR (Fast Healthcare Interoperability Resources), une variable fondamentale reste peu étudiée : la manière dont les données FHIR sont sérialisées avant d'être transmises au modèle.

Le format standard FHIR R4 est un JSON profondément imbriqué, basé sur des codes ontologiques (RxNorm, SNOMED) plutôt que sur des noms de médicaments lisibles. Un dossier complet peut dépasser 800 000 lignes, dépassant les fenêtres de contexte actuelles. La question centrale est de savoir si le format de présentation des données (JSON brut, tableau, récit clinique, chronologie) influence significativement la performance du modèle, au-delà du simple choix du modèle lui-même.

2. Méthodologie

Les auteurs ont conçu un benchmark contrôlé pour évaluer l'impact de la sérialisation sur l'extraction de médicaments actifs.

Données : Un cohort de 200 patients synthétiques générés avec Synthea, produisant des dossiers FHIR R4 réalistes. Le « ground truth » (vérité terrain) est défini par l'ensemble des noms de médicaments distincts ayant le statut active.
Stratégies de Sérialisation (4 variantes) :
1. JSON Brut (A) : Ressources FHIR MedicationRequest en JSON indenté. Pour les petits modèles, une limite de 100 ressources est appliquée (priorité aux actifs) pour tenir dans le contexte.
2. Tableau Markdown (B) : Données aplaties en un tableau structuré (Médicament, Code RxNorm, Statut, Date, Dose, Fréquence).
3. Récit Clinique (C) : Chaque médicament est converti en une phrase en anglais naturel. Les médicaments actifs sont listés en premier sous un en-tête explicite, suivis des historiques.
4. Chronologie (D) : Liste triée strictement par date (du plus ancien au plus récent), sans séparation explicite entre actifs et historiques, forçant le modèle à raisonner temporellement.
Modèles Évalués (5 modèles Open-Weights) :
- Phi-3.5-mini (3.8B)
- Mistral-7B (7B)
- BioMistral-7B (7B, pré-entraîné sur PubMed mais non ajusté aux instructions)
- Llama-3.1-8B (8B)
- Llama-3.3-70B (70B)
Configuration : Exécution locale via Ollama sur une instance AWS (NVIDIA L40S, 48 Go VRAM) avec quantification 4-bit. Pas d'API propriétaires.
Évaluation : 4 000 inférences au total. Mesure de la Précision, du Rappel (Recall) et du F1-score via une correspondance de chaîne de caractères exacte (strict).

3. Contributions Clés

Benchmark Systématique : Première comparaison contrôlée de quatre stratégies de sérialisation sur cinq modèles de tailles variées.
Preuve de l'Impact du Format : Démonstration que la stratégie de sérialisation a un effet statistiquement significatif et cliniquement pertinent, dépendant de la taille du modèle.
Analyse des Modes d'Échec : Mise en évidence que l'omission (manquer un médicament) est le mode d'échec dominant par rapport à l'hallucination (inventer un médicament).
Plafond de Capacité : Identification d'une limite stricte pour les petits modèles face aux patients polymédiqués.
Échec du Pré-entraînement de Domaine : Preuve qu'un pré-entraînement sur des données médicales sans ajustement aux instructions (instruction tuning) rend le modèle inutilisable pour des tâches d'extraction structurée.
Reproductibilité : Pipeline complet open-source disponible pour reproduction.

4. Résultats Principaux

A. L'effet de la Stratégie de Sérialisation

Modèles ≤ 8B (Phi-3.5, Mistral-7B, Llama-3.1-8B) : La stratégie Récit Clinique (C) surperforme nettement le JSON Brut (A).
- Pour Mistral-7B, le F1-score passe de 0.72 (JSON) à 0.91 (Récit), soit un gain de 19 points. La corrélation est forte ( $r = 0.617, p < 10^{-10}$ ).
- Le récit clinique aide les modèles plus petits à comprendre la structure et à distinguer les statuts actifs des historiques sans avoir à parser un JSON complexe.
Modèle 70B (Llama-3.3-70B) : La tendance s'inverse. Le JSON Brut (A) devient la meilleure stratégie (F1 = 0.9956), surpassant légèrement le Récit Clinique (0.9850). Les grands modèles gèrent nativement la structure JSON.
Échec de la Chronologie (D) : Même pour le modèle 70B, la chronologie pure (sans distinction explicite d'actif/historique) entraîne une chute de performance (F1 = 0.87), suggérant que le raisonnement temporel complexe reste difficile.

B. Omission vs Hallucination

Dans toutes les combinaisons (20 modèles x stratégies), la précision moyenne est supérieure au rappel moyen.
Conclusion : Les modèles ont tendance à omettre des médicaments actifs plutôt qu'à en inventer de faux.
Implication Clinique : La sortie du modèle doit être considérée comme un sous-ensemble de haute confiance. Le risque clinique principal est l'oubli (manque de rappel), pas l'erreur de fabrication. L'audit clinique doit donc se concentrer sur la complétude de la liste.

C. Plafond de Capacité (Polypharmacie)

Les modèles ≤ 8B montrent une dégradation brutale du rappel lorsque le nombre de médicaments actifs dépasse 7 à 10.
- Exemple : Pour Mistral-7B, le rappel chute de 0.96 (1 médicament) à 0.24 (11 médicaments).
Le modèle Llama-3.3-70B maintient un rappel quasi parfait jusqu'à 16 médicaments actifs.
Signification : Les petits modèles échouent systématiquement sur les patients les plus à risque (polymédiqués), précisément ceux qui nécessitent le plus de réconciliation.

D. Échec de BioMistral-7B

BioMistral-7B (pré-entraîné sur PubMed mais non ajusté aux instructions) obtient un F1 de 0.00 sur tous les scénarios.
Il produit soit des séquences incohérentes, soit répète le prompt système, sans jamais générer de tableau JSON valide.
Leçon : La connaissance médicale seule (pré-entraînement de domaine) est insuffisante sans instruction tuning pour les tâches d'extraction structurée.

5. Signification et Recommandations Pratiques

Cette étude fournit des directives concrètes pour le déploiement clinique des LLM :

Pour les modèles 7B–8B : Utiliser par défaut la sérialisation Récit Clinique (Clinical Narrative). Cela offre un gain de performance massif sans coût de réentraînement ni ajustement de prompt complexe.
Pour les modèles 70B+ : Le JSON Brut est préférable (plus simple à mettre en œuvre et légèrement plus performant), bien que le Récit Clinique reste très efficace.
Priorité d'Audit : Les systèmes de surveillance doivent se concentrer sur le Rappel (Recall). L'objectif est de s'assurer qu'aucun médicament actif n'est manqué, car l'omission est le risque dominant.
Choix du Modèle : Pour les patients polymédiqués complexes, la taille du modèle (70B+) est un facteur critique plus important que le format de sérialisation. Les petits modèles ne sont pas adaptés à ces cas.
Instruction Tuning : Il est impératif d'utiliser des modèles ajustés aux instructions. Le pré-entraînement de domaine sur des textes médicaux ne compense pas l'absence d'ajustement aux instructions pour les tâches structurées.

En résumé, la façon dont les données FHIR sont présentées au modèle n'est pas une simple question de commodité technique, mais un levier de performance clinique majeur qui détermine la sécurité des patients, en particulier pour les cas complexes.