Retrieval-Augmented Generation Based Nurse Observation Extraction

1. Problématique et Contexte

Le domaine médical fait face à une charge de travail croissante pour les infirmières, notamment dans la rédaction de comptes rendus cliniques. Les dictées infirmières sont souvent longues, non structurées et contiennent des informations cliniques critiques noyées dans le langage naturel. L'objectif est d'automatiser l'extraction de ces observations cliniques (symptômes, signes vitaux, interventions, etc.) à partir de ces dictées pour les structurer et alléger la documentation.

Les défis majeurs incluent :

• La nécessité d'une précision terminologique élevée (respect de l'ontologie médicale).
• La difficulté des modèles de langage (LLM) généraux à gérer les nuances spécifiques au domaine médical sans données d'entraînement massives et coûteuses.
• Les contraintes de confidentialité des données qui limitent l'accès à de grands ensembles de données annotées pour le fine-tuning.

2. Méthodologie : Pipeline RAG (Génération Augmentée par la Récupération)

L'équipe propose un pipeline automatisé basé sur le RAG (Retrieval-Augmented Generation) qui évite le fine-tuning coûteux des modèles de base. L'approche repose sur une mécanique de double récupération synergique pour guider le LLM via l'apprentissage en contexte (in-context learning).

Le processus se déroule en quatre étapes principales :

A. Segmentation des Dictées

Les dictées brutes sont d'abord segmentées en unités distinctes contenant des faits cliniques. Un LLM (GPT-5-mini) divise le texte en segments contigus basés sur les changements de sujets cliniques (ex: nouveaux symptômes, nouveaux signes vitaux), en préservant l'ordre original et le texte verbatim.

B. Double Mécanisme de Récupération

Pour chaque segment généré, le système récupère deux types de contexte pour enrichir l'entrée du modèle générateur :

1. Récupération Ontologique (Précision Terminologique) :

   • Le système interroge une ontologie médicale contenant les schémas d'observations possibles (noms, descriptions, valeurs autorisées).
   • Une étape préliminaire ajoute des descriptions simplifiées aux termes de l'ontologie pour améliorer la compréhension par le LLM.
   • Une recherche hybride (combinaison de BlueBERT et TF-IDF) sélectionne les 10 schémas les plus pertinents par rapport au segment d'entrée.

2. Récupération Few-Shot (Apprentissage par l'Exemple) :

   • Le système interroge une "mémoire" (bank) constituée de segments de dictées et de leurs observations étiquetées (gold-standard) issues de l'ensemble de données d'entraînement.
   • Une recherche hybride (BlueBERT et BM25) récupère les 15 exemples les plus sémantiquement similaires au segment actuel.
   • Ces exemples servent de few-shot prompts pour montrer au modèle comment mapper le texte libre vers le format structuré requis.

C. Génération d'Observations

Le LLM (générateur) reçoit le segment de texte, les schémas pertinents de l'ontologie et les exemples few-shot. Il est instruit d'extraire uniquement les informations correspondant aux schémas fournis et de les formater strictement en JSON, en respectant les valeurs énumérées (ex: "Moderate" pour "Dyspnea").

3. Contributions Clés

• Pipeline sans Fine-tuning : La méthode démontre qu'il est possible d'atteindre des performances de pointe en utilisant uniquement l'apprentissage en contexte et la récupération de connaissances, évitant ainsi les coûts et les risques liés à l'entraînement de modèles spécialisés.
• Architecture de Double Récupération : L'intégration simultanée de l'ontologie (pour la rigueur terminologique) et des exemples few-shot (pour les motifs d'extraction) constitue une innovation majeure pour ce type de tâche.
• Prétraitement des Ontologies : L'ajout de descriptions explicatives aux termes de l'ontologie avant la récupération améliore significativement la capacité du modèle à comprendre les concepts médicaux complexes.
• Optimisation de la Cohérence : L'utilisation du même modèle (GPT-5-mini) pour la segmentation et la construction de la base de mémoire assure une meilleure alignement entre les exemples récupérés et les nouvelles entrées.

4. Résultats Expérimentaux

Les expériences ont été menées sur l'ensemble de données MEDIQA-SYNUR.

• Performance Globale : La méthode a atteint un F1-score de 0,796 sur l'ensemble de test, ce qui constitue un résultat solide pour cette tâche complexe.
• Comparaison des Configurations :
  • L'ajout des schémas ontologiques aux exemples few-shot a amélioré les performances par rapport à l'utilisation des seuls exemples (F1 passant de 0,739 à 0,829 sur l'ensemble de développement).
  • BlueBERT s'est avéré être le modèle de récupération le plus performant pour l'indexation des schémas, surpassant ClinicalBERT et PubMedBERT.
  • Une corrélation positive a été observée entre le nombre d'exemples few-shot (jusqu'à 15) et la performance globale.
  • L'utilisation de GPT-5.1 comme générateur combiné à GPT-5-mini comme segmenteur a produit les meilleurs résultats, bien que des modèles plus grands (GPT-5.2) n'aient pas systématiquement amélioré les performances, suggérant des problèmes de cohérence ou de sur-ajustement.

5. Signification et Perspectives

Ce travail démontre que les pipelines RAG peuvent efficacement soulager la charge de documentation des infirmières en automatisant l'interprétation des interactions patients avec une grande fiabilité, sans nécessiter de données annotées massives pour l'entraînement.

• Impact Clinique : L'automatisation de l'extraction permet de structurer les données non structurées, facilitant ainsi l'analyse des données cliniques et réduisant le temps passé sur la documentation administrative.
• Efficacité : L'approche est économe en ressources computationnelles par rapport au fine-tuning de grands modèles.
• Améliorations Futures : Les auteurs suggèrent l'ajout d'un classificateur préalable pour filtrer les segments ne contenant pas d'observations médicales pertinentes, afin d'éviter les appels inutiles au LLM et d'optimiser encore davantage l'efficacité du pipeline. De plus, la standardisation des formats de données (ex: unités de température) dans les ensembles de données d'entraînement est identifiée comme un levier d'amélioration pour la précision de la récupération.

En conclusion, l'approche de l'équipe MKC valide l'efficacité d'une architecture hybride de récupération pour résoudre des problèmes complexes de structuration de données médicales dans un cadre de contraintes de confidentialité et de ressources.