A French OSCE Dialogue Dataset and Controllable Virtual Patient System for Clinical Training

Résumé technique : Un ensemble de données de dialogues OSCE en français et un système de patient virtuel contrôlable pour la formation clinique

Énoncé du problème
Les examens cliniques objectifs structurés (OSCE) sont la norme pour évaluer le raisonnement clinique et les compétences de communication des étudiants en médecine en France. Ces examens reposent sur des interactions avec des patients standardisés (PS) humains. Cependant, la formation est limitée par la rareté des PS humains et des évaluateurs, ce qui entraîne des problèmes d'évolutivité et de coût. Bien que des systèmes de patients virtuels (PV) aient été proposés, les solutions existantes reposent souvent sur des scripts basés sur des règles ou manquent de la contrôlabilité requise pour adhérer strictement à des scénarios cliniques prédéfinis. De plus, il existe un manque important d'ensembles de données de dialogues OSCE en langue française et de cadres d'évaluation standardisés et reproductibles pour les systèmes de PV basés sur les LLM.

Méthodologie
Les auteurs proposent une solution complète comprenant un nouvel ensemble de données, un pipeline de génération contrôlable et un cadre d'évaluation multi-niveaux.

1. Construction de l'ensemble de données :

   • Données enregistrées : Les auteurs ont collecté 240 dialogues d'entraînement OSCE enregistrés et transcrits impliquant 99 étudiants en sixième année de médecine à travers 23 stations distinctes (sur un total de 192 stations collectées) couvrant plus de 10 spécialités médicales. Les enregistrements ont été annotés manuellement avec des étiquettes pour la spécialité, le type de consultation et les objectifs. La transcription automatique a été réalisée via faster-whisper, atteignant un taux d'erreur de mots (WER) de 7,7 % sur un sous-ensemble corrigé manuellement.
   • Données générées : En utilisant le pipeline décrit ci-dessous, 792 dialogues synthétiques ont été générés à partir de 11 des stations enregistrées.

2. Pipeline basé sur les LLM et contrôlable :
   Le système génère des dialogues en deux modes : interactif (l'étudiant s'entraîne en tant que médecin) et automatique (le médecin et le patient sont tous deux générés par LLM). L'architecture utilise jusqu'à quatre instances de LLM distinctes pour des rôles spécifiques :

   • Ancrage des entrées (Input Grounding) : Le système utilise trois documents : la Fiche Patient (identité, antécédents, symptômes), la Fiche Médecin (contexte, objectifs) et la Fiche d'Évaluation (critères à remplir).
   • Scriptage du dialogue : En mode automatique, les critères sont réordonnés en phases (Ouverture, Collecte d'informations, Évaluation, Plan/Conclusion) pour guider le générateur de médecin.
   • Générateur de Patient : Produit des réponses basées sur la fiche patient et l'historique du dialogue. Il peut être augmenté par un Module de Récupération pour sélectionner le contexte pertinent de la fiche patient.
   • Boucle de Contrôle : Un Module de Contrôle évalue les réponses générées du patient par rapport à la fidélité de la fiche patient, en attribuant un score (0–10). Les réponses obtenant un score inférieur à 8/10 sont envoyées à un Module de Correction pour traiter les incohérences identifiées. Cela forme une Boucle de Réflexion qui améliore de manière itérative la fidélité du patient.

3. Cadre d'évaluation (LLM-as-a-Judge) :
   Les auteurs utilisent GPT-4o-mini comme juge pour évaluer les dialogues selon trois dimensions :

   • Qualité de la simulation du patient : Mesurée par le Rappel d'Information (proportion d'éléments de la fiche patient mentionnés) et la Pertinence de la Réponse.
   • Performance du médecin : Mesurée par l'Évaluation OSCE (pourcentage de critères abordés) et l'Adhésion au Rôle.
   • Qualité Linguistique : Mesurée par le Naturel, la Fluidité et la Cohérence.

Contributions clés

• Ensemble de données OSCE en français : La publication d'un ensemble de données contenant 240 dialogues d'entraînement enregistrés et 792 dialogues générés, répondant à la rareté des ressources de dialogue médical en français.
• Pipeline de génération contrôlable : Un système modulaire intégrant l'ancrage par récupération et une boucle de réflexion (contrôleur-correcteur) pour assurer la fidélité et la cohérence du patient dans les dialogues OSCE synthétiques.
• Évaluation Multi-niveaux : Un cadre structuré évaluant la simulation du patient, la performance de l'étudiant et la qualité linguistique, validé par rapport aux annotations humaines lorsque cela est possible.

Résultats

• Généré vs Enregistré : Les dialogues générés ont systématiquement surpassé les interactions enregistrées dans les mesures de simulation du patient (ex. : Rappel d'Information : 52,24 % pour Claude-Haiku-4.5 contre 43,58 % pour les enregistrements) et la qualité linguistique. Les auteurs notent que cet écart est en partie dû à la variabilité et à la couverture incomplète des critères dans les interactions réelles des étudiants, ainsi qu'aux biais potentiels du "LLM-as-a-Judge" favorisant les textes structurés.
• Impact des modules de contrôle : La boucle de réflexion a systématiquement amélioré les mesures de simulation du patient (ex. : augmentant le Rappel d'Information de 52,24 % à 54,29 % avec la réflexion, et à 56,62 % avec réflexion + récupération) tout en maintenant une qualité linguistique stable. Le processus de correction n'a été déclenché que dans 3,6 % des tours, mais a amélioré le score du contrôleur dans 79,5 % de ces cas.
• Robustesse : Le système de PV est resté robuste face à une dégradation de la performance du médecin (simulant des étudiants n'abordant que 50 % ou 25 % des critères), maintenant une pertinence de réponse élevée, particulièrement lors de l'utilisation du pipeline de réflexion et de récupération.
• Accord Humain-LLM : L'accord inter-annotateurs parmi les humains était faible pour les critères linguistiques. L'accord entre les évaluateurs humains et le "LLM-as-a-Judge" était modéré pour le score de la grille OSCE, mais plus fort pour les stations centrées uniquement sur le patient sans analyse de document.

Signification et Revendications
L'article affirme traiter la rareté des ressources de dialogue médical en français et le manque de contrôlabilité des systèmes de PV actuels basés sur les LLM. Les auteurs postulent que leur pipeline modulaire, ancré dans des données OSCE réelles et amélioré par des boucles de réflexion, offre une voie viable vers des outils de formation clinique évolutifs et réalistes. Ils soulignent que leur système permet de générer des dialogues diversifiés et de haute fidélité et fournit un mécanisme de rétroaction automatique pour les étudiants.

Cependant, les auteurs maintiennent une position modeste concernant leurs affirmations. Ils reconnaissent que :

• L'ensemble de données ne couvre qu'un sous-ensemble des stations collectées (11 sur 192 utilisées pour la génération).
• L'évaluation repose largement sur un seul "LLM-as-a-Judge" sans validation humaine étendue pour toutes les métriques.
• Le pipeline n'a pas encore été testé dans des conditions de formation réelle avec des étudiants en médecine, de sorte que son efficacité pédagogique reste non évaluée.
• La dépendance du système à plusieurs appels de LLM soulève des questions concernant le coût et la reproductibilité.

Les travaux futurs identifiés consistent à étendre le pipeline aux stations basées sur des documents, à améliorer la contrôlabilité et à valider le système dans des scénarios de formation en conditions réelles.