A French OSCE Dialogue Dataset and Controllable Virtual Patient System for Clinical Training

Technische Samenvatting: Een Franse OSCE-dialoogdataset en een Controleerbaar Virtueel Patiëntensysteem voor Klinische Training

Probleemstelling
Objective Structured Clinical Examinations (OSCE's) zijn de standaard voor het beoordelen van de klinische redenering en communicatieve vaardigheden van medische studenten in Frankrijk. Deze examens vertrouwen op interacties met menselijke gestandaardiseerde patiënten (SPs). De training wordt echter beperkt door het tekort aan menselijke SP's en beoordelaars, wat leidt tot problemen met schaalbaarheid en kosten. Hoewel er Virtual Patient (VP) systemen zijn voorgesteld, leunen bestaande oplossingen vaak op regelgebaseerde scripts of missen ze de controle die nodig is om strikt aan vooraf gedefinieerde klinische scenario's te voldoen. Bovendien is er een aanzienlijk gebrek aan Franstalige OSCE-datasets en gestandaardiseerde, reproduceerbare evaluatiekaders voor LLM-gebaseerde VP-systemen.

Methodologie
De auteurs stellen een uitgebreide oplossing voor bestaande uit een nieuwe dataset, een controleerbare generatiepijplijn en een evaluatiekader op meerdere niveaus.

1. Dataset Constructie:

   • Gerecorderde Data: De auteurs hebben 240 opgenomen en getranscribeerde OSCE-trainingsdialogen verzameld van 99 zesdejaars medische studenten over 23 verschillende stations (van de in totaal 192 verzamelde stations) die meer dan 10 medische specialismen beslaan. De opnames zijn handmatig geannoteerd met labels voor specialisme, consultatietype en doelstellingen. Automatische transcriptie werd uitgevoerd met faster-whisper, waarbij een Word Error Rate (WER) van 7,7% werd bereikt op een handmatig gecorrigeerde subset.
   • Gegenereerde Data: Met behulp van de hieronder beschreven pijplijn werden 792 synthetische dialogen gegenereerd vanuit 11 van de opgenomen stations.

2. Controleerbare LLM-gebaseerde Pijplijn:
   Het systeem genereert dialogen in twee modi: interactief (de student traint als arts) en automatisch (zowel de arts als de patiënt zijn door LLM gegenereerd). De architectuur maakt gebruik van maximaal vier afzonderlijke LLM-instanties voor specifieke rollen:

   • Input Grounding: Het systeem maakt gebruik van drie documenten: het Patiëntendossier (identiteit, voorgeschiedenis, symptomen), het Artsendossier (context, doelstellingen) en het Evaluatiedossier (criteria die behaald moeten worden).
   • Dialoogscripting: In automatische modus worden criteria geherstructureerd in fasen (Opening, Informatieverzameling, Beoordeling, Plan/Conclusie) om de arts-generator te begeleiden.
   • Patiëntengenerator: Produceert reacties op basis van het patiëntendossier en de dialooggeschiedenis. Dit kan worden aangevuld met een Retrieval Module om relevante context uit het patiëntendossier te selecteren.
   • Control Loop: Een Controller Module evalueert de gegenereerde patiëntreacties op getrouwheid ten opzichte van het patiëntendossier en wijst een score toe (0–10). Reacties met een score lager dan 8/10 worden naar een Correction Module gestuurd om geïdentificeerde inconsistenties aan te pakken. Dit vormt een Reflection Loop die de patiëntgetrouwheid iteratief verbetert.

3. Evaluatiekader (LLM-as-a-Judge):
   De auteurs gebruiken GPT-4o-mini als beoordelaar om dialogen te evalueren over drie dimensies:

   • Kwaliteit van de Patiëntsimulatie: Gemeten door Information Recall (proportie van elementen uit het patiëntendossier die worden genoemd) en Respons Relevantie.
   • Prestaties van de Arts: Gemeten door OSCE Evaluatie (percentage van de criteria die zijn geadresseerd) en Roladherence.
   • Linguïstische Kwaliteit: Gemeten door Natuurlijkheid, Vloeiendheid en Coherentie.

Belangrijkste Bijdragen

• Franse OSCE-dataset: De release van een dataset met 240 opgenomen trainingsdialogen en 792 gegenereerde dialogen, wat het tekort aan Franse medische dialoogbronnen aanpakt.
• Controleerbare Generatiepijplijn: Een modulair systeem dat retrieval-gebaseerde grounding en een reflectielus (controller-corrector) integreert om patiëntgetrouwheid en coherentie in synthetische OSCE-dialogen te waarborgen.
• Evaluatie op Meerdere Niveaus: Een gestructureerd kader dat patiëntsimulatie, studentprestaties en linguïstische kwaliteit beoordeelt, gevalideerd tegen menselijke annotaties waar mogelijk.

Resultaten

• Gegenereerd vs. Gerecordeerd: Gegenereerde dialogen presteerden consistent beter dan gerecordeerde interacties op het gebied van patiëntsimulatiemetrieken (bijv. Information Recall: 52,24% voor Claude-Haiku-4.5 versus 43,58% voor gerecordeerde interacties) en linguïstische kwaliteit. De auteurs merken op dat deze kloof deels komt door de variabiliteit en de onvolledige dekking van criteria in echte studentinteracties, evenals potentiële biases in LLM-as-a-Judge die gestructureerde tekst bevoordelen.
• Impact van Controlemodules: De reflectielus verbeterde de patiëntsimulatiemetrieken consistent (bijv. het verhogen van Information Recall van 52,24% naar 54,29% met reflectie, en naar 56,62% met reflectie + retrieval) terwijl de linguïstische kwaliteit stabiel bleef. Het correctieproces werd in slechts 3,6% van de beurten geactiveerd, maar verbeterde de controller-score in 79,5% van die gevallen.
• Robuustheid: Het VP-systeem bleef robuust bij verminderde prestaties van de arts (het simuleren van studenten die slechts 50% of 25% van de criteria adresseren), waarbij een hoge responsrelevantie behouden bleef, vooral bij gebruik van de retrieval- en reflectiepijplijn.
• Mens-LLM Overeenstemming: De inter-annotator overeenstemming onder mensen was zwak voor linguïstische criteria. De overeenstemming tussen menselijke evaluatoren en de LLM-as-a-Judge was matig voor OSCE-checklist scoring, maar sterker voor stations die alleen de patiënt betreffen zonder documentanalyse.

Betekenis en Claims
Het artikel beweert een oplossing te bieden voor het tekort aan Franse medische dialoogbronnen en het gebrek aan controleerbaarheid in huidige LLM-gebaseerde VP-systemen. De auteurs stellen dat hun modulaire pijplijn, geworteld in echte OSCE-data en versterkt door reflectielussen, een levensvatbaar pad biedt naar schaalbare, realistische klinische trainingsinstrumenten. Ze benadrukken dat hun systeem de generatie van diverse, hoogwaardige dialogen mogelijk maakt en een automatisch feedbackmechanisme voor studenten biedt.

De auteurs houden echter een bescheiden standpunt aan met betrekking tot hun claims. Zij erkennen dat:

• De dataset slechts een deel van de verzamelde stations beslaat (11 van de 192 gebruikt voor generatie).
• De evaluatie sterk leunt op een enkele LLM-as-a-Judge zonder uitgebreide menselijke validatie voor alle metrieken.
• De pijplijn nog niet is getest in echte trainingsomstandigheden met medische studenten, waardoor de pedagogische effectiviteit nog niet is geëvalueerd.
• De afhankelijkheid van het systeem van meerdere LLM-aanroepen zorgen oproept over kosten en reproduceerbaarheid.

Toekomstig werk wordt geïdentificeerd als het uitbreiden van de pijplijn naar documentgebaseerde stations, het verbeteren van de controleerbaarheid en het valideren van het systeem in real-world trainingsscenario's.