Generating High Quality Synthetic Data for Dutch Medical Conversations

Dit artikel presenteert een pipeline voor het genereren van synthetische Nederlandse medische dialogen met een fine-tuned LLM, waarbij kwantitatieve en kwalitatieve evaluaties aantonen dat hoewel de methode haalbaar is, specifieke domeinkennis en zorgvuldige prompting nodig zijn om de balans tussen natuurlijkheid en structuur te verbeteren.

De kern

Samenvatting: Het Koken van Medische Gesprekken met een Robot

Stel je voor dat je een zeer slimme kok wilt trainen om perfecte recepten te maken. In de wereld van computers en medische zorg is die "kok" een kunstmatige intelligentie (een AI) die medische gesprekken moet begrijpen en analyseren. Maar er is een groot probleem: echte medische gesprekken tussen artsen en patiënten zijn als geheime familierecipes. Ze zijn waardevol, maar je mag ze niet zomaar delen vanwege privacywetten (zoals de AVG). Je kunt ze niet op een open markt neerleggen om te laten zien hoe ze eruitzien.

Dit onderzoek van de Radboud Universiteit probeert een oplossing: het koken van "synthetische" (kunstmatige) recepten. Ze willen een AI leren om zelf nieuwe, nep-medische gesprekken te schrijven die er net zo echt uitzien als de echte, maar dan zonder dat er echte patiënten bij betrokken zijn.

Hier is hoe het werkt, stap voor stap, in simpele taal:

1. De Ingrediënten (De Data)

De onderzoekers hadden een kleine doos met echte, anonieme transcripties van gesprekken tussen nefrologen (nierartsen) en patiënten. Omdat er maar heel weinig waren, konden ze de AI niet goed trainen.

• De Analogie: Het is alsof je een kok wilt leren koken, maar je hebt maar drie oude foto's van gerechten. Je kunt er geen groot diner van maken.

2. De Chef-kok (De AI)

Ze gebruikten een speciale AI die al goed is in het Nederlands (een "ChocoLlama" model). Ze gaven de AI de drie echte foto's als voorbeeld en zeiden: "Kijk hoe deze mensen praten, en schrijf dan zelf tien nieuwe gesprekken over nieren, medicijnen en leefstijl."

Ze gaven de AI heel specifieke instructies (prompt engineering), zoals: "Zorg dat de arts medische termen gebruikt en de patiënt over zijn klachten praat, en doe dit alsof het een normaal gesprek is."

3. De Proef (De Evaluatie)

Nu hadden ze een stapel nieuwe, door de AI geschreven gesprekken. Maar zijn ze goed? Om dit te testen, deden ze twee dingen:

• De Rekenmachine (Kwantitatief): Ze keken naar cijfers.

  • Resultaat: De AI was heel goed in het tellen. De gesprekken hadden precies de juiste lengte, de juiste hoeveelheid woorden en de sprekers wisselden elkaar perfect af (A zegt iets, B zegt iets, A zegt iets...).
  • Het probleem: Het was te perfect. In het echt praten mensen vaak over elkaar heen, zeggen ze "hmm" of "ja" in het midden van een zin, en beginnen ze niet bij elke nieuwe onderwerp met een nieuwe begroeting. De AI gedroeg zich alsof ze een script volgden, niet alsof ze een mens waren. Het was alsof een robot die dansstappen oefent: elke stap is exact, maar het voelt niet als een spontane dans.

• De Menselijke Jury (Kwalitatief): Ze gaven de gesprekken aan echte artsen en Nederlandstaligen om te beoordelen.

  • Resultaat: De mensen vonden het niet zo goed. Ze zeiden: "Dit klinkt niet als een echte arts." De woorden die de AI gebruikte waren soms raar, de zinnen waren te lang en het gesprek voelde stijf en onnatuurlijk. Soms leek het alsof de AI een Engels gesprek had vertaald naar het Nederlands, in plaats van dat het van nature Nederlands was.

4. De Les (De Conclusie)

De belangrijkste ontdekking is dit: Cijfers liegen soms.
De rekenmachine zei: "Dit gesprek is perfect!" (want de cijfers klopten), maar de mensen zeiden: "Dit voelt verkeerd."

Het onderzoek laat zien dat je een AI wel kunt leren om medische gesprekken te schrijven, maar dat het nog niet zover is dat je die gesprekken kunt gebruiken als perfecte vervanging voor de echte waarheid. De AI mist de "ziel" van een gesprek: de onvoorspelbaarheid, de kleine foutjes en de natuurlijke flow.

Wat betekent dit voor de toekomst?

Het is een goede eerste stap. Het bewijst dat we privacy-waardige data kunnen maken om AI te trainen zonder echte patiënten in gevaar te brengen. Maar om het echt goed te krijgen, moeten de onderzoekers de "chef-kok" nog veel meer oefenen. Ze moeten de instructies (de prompt) verfijnen en misschien de AI trainen op meer natuurlijke, gesproken taal in plaats van alleen geschreven teksten.

Kortom: Ze hebben een robot leren koken. De robot maakt nu eten dat er op de foto perfect uitziet (de cijfers kloppen), maar als je het proeft, smaakt het nog een beetje naar plastic (het klinkt niet natuurlijk). De volgende stap is de robot leren proeven, zodat hij de smaak van een echt menselijk gesprek kan nabootsen.

Technische samenvatting

Probleemstelling

De ontwikkeling van betrouwbare klinische Natural Language Processing (NLP) modellen voor de Nederlandse zorg wordt gehinderd door een gebrek aan specifieke datasets. Medische gegevens zijn vaak ontoegankelijk vanwege strikte privacywetgeving (zoals de AVG/GDPR) en ethische beperkingen. Hoewel gesprekken tussen arts en patiënt waardevolle inzichten bieden die vaak ontbreken in Elektronische Gezondheidsrecords (EHR), zijn deze data schaars en moeilijk te anonimiseren zonder risico op heridentificatie. Er is een dringende behoefte aan ethisch gegenereerde, synthetische data om NLP-pijplijnen te trainen en te valideren zonder privacyrisico's.

Methodologie

De auteurs presenteren een pijplijn voor het genereren van synthetische Nederlandse medische dialogen met behulp van een Large Language Model (LLM).

• Data: De studie gebruikt een bestaand dataset van gemanualiseerde transcripties van nefrologische consulten (van het Nivel Institute) als referentie voor linguïstische stijl en structuur.
• Model: Er zijn twee modellen getest:
  1. Meta's Llama-3-8B-Instruct (basisversie).
  2. Llama-3-ChocoLlama-8B-Instruct: Een instructie-getuned model dat is gefinetuned op een extensief corpus van Nederlandse instructie-gegevens (ongeveer 32 miljard tokens). Dit model werd gekozen vanwege de betere prestaties in het Nederlands en de mogelijkheid tot lokale, privacy-bewuste implementatie.
• Generatieproces (Few-Shot Learning):
  • De workflow omvat het voorbereiden van voorbeelden (few-shot) en gestructureerde prompts.
  • Twee bestaande dialoogbestanden dienen als voorbeelden (input-output paren) om de stijl (beurtstructuur, toon, zinslengte) te modelleren, zonder de inhoud direct te kopiëren.
  • De prompt bevat specifieke instructies voor de rol (arts/patiënt), het medische domein (nefrologie), en vier onderwerpen: symptomen, medicatiegebruik, leefstijl en laboratoriumuitslagen.
  • Het proces genereert dialogen per onderwerp die vervolgens worden samengevoegd tot één lange dialoog, waarbij de laatste woorden van de vorige dialoog als context worden gebruikt voor de volgende.
• Evaluatie:
  • Kwantitatief: Meting van structuur (beurtwisseling, begroetingen), lexicon (Type-Token Ratio, Mean Segmental TTR), rolconsistentie (keyword matching met medische ontologieën zoals SNOMED CT) en onderwerpdekking.
  • Kwalitatief: Menselijke evaluatie door vijf native sprekers (waarvan vier medisch professionals) aan de hand van een rubric voor coherentie, consistentie, vloeiendheid, relevantie en klinische bruikbaarheid.

Belangrijkste Resultaten

De evaluatie toont een duidelijke discrepantie tussen kwantitatieve en kwalitatieve metrics:

1. Kwantitatieve Resultaten:

   • Structuur: De dialoogwisselingsrate (alternation rate) was bijna perfect (0,973), wat suggereert dat de gesprekken te gestructureerd en "scripted" zijn, in plaats van natuurlijk met overloopjes of korte interjecties.
   • Lexicon: De Type-Token Ratio (TTR) was laag (0,377), wat verwacht wordt bij lange teksten, maar de Mean Segmental TTR (MSTTR) was hoog (0,834), wat wijst op lokale variatie door medische terminologie.
   • Rolconsistentie: De overlap met domeinspecifieke lexicons was zeer laag (gemiddeld 0,012), wat aangeeft dat het model moeite had om het onderscheidende vocabulaire van arts versus patiënt correct toe te passen.
   • Zinslengte: Het model hield zich niet strikt aan de instructie voor korte zinnen; de gemiddelde zinslengte (ASL) was 16,18 woorden, aanzienlijk hoger dan de referentie (7 woorden).

2. Kwalitatieve Resultaten:

   • De menselijke beoordelaars gaven over het algemeen lage tot gemiddelde scores (gemiddeld rond de 2,5 op een schaal van 0-5).
   • Kritische punten: De dialogen werden beschreven als onnatuurlijk, met een "vertaalde" klank (waarschijnlijk door het gebruik van een model getraind op vertaalde instructie-data), gebrek aan domeinspecifieke nuance, en onrealistische beurtwisselingen.
   • Er was sprake van een lage inter-rater betrouwbaarheid (Krippendorff's α < 0,12), wat wijst op subjectiviteit in de beoordeling van complex taalgebruik.

3. Correlatie: Er was een zwakke correlatie tussen de kwantitatieve metrics en de menselijke beoordeling. Hoewel de modellen structurele metrics goed scoorden, faalden ze in het vastleggen van semantische natuurlijkheid en pragmatische geschiktheid.

Belangrijkste Bijdragen

• Eerste Studie: Dit is, voor zover bekend, de eerste studie die synthetische Nederlandse medische dialogen genereert met LLM's (buiten klinische rapporten en EHR's om).
• Validatie Framework: De studie biedt een kader voor het evalueren van synthetische data door zowel geautomatiseerde metrics als menselijke expert-review te combineren.
• Inzicht in Grenzen: Het onderzoek demonstreert dat kwantitatieve metrics alleen onvoldoende zijn om de kwaliteit van natuurlijke gesprekken te meten; menselijke evaluatie is essentieel voor het detecteren van "scripted" gedrag en gebrek aan domein-kennis.
• Ethiek en Privacy: Het biedt een ethisch alternatief voor het gebruik van gevoelige patiëntendata, ondersteunend voor de FAIR-principes (Findable, Accessible, Interoperable, Reusable).

Betekenis en Conclusie

De studie concludeert dat het genereren van synthetische Nederlandse medische dialogen technisch haalbaar is, maar dat de huidige kwaliteit nog niet voldoet aan de eisen van real-world klinische NLP-toepassingen. De gegenereerde data vertoont een te sterke structuur en een gebrek aan authentieke, domeinspecifieke taalvariatie.

De auteurs benadrukken dat succes afhangt van:

1. Modelkeuze: Het gebruik van modellen die specifiek zijn getuned op natuurlijk, gesproken Nederlands in plaats van vertaalde instructie-data.
2. Prompt Engineering: Het zorgvuldig balanceren van instructies om natuurlijkheid en structuur te combineren.
3. Menselijke Inbreng: De noodzaak van menselijke evaluatie om de nuance van medische communicatie te waarborgen.

Toekomstig werk richt zich op het verbeteren van de prompt-engineering, het verfijnen van de evaluatieprotocollen en het uitbreiden van de pijplijn naar synthetische audio-generatie en medische ontologie-mapping om de realisme en bruikbaarheid verder te verhogen.