Technische Samenvatting: Een Pipeline voor het Genereren van Longitudinale Synthetische Klinische Notities met Gebruik van Large Language Models

Probleemstelling

De ontwikkeling en evaluatie van klinische AI-systemen—zoals samenvattingsinstrumenten, diagnostische ondersteuning en geautomatiseerde coderingsmodellen—worden belemmerd door de beperkte toegang tot echte patiëntgegevens vanwege strikte regelgevende en ethische vereisten. Hoewel privacy-verbeterende technieken zoals anonimisering bestaan, voldoen deze vaak niet aan institutionele goedkeuringsprocessen of verzachten ze de privacyrisico's niet volledig. Bijgevolg is er een kritieke behoefte aan hoogwaardige synthetische klinische gegevens die de structuur, inhoud en longitudinale consistentie van echte patiëntendossiers nabootsen zonder echte patiëntinformatie te bevatten. Bestaande benaderingen voor synthetische gegevens worstelen vaak met het balanceren van interne consistentie over het traject van een patiënt versus de noodzakelijke variatie in schrijfstijlen, notitiestructuren en klinische details die in de echte wereld worden aangetroffen.

Methodologie

De auteurs presenteren een modulaire, vijffasen-pipeline ontworpen voor het genereren van synthetische klinische notities met longitudinale consistentie. De pipeline geeft prioriteit aan snelheid en privacy, waarbij gebruik wordt gemaakt van Large Language Models (LLMs) voor de generatie van semi-gestructureerde en ongestructureerde gegevens, aangevuld met gestructureerde gegevens uit de open-source simulator Synthea.

1. Patiëntgeneratie

De pipeline begint met het genereren van patiëntdemografie met behulp van Synthea UK, een aangepaste versie van Synthea die is afgestemd op de demografie en adressen van de Britse populatie. Een LLM (GPT-4o) wordt vervolgens ingezet om aanvullende details te genereren, zoals contactinformatie van naasten. Om diversiteit en realisme te waarborgen, verfijnt de pipeline prompts iteratief op basis van klinische feedback; bijvoorbeeld, het sample nu willekeurig allergieën op basis van nationale prevalentie in plaats van standaard te vervallen in veelvoorkomende hallucinaties zoals penicilline-allergieën. Alle outputs worden strikt geformatteerd als JSON, met geautomatiseerde opschoonfuncties (met behulp van regex en secundaire LLM-aanroepen) om parsing-fouten af te handelen.

2. Opnamegeneratie

Het systeem genereert twee soorten opnames: electieve en spoedopnames. Redenen voor opname worden gesampled uit een gecureerde tabel van veelvoorkomende redenen, gestratificeerd naar geslacht en leeftijd, hoewel de architectuur ruimte biedt voor integratie met SNOMED of ICD-gecodeerde datasets. De LLM genereert opnamedetails inclusief specialisme, locatie op de afdeling, huidige medicatie en voorgeschiedenis, gevolgd door een schatting van de verblijfsduur.

3. Simulatie van het Patiënttraject

Deze fase construeert een longitudinale tijdlijn van gebeurtenissen van opname tot pre-ontslag.

• Initiële Generatie: Eerst wordt een "eenvoudig" traject gegenereerd, dat gebeurtenistypen (bijv. opname, visite, operaties), tijdstempels en korte samenvattingen bevat.
• Injectie van Complexiteit: Zodra het eenvoudige traject voltooid is, wordt complexiteit toegevoegd aan elke gebeurtenis, inclusief personeelsbezetting, gedetailleerde beschrijvingen en beslissingen over vervolgstappen.
• Validatielus: Een LLM-validator beoordeelt de realiteitszin van het traject. Als een traject voortijdig wordt beëindigd of als onrealistisch wordt beschouwd, keert de pipeline terug naar het herschrijven van secties of het verlengen van de tijdlijn.
• Filtering: Ongewenste gebeurtenissen, zoals het ontslag-event zelf (om te voorkomen dat er voortijdig ontslagverslagen worden gegenereerd), worden gefilterd.

4. Generatie van Klinische Notities

Voor elke gebeurtenis in het traject wordt een specifieke klinische notitie gegenereerd met behulp van GPT-4o.

• Contextuele Prompting: Prompts bevatten patiëntdemografie, de volledige geschiedenis van gebeurtenissen tot dat moment en verwachte outputformaten die zijn ontworpen met input van clinici.
• Klinische Persona's: Om realistische variatie in schrijfstijl te introduceren, worden medewerkers toegewezen aan willekeurige "persona's" (bijv. Beknopt, Narratief, Opsommingstekens, Notitie, ABCDE). Dit zorgt voor consistente stilistische variatie gedurende het traject van een patiënt.
• Dynamische Inhoud: De pipeline selecteert dynamisch passende "red-flag" symptomen om te controleren op basis van de reden van opname en bepaalt noodzakelijke wettelijke onderzoeken.

5. Augmentatie en Validatie

• LLM-Validatie: Een validator-LLM controleert de getrouwheid van de gegenereerde notities ten opzichte van het patiënttraject en de context, om er zeker van te zijn dat geen kritieke details worden weggelaten of gewijzigd. Deze stap werkt in een lus om de kwaliteit van de output iteratief te verbeteren.
• Ruisinjectie: De pipeline voegt realistische ruis toe, waaronder:
  • Afkortingen: Een LLM voegt intelligent klinische afkortingen in zinnen in in plaats van een eenvoudige find-and-replace methode te gebruiken.
  • Typfouten: Het python-typo pakket simuleert realistische typefouten (karakterwisselingen, weglatingen, dubbele spaties), waarbij individuele medewerkers willekeurige foutpercentages krijgen toegewezen.
  • Ondertekeningen: Handtekeningen van het personeel worden aan de notities toegevoegd.

Belangrijkste Bijdragen

1. Een Modulaire Pipeline: Een configureerbare pipeline voor het genereren van synthetische klinische notities die longitudinale consistentie over patiëntendossiers behoudt, terwijl variatie in schrijfstijl en klinische details wordt gevangen.
2. De Synthetische Dataset: Een publiekelijk vrijgegeven dataset bestaande uit 70 synthetische patiënten, elk met 20–50 klinische notities die een volledig ziekenhuisverloop beslaan. De dataset wordt geleverd op meerdere validatieniveaus:
   • Silver (Gepubliceerd): Gegenereerd via de gevalideerde pipeline en LLM zonder klinische beoordeling.
   • Gold (Gepland): Bevat aanvullende beoordeling en validatie door clinici.
   • Bronze (Gepland): Gegenereerd met gevalideerde pipelines maar potentieel met andere LLM's en zonder extra validatie.
3. Evaluatieframework: Een geïntegreerde evaluatiesuite die realisme, consistentie en variatie meet met behruik van zowel traditionele metrieken als LLM-gebaseerde beoordelaars.

Resultaten en Evaluatie

Het artikel beschrijft een evaluatiepipeline die werd gebruikt om het systeem tijdens de ontwikkeling iteratief te verbeteren:

• Leesbaarheid: Gemeten met Flesch Reading Ease en Dale Chall scores om ervoor te zorgen dat verschillende klinische persona's notities produceren met variërende maar passende leesbaarheidsniveaus.
• LLM-as-a-Judge: LLM's scoren de gegenereerde notities op Vloeiendheid (grammatica en coherentie), Groundedness (afstemming op feiten uit het patiënttraject) en Relevantie (inclusie van vitale informatie). Scores variëren van 1 tot 5.
• Temporele Coherentie: Een binaire controle zorgt ervoor dat alle gebeurtenissen voor een patiënt in chronologische volgorde plaatsvinden.
• Menselijke Evaluatie: Klinische feedback identificeerde specifieke problemen (bijv. ontbrekende documentatie van red-flags, onrealistische afkortingen, te uitgebreide notities), die vervolgens werden aangepakt via prompt engineering en pipeline-modificaties.

De dataset ondersteunt de ontwikkeling van AI-tools voor samenvatting, codering, besluitvormingsondersteuning en bias-testen (via een gender-swapping mogelijkheid).

Betekenis en Claims

De auteurs beweren dat dit werk een praktische oplossing biedt voor het ontwikkelen en testen van klinische AI-systemen zonder afhankelijk te zijn van echte patiëntgegevens, waardoor de trage en vaak onsuccesvolle institutionele goedkeuringsprocessen die gepaard gaan met echte data worden omzeild.

Het artikel benadrukt dat hoewel de pipeline hoogwaardige synthetische trajecten en notities genereert, het geen perfect replica is van de realiteit van de echte wereld. De auteurs erkennen bescheiden de beperkingen, waaronder:

• Verlies van Real-World Complexiteit: Het onvermogen om de rijkdom van tegenstrijdige observaties, de beschikbaarheid van personeel en contextafhankelijke besluitvorming volledig te vangen.
• Ondervertegenwoordiging van Uitzonderlijke Gegevens: Een neiging om "gemiddelde" gevallen te reflecteren in plaats van de lange staart van zeldzame of ongunstige gebeurtenissen.
• Bias en Hallucinatie: Het risico dat synthetische gegevens de biases van de onderliggende LLM erven of plausibele maar feitelijk onjuiste klinische informatie introduceren.

De betekenis van het werk ligt in het bieden van een schaalbaar, privacy-bewarend dataset dat de ontwikkeling en het testen van AI-tools (inclusclusief bias-detectie en multimodale voorspelling) mogelijk maakt terwijl aan ethische restricties wordt voldaan. De code is beschikbaar op GitHub en de data staat gehost op Hugging Face.