Technische Samenvatting: Systematische Evaluatie van de Kwaliteit van Synthetische Klinische Notities Hergeschreven door LLM's op Schaal van Miljoenen Notities

Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet om klinische tekst te genereren of te synthetiseren voor toepassingen variërend van ondersteuning bij documentatie tot dataverrijking. Echter, bestaande evaluaties van door LLM's gegenereerde klinische notities richten zich doorgaans op nauwe aspecten, zoals tekstuele gelijkenis met door mensen geschreven referenties (intrinsieke evaluatie) of prestaties op één enkele downstream-taak (extrinsieke evaluatie). Deze benaderingen worden zelden gezamenlijk gepresenteerd op een consistente, grootschalige dataset. Bijgevolg ontbreekt er een systematisch inzicht in hoe goed LLM's kernklinische informatie behouden, voorspellende bruikbaarheid handhaven en feitelijk nauwkeurig blijven bij het herformuleren van klinische notities uit de echte wereld op grote schaal.

Methodologie

De auteurs voerden een multi-angle, systematische evaluatie uit van synthetische klinische notities gegenereerd door 4,6 miljoen geanonimiseerde notities uit de MIMIC-III- en MIMIC-IV-databases te herformuleren. De studie maakte gebruik van drie efficiënte, open-source LLM's (~8B parameters): Llama-3.1, Mistral-v0.3 en Qwen-2.5.

De methodologie bestond uit vijf onderscheiden evaluatiepijlers:

1. Datasyntese: De auteurs vergeleken twee herformuleringsstrategieën:

   • Op notitie-niveau: Het herformuleren van de volledige klinische notitie als één context.
   • Op chunk-niveau: Het opsplitsen van lange notities in kleinere segmenten (~150 woorden) en het individueel herformuleren daarvan om beperkingen in contextlengte te mitigeren.
     Het resulterende corpus, MIMIC-EXT-SYNNOTES, bevat 9,1 miljard woorden.

2. Intrinsieke Evaluatie: De synthetische notities werden vergeleken met door mensen geschreven referenties aan de hand van:

   • Linguïstische Kenmerken: Zinslengte, verdeling van woordsoorten en leesbaarheidscores (Flesch-Kincaid, SMOG).
   • Tekstuele Gelijkenis: ROUGE- en BERTScore-metrieken.
   • Semantische Fideliteit: Extractie van UMLS Concept Unique Identifiers (CUI's) en hun mapping naar semantische typen (TUI's) om het behoud van medische concepten te meten.

3. Extrinsieke Evaluatie (Downstream Bruikbaarheid): De auteurs trainden klinische NLP-modellen op synthetische data en evalueerden deze op vier sleutelopdrachten in de gezondheidszorg:

   • Risicosegmentatie: Voorspelling van sterfte tijdens ziekenhuisopname en heropname binnen 30 dagen.
   • Medische Coding: Voorspelling van Diagnosis-Related Group (DRG) en ICD-10-codering.
   • Fairness: Beoordeling van bias over leeftijd-, geslachts- en etnische subgroepen met behulp van Average Absolute Odds Difference (AAOD) en Statistical Parity Difference (SPD).

4. Factchecken en Foutanalyse: Met behulp van een "LLM-as-judge"-benadering (Gemini-2.5) decomposeerden de auteurs notities in atomaire feiten om precisie (claims die door het origineel worden ontleend) en recall (originele claims die door de synthetische versie worden ontleend) te berekenen. Zij voerden ook een kwalitatieve taxonomie van fouttypen uit.

5. Dataverrijking: De bruikbaarheid van taak-agnostische synthetische notities werd getest door de trainingsset voor de ICD-coderingstaak te verrijken, met name door de prestaties op zeldzame ICD-codes te onderzoeken.

Belangrijkste Resultaten

Intrinsieke Kwaliteit en Semantische Verschuiving

Synthetische notities waren over het algemeen korter, met langere zinnen en hogere leesbaarheidscores dan menselijke notities. Hoewel ze brede semantische verdelingen behielden, vertoonden ze een verschuiving naar algemene termen (bijv. "Natuurlijk fenomeen of proces") en lieten ze specifieke anatomische en specialistische terminologie weg (bijv. "Lichaamsruimte of -verbinding", "Medisch apparaat").

Downstream Bruikbaarheid

• Grofkorrelige Taken: Voor single-label taken (sterfte, heropname, DRG) bereikten synthetische notities prestaties die vergelijkbaar waren met door mensen geschreven notities, waarbij de resultaten binnen de 95% betrouwbaarheidsintervallen vielen. Dit geeft aan dat kernklinische informatie met betrekking tot patiënternst behouden blijft.
• Fijnkorrelige Taken: De ICD-coderingstaak (multi-label, 8K klassen) toonde een significante daling in prestaties (4–10% afname in Micro F1) bij gebruik van synthetische data op notitie-niveau.
• Invloed van Chunking: Herformuleren per chunk in plaats van per volledige notitie mitigeerde de prestatiekloof in ICD-codering aanzienlijk, wat suggereert dat het verlies van fijnkorrelige details bij herformuleren op notitie-niveau wordt gedreven door de moeilijkheid om informatie uit lange contexten te integreren.

Feitelijkheid en Foutpatronen

• Precisie versus Recall: Synthetische notities vertoonden een hoge feitelijke precisie maar een aanzienlijk lagere recall, wat wijst op een neiging om details weg te laten in plaats van ze uit te vinden. Dit werd verergerd bij lange notities (>2K woorden), waarbij de recall daalde tot 0,3.
• Chunking Trade-off: Hoewel chunking de recall verbeterde door meer details te behouden, verminderde het de precisie licht en verhoogde het de hallucinatiepercentages. Dit gebeurde omdat LLM's, zonder volledige context in één enkele chunk, soms plausibele maar niet-ondersteunde claims genereerden op basis van informatie die in andere chunks aanwezig was.
• Fouttaxonomie: De dominante faalmodus was misinterpretatie van klinische context, gevolgd door meetfouten, temporele verwarring en fabricage van claims (bijv. het uitvinden van namen of data).

Fairness en Verrijking

• Fairness: Modellen getraind op synthetische notities vertoonden geen significante toename in bias ten opzichte van die getraind op menselijke notities over demografische subgroepen.
• Verrijking: Ondanks dat ze taak-agnostisch waren, verrijkten synthetische notities de trainingsdata voor ICD-codering effectief. De meest significante winsten werden waargenomen voor zeldzame ICD-codes, waarbij Micro F1 verbeterde van 0,03 naar 0,10.

Iteratieve Synthese

Herhaalde synthese (iteratief herformuleren van de output van de vorige ronde) leidde niet tot directe "modelcollapse" in downstream-taken, hoewel de prestaties in ICD-codering progressief afnamen over vijf iteraties.

Betekenis en Bijdragen

De paper beweert dat de primaire bijdrage een systematische, multi-angle evaluatie is van synthetische klinische tekst op schaal van miljoenen notities, waarmee de kloof wordt overbrugd tussen intrinsieke gelijkenis en extrinsieke bruikbaarheid.

Belangrijke conclusies die door de auteurs worden benadrukt, zijn:

1. Complementariteit van Evaluatie: Intrinsieke en extrinsieke metrieken bieden complementaire inzichten; hoge gelijkenis garandeert geen bruikbaarheid voor fijnkorrelige taken, en hoge bruikbaarheid garandeert geen feitelijke volledigheid.
2. De Lange-Context Bottleneck: De studie benadrukt dat LLM's, hoewel ze grofkorrelige klinische informatie kunnen behouden, moeite hebben met fijnkorrelige details in lange contexten. Chunking is een levensvatbare strategie om details te herstellen, maar introduceert een trade-off met feitelijke precisie door contextfragmentatie.
3. Taak-agnostische Bruikbaarheid: Synthetische notities gegenereerd zonder specifieke taakinstructies kunnen toch waardevolle bronnen zijn voor dataverrijking, met name voor ondervertegenwoordigde klassen (zeldzame codes).
4. Foutpatronen: LLM-fouten bij klinische herformulering zijn niet willekeurig maar volgen terugkerende patronen (contextmisinterpretatie, temporele verwarring), wat suggereert dat toekomstige verbeteringen deze specifieke faalmodi moeten targeten in plaats van algemene gegenereerde kwaliteit.

De auteurs concluderen dat hoewel door LLM's gegenereerde klinische notities potentie hebben voor dataverrijking en ondersteuning bij documentatie, hun gebruik een zorgvuldige beoordeling vereist van de toepassingscontext, met name met betrekking tot de tolerantie voor detailverlies versus hallucinatie. Zij publiceren het MIMIC-EXT-SYNNOTES-corpus om toekomstig onderzoek te ondersteunen.