From Generative Modeling to Clinical Classification: A GPT-Based Architecture for EHR Notes

Probleemstelling

De beschikbaarheid van ongestructureerde klinische teksten in elektronische patiëntendossiers (EHR) neemt exponentieel toe. Deze teksten bevatten waardevolle informatie voor ziektekarakterisering, cohortidentificatie en klinische besluitvorming. Het toepassen van natuurlijke taalverwerking (NLP) op deze data kent echter aanzienlijke uitdagingen:

1. Beperkte gelabelde data: Klinische datasets zijn vaak veel kleiner dan de corpora die worden gebruikt voor het vooraf trainen van grote taalmodellen (LLM's), wat het risico op overfitting vergroot.
2. Classificatie-ongelijkheid: Klinische teksten vertonen een sterke onbalans tussen klassen (bijv. veel "geen bevindingen" versus zeldzame pathologieën).
3. Rekenkracht en kosten: Het volledig fine-tunen (updaten van alle parameters) van grote modellen zoals GPT-2 is computationally duur en vereist veel geheugen, wat vaak onhaalbaar is voor academische of klinische omgevingen met beperkte middelen.
4. Domeinverschil: Er is een mismatch tussen de algemene taal waar modellen op zijn getraind en de specifieke terminologie, afkortingen en schrijfstijlen van klinische notities.

Methodologie

De auteurs stellen een selectieve fine-tuning-strategie voor op basis van een decoder-only Transformer-architectuur (GPT-2 Small), specifiek ontworpen voor klinische tekstclassificatie.

1. Architectuur en Selectieve Fine-tuning:
In plaats van het hele model te updaten, wordt de meeste van het vooraf getrainde GPT-2-ruggengraat "bevroren" (frozen). Alleen een klein, zorgvuldig geselecteerd subset van parameters wordt getraind:

• Bevroren: De token-embeddings, positionele embeddings, en de eerste 11 van de 12 Transformer-blokken.
• Trainbaar:
  • Het laatste Transformer-blok (blok 12).
  • De laatste laagnormalisatie (final LayerNorm).
  • Een lichtgewicht classificatiekop (classification head) die de laatste token-representatie afbeeldt op de outputklassen.

Redenering: Onderzoek toont aan dat lagere lagen van Transformers algemene linguïstische kenmerken coderen, terwijl hogere lagen meer abstracte, taakspecifieke informatie bevatten. Door alleen de bovenste laag aan te passen, wordt de domeinadaptatie gemaximaliseerd zonder de algemene taalkennis te verliezen of het risico op overfitting te vergroten.

2. Dataset en Labeling (MIMIC-IV):

• Data: Radiologierapporten uit de MIMIC-IV-Note dataset (ongeveer 680.000 rapporten).
• Labelconstructie: Omdat gestructureerde diagnoses ontbreken, worden labels afgeleid uit de tekst zelf met behulp van een CheXpert-achtig schema.
• Onzekerheidsbewustzijn: Een cruciaal aspect is het hanteren van onzekerheid. Labels worden niet simpelweg binair (ja/nee), maar in drie klassen:
  • 1: Bevestigde aanwezigheid.
  • 0: Expliciet ontkend (negatie).
  • -1: Onzekerheid (bijv. "mogelijk", "kan niet worden uitgesloten").
  • NULL: Niet genoemd.
    Hieruit worden ook binaire varianten afgeleid voor verschillende evaluatiescenario's (bijv. "alleen positief" vs. "positief of onzeker").

3. Training en Evaluatie:

• Model: GPT-2 Small (124M parameters, 12 lagen, 768 dimensie).
• Optimalisatie: AdamW met een leerstap van $5 \times 10^{-5}$.
• Onbalans: Gebruik van WeightedRandomSampler tijdens het trainen om zeldzame klassen te versterken zonder data te dupliceren.
• Input: De eerste 1024 tokens van elk rapport (truncatie) worden gebruikt om binnen de contextlimiet van GPT-2 te blijven.

Kernbijdragen

1. Parameter-efficiënte strategie: Een bewezen methode om GPT-2 aan te passen voor klinische classificatie waarbij >94% van de parameters bevroren blijft. Dit reduceert het aantal trainbare parameters van ~124 miljoen naar slechts ~7,08 miljoen.
2. Transparante complexiteitsanalyse: Een gedetailleerde kwantificering van het aantal parameters en de rekentijd, wat vaak ontbreekt in vergelijkbaar onderzoek. Dit biedt praktische richtlijnen voor onderzoekers met beperkte middelen.
3. Onzekerheidsbewuste labeling: Een robuust systeem voor het afleiden van labels uit ongestructureerde radiologieteksten dat expliciet omgaat met medische onzekerheid en negaties.
4. Empirische validatie: Uitgebreide evaluatie op een grote schaal (tot 500.000 rapporten) over meerdere taakvormen (multi-label, binair, geaggregeerde uitkomsten).

Resultaten

De experimenten tonen aan dat de selectieve fine-tuning een uitstekend evenwicht biedt tussen prestatie en efficiëntie:

• Prestaties:
  • De selectieve fine-tuning bereikt een testnauwkeurigheid van ~91-92% voor binaire ziektevoorkomen-taken (bijv. "is er een afwijking?").
  • Dit prestatieniveau is zeer vergelijkbaar met volledig fine-tunen (dat ~96% bereikt), maar vereist aanzienlijk minder rekentijd.
  • In vergelijking met alleen het trainen van de classificatiekop (zonder het laatste Transformer-blok) is er een aanzienlijke verbetering, wat aantoont dat het aanpassen van de bovenste laag essentieel is.
• Efficiëntie:
  • Trainingstijd: Selectieve fine-tuning duurt ongeveer 149 minuten voor 50.000 rapporten, terwijl volledig fine-tunen 352 minuten kost (meer dan het dubbele).
  • Geheugen: Door het bevroren ruggengraat is de geheugenvereiste voor backpropagation drastisch lager, wat training op beperkte hardware mogelijk maakt.
• Onzekerheid: Modellen die onzekerheid als een aparte klasse behandelen of deze meenemen in de positieve klasse, tonen een betere sensitiviteit, wat cruciaal is voor klinische screening.

Betekenis en Conclusie

De studie demonstreert dat het niet nodig is om volledige grote taalmodellen te fine-tunen om effectieve klinische NLP-systemen te bouwen. De voorgestelde selectieve fine-tuning-strategie biedt een schaalbare, kostenefficiënte en reproduceerbare route voor het toepassen van generatieve modellen op EHR-data.

Dit is van groot belang voor de klinische praktijk en academische research omdat het:

1. De drempel verlaagt voor het gebruik van state-of-the-art modellen in omgevingen met beperkte rekenkracht.
2. Het risico op overfitting verkleint bij kleine datasets.
3. De interpretatie van prestaties in onbalans datasets (zoals radiologie) verduidelijkt, waarbij hoge nauwkeurigheid vaak wordt beïnvloed door de dominantie van "geen bevindingen".

De auteurs concluderen dat deze aanpak een praktische oplossing biedt voor de adaptatie van generatieve modellen naar specifieke domeinen, zonder de complexiteit en kosten van volledige fine-tuning.