Bridging the Domain Divide: Supervised vs. Zero-Shot Clinical Section Segmentation from MIMIC-III to Obstetrics

Technische Samenvatting: Het overbruggen van de domeingrens in klinische sectiesegmentatie

Probleemstelling
Klinische vrije tekstnotities binnen Elektronische Gezondheids Dossiers (EGD's) zijn cruciaal voor downstream Natural Language Processing (NLP) taken zoals entiteitsextractie en informatieverwerking. Het nauwkeurig identificeren van sectiekoppen (bijv. "Chief Complaint", "History of Present Illness") is echter uitdagend vanwege niet-gestandaardiseerde formattering, afkortingen en typografische fouten. Hoewel gesuperviseerde modellen getraind op grote publieke corpora zoals MIMIC-III veelbelovende resultaten hebben laten zien, blijft hun vermogen om te generaliseren naar gespecialiseerde klinische subdomeinen met unieke documentatiestijlen — specifiek verloskunde — onzeker. Bovendien is de prestatie van opkomende zero-shot Large Language Models (LLM's) tegenover traditionele gesuperviseerde methoden in deze ondervertegenwoordigde domeinen nog niet systematisch geëvalueerd.

Methodologie
De auteurs stellen een vergelijkend kader voor waarbij twee verschillende benaderingen voor klinische sectiesegmentatie worden geëvalueerd:

1. Gesuperviseerd Leren: De studie maakt gebruik van transformer-gebaseerde architecturen die zijn gefinetuned op het MedSecId corpus (afgeleid van MIMIC-III). Twee primaire architecturen worden getest:

   • Regel-niveau Classificatie: Elke door een nieuwe regel gescheiden zin wordt behandeld als een onafhankelijke input voor classificatie in 51 vooraf gedefinieerde secties (inclusief een <none> label).
   • Sequentie-labeling (Transformer + CRF): Er wordt een Conditional Random Field (CRF) laag toegevoegd om afhankelijkheden tussen opeenvolgende regels te modelleren, waarbij de notitie als een enkele sequentie wordt behandeld.
   • Geëvalueerde Modellen: BERT-base, BioBERT, BiomedBERT en GatorTron-base.

2. Zero-Shot Leren: De studie evalueert instructie-getunede, open-source LLM's (Mistral-7B, Llama 3.1-8B, Qwen-2.5-32B en Llama 3.3-70B) zonder domeinspecifieke fine-tuning.

   • Prompting Strategie: Een instructie-stijl prompt wijst het model aan als een "klinische assistent" en biedt een lijst met geldige sectiekoppen. Het model krijgt de opdracht om elke regel sequentieel een kop toe te wijzen.
   • Hallucinatie-mitigatie: Een cruciaal onderdeel van de methodologie is een post-processing stap waarbij een closed-source model (GPT-4o) wordt gebruikt om gehallucineerde sectiekoppen (die niet in de geldige labelset voorkomen) toe te wijzen aan de meest semantisch passende geldige label.

Belangrijkste Bijdragen

1. Obstetrics Notes Collection (ONC): De auteurs introduceren een nieuwe, gede-identificeerde dataset van 100 verloskundige History & Physical (H&P) notities. Deze dataset, geannoteerd in samenwerking met een domeinexpert, legt verloskundige-specifieke sectiekoppen vast (bijv. "Gestational Age", "Obstetrical History") en dient als een out-of-domain benchmark.
2. Domeinspecifieke Evaluatie: Het papier evalueert systematisch gesuperviseerde modellen getraind op algemene medische data (MedSecId) tegen de gespecialiseerde ONC-dataset om de moeilijkheid van cross-domein transfer te kwantificeren.
3. Directe Vergelijking: Dit werk presenteert de eerste directe vergelijking tussen gesuperviseerde transformer-modellen en zero-shot LLM's voor klinische sectiesegmentatie, waarbij de prestaties in zowel in-domain (MedSecId) als out-of-domain (ONC) settings worden geanalyseerd.

Resultaten

• In-Domain Prestaties (MedSecId): Gesuperviseerde modellen presteren aanzienlijk beter dan zero-shot LLM's. Onder de gesuperviseerde modellen zorgde de toevoeging van een CRF-laag voor bescheiden winst (4–10% macro F1 verbetering) voor kleinere modellen, terwijl grotere modellen zoals GatorTron minder afhankelijk waren van CRF.
• Out-of-Domain Prestaties (ONC): Gesuperviseerde modellen ervoeren een substantiële prestatiedaling bij het toepassen op verloskundige notities, wat de beperkingen van het overdragen van kennis van algemeen naar gespecialiseerde subdomeinen benadrukt.
• Zero-Shot Adaptiviteit: Zero-shot LLM's vertoonden een robuuste adaptiviteit aan het nieuwe domein. Hoewel de ruwe zero-shot prestaties werden gehinderd door hallucinaties (het genereren van ongeldige sectiekoppen), leidde het corrigeren van deze hallucinaties tot significante prestatiewinsten (9–33% toename in macro F1).
• Superioriteit van Gecorrigeerde LLM's: Na hallucinatie-mitigatie presteerde het Llama 3.3-70B-Instruct model beter dan alle gesuperviseerde baselines op de ONC-dataset, met een macro F1 van 0,67 vergeleken met het beste gesuperviseerde model (BioMedBERT+CRF) op 0,50. Statistische tests bevestigden dat dit voordeel significant was ($p < 4,88 \times 10^{-17}$).
• Foutanalyse: De primaire foutmodus voor zero-shot modellen was hallucinatie. Zodra gecorrigeerd, werden de resterende fouten grotendeels toegeschreven aan labelverwarring of geldige lokale interpretaties, wat suggereert dat de modellen over een sterke semantische verstandhouding beschikken ondanks het gebrek aan specifieke trainingsdata.

Betekenis en Claims
Het artikel claimt dat hoewel gesuperviseerde modellen de standaard blijven voor in-domain taken, ze moeite hebben met het generaliseren naar gespecialiseerde klinische subdomeinen zonder hertraining. In tegen plaats bieden zero-shot LLM's een veelbelovend, schaalbaar alternatief voor healthcare NLP in onderbelichte domeinen, mits de risico's op hallucinaties worden beheerst via post-processing. De bevindingen onderstrepen de noodzaak van het ontwikkelen van domeinspecifieke bronnen (zoals ONC) en suggereren dat instructie-getunede LLM's effectief de domeingrens kunnen overbruggen wanneer geannoteerde data schaars zijn. De auteurs benadrukken dat deze resultaten het potentieel van zero-shot strategieën onderstrepen, maar waarschuwen ook dat hallucinaties en weglatingen kritieke uitdagingen blijven die verdere mitigatie vereisen.