Fine-Tune, Don't Prompt, Your Language Model to Identify Biased Language in Clinical Notes

Probleemstelling

Klinische documentatie bevat vaak taal met emotionele lading die stigmatiserend of bevoorrekkend kan zijn. Deze taal kan wijzen op impliciete vooroordelen van zorgverleners, wat de kwaliteit van de zorg en de therapeutische relatie negatief beïnvloedt. Hoewel er veel belang is bij het detecteren van deze taal, ontbreekt het aan consensus over definities en annotatiestandaardisatie. Bestaande methoden, variërend van regelgebaseerde extractie tot zero-shot prompting van Large Language Models (LLMs), hebben beperkingen in schaalbaarheid, generalisatie over verschillende medische specialismen en betrouwbaarheid. Er is een dringend behoefte aan een robuust framework dat bias in klinische teksten betrouwbaar kan detecteren en classificeren, rekening houdend met de contextuele variatie tussen verschillende ziekenhuizen en specialismen.

Methodologie

De auteurs presenteren een meerstaps framework voor het karakteriseren en extraheren van bias, gedefinieerd als "emotionele valentie" (stigmatiserend, bevoorrekkend of neutraal).

1. Lexicon Creatie:

   • Er werd een curatie gemaakt van 62 termen uit de literatuur die potentieel stigmatiserend of bevoorrekkend zijn.
   • Vier medische experts beoordeelden deze termen op een Likert-schaal (1-5) voor zowel stigmatiserende als bevoorrekkende valentie.
   • Na filtering op overeenstemming en gemiddelde scores bleven 55 termen over voor de definitieve lijst.

2. Dataverzameling en Chunk Extractie:

   • OB-GYN Dataset: 225.103 klinische notities van de Mount Sinai Health System (NY) met betrekking tot geboortes.
   • MIMIC-IV Dataset: 274 ontslagnotities van het Beth Israel Deaconess Medical Center (Boston), inclusief spoedeisende hulp en opnames.
   • Tekstchunks werden geëxtraheerd rondom de sleutelwoorden uit het lexicon (venster van 200 karakters).

3. Annotatie:

   • Drie klinische experts annoteerden de chunks onafhankelijk in drie klassen: Stigmatiserend (negatief oordeel), Bevoorrekkend (positief oordeel/voorkeur) of Neutraal (geen persoon gericht, administratief, etc.).
   • De datasets werden gesplitst in trainings-, ontwikkel- en testsets (voor OB-GYN), terwijl MIMIC-IV diende als externe validatieset.

4. Model Training en Evaluatie Strategieën:

   • Modellen: Er werden zowel encoder-only modellen (BERT-large, GatorTron) als generatieve LLMs (Llama 3.2/3.3, Med42) getest.
   • Strategieën:
     • Zero-shot prompting: Directe instructies zonder training.
     • In-Context Learning (ICL): Gebruik van voorbeelden in de prompt, geoptimaliseerd via het DSPy-framework (MIPROv2).
     • Supervised Fine-Tuning (FT): Traditionele fine-tuning en prompt-based fine-tuning (cloze-style prompts).
   • Input Variatie: Er werd getest met alleen de "anchored chunks" en met lexically primed inputs (waarbij het sleutelwoord expliciet aan de input wordt toegevoegd om de context te versterken).

Belangrijkste Resultaten

1. Contextuele Variatie van Valentie:

   • Dezelfde termen kunnen in verschillende specialismen verschillende emotionele ladingen hebben. Bijvoorbeeld: het woord "difficult" was in OB-GYN notities vaak neutraal (proceduraal), maar in MIMIC-IV (spoedeisende hulp) vaak stigmatiserend (gedrag van de patiënt).
   • Ongeveer 54-60% van de chunks werd als neutraal gelabeld, vaak vanwege administratieve taal of verwijzingen naar anderen dan de patiënt.

2. Prestatie Vergelijking (Fine-Tuning vs. Prompting):

   • Fine-Tuning wint: Supervised fine-tuning presteerde consistent beter dan zero-shot prompting, zelfs bij zeer grote modellen (zoals Llama-3.3-70B).
   • Beste Model: GatorTron (een op klinische teksten getrainde encoder-only model) bereikte de hoogste prestaties met een F1-score van 0,96 op de OB-GYN testset, wanneer deze werd gebruikt met lexically primed inputs en prompt-based fine-tuning.
   • Generatieve Modellen: Zelfs geoptimaliseerde prompts (DSPy) voor Llama-3.3 leverden slechts een F1-score van ~0,84 op. Instruction fine-tuning van een kleiner Llama-model (1B) verbeterde dit wel tot ~0,95, maar vereiste meer rekenkracht en complexe prompt-engineering.

3. Generalisatie en Domeinverschuiving:

   • Beperkte Cross-Domain Generalisatie: Modellen getraind op OB-GYN data presteerden slecht op MIMIC-IV data (F1 daalde met 44%, van 0,96 naar ~0,66). Dit wijst erop dat bias-detectie sterk afhankelijk is van het specifieke medische specialisme.
   • Omgekeerde Generalisatie: Modellen getraind op de bredere MIMIC-IV data presteerden beter bij test op OB-GYN (alleen 11% daling), maar dit ging ten koste van de precisie.
   • Conclusie: Specialisme-specifieke aanpassing is essentieel; institutionele verschillen zijn minder kritiek dan de semantische variatie tussen specialismen.

Kernbijdragen

• Framework voor Bias Detectie: Een robuust, tweestapsproces (lexicon creatie + contextuele annotatie) dat de complexiteit van emotionele valentie in klinische teksten adresseert.
• Empirisch Bewijs voor Fine-Tuning: Het paper levert sterk bewijs dat voor bias-detectie in klinische teksten fine-tuning superieur is aan prompting, zelfs voor de grootste generatieve modellen.
• Lexicale Priming: Het aantonen dat het expliciet toevoegen van het sleutelwoord aan de input (lexically priming) de prestaties aanzienlijk verbetert, omdat het de model helpt de specifieke semantische nuance van het woord in die context te begrijpen.
• Specialisme-Specifieke Nuance: Het inzicht dat woorden in één specialisme neutraal kunnen zijn en in een ander stigmatiserend, wat vereist dat modellen specifiek worden getuned op het doel-domein.
• Efficiëntie: Het aantonen dat een kleiner, op klinische data getraind encoder-model (GatorTron) beter presteert en schaalbaarder is dan enorme generatieve LLMs voor deze specifieke taak.

Significantie en Conclusie

De studie concludeert dat het vertrouwen op zero-shot prompting of generatieve LLMs zonder aanpassing onvoldoende is voor het betrouwbaar detecteren van bias in klinische notities. Om patiëntschade en ondermijning van het vertrouwen in zorgverleners te voorkomen, moeten modellen worden fine-ge-tuned op specifieke medische specialismen en institutionele contexten.

GatorTron wordt gepresenteerd als de meest veelbelovende oplossing vanwege zijn hoge nauwkeurigheid, lichte architectuur en minimale afhankelijkheid van complexe prompt-engineering. De auteurs benadrukken dat het onderscheid maken tussen systemische bias, burnout en strained relaties essentieel is voor het creëren van eerlijke zorg, en dat dit alleen mogelijk is met taalmodellen die zijn getraind op de specifieke semantische nuances van de klinische praktijk.