Technische Samenvatting: Wanneer Large Language Models Falen in de Gezondheidszorg

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet in de gezondheidszorg voor kritieke taken zoals klinisch vragen beantwoorden, ondersteuning bij diagnoses en het samenvatten van rapporten. Deze modellen vertonen echter een significante gevoeligheid voor subtiele prompt-perturbaties, zowel op lexicaal niveau (woordniveau) als op syntactisch niveau (structuurniveau). In klinische omgevingen waar veiligheid cruciaal is, kunnen zelfs kleine variaties in formulering — zoals synoniemvervanging, het herordenen van symptomen of lichte syntactische verschuivingen — leiden tot inconsistente outputs, diagnostische fouten of schadelijk advies. Het kernproblek dat wordt geadresseerd, is het gebrek aan intrinsieke robuustheid in zowel algemene modellen (bijv. GPT-3.5, Llama3) als medisch specifieke modellen (bijv. ClinicalBERT, BioLlama3, BioBERT) wanneer zij worden geconfronteerd met benevolente of adversariële inputvariaties. Deze onvoorspelbaarheid vormt een onaanvaardbaar risico voor klinisch vertrouwen, aangezien modellen hun diagnose kunnen wijzigen of onjuiste doseringen kunnen aanbevelen op basis van enkel herformuleerde inputs.

Methodologie

De studie maakt gebruik van een systematisch sensitiviteitsanalyse-framework met behulp van de MedMCQA benchmark, een grootschalige dataset die meer dan 194.000 medische meerkeuzevragen bevat. De evaluatie bestrijkt vijf modellen: GPT-3.5, Llama3, ClinicalBERT, BioLlama3 en BioBERT.

Perturbatiestrategie

De auteurs categoriseren perturbaties in twee typen:

1. Lexicale Perturbaties: Betreffende substituties op tokenniveau, zoals het vervangen van medische termen door klinisch accurate synoniemen (bijv. "kortademigheid" door "dyspneu") of het introduceren van kleine orthografische fouten. Deze worden gegenereerd met behulp van BioSyn en gevalideerd via BioBERT en SciBERT embeddings om medische equivalentie te waarborgen.
2. Syntactische Perturbaties: Betreffende structurele veranderingen, zoals het herordenen van clausules, het veranderen van de actieve/passieve stem, of het wijzigen van de zinsfocus (bijv. clefting), terwijl de onderliggende klinische betekenis behouden blijft.

Evaluatieframework

De pipeline omvat:

1. Het genereren van geperturbeerde prompts ($P'$) vanuit de originele prompts ($P$).
2. Het valideren van semantische equivalentie met behulp van de Universal Sentence Encoder (USE) en BioSyn om te garanderen dat de geperturbeerde input de oorspronkelijke klinische intentie behoudt.
3. Het selecteren van de top-$K$ syntactisch uitgelijnde prompts op basis van cosine similarity scores.
4. Het uitvoeren van deze prompts door de doel-LLM's en het vergelijken van de outputs met de grondwaarheid (ground truth).

Metrieken

Prestaties worden gekwantificeerd met behulp van:

• BERTScore: Meet de syntactische en semantische gelijkenis tussen de respons van het model en de grondwaarheid.
• Universal Sentence Encoder (USE) Score: Evalueert de gelijkenis van sentence-level embeddings om de preservatie van de klinische betekenis te beoordelen.
• Response Rate (RR): Het aandeel gegenereerde valide responsen.
• Follow-up Instruction Rate (FIR): De mate waarin het model zich houdt aan specifieke formaterings- of structurele beperkingen (bijv. JSON-output) binnen de valide responsen.

Stabiliteit wordt gecategoriseerd door score-drempelwaarden: 0.9–1.0 (Zeer Stabiel), 0.7–0.9 (Matig Stabiel), 0.5–0.7 (Milde Sensitiviteit) en <0.5 (Hoge Sensitiviteit).

Belangrijkste Bijdragen

1. Formele Definitie en Categorisering: Het artikel definieert en categoriseert prompt-perturbaties formeel in lexicale en syntactische variaties, en evalueert systematisch de impact hiervan op de prestaties van LLM's bij gezondheidszorgtaken.
2. Vergelijkende Analyse: Het biedt een uitgebreide vergelijking tussen algemene modellen en domeinspecifieke medische modellen, waarbij wordt aangetoond dat geen van beide categorieën intrinsiek immuun is voor sensitiviteit.
3. Identificatie van Kwetsbaarheden: De studie identificeert kritieke faalmodi, waaronder "instruction drift" (waarbij modellen falen in formateringsrestricties ondanks correcte medische logica) en "structural misinterpretation" (waarbij syntactische veranderingen leiden tot foutieve diagnoses).
4. Benchmarking Bewijs: De auteurs consolideren bewijs over de robuustheid van LLM's over verschillende gezondheidszorgdomeinen, waarbij de geobserveerde effecten van specifieke perturbatietypen op de consistentie en nauwkeurigheid van modellen worden gedetailleerd.

Resultaten

• Algemene Sensitiviteit: Alle geëvalueerde modellen, inclusocief de medisch specifieke modellen, vertoonden verminderde prestaties onder perturbatie. De nauwkeurigheid daalde van ongeveer 98–99% in ongeperturbueerde settings naar 94–95% onder syntactische veranderingen.
• Impact van Lexicaal vs. Syntactisch: Modellen toonden relatieve veerkracht tegen eenvoudige lexicale substituties (bijv. synoniemen), maar toonden aanzienlijke fragiliteit onder syntactische herordening en misleidende contextuele cues.
• Instruction Drift: Lexicale variaties zorgden er vaak voor dat modellen prioriteit gaven aan de natuurlijke taalstroom boven strikte formateringsinstructies (bijv. JSON-structuur), wat leidde tot een daling in FIR-scores, zelfs wanneer de medische diagnose correct was.
• Structurele Ineenstorting (Structural Collapse): Syntactische perturbaties veroorzaakten incidenteel totale systemische uitval, waarbij het model klinische tekenen verkeerd gewogen (bijv. het verwarren van "toegenomen sputum" met "Longoedeem" in plaats van "COPD"), wat resulteerde in foutieve diagnoses (RR-falen).
• Modelprestaties: BioLlama3 demonstreerde de hoogste robuustheid onder de geteste modellen, terwijl BioBERT en ClinicalBERT een hogere sensitiviteit vertoonden, met name voor syntactische variaties. Algemene modellen zoals GPT-3.5 toonden competitieve maar niet superieure stabiliteit vergeleken met gespecialiseerde modellen.

Betekenis en Claims

Het artikel stelt dat medische LLM's niet intrinsiek veilig zijn. De bevindingen dagen de aanname uit dat domeinspecifieke fine-tuning garant staat voor betrouwbaarheid in klinische settings. De auteurs benadrukken dat:

• Onvoorspelbaarheid is Onacceptabel: In scenario's met hoge inzet in de gezondheidszorg kunnen modellen die van diagnose veranderen door herformuleerde inputs of medicatie hallucineren onder lichte herformulering, niet betrouwbaar worden vertrouwd door clinici.
• Noodzaak voor Robuustheid: Huidige benchmarks die uitsluitend focussen op nauwkeurigheid op schone data zijn onvoldoende. Er is een dringende behoefte aan systematische robuustheidsevaluatie die rekening houdt met lexicale en syntactische variaties.
• Toekomstige Richtingen: De auteurs pleiten voor gestandaardiseerde metrieken, gecontroleerde perturbatietesten (vergelijkbaar met frameworks zoals MedFuzz en RAmBLA), en de ontwikkeling van modellen die ofwel bewezen veerkrachtig zijn, ofwel transparant beperkt zijn in hun inzet om de patiëntveiligheid te waarborgen.

De studie concludeert dat hoewel LLM's een aanzienlijk potentieel hebben voor de gezondheidszorg, hun huidige fragiliteit onder prompt-perturbaties zorgvuldige prompt-ontwerpen en verder onderzoek naar adversariële robuustheid vereist voordat een brede klinische adoptie als veilig kan worden beschouwd.