Reproducibility and Robustness of Large Language Models for Mobility Functional Status Extraction

Deze studie evalueert de reproduceerbaarheid en robuustheid van drie grote taalmodellen bij het extraheren van mobiliteitsstatus uit klinische teksten, en toont aan dat promptvariaties de stabiliteit aanzienlijk kunnen verminderen, maar dat zelfconsistentie via meerderheidsstemmen een effectieve mitigatiestrategie biedt.

De kern

Titel: Waarom de "Slimme Medische Chatbot" soms vergeten is wat hij net zei

Stel je voor dat je een zeer slimme, maar soms wat vergeetachtige assistent hebt die medische dossiers leest. Zijn taak is om te bepalen of een patiënt nog kan lopen, een stoel kan opstaan of een tas kan dragen. Dit noemen we "mobiliteit".

De onderzoekers van het Mayo Clinic (een grote ziekenhuisgroep in de VS) wilden weten: kunnen we deze slimme assistent wel vertrouwen?

Ze ontdekten dat het antwoord niet zo simpel is als "ja" of "nee". Het hangt af van hoe je de assistent vraagt en hoe je hem instelt. Hier is wat ze vonden, vertaald in alledaagse taal:

1. De drie soorten assistenten

Ze testten drie verschillende "modellen" (soorten AI):

• De Alleskunner (Llama 3.3): Een heel brede, slimme assistent die van alles weet, maar niet specifiek voor artsen is getraind.
• De Specialist met een Team (Llama 4): Een model dat werkt met een "Mixture of Experts". Stel je voor dat dit een kantoor is waar 16 experts werken, maar per vraag slechts 2 worden gekozen om het antwoord te geven. Dit is snel en slim, maar soms kiezen ze een ander paar experts dan de vorige keer, wat voor verwarring zorgt.
• De Medische Specialist (MedGemma): Een assistent die specifiek is getraind op medische dossiers. Hij kent de medische taal en de schrijfstijl van artsen als geen ander.

2. Het probleem: De "Willekeurige Knop" (Temperatuur)

In de wereld van AI is er een instelling die "Temperatuur" heet.

• Temperatuur 0: De assistent is als een robot. Hij denkt precies hetzelfde na elke keer als je hem dezelfde vraag stelt.
• Temperatuur 1: De assistent is als een creatieve kunstenaar die net een glas wijn heeft gedronken. Hij is nog steeds slim, maar hij maakt soms andere keuzes, gebruikt andere woorden of komt met een iets ander antwoord, zelfs als de vraag exact hetzelfde is.

Wat vonden ze?
Als je de "willekeurige knop" (temperatuur) opdraait, wordt de assistent onbetrouwbaar.

• Hij kan vandaag zeggen: "Ja, deze patiënt kan lopen."
• En morgen, met exact dezelfde vraag en dezelfde patiënt, zegt hij: "Nee, hij kan niet lopen."
• Dit is gevaarlijk in de zorg. Als je een patiënt in- of uitsluit op basis van zo'n antwoord, moet dat antwoord elke keer hetzelfde zijn.

3. Het probleem: De "Herkleedde Vraag" (Paraphrasing)

Stel je voor dat twee artsen dezelfde vraag stellen, maar met andere woorden:

• Arts A: "Kijk of de patiënt kan lopen."
• Arts B: "Is er sprake van loopvermogen?"

Je zou denken dat een slimme assistent hetzelfde antwoord geeft. Maar dat deed hij niet altijd!

• De Alleskunner en de Medische Specialist waren hier redelijk stabiel in.
• De Specialist met een Team (Llama 4) viel echter volledig uit elkaar. Als je de vraag net iets anders stelde, gaf hij totaal andere antwoorden. Het lijkt alsof hij de "teamleden" die hij kiest, verandert op basis van hoe de vraag is verwoord.

4. De Oplossing: "Het Meerderheidsstemmen" (Self-Consistency)

Hoe los je dit op zonder de assistent opnieuw te trainen? De onderzoekers bedachten een slim trucje: Vraag het drie keer en kies het meest voorkomende antwoord.

Stel je voor dat je een jury hebt. Als je één jurylid vraagt, kan hij een rare mening hebben. Maar als je 10 juryleden vraagt en je kijkt welk antwoord het vaakst voorkomt, krijg je een veel betrouwbaarder resultaat.

• Het resultaat: Door de AI 10 keer te laten denken en het meest voorkomende antwoord te kiezen, werd de assistent veel stabieler. Hij gaf bijna altijd hetzelfde antwoord, zelfs als je de vraag net iets anders stelde of de "willekeurige knop" opdraaide.
• De prijs: Het kost wel meer tijd en rekenkracht, omdat je de assistent 10 keer moet laten werken in plaats van 1 keer.

De Grote Les voor de Wereld

Deze studie leert ons drie belangrijke dingen voor het gebruik van AI in de zorg:

1. Snelheid is niet alles: Een AI kan heel vaak het juiste antwoord geven (hoge nauwkeurigheid), maar als hij morgen een ander antwoord geeft op dezelfde vraag, is hij niet betrouwbaar voor medische beslissingen.
2. Kies je model met zorg: Niet elke slimme AI is even stabiel. De "Medische Specialist" (MedGemma) bleek in dit onderzoek de meest betrouwbare keuze, vooral als je de "willekeurige knop" op 0 zet.
3. Gebruik een "jury": Als je twijfelt of de AI consistent is, vraag het dan meerdere keren en kies het meest voorkomende antwoord. Dat maakt het systeem veel veiliger.

Kortom: AI is een krachtig hulpmiddel, maar we moeten het niet blindelings vertrouwen. We moeten testen of het elke keer hetzelfde doet, en soms moeten we het gewoon een paar keer laten nadenken voordat we het antwoord gebruiken.

Technische samenvatting

Probleemstelling

Klinische notities bevatten cruciale informatie over de functionele status van patiënten, maar het betrouwbaar extraheren hiervan is uitdagend vanwege linguïstische variabiliteit, verschillende documentatiegewoonten en verschillen tussen zorginstellingen. Hoewel Large Language Models (LLM's) hoge nauwkeurigheid tonen bij het extraheren van klinische informatie (Information Extraction, IE), is hun reproduceerbaarheid (stabiliteit bij herhaalde runs met dezelfde prompt) en robustheid (stabiliteit bij natuurlijke variaties in de prompt, zoals parafraseren) vaak onvoldoende gekwantificeerd. Voor klinische implementatie is nauwkeurigheid alleen niet voldoende; systemen moeten stabiele outputs genereren om downstream analyses, auditing en vertrouwen te ondersteunen. Dit onderzoek richt zich specifiek op de extractie van mobiliteitsstatussen (gebaseerd op het ICF-raamwerk) en onderzoekt hoe modelarchitectuur, decoding-temperatuur en promptvariatie de betrouwbaarheid beïnvloeden.

Methodologie

Het onderzoek gebruikt een gecontroleerd factorieel ontwerp om drie open-weight LLM's te evalueren op vier binaire klinische IE-taken (mobiliteitsklassen):

1. Modellen:
   • Llama 3.3 70B: Een dichte, algemene "generalist".
   • Llama 4 (Scout-17B-16E): Een "Mixture-of-Experts" (MoE) model, dat een routeringssysteem gebruikt om een subset van experts per token te selecteren.
   • MedGemma 27B: Een domein-specifiek model, getuned op medische data (EHR's, radiologie).
2. Dataset: 800 geannoteerde klinische notities (200 per mobiliteitsklasse) afkomstig van zorgverleners in Rochester, MN. De taken zijn gebaseerd op ICF-codes voor: Veranderen en handhaven van lichaamshouding, Dragen, verplaatsen en hanteren van objecten, Lopen en bewegen, en Verplaatsen met vervoer.
3. Experimenten:
   • Experiment 1 (Intra-prompt reproduceerbaarheid): Elke prompt werd 100 keer uitgevoerd bij 11 verschillende temperaturen (0.0 tot 1.0).
   • Experiment 2 (Inter-prompt robustheid): Voor elke taak werden 10 semantisch equivalente parafrases van de prompt gemaakt. Deze werden uitgevoerd bij dezelfde temperatuursweep.
   • Experiment 3 (Zelfconsistentie): Evaluatie van meerderheidsstemming (majority voting) over 100 generaties als mitigatiestrategie.
4. Metingen:
   • Nauwkeurigheid: Gemeten via F1-score.
   • Stabiliteit: Gemeten via Fleiss' Kappa (κ) om de overeenstemming tussen herhaalde runs (reproduceerbaarheid) of tussen verschillende parafrases (robustheid) te kwantificeren.
   • Statistiek: Drie-weg ANOVA met post-hoc Tukey HSD-tests om de effecten van Model, Temperatuur en Mobiliteitsklasse te analyseren.

Belangrijkste Bijdragen

• Gecombineerde Evaluatie: Het artikel introduceert een raamwerk dat nauwkeurigheid (F1) en stabiliteit (Kappa) gelijktijdig rapporteert, waardoor wordt voorkomen dat hoge gemiddelde prestaties run-tot-run variabiliteit maskeren.
• Architectuurvergelijking: Het biedt inzicht in de verschillen tussen dichte modellen, MoE-modellen en domein-specifieke modellen in een klinische context.
• Praktische Mitigatie: Het valideert "self-consistency" via meerderheidsstemming als een effectieve, retrainingsvrije strategie om stabiliteit te verbeteren.
• Temperatuur-impact: Het kwantificeert systematisch hoe decoding-temperatuur de stabiliteit beïnvloedt, wat vaak over het hoofd wordt gezien in klinische AI-studies.

Resultaten

1. Temperatuur en Stabiliteit:

   • Een stijgende temperatuur leidt over het algemeen tot een afname van de overeenstemming (Kappa), terwijl de F1-score vaak relatief stabiel blijft of slechts marginaal verandert. Dit betekent dat hoge nauwkeurigheid niet garandeert dat het model consistent is.
   • Voor Llama 3.3 daalt de stabiliteit geleidelijk, maar kan een iets hogere temperatuur soms de F1-score licht verbeteren.
   • Llama 4 (MoE) toont de sterkste afname in stabiliteit, vooral bij parafraseren. De routering in MoE-modellen lijkt gevoelig te zijn voor kleine variaties, wat leidt tot grote schommelingen in outputs.
   • MedGemma presteert over het algemeen zeer goed en stabiel bij lage temperaturen (0.0), met een sterke prestatie op alle mobiliteitsklassen.

2. Robustheid tegen Parafraseren:

   • Zelfs semantisch equivalente prompts leiden tot aanzienlijke variatie in outputs.
   • Llama 4 is significant minder robuust dan de andere modellen; de Kappa-waarden dalen sterk bij parafraseren, vooral bij taken zoals "Dragen van objecten".
   • Llama 3.3 en MedGemma zijn robuuster tegen promptvariatie, hoewel ook zij gevoelig zijn bij hogere temperaturen.

3. Statistische Analyse:

   • ANOVA-resultaten tonen aan dat Model, Temperatuur en Mobiliteitsklasse allemaal significante hoofdeffecten hebben op de stabiliteit.
   • Interacties (bijv. Model × Temperatuur) zijn significant, wat aangeeft dat het effect van temperatuur afhangt van het specifieke model en de taak.
   • Post-hoc tests bevestigen dat Llama 4 significant minder stabiel is dan Llama 3.3 en MedGemma bij parafraseren.

4. Effect van Zelfconsistentie (Majority Voting):

   • Het toepassen van meerderheidsstemming over meerdere generaties verbetert de Kappa-waarden aanzienlijk (vooral bij Llama 4) en vermindert de gevoeligheid voor temperatuur.
   • De F1-score wordt vaak behouden of licht verbeterd, maar dit gaat ten koste van extra inferentiekosten (rekenkracht en latentie).

Betekenis en Conclusie

De studie concludeert dat nauwkeurigheid alleen niet voldoende is voor klinische implementatie. Stabiliteit en reproduceerbaarheid zijn kritieke dimensies die vaak verwaarloosd worden.

• Modelkeuze: Voor klinische toepassingen waar promptvariatie onvermijdelijk is (bijv. door verschillende artsen), zijn domein-specifieke modellen (MedGemma) of dichte generalistische modellen (Llama 3.3) bij voorkeur boven MoE-modellen (Llama 4), tenzij specifieke mitigaties worden toegepast.
• Configuratie: Een temperatuur van 0.0 wordt aanbevolen als standaard voor klinische extractie om maximale reproduceerbaarheid te garanderen.
• Mitigatie: Als hogere temperaturen nodig zijn voor prestaties of in multi-agent systemen, biedt self-consistency (majority voting) een praktische oplossing om de stabiliteit te herstellen, hoewel dit meer rekenkracht vereist.

Dit onderzoek biedt een reproduceerbaar raamwerk en concrete richtlijnen voor het evalueren en verbeteren van de betrouwbaarheid van LLM's in de klinische praktijk, met als doel veilige en auditbare systemen te ontwikkelen.