Diagnostics for Individual-Level Prediction Instability in Machine Learning for Healthcare

Dit artikel introduceert een evaluatiekader met twee diagnostische maatstaven om de instabiliteit van individuele risicoschattingen in machine learning-modellen voor de gezondheidszorg te kwantificeren, waarbij wordt aangetoond dat willekeurige variatie in optimalisatie en initialisatie kan leiden tot aanzienlijke onzekerheid in klinische beslissingen die door standaard aggregatiemethoden wordt gemaskeerd.

De kern

Titel: Waarom twee identieke voorspellingen toch verschillende patiënten kunnen redden (of laten sterven)

Stel je voor dat je twee zeer slimme artsen hebt, Dr. Logistiek en Dr. Neural. Beiden zijn opgeleid met exact dezelfde medische dossiers, gebruiken dezelfde boeken en moeten beslissen of een patiënt een zware behandeling nodig heeft of niet.

In de wereld van de machine learning (AI) wordt vaak gekeken naar het gemiddelde. Als je vraagt: "Hoe goed zijn jullie samen?", antwoorden ze allebei: "Wees gerust, we zijn 93% correct!" Ze scoren even goed op de grote lijnen.

Maar hier zit de valkuil, zoals deze paper van Elizabeth Miller en Jeffrey Blume uitlegt: Het gemiddelde liegt.

Het Probleem: De "Willekeurige Gok"

Deze artsen werken niet zoals een mens die rustig nadenkt. Ze gebruiken ingewikkelde wiskundige methoden om hun antwoorden te vinden.

• Dr. Logistiek is als een oude, betrouwbare kompasnaald. Hij kijkt naar de wind en de sterren en wijst altijd in dezelfde richting, ongeacht hoe je hem vasthoudt.
• Dr. Neural is als een superkrachtige, maar hyperactieve robot. Hij kan duizenden dingen tegelijk berekenen, maar hij heeft een klein gebrek: hij begint elke sessie met een willekeurige "startknop" (een willekeurig getal).

Het paper laat zien dat als je Dr. Neural 100 keer laat werken met dezelfde patiënt, maar elke keer met een andere startknop, hij 100 keer een iets ander antwoord geeft. Soms zegt hij: "Behandel deze patiënt!" en 20% van de tijd zegt hij: "Niet doen!"

Terwijl Dr. Logistiek, met dezelfde startknop of niet, altijd hetzelfde zegt.

De Analogie: De Willekeurige Weg

Stel je voor dat je een berg wilt beklimmen (het vinden van de beste oplossing).

• Dr. Logistiek loopt een rechte weg naar de top. Er is maar één top, en hij komt er altijd uit.
• Dr. Neural loopt in een enorm, complex bergland met duizenden kleine heuvels die allemaal even hoog zijn. Hij begint ergens willekeurig en loopt naar de dichtstbijzijnde top. Omdat hij elke keer op een andere plek begint, eindigt hij op een andere top. Alle toppen zijn even hoog (even goed in het algemeen), maar ze liggen op verschillende plekken.

Voor de patiënt is het echter niet belangrijk waar de top ligt, maar of de dokter zegt dat hij veilig is of niet. Als Dr. Neural soms op de "Veilig"-top staat en soms op de "Gevaar"-top, is zijn advies onbetrouwbaar, zelfs als hij gemiddeld gezien slim is.

De Nieuwe Test: De "Flip-Test"

De auteurs van dit paper zeggen: "Stop met alleen kijken naar het gemiddelde. We moeten kijken naar de stabiliteit."

Ze introduceren twee nieuwe meetinstrumenten, alsof je een auto test op trillingen:

1. De "Schokbreker" (ePIW): Hoe veel trilt het antwoord? Als de arts 100 keer zegt "70% kans op ziekte", maar de volgende keer "30%", dan is de schokbreker kapot. De voorspelling is te wazig.
2. De "Flip-Test" (eDFR): Dit is het gevaarlijkste deel. Hoe vaak verandert de arts van mening over een ja/nee-beslissing? Als de arts 20% van de tijd zegt "Ja, opereren" en 80% "Nee, niet opereren" voor dezelfde patiënt, dan is de machine gevaarlijk onstabiel.

Wat Vonden Ze?

Ze testten dit op echte medische data (patiënten met een hartaanval) en op nep-data.

• De conclusie: De complexe, moderne AI-modellen (Neural Networks) zijn vaak net zo goed in het algemeen, maar ze zijn veel onbetrouwbaarder voor individuele patiënten dan de simpele, oude modellen (Logistieke Regressie).
• De "willekeur" in de computercode (de startknop) kan net zo veel invloed hebben op het advies als het veranderen van de patiëntendata zelf.

Waarom Dit Belangrijk Is voor Jou

In de gezondheidszorg gaat het niet om gemiddelden. Het gaat om jij.
Als een AI-systeem zegt dat jij een risico loopt, wil je dat die AI zeker weet dat het niet zomaar een gok is. Je wilt niet dat je behandeling afhangt van een willekeurig getal dat de computer heeft gegenereerd.

De auteurs zeggen: "Als twee systemen even goed scoren in het algemeen, kies dan altijd voor het stabielste systeem." Soms is een simpelere, minder "slimme" AI eigenlijk veiliger en eerlijker, omdat hij niet zo snel van mening verandert door toeval.

Kortom:
In de wereld van medische AI is "goed genoeg" niet goed genoeg. Als een model zijn advies 20% van de tijd verandert door een willekeurige knop, is het geen arts, het is een dobbelsteen. En met je leven wil je geen dobbelsteen.

Technische samenvatting

Probleemstelling

In de gezondheidszorg worden voorspellende modellen steeds vaker gebruikt voor beslissingen op patiëntniveau. Echter, er wordt weinig aandacht besteed aan de variabiliteit in individuele risicoschattingen en de impact hiervan op behandelbeslissingen.

• Het Kernprobleem: Voor overparametrische modellen (waar het aantal parameters $p$ groter is dan het aantal steekproeven $n$), wat nu standaard is in machine learning, gaat een aanzienlijke bron van variabiliteit onopgemerkt. Zelfs als data en modelarchitectuur vaststaan, kan de willekeurigheid geïntroduceerd door optimalisatie en initialisatie leiden tot materieel verschillende risicoschattingen voor dezelfde patiënt.
• De Illusie van Betrouwbaarheid: Standaard evaluatiepraktijken vertrouwen op geaggregeerde prestatiemetrics (zoals AUC-ROC, log-loss) die "agnostisch" zijn ten opzichte van individuele betrouwbaarheid. Modellen met ononderscheidbare geaggregeerde prestaties kunnen dus enorme "procedurale willekeur" vertonen, wat het vertrouwen van clinici ondermijnt en de consistentie van beslissingen in gevaar brengt.

Methodologie

De auteurs stellen een evaluatiekader voor dat de stabiliteit op individueel niveau kwantificeert door het leerproces (learning pipeline) herhaaldelijk te herhalen.

1. Experimenteel Ontwerp:

• Variabiliteitsbronnen: Het onderzoek isoleert twee bronnen van variabiliteit:
  1. Variatie in de trainingsdata (door resampling/subsampling).
  2. Stochasticiteit in het optimalisatieproces (door wisseling van random seeds voor initialisatie en mini-batch updates, terwijl de data constant blijft).
• Modellen: Er wordt vergeleken tussen modellen met verschillende expressieve capaciteit:
  • Logistieke regressie (beperkt, convex, vaak deterministisch opgelost).
  • Voedende-neuronale netwerken (NN) (flexibel, overparametrisch, niet-convex, afhankelijk van stochastic gradient descent).
• Datasets:
  • Gesimuleerde data (logistiek regressie proces met signaal en ruis).
  • Klinische data: GUSTO-I dataset (30-dagen mortaliteit na een myocardinfarct).
• Procedure: Elk model wordt $B=100$ keer getraind en geëvalueerd op een vaste testset.

2. Nieuwe Diagnostische Metrieken:
Om instabiliteit te meten, introduceren de auteurs twee complementaire metrics:

• Empirische Voorspellingsintervalbreedte (ePIW): Meet de spreiding van continue risicoschattingen. Het is de breedte van het 95% voorspellingsinterval voor een individuele patiënt over de 100 herhalingen. Een grote ePIW wijst op grote variabiliteit in de risicoscore.
• Empirische Beslissingsflip-rate (eDFR): Meet de instabiliteit van binaire klinische beslissingen. Het is het percentage van de paren van modelherhalingen waarbij de binaire classificatie (bijv. "behandelen" vs. "niet behandelen" op basis van een drempelwaarde $\tau$) verandert voor dezelfde patiënt.

Belangrijkste Bijdragen

1. Ontkoppeling van Prestatie en Stabiliteit: Het aantonen dat een model stabiele uit-of-sample prestaties kan hebben op populatieniveau, maar toch fundamenteel onstabiele individuele voorspellingen kan leveren.
2. Operationalisatie van Instabiliteit: De introductie van ePIW en eDFR als standaarddiagnostiek om algoritmische willekeur als een bron van voorspellende onzekerheid te behandelen.
3. Nuance in Instabiliteitsverdeling: Het aantonen dat instabiliteit niet alleen optreedt bij beslissingsgrenzen, maar ook in de risicoscores zelf. Zelfs als een beslissing niet "flippt", kan een hoge variabiliteit in de onderliggende schatting het vertrouwen van de arts in de precisie van het model ondermijnen.
4. Selectiecriteria voor de Gezondheidszorg: Het betogen dat bij vergelijkbare voorspellende nauwkeurigheid, meer beperkte modelklassen (zoals logistieke regressie) de voorkeur moeten krijgen boven flexibele modellen (zoals neurale netwerken) vanwege hun grotere individuele betrouwbaarheid.

Resultaten

De experimenten leverden de volgende cruciale bevindingen op:

• Optimalisatiewillekeur is kritiek: Voor overparametrische modellen (zoals neurale netwerken) kan de variabiliteit die puur voortkomt uit random initialisatie en optimalisatie, vergelijkbaar zijn met de variabiliteit veroorzaakt door het volledig herschrijven van de trainingsdataset.
• Neurale netwerken vs. Logistieke regressie: Hoewel neurale netwerken en logistieke regressie vaak vergelijkbare geaggregeerde prestaties (AUC, BCE) behalen, vertonen neurale netwerken aanzienlijk meer instabiliteit in individuele risicovoorzeggingen.
• Locatie van instabiliteit:
  • In de simulatie was instabiliteit geconcentreerd rond de beslissingsdrempel ($\tau \approx 0.53$).
  • In de klinische GUSTO-I dataset (waar de drempel laag is, $\tau \approx 0.07$) trad significante spreiding (hoge ePIW) op in de bovenste staart van de verdeling. Hoewel dit niet altijd leidde tot een verandering in de binaire beslissing (eDFR), ondermijnde het het vertrouwen in de precisie van de risicoschatting voor hoog-risico patiënten.
• Impact van steekproefgrootte: Het vergroten van de trainingsdataset vermindert instabiliteit, maar elimineert deze niet volledig, vooral niet bij modellen met stochastic optimalisatie.

Betekenis en Conclusie

De studie concludeert dat standaard validatieparadigma's ontoereikend zijn voor het beoordelen van klinische betrouwbaarheid.

• Procedurale Willekeur: Een patiënt's toelating tot een levensreddende interventie zou niet mogen afhangen van de willekeurige initialisatie van een model. Dit is een vorm van "procedurale epistemische onzekerheid".
• Nieuwe Standaard: Stabiliteitsdiagnostiek moet worden opgenomen in de routinevalidatie van modellen. Wanneer meerdere modellen vergelijkbare prestaties leveren, moet procedurale consistentie (stabiliteit op individueel niveau) een primaire selectiecriteria worden.
• Advies: In hoog-risico gezondheidszorgtoepassingen moeten beperktere modellen (zoals logistieke regressie) de voorkeur krijgen boven complexe, overparametrische neurale netwerken, tenzij de complexiteit noodzakelijk is voor de prestatie. Dit verhoogt het vertrouwen van clinici en zorgt ervoor dat beslissingen gebaseerd zijn op patiëntdata en niet op algoritmische ruis.

De auteurs stellen een "Practitioner Checklist" voor om de stabiliteit van modellen te evalueren voordat deze worden ingezet, waarbij vragen worden gesteld over de spreiding van risicoscores en de frequentie van beslissingsflippen bij hertraining.