The fundamental problem of risk prediction for individuals: health AI, uncertainty, and personalized medicine

Technische Samenvatting: Het Fundamentele Probleem van Risicovoorspelling voor Individuen

Probleemstelling
Klinische predictiemodellen, die steeds vaker door kunstmatige intelligentie (AI) worden gedreven, worden routinematig geëvalueerd op basis van hun prestaties op populatieniveau (bijv. discriminatie, kalibratie en klinische bruikbaarheid). Echter, klinische beslissingen worden genomen voor individuen. Er bestaat een kritieke kloof in de kwantificering en het begrip van onzekerheid met betrekking tot risicoschattingen voor individuele patiënten. Terwijl traditionele statistische benaderingen zich richten op schattingsonzekerheid (variabiliteit door steekproefomvang), negeren zij vaak modelonzekerheid (variabiliteit voortvloeiend uit modelkeuzes) en toepassingsonzekerheid (variabiliteit door verschillen in meetprocedures en populatiekenmerken). Het artikel betoogt dat individuele risicoschattingen veel onzekerder zijn dan algemeen wordt aangenomen, en dat het vertrouwen op een enkel model uit een enkele studie een vals gevoel van precisie creëert.

Methodologie
Om de omvang van deze onzekerheden empirisch te illustreren, voerden de auteurs een casestudy uit naar de voorspelling van het risico op maligne ovariumcarcinoom bij patiënten die presenteren met een ovariumtumor.

• Databronnen: De studie maakte gebruik van real-world retrospectieve data van de Universiteitshospitalen Leuven (1.122 patiënten, 1999–2015) en synthetische data gegenereerd om effecten van steekproefomvang te verkennen. Een vaste testset van 100 echte patiënten uit Leuven werd gebruikt om de variabiliteit in risicoschattingen te evalueren.
• Modelleringskader: De auteurs deconstrueerden epistemische onzekerheid in drie categorieën:
  1. Schattingsonzekerheid: Variabiliteit in parameterschattingen als gevolg van verschillende trainingssteekproeven.
  2. Modelonzekerheid: Variabiliteit door keuzes in de modelklasse (logistische regressie, random forests, XGBoost), de behandeling van continue variabelen (splines versus andere methoden), variabele selectie, penalistatie en hyperparameteroptimalisatie.
  3. Toepassingsonzekerheid: Variabiliteit door datadefinities (bijv. tumoromvangmeting), de behandeling van ontbrekende gegevens en populatieverschillen (data uit Leuven, Rome en Malmö).
• Experimenteel Ontwerp: De auteurs trainden een massaal ensemble van 59.400 modellen. Dit werd bereikt door:
  • 594 verschillende modelleringsscenario's te creëren (variaties in de drie onzekerheidscategorieën).
  • Elk scenario te herhalen met 100 willekeurig getrokken trainingssteekproeven (bootstrapping) om schattingsonzekerheid te vangen.
  • Testen met steekproefgroottes van $N=400$, $N=2.000$ en $N=10.000$.
• Metrieken:
  • Populatieniveau: Area Under the Receiver Operating Characteristic Curve (AUROC), Estimated Calibration Index (ECI) en Relative Utility (RU).
  • Individueel niveau: Het 95%-bereik van risicoschattingen (het verschil tussen het 97,5e en het 2,5e percentiel) en Beslissingsonzekerheid (Decision Uncertainty, DU). DU meet het aandeel modellen dat een andere klinische beslissing zou genereren (bijv. een aanbeveling voor chirurgie) op basis van een drempelwaarde van 0,1 risico.

Belangrijkste Resultaten

• Dominantie van niet-schattingsonzekerheid: Hoewel de schattingsonzekerheid significant afnam naarmate de trainingssteekproef groter werd (het gemiddelde 95%-bereik daalde van 0,22 bij $N=400$ naar 0,04 bij $N=10.000$), bleven de model- en toepassingsonzekerheid groot en grotendeels ongevoelig voor de steekproefomvang.
• Individuele Risicovariabiliteit: Zelfs met een grote trainingsset van 10.000 patiënten was het gemiddelde 95%-bereik van risicoschattingen voor een enkele patiënt over alle 59.400 modellen 0,39 (variërend van 0,05 tot 0,99). Voor sommige patiënten besloeg het bereik bijna het volledige waarschijnlijkheidsspectrum (0 tot 1).
• Beslissingsonzekerheid: Wanneer alleen rekening wordt gehouden met schattingsonzekerheid, verminderde het vergroten van de steekproefomvang naar 10.000 de beslissingsonzekerheid (modellen die een andere actie suggereren dan de meerderheid) tot 1%. Echter, wanneer de model- en toepassingsonzekerheden werden meegerekend, bleef de beslissingsonzekerheid hoog op 11%, zelfs met $N=10.000$.
• Populatie versus Individuele Prestaties: De modellen behielden een hoge prestatie op populatieniveau (AUROC 0,92–0,93, goede kalibratie, positieve relatieve bruikbaarheid) over alle scenario's heen. Dit demonstreert dat een model zeer nuttig kan zijn voor het sturen van populatiestrategieën, terwijl het potentieel tegenstrijdige en onzekere risicoschattingen geeft voor individuen.

Belangrijkste Bijdragen

1. Kader voor Onzekerheid: Het artikel introduceert een gestructureerd kader dat onderscheid maakt tussen schattings-, model- en toepassingsonzekerheid, waarbij wordt benadrukt dat traditionele evaluaties de laatste twee vaak maskeren.
2. Empirisch Bewijs: Het levert empirisch bewijs dat het simpelweg vergroten van de dataset niet de onzekerheid in individuele risicovoorspellingen oplost, aangezien modelspecificatie en verschillen in data/populatie de foutvariantie domineren.
3. Kwantificering van Beslissingsonzekerheid: De studie kwantificeert hoe vaak verschillende geldige modelleringskeuzes leiden tot tegenstrijdige klinische beslissingen voor dezelfde patiënt, wat het concept van een enkele "ware" risicoschatting uitdaagt.

Betekenis en Claims
De auteurs concluderen dat individuele risicoschattingen inherent onzeker zijn, vaak in een mate die de onzekerheid suggereert van klassieke betrouwbaarheidsintervallen of effectieve steekproefgrootte-metrieken. Zij stellen dat deze onzekerheid de klinische bruikbaarheid van predictiemodellen op populatieniveau niet ongeldig maakt, maar wel een verschuiving vereist in de wijze waarop deze instrumenten in de praktijk worden toegepast:

• AI als Informant, niet als Dictator: Voorspellende algoritmen moeten informeren, niet dicteren. De onzekerheid impliceert dat AI-outputs niet blindelings moeten worden vertrouwd als definitieve antwoorden voor individuele patiënten.
• Gezamenlijke Besluitvorming: Echte gepersonaliseerde geneeskunde vereist menselijke interactie. Clinici moeten de onzekerheid in modeloutputs erkennen en deze schattingen integreren in een proces van gezamenlijke besluitvorming met de patiënt, in plaats van te vertrouwen op een enkele algoritmische output.
• Bescheidenheid in Personalisatie: Het artikel roept op tot nederigheid met betrekking tot de beloften van gepersonaliseerde geneeskunde. Hoewel AI groepsniveau-inschattingen kan bieden op basis van trainingsdata, wordt de "gepersonaliseerde" aard van de risicoschatting beperkt door epistemische onzekerheid. De waarde ligt in het proces van gezamenlijke besluitvorming dat door deze schattingen wordt ondersteund, en niet in het feit dat de schattingen zelf perfect precies zijn.