📊 statistics

Compatibility of Missing Data Handling Methods across the Stages of Producing Clinical Prediction Models

Dit artikel toont aan dat onderzoekers, om ongeëvenaarde voorspellende prestaties en compatibiliteit gedurende de gehele levenscyclus van een klinisch voorspellingsmodel te waarborgen, hun strategieën voor de afhandeling van ontbrekende gegevens tijdens ontwikkeling en validatie moeten afstemmen op de specifieke beperkingen van de modelimplementatie, zoals het gebruik van multiplee imputatie wanneer ontbrekende gegevens worden uitgesloten of het handhaven van consistente imputatiemethoden wanneer ontbrekende gegevens zijn toegestaan.

Oorspronkelijke auteurs: Antonia Tsvetanova, Matthew Sperrin, David A. Jenkins, Niels Peek, Iain Buchan, Stephanie Hyland, Marcus Taylor, Angela Wood, Richard D. Riley, Glen P. Martin

Gepubliceerd 2026-02-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Antonia Tsvetanova, Matthew Sperrin, David A. Jenkins, Niels Peek, Iain Buchan, Stephanie Hyland, Marcus Taylor, Angela Wood, Richard D. Riley, Glen P. Martin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef-kok bent die probeert het perfecte recept te creëren voor een nieuw gerecht (een klinisch voorspellingsmodel). Je doel is om te voorspellen hoe een klant op het gerecht zal reageren. Hiervoor heb je specifieke ingrediënten nodig (voorspellers zoals leeftijd, bloeddruk, etc.). Maar soms heb je niet alle ingrediënten bij de hand tijdens het koken, of hebben je klanten misschien niet alle informatie over hun dieetvoorkeuren verstrekt.

Dit artikel gaat over hoe je met die "ontbrekende ingrediënten" omgaat in drie verschillende stadia van je kookproces:

Ontwikkeling: Het creëren van het recept in je testkeuken.
Validatie: Het proeven van het recept met een nieuwe groep mensen om te zien of het werkt.
Implementatie: Het gerecht serveren aan het grote publiek.

De auteurs ontdekten dat de manier waarop je omgaat met ontbrekende ingrediënten in je testkeuken en tijdens je proefsessie moet overeenstemmen met hoe je van plan bent het gerecht aan het publiek te serveren. Als ze niet overeenstemmen, zal je recept mislukken, of zul je denken dat het heerlijk smaakt terwijl het eigenlijk verschrikkelijk is.

Hier is de uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:

De twee belangrijkste regels van het spel

De auteurs stellen twee gouden regels voor het omgaan met ontbrekende gegevens voor:

De "Geen Degradatie"-regel: Wanneer je je recept ontwikkelt, moet je de ontbrekende ingrediënten op een manier afhandelen die ervoor zorgt dat het uiteindelijke gerecht net zo goed smaakt als de "perfecte" versie (waar je alle ingrediënten had).
De "Waarheidsgetrouwe"-regel: Wanneer je je recept valideert (test), moet je de ontbrekende ingrediënten op een manier afhandelen die je een eerlijke score geeft. Je wilt jezelf niet voor de gek houden door te denken dat het recept beter of slechter is dan het werkelijk is.

Scenario A: Het "Strenge" Restaurant (Geen ontbrekende gegevens toegestaan)

Stel je een chique restaurant voor waar de chef weigert een gerecht te bereiden, tenzij de klant elk enkel ingrediënt op de menukaart opgeeft. Als een klant een ingrediënt mist, zegt de chef: "Sorry, ik kan niet voor u koken."

Het advies uit het artikel: Als je van plan bent deze strenge chef te zijn, moet je je recept ontwikkelen en testen met behulp van Multiple Imputation (MI).
- De analogie: Denk aan Multiple Imputation als een "magische gokker" die de ontbrekende ingrediënten invult op basis van wat je wel weet, maar dit doet op een manier die rekening houdt met de onzekerheid. Cruciaal is dat deze "magische gokker" de uiteindelijke uitkomst (vond de klant het gerecht lekker?) moet kennen om goede gokken te doen tijdens de ontwikkelingsfase.
- De valstrik: Als je je recept ontwikkelt met behulp van "Mean Imputation" (gewoon het gemiddelde ingrediënt voor iedereen raden) of "Complete Case Analysis" (elke klant die een ingrediënt mist, direct wegwerpen), dan zal je recept zwak zijn. Wanneer je het uiteindelijk aan het strenge publiek serveert, zal het slecht smaken (modeldegradatie).

Scenario B: De "Flexibele" Foodtruck (Ontbrekende gegevens toegestaan)

Nu stel je een foodtruck voor waar de chef oké is met ontbrekende ingrediënten. Als een klant is vergeten aan te geven of hij allergisch is voor noten, gebruikt de chef gewoon een standaard "standaardwaarde" of een specifieke "gokmethode" om het in te vullen, zodat het koken kan doorgaan.

Het advies uit het artikel: Als je van plan bent deze flexibele foodtruck te zijn, moet je exact dezelfde methode gebruiken om de ontbrekende ingrediënten te vullen tijdens de ontwikkeling, het testen en het serveren.
- De analogie: Als je besluit om "Regression Imputation" te gebruiken (een specifiek type slimme gok gebaseerd op andere ingrediënten) om de gaten in te vullen voor je klanten, dan moet je diezelfde "slimme gok"-methode gebruiken wanneer je het recept maakt én wanneer je het test.
- De valstrik: Als je het recept ontwikkelt met "Mean Imputation" (gemiddelden), maar je vertelt je klanten vervolgens: "Maak je geen zorgen, we gebruiken een 'Slimme Gok'-methode om je ontbrekende info in te vullen," dan zal het recept breken. De wiskunde komt niet meer overeen. Het artikel stelde vast dat het mengen van methoden (zoals ontwikkelen met de ene methode en valideren met een andere) bijna altijd leidt tot een bevooroordeelde score—je denkt dat je foodtruck succesvol is, maar hij faalt eigenlijk.

Het "Patroon Sub-Model" (Het speciale geval)

Het artikel keek ook naar een methode genaamd Pattern Sub-Models.

De analogie: In plaats van één groot recept, schrijf je vier verschillende mini-recepten:
1. Eén voor klanten die alle informatie gaven.
2. Eén voor klanten die ingrediënt A missen.
3. Eén voor klanten die ingrediënt B missen.
4. Eén voor klanten die beide missen.
Het advies uit het artikel: Als je deze "mini-recept"-aanpak bij de foodtruck wilt gebruiken, moet je ontwikkelen en testen met exact deze zelfde "mini-recept"-aanpak. Je kunt niet ontwikkelen met mini-recepten en vervolgens testen door alles samen te voegen tot een gemiddelde.

De Belangrijkste Conclusie

De auteurs hebben duizenden computersimulaties uitgevoerd en echte chirurgische gegevens gecontroleerd om hun punt te bewijzen. Ze kwamen tot de conclusie dat veelvoorkomende praktijken vaak fout zijn.

Veelvoorkomende fout: Veel onderzoekers ontwikkelen een model met één methode (zoals Multiple Imputation) om de beste statistieken te krijgen, maar implementeren het vervolgens met een simpelere methode (zoals Mean Imputation) omdat dat makkelijker in een app te programmeren is.
Het resultaat: Dit creëert een "leugenaarsparadox". Het model ziet er geweldig uit in het lab, maar wanneer het de echte wereld raakt, presteert het slecht, of zijn de prestatiescores volledig onjuist.

Samenvatting in één zin

Om een betrouwbaar medisch voorspellingsinstrument te bouwen, moet je eerst beslissen hoe je met ontbrekende gegevens omgaat wanneer het instrument daadwerkelijk in de echte wereld wordt gebruikt, en vervolgens moet je exact dezelfde methode gebruiken om het instrument te bouwen en te testen; het mixen en matchen van methoden leidt tot kapotte modellen en vals vertrouwen.

Technische Samenvatting: Compatibiliteit van methoden voor het omgaan met ontbrekende gegevens in de verschillende stadia van het produceren van klinische predictiemodellen

Probleemstelling
Ontbrekende gegevens in predictorvariabelen vormen een hardnekkige uitdaging gedurende de gehele levenscyclus van klinische predictiemodellen (CPM's), variërend van ontwikkeling en validatie tot implementatie. Hoewel methodologisch onderzoek uitgebreid heeft gefocust op ontbrekende gegevens voor causale inferentie (gericht op onbevooroordeelde parameterschattingen), verschillen de doelstellingen van predictiemodellering: het primaire doel is nauwkeurige, goed gekalibreerde voorspellingen voor nieuwe individuen. De huidige praktijk schiet vaak tekort in het bieden van richtlijnen over hoe de beslissingen over de omgang met ontbrekende gegevens tijdens de ontwikkeling en validatie moeten aansluiten bij de beoogde implementatiestrategie. Specifiek is het onduidelijk of de methoden die worden gebruikt om ontbrekende gegevens te behandelen tijdens de modelbouw en het testen "compatibel" zijn met de manier waarop het model uiteindelijk in de klinische praktijk zal worden gebruikt. Inconsistenties—zoals het gebruik van Multiple Imputation (MI) tijdens de ontwikkeling maar Mean Imputation tijdens de implementatie—kunnen leiden tot bevooroordeelde prestatieschattingen of modeldegradatie.

Methodologie
De auteurs onderzochten dit vraagstuk via twee complementaire benaderingen: een grootschalige simulatiestudie en een empirische analyse van echte chirurgische gegevens.

Simulatiestudie:
- Ontwerp: Volgend aan het ADEMP-framework, simuleerden de auteurs een doelpopulatie van 200.000 individuen met twee predictoren ( $X_1, X_2$ ) en een binaire uitkomst. $X_1$ was onderhevig aan ontbrekende gegevens, terwijl $X_2$ en de uitkomst volledig geobserveerd waren.
- Mechanismen van ontbrekende gegevens: Zes Directed Acyclic Graphs (DAG's) werden gebruikt om mechanismen van Missing Completely at Random (MCAR), Missing at Random (MAR) en Missing Not at Random (MNAR) te induceren. De proporties ontbrekende gegevens varieerden van 10% tot 50%, en de correlaties tussen de predictoren werden gevarieerd.
- Behandelmethoden: Vijf strategieën werden geëvalueerd in elke fase (ontwikkeling, validatie, implementatie):
  - Complete Case Analysis (CCA)
  - Mean/Mode Imputation
  - Single Deterministic Regression Imputation (RI)
  - Multiple Imputation (MI), getest zowel met de uitkomst inbegrepen (MI-with-Y) als uitgesloten (MI-no-Y).
  - Pattern Sub-Models (PSM).
- Compatibiliteitscriteria: De studie definieerde "compatibiliteit" op basis van twee principes:
  1. Minimaliseren van modeldegradatie: Het verschil tussen de prestaties van het geïmplementeerde model en de prestaties van het ware model onder een specifieke implementatiestrategie.
  2. Onbevooroordeelde validatie: Het validatieproces moet een onbevooroordeelde schatting opleveren van de prestaties van het model wanneer het wordt geïmplementeerd onder diezelfde strategie.
- Scenario's: De studie testte alle combinaties van ontwikkelings-, validatie- en implementatiestrategieën over 600 scenario's.
Empirische Analyse:
- Data: De auteurs maakten gebruik van de North-West Clinical Outcomes Research Registry (NCORR) met gegevens van 6.600 patiënten die een longresectie ondergingen.
- Taak: Het voorspellen van de mortaliteit na 90 dagen na chirurgie met behulp van een logistisch regressiemodel gebaseerd op de RESECT-90 CPM.
- Procedure: Bootstrap-sampling werd gebruikt om 100 ontwikkelingsdatasets te creëren. Modellen werden ontwikkeld met de verschillende methoden voor de omgang met ontbrekende gegevens en vervolgens gevalideerd tegen de oorspronkelijke dataset, waarbij de corresponderende validatiestrategieën werden toegepast om de bias in prestaties te beoordelen.

Belangrijkste Resultaten
De simulatie- en empirische resultaten toonden consistent aan dat compatibiliteit sterk afhankelijk is van de beoogde implementatiestrategie:

Implementatie die volledige gegevens vereist (E-all):
- Om degradatie te minimaliseren en onbevooroordeelde validatie te garanderen, moeten modellen worden ontwikkeld en gevalideerd met behulp van Multiple Imputation inclusief de uitkomst (MI-with-Y) of volledig geobserveerde gegevens.
- Onder complexe mechanismen van ontbrekende gegevens (bijv. MNAR) vertoonde zelfs MI-with-Y enige degradatie, maar bleef het superieur aan andere methoden.
- Het gebruik van CCA of Mean Imputation voor de ontwikkeling leidde tot significante modeldegradatie wanneer het model onder een E-all strategie werd geïmplementeerd.
Implementatie waarbij ontbrekende gegevens zijn toegestaan:
- Wanneer een CPM bedoeld is om te worden geïmplementeerd met ontbrekende gegevens toegestaan (met behulp van een specifieke imputatiemethode zoals Mean Imputation, RI, MI-no-Y of PSM), moet dezelfde methode worden gebruikt tijdens zowel de ontwikkeling als de validatie.
- Mean/Mode Imputation: Ontwikkelen met MI en implementeren met Mean Imputation resulteerde in bevooroordeelde prestatieschattingen en kalibratiefouten.
- Regression Imputation (RI) & PSM: Deze methoden presteerden alleen goed wanneer de strategieën voor ontwikkeling, validatie en implementatie identiek waren.
- MI-no-Y: Hoewel theoretisch aantrekkelijk voor implementatie, leidde het gebruik van MI-no-Y tijdens de ontwikkeling tot bevooroordeelde schattingen van de associatie tussen predictor en uitkomst, wat degradatie veroorzaakte bij implementatie onder een E-MI strategie.
Validatiebias:
- Een cruciaal resultaat was dat validatiebias primair werd gedreven door de methode die werd gebruikt om ontbrekende gegevens te behandelen tijdens de validatie, in plaats door de methode die werd gebruikt tijdens de ontwikkeling.
- Als een model wordt gevalideerd met een methode die verschilt van de beoogde implementatiestrategie, zullen de prestatieschattingen bevooroordeeld zijn, ongeacht hoe het model oorspronkelijk is gebouwd.

Betekenis en Claims
Het artikel betoogt dat de beslissing over hoe met ontbrekende gegevens wordt omgegaan bij implementatie fundamenteel de beslissingen moet informeren die tijdens de ontwikkeling en validatie worden genomen. De auteurs stellen het volgende:

Huidige praktijken zijn gebrekkig: Veelvoorkomende combinaties van methoden in de literatuur (bijv. ontwikkelen met MI en valideren/implementeren met Mean Imputation) resulteren frequent in bevooroordeelde voorspellende prestatieschattingen en suboptimale modellen.
Afstemming is essentieel: Om compatibiliteit te bereiken, moeten onderzoekers achterwaarts werken vanuit de implementatiestrategie.
- Als het doel een model is voor patiënten met volledige gegevens, gebruik dan MI-with-Y (of volledige gegevens) gedurende het hele proces.
- Als het doel een model is voor patiënten met ontbrekende gegevens, gebruik dan de identieke imputatiemethode (bijv. RI of PSM) tijdens ontwikkeling, validatie en implementatie.
Praktische implicaties: De auteurs benadrukken dat hoewel MI-with-Y statistisch robuust is voor implementatie met volledige gegevens, het vaak onpraktisch is voor implementatie (het vereist toegang tot de oorspronkelijke gegevens of complexe computationele middelen). Daarom, als een model in de praktijk met ontbrekende gegevens moet kunnen omgaan, moeten ontwikkelaars vanaf het begin prioriteit geven aan deterministische methoden zoals Regression Imputation of Pattern Sub-Models, in plaats te proberen een model aan te passen dat gebouwd is voor volledige gegevens.

De studie concludeert dat zonder deze afstemming de vertaling van CPM's naar de klinische praktijk het risico loopt te worden gebaseerd op onnauwkeurige prestatieschattingen, wat de patiëntenzorg potentieel in gevaar brengt.