When clinical prediction models do not generalize: a simulation study in liver transplantation

Deze simulatiestudie toont aan dat de prestaties en bruikbaarheid van klinische voorspellingsmodellen, zoals de UK DCD-risicoscore voor levertransplantatie, sterk afhankelijk zijn van de populatiekenmerken en daarom een zorgvuldige externe validatie vereisen voordat ze in nieuwe settings kunnen worden toegepast.

De kern

🍎 De "Appeltest" die niet werkt in een ander land

Stel je voor dat er een zeer nauwkeurige test is ontwikkeld in Engeland om te voorspellen of een appel na een jaar nog goed is of rot. Deze test kijkt naar factoren zoals: hoe oud de boom was, hoe zwaar de appel is, hoe lang hij in de zon heeft gelegen en of er al eerder een appel van dezelfde boom is geplukt.

Deze test werkt perfect in Engeland. Maar wat gebeurt er als je deze exacte test gebruikt in Zwitserland, waar de appels anders groeien, de grond anders is en de bomen anders verzorgd worden?

Dit is precies wat dit wetenschappelijke onderzoek onderzocht, maar dan met levertransplantaties in plaats van appels.

🏥 Het probleem: De "Engelse" voorspellingsformule

In de geneeskunde gebruiken artsen voorspellingsmodellen. Dit zijn rekenformules die helpen beslissen of een patiënt een orgaan (zoals een lever) moet krijgen. Een bekend voorbeeld is de "UK DCD Risk Score".

• Wat doet hij? Hij berekent op basis van 7 factoren (zoals de leeftijd van de donor en de ontvanger) of de nieuwe lever na één jaar nog werkt of faalt.
• Het probleem: Deze formule is ontwikkeld met data uit het Verenigd Koninkrijk. Maar artsen in Zwitserland gebruiken hem ook. Het is alsof je de Engelse appeltest gebruikt voor Zwitserse appels.

De onderzoekers wilden weten: Werkt deze Engelse formule ook goed in Zwitserland, of is hij daar waardeloos?

🧪 De proef: Een virtuele simulatie

Omdat het te lang zou duren om echte patiënten jarenlang te volgen, hebben de onderzoekers een virtueel laboratorium gebouwd.

• Ze hebben een computerprogramma gemaakt dat duizenden virtuele patiënten creëerde.
• Ze varieerden de kenmerken van deze virtuele mensen: soms waren de donors oud, soms jong; soms was de lever lang in de koelkast geweest, soms kort.
• Ze lieten de Engelse formule zijn werk doen op deze virtuele Zwitserse mensen en keken of de voorspelling klopte.

Het was alsof ze duizenden verschillende "Zwitserse appelbossen" in de computer simuleerden om te zien of de Engelse test daar nog zin had.

📉 De resultaten: Het werkt niet overal

De uitkomst was duidelijk, maar ook een beetje teleurstellend voor de zekerheid:

1. De "Gouden Middenweg": De Engelse formule werkte het beste als de virtuele Zwitserse patiënten heel veel leken op de Engelse oorspronkelijke groep (bijvoorbeeld: donors en ontvangers waren rond de 60 jaar).
2. De "Vreemde Eend": Zodra de groep anders was (bijvoorbeeld veel jongere of veel oudere mensen, of mensen met een andere medische geschiedenis), sloeg de formule op hol.
   • Soms zei hij dat een transplantatie veilig was, terwijl het in werkelijkheid een ramp zou zijn.
   • Soms zei hij dat het te riskant was, terwijl het juist een goede kans was.
3. De "Retransplantatie"-factor: Een groot verschil tussen Engeland en Zwitserland is dat in Zwitserland bijna niemand een tweede levertransplantatie krijgt (retransplantatie). De Engelse formule telt dit als een enorm risico. Omdat dit in Zwitserland zelden voorkomt, werkt dat onderdeel van de formule daar niet goed. Het is alsof je een weersvoorspelling gebruikt die rekening houdt met sneeuw, terwijl je in een land woont waar het nooit sneeuwt.

💡 De les voor de praktijk

Het onderzoek leert ons een belangrijke les, die we kunnen samenvatten met deze metafoor:

Een voorspellingsmodel is geen universele sleutel die voor elk slot past.

Het is meer als een kookrecept. Een recept voor een taart dat perfect werkt in een keuken met een gasfornuis (Engeland), kan mislukken in een keuken met een inductiekookplaat (Zwitserland), tenzij je het recept aanpast.

Wat betekent dit voor artsen en patiënten?

• Geen blind vertrouwen: Je kunt niet zomaar een formule uit een ander land overnemen en denken dat hij daar ook werkt.
• Controle is nodig: Voordat een formule wordt gebruikt in een nieuwe omgeving, moet hij eerst getest worden op die specifieke groep mensen.
• Aanpassen: Soms moet de formule zelfs "opnieuw worden ingeschoold" (de getallen in de formule aanpassen) zodat hij past bij de lokale situatie.

Conclusie

Dit onderzoek is een waarschuwing: Geen enkel voorspellingsmodel is onfeilbaar. Wat in het ene land werkt, kan in het andere land gevaarlijk zijn als je niet oplet. Het is daarom cruciaal om deze modellen voortdurend te controleren en aan te passen aan de lokale realiteit, zodat artsen de juiste beslissingen kunnen nemen voor hun patiënten.

Technische samenvatting

Probleemstelling

Klinische voorspellingsmodellen zijn essentieel voor gepersonaliseerde geneeskunde en helpen bij het inschatten van het risico op toekomstige uitkomsten bij patiënten. Een veelvoorkomend probleem is echter dat deze modellen, zelfs na strenge validatie in een nieuwe setting, niet altijd goed generaliseren naar andere klinische omgevingen of populaties.

Specifiek richt deze studie zich op de UK DCD Risk Score (Donation after Circulatory Death), een model dat gebruikt wordt om het risico op een-jaar graftfalen na levertransplantatie te voorspellen. Dit model is ontwikkeld en gevalideerd op basis van data uit het Verenigd Koninkrijk (UK). De auteurs vermoeden dat dit model minder goed werkt in de Zwitserse populatie vanwege:

• Verschillen in regelgeving en klinische processen.
• Verschillen in patiëntkarakteristieken (bijvoorbeeld: in Zwitserland worden bijna geen retransplantaties uitgevoerd, terwijl dit een belangrijke predictor is in het UK-model).
• Vragen over mogelijke statistische gebreken in het oorspronkelijke model en de bruikbaarheid in specifieke populaties.

Het doel was om de transportabiliteit (de mogelijkheid om het model in een nieuwe populatie toe te passen) van dit risicoscore-systeem systematisch te evalueren door middel van simulaties.

Methodologie

De studie is opgezet als een simulatiestudie met een vooraf geregistreerd protocol (volgens de ADEMP-richtlijnen).

1. Data-gegenereerend mechanisme:

   • De voorspellers (donor- en recipientkenmerken) werden gesimuleerd op basis van beschrijvende statistieken van Swisstransplant (Zwitserse data).
   • De uitkomst (graftfalen binnen één jaar) werd twee keer gesimuleerd:
     1. Volgens de aannames en coëfficiënten van het originele UK DCD-logistieke regressiemodel.
     2. Volgens een model gebaseerd op de Zwitserse realiteit (Swisstransplant data).
   • Dit creëerde een "waarheid" (ground truth) om de prestaties van het UK-model tegen te testen.

2. Simulatie-ontwerp:

   • Er werden vier scenario's onderzocht waarbij specifieke populatiekenmerken werden gevarieerd, terwijl de rest constant bleef:
     • Gemiddelde leeftijd van donor en recipient (volledig factorieel).
     • Gemiddelde functionele donor-warme ischemietijd (FWIT) en de waarschijnlijkheid van koude ischemietijd (CIT) > 6 uur.
     • De kans op retransplantatie.
     • Steekproefgrootte.
   • Elke conditie werd 1000 keer herhaald om Monte Carlo-foutmarges te minimaliseren.

3. Prestatiemaatstaven:

   • Calibratie: Intercept en helling (slope). Een intercept van 0 en helling van 1 duiden op perfecte calibratie.
   • Discriminatie: Area Under the Curve (AUC) van de Receiver Operating Characteristic (ROC).
   • Klinische nut: Net benefit-analyse (vergelijking van strategieën: "transplantatie op basis van score" vs. "allemaal transplanteren" vs. "niemand transplanteren") met een drempelwaarde van 80%.

4. Software: De analyses werden uitgevoerd in R (versie 4.5.0) met pakketten zoals SimDesign, pROC en ggplot2.

Belangrijkste Resultaten

De prestaties van de UK DCD Risk Score bleken sterk afhankelijk van de kenmerken van de doelpopulatie:

• Invloed van Leeftijd:

  • Het model presteerde het beste (beste calibratie en net benefit) wanneer de gemiddelde leeftijd van donor en recipient rond de 60 jaar lag, wat overeenkomt met de populatie waarin het model oorspronkelijk is ontwikkeld.
  • Bij populaties met significante afwijkingen in leeftijd (jonger of ouder) nam de prestatie af.
  • Wanneer de uitkomst werd gesimuleerd volgens het Zwitserse model, was het gebruik van het UK-model in de meeste gevallen niet superieur aan de strategie om "allemaal te transplanteren".

• Invloed van Ischemietijd (FWIT en CIT):

  • Volgens het UK-model werkte het score-systeem het beste bij lage ischemietijden.
  • Volgens het Zwitserse model was de calibratie het beste bij hoge CIT en een FWIT van 50 minuten, maar in deze scenario's was de strategie "allemaal transplanteren" volgens de net benefit-analyse vaak beter dan het gebruik van het risicoscore-systeem.

• Invloed van Retransplantatie:

  • Dit is een cruciale bevinding: Het UK-model bevat een zware straf (9 punten) voor retransplantatie.
  • In populaties met een lage kans op retransplantatie (zoals in Zwitserland, waar dit zelden voorkomt), presteerde het model slecht.
  • De calibratie en discriminatie verbeterden aanzienlijk in gesimuleerde populaties met een hogere retransplantatiekans (30-40%), wat aantoont dat het model sterk is afgestemd op de verdeling van deze variabele in de UK-populatie.

• Algemene Conclusie van de Resultaten:
  Het model werkt redelijk in populaties die lijken op de ontwikkelpopulatie (UK), maar faalt of presteert suboptimaal in populaties met andere kenmerken (zoals de Zwitserse). In veel Zwitserse scenario's was het gebruik van het model niet beter dan het transplanteren van alle kandidaten of het transplanteren van niemand.

Kernbijdragen

1. Empirisch Bewijs voor Beperkte Generaliseerbaarheid: De studie levert kwantitatief bewijs dat klinische voorspellingsmodellen niet automatisch transportabel zijn naar nieuwe landen of centra, zelfs niet als ze statistisch correct zijn ontwikkeld.
2. Simulatie als Validatiemethode: Het demonstreert de kracht van simulatiestudies gebaseerd op real-world data om de grenzen van modeltoepasbaarheid te verkennen, iets dat met traditionele externe validatie (met beperkte steekproeven) vaak niet mogelijk is.
3. Kritische Evaluatie van het UK DCD Score: De studie bevestigt eerdere twijfels over de bruikbaarheid van de UK DCD Risk Score in Zwitserland, voornamelijk door de verschillen in retransplantatie-rates en andere demografische factoren.
4. Open Science: De auteurs hebben alle code en het pre-registratieprotocol openbaar gemaakt (GitHub), wat de reproduceerbaarheid van de studie garandeert.

Betekenis en Implicaties

De studie heeft belangrijke gevolgen voor de klinische praktijk en het onderzoeksveld:

• Noodzaak tot Externe Validatie: Het is onvoldoende om een model alleen intern te valideren. Voordat een model in een nieuwe populatie wordt ingezet, moet de transportabiliteit zorgvuldig worden onderzocht.
• Modelherkalibratie: Als een model wordt toegepast in een populatie met andere kenmerken, is het vaak nodig om het model te herkalibreren of de coëfficiënten opnieuw te schatten (re-estimation) om de prestaties te verbeteren.
• Continue Monitoring: Klinische voorspellingsmodellen zijn geen "eenmalige" producten. Hun prestaties moeten continu worden gemonitord en bijgewerkt naarmate patiëntenpopulaties en klinische protocollen veranderen (bijv. door nieuwe conserveringstechnieken).
• Klinische Besluitvorming: Artsen moeten voorzichtig zijn bij het blind toepassen van risicoscores uit andere landen. Een "futile" (hopeloos) classificatie in het ene land hoeft niet noodzakelijk "hopeloos" te zijn in een ander land met andere zorgprocessen.

Kortom, de studie waarschuwt dat de toepassing van voorspellingsmodellen contextafhankelijk is en dat een dynamische aanpak van validatie en update essentieel is voor veilige en effectieve klinische besluitvorming.