Generalizability of a prediction model for walking ability at discharge in older adults after hip fracture surgery: a multicenter study

Het Grote Ziekenhuis Raadspel

Stel je voor dat je een arts bent die de toekomst probeert te voorspellen. Specifiek wil je weten: "Zal deze patiënt na het herstellen van zijn gebroken heup weer uit eigen beweging het ziekenhuis uit kunnen lopen?" Dit is niet zomaar een raadspel; het is een cruciaal instrument genaamd een klinisch voorspellingsmodel. Denk aan deze modellen als een hoogwaardige weersvoorspelling voor je lichaam. Net zoals meteorologen temperatuur, luchtvochtigheid en windsnelheid gebruiken om regen te voorspellen, gebruiken artsen de leeftijd, het geheugen en hoe een patiënt liep vóór het letsel om het herstel te voorspellen.

Maar hier komt het lastige deel: een weersvoorspelling die perfect werkt in Londen, kan totaal nutteloos zijn in Tokio omdat de windpatronen anders zijn. In de geneeskunde kan een voorspellingsmodel dat in het ene ziekenhuis is gebouwd, falen in een ander ziekenhuis omdat elk ziekenhuis zijn eigen "persoonlijkheid" heeft—andere artsen, andere revalidatieschema's en verschillende manieren om succes te meten. Dit artikel duikt in de wereld van generaliseerbaarheid, wat gewoon een deftig woord is voor de vraag: "Werkt deze voorspellingsmethode overal, of alleen op de plek waar hij is uitgevonden?" Als een model te kieskeurig is over waar het wordt gebruikt, kan het patiënten in andere steden niet helpen, waardoor het minder nuttig is voor de mensen die het het hardst nodig hebben.

---

De Grote Test: Kan Eén Kaart voor Alle Steden Werken?

In dit onderzoek besloot een team van onderzoekers een specifiek voorspellingsmodel onder de ultieme test te stellen. Ze wilden zien of een hulpmiddel, ontworpen om te raden of ouderen weer zouden kunnen lopen na een heupfractuuroperatie, zou werken over 19 verschillende ziekenhuizen in Japan. Ze verzamelden gegevens van 2.548 patiënten die een gebroken heup hadden gehad, een operatie hadden ondergaan en voor het ongeval zelfstandig konden lopen.

Om de test eerlijk en uitdagend te maken, gebruikten ze een slimme methode genaamd Internal-External Cross-Validation (IECV). Stel je voor dat je een kaart van een stad hebt. Meestal teken je de kaart op basis van gegevens van de hele stad en controleer je dan of deze werkt. Maar dit team deed iets anders: ze namen gegevens van 18 ziekenhuizen om de kaart te maken, en testten deze vervolgens op het 19e ziekenhuis. Daarna wisselden ze om: ze gebruikten 18 andere ziekenhuizen om een nieuwe kaart te maken en testten deze op het ziekenhuis dat overgebleven was. Ze deden dit keer op keer, waarbij ze telkens roteerden welk ziekenhuis het "testobject" was. Dit is als het testen van een strategie in een videogame op elk level van het spel om te zien of het overal werkt, en niet alleen op het eerste level.

De Resultaten: Een Verhaal van Twee Uitkomsten

De onderzoekers ontdekten enkele interessante zaken, maar het hoofdverhaal is een beetje een "ja, maar...".

Het Goede Nieuws:
Toen ze keken naar hoe goed het model het verschil kon onderscheiden tussen patiënten die wel en patiënten die niet zouden lopen (een score genaamd de AUC), deed het gemiddeld best. De gemiddelde score was 0,81. Als 1,0 een perfecte kristallen bol is en 0,5 een muntje opgooien, dan is 0,81 een vrij sterke gok.

Het Slechte Nieuws (De Plot Twist):
Hier wordt het verhaal ingewikkeld. Hoewel de gemiddelde gok goed was, schommelde het model sterk wanneer het op specifieke ziekenhuizen werd toegepast. De onderzoekers berekenden een 95% predictie-interval voor de AUC, die varieerde van 0,62 tot 0,92.

• Wat dit betekent: In sommige ziekenhuizen was het model een briljante voorspeller (0,92). In andere was het nauwelijks beter dan een muntje opgooien (0,62).
• De Kalibratie: Het model had ook moeite om de cijfers juist te krijgen. De "kalibratiehelling" (hoe goed het voorspelde risico overeenkwam met het werkelijke risico) varieerde enorm, met een bereik van 0,34 tot 1,58. De "kalibratie-intercept" (een maatstaf voor de vraag of het model te optimistisch of te pessimistisch was) varieerde van -1,56 tot 1,77.

Omdat de resultaten zo verschillend waren per ziekenhuis, concludeerden de onderzoekers dat de generaliseerbaarheid van het model beperkt is. Met andere woorden: je kunt dit voorspellingsinstrument niet zomaar in elk ziekenhuis gebruiken en verwachten dat het op dezelfde manier werkt. De "heterogeniteit tussen ziekenhuizen" (de verschillen tussen de ziekenhuizen) was te groot.

Waarom kon het niet reizen?

De auteurs gaven niet simpelweg op dat "het niet werkte". Ze groeven in waarom. Ze merkten op dat hoewel de patiënten in verschillende ziekenhuizen enigszinnig vergelijkbaar waren, de timing van de tests verschilde.

• Het Ontslag-dilemma: Het model probeerde te voorspellen of een patiënt kon lopen op het moment van ontslag. Maar ziekenhuizen ontslaan patiënten op verschillende tijdstippen!
  • In Ziekenhuis A verblijven patiënten misschien 40 dagen. Tegen de tijd dat ze vertrekken, hebben ze veel tijd gehad om te herstellen, waardoor velen weer kunnen lopen.
  • In Ziekenhuis B verblijven patiënten misschien slechts 15 dagen. Ze kunnen vertrekken voordat ze volledig hersteld zijn, waardoor er minder mensen kunnen lopen.
• De Gevoeligheidstest: Om te bewijzen dat dit de boosdoener was, voerden de onderzoekers een "sensitiviteitsanalyse" uit. Ze keken naar een andere uitkomst: het vermogen om te lopen slechts één week na de operatie. Omdat één week voor iedereen dezelfde tijd is, stonden de ziekenhuizen op gelijke voet.
  • Het Resultaat: Toen ze naar het punt van één week keken, werd het model veel consistenter! Het predictie-interval voor de AUC kromp naar 0,78–0,89, en de kalibratiecijfers werden veel stabieler.

Dit suggereert dat het model niet "kapot" was wat betre het patiënten die het bestudeerde; het was simpelweg in de war door de verschillende schema's van de ziekenhuizen. Het is als het beoordelen van hoe snel een hardloper is door te vragen: "Hoe ver ben je gelopen toen je stopte?" Als de ene hardloper na 10 minuten stopt en de andere na 30 minuten, kun je ze niet eerlijk vergelijken. Maar als je vraagt: "Hoe ver ben je gelopen in exact 10 minuten?", dan wordt de vergelijking eerlijk.

De Kern van het Verhaal

De studie concludeert dat hoewel we een model hebben dat het lopen kan voorspellen, het niet goed reist naar andere ziekenhuizen wanneer het doel is om de status bij ontslag te voorspellen. De verschillen in hoe lang patiënten in het ziekenhuis verblijven (en wanneer ze worden getest), verstoren de voorspellingen.

De auteurs suggereren dat we, om deze instrumenten echt bruikbaar te maken voor iedereen, misschien moeten stoppen met succes te meten bij de "finishlijn" van ontslag (die voor iedereen anders is) en in plaats daarvan moeten meten op een vast tijdstip, zoals één week na de operatie. Totdat we deze timingproblemen oplossen, blijft het vermogen van het model om de toekomst van een patiënt in een nieuw ziekenhuis te voorspellen, onzeker. Het artikel beweert niet dat het model nutteloos is, maar waarschuwt wel dat we er niet vanuit kunnen gaan dat het overal op dezelfde manier werkt zonder zorgvuldige aanpassingen.