Treatment effect estimation by comparing observed and predicted outcomes: conditions for valid inference and practical illustration
Dit artikel maakt gebruik van het potential outcomes-framework en een praktische casestudy om de noodzakelijke voorwaarden te verduidelijken voor een geldige schatting van het gemiddelde behandel-effect bij het vergelijken van geobserveerde uitkomsten onder een nieuwe behandeling met voorspelde uitkomsten uit bestaande modellen, een methode die veel wordt gebruikt bij modelgebaseerde klinische evaluatie in de radiotherapie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar je hebt een zeer vreemde regel: je mag alleen de verdachten interviewen die op dit moment in de kamer zijn, en het is je verboden om ooit met de mensen te praten die thuis zijn gebleven. Dit is de dagelijkse strijd van medisch onderzoekers wanneer ze willen weten of een gloednieuwe, glimmende behandeling daadwerkelijk werkt. Meestal is de gouden standaard voor het oplossen van dit mysterie een "Randomized Controlled Trial", waarbij artsen een muntje opgooien om te beslissen wie de nieuwe medicatie krijgt en wie de oude. Maar soms is het opgooien van een muntje niet mogelijk, ethisch niet verantwoord of niet snel genoeg. Misschien is een nieuwe technologie te duur om op iedereen te testen, of is de ziekte te urgent om te wachten op een lange studie.
Daarom proberen onderzoekers een slim trucje genaamd "counterfactual prediction" (tegenfeitelijke voorspelling). Het is als het bouwen van een tijdmachine, maar in plaats van een persoon terug in de tijd te sturen, stuur je een voorspelling terug. Ze nemen een groep patiënten die de nieuwe behandeling hebben gekregen en vragen: "Wat zou er met deze specifieke mensen zijn gebeurd als zij de oude, standaardbehandeling hadden ontvangen?" Om dat te beantwoorden, gebruiken ze een "model"—een wiskundig recept dat is gebouwd op basis van oude gegevens van mensen die alleen de standaardbehandeling kregen. Ze stoppen de details van de nieuwe patiënten in dit recept om een "ghost outcome" (geest-uitkomst) te genereren, een voorspelling van hoe hun gezondheid eruit zou zien onder het oude systeem. Ze vergelijken vervolgens de echte resultaten van de nieuwe behandeling met deze geest-voorspellingen. Als de nieuwe behandeling er beter uitziet, geweld! Maar hier is de adder onder het gras: dit trucje werkt alleen als het recept perfect is, de tijdmachine niet hapert en de "geesten" werkelijk identiek zijn aan de echte mensen. Als een van deze omstandigheden wankel is, kan het hele mysterie een vals spoor zijn.
Dit artikel, geschreven door een team van onderzoekers uit Nederland, stapt in om de gereedschapskist van de detective op te ruimen. Ze nemen deze intuïtieve methode—het vergelijken van echte uitkomsten van een nieuwe behandeling met voorspelde uitkomsten van een oude behandeling—en geven het een rigoureuze wiskundige make-over. Ze zeggen niet alleen: "Het werkt als je voorzichtig bent"; ze leggen precies uit wat "voorzichtig" betekent. De auteurs formaliseren de aanpak met behulp van een raamwerk genaamd "potential outcomes" (potentiële uitkomsten), wat gewoon een chique manier is om te zeggen: "wat er had kunnen gebeuren". Ze identificeren vijf specifieke voorwaarden die waar moeten zijn om de vergelijking eerlijk en de resultaten betrouwbaar te maken.
Beschouw deze vijf voorwaarden als de vijf regels van een goocheltruc. Als je zelfs maar één regel breekt, verschijnt de konijn misschien niet, of erger nog, je haalt een eend tevoorschijn en beweert dat het een konijn is. De eerste regel is Transportability (Transporteerbaarheid): Het "recept" (het model) moet net zo goed werken in de nieuwe groep patiënten als het deed in de oude groep. Als de nieuwe patiënten stiekem anders zijn op een manier die het recept niet kent (zoals een verborgen ingrediënt), zal de voorspelling fout zijn. De tweede regel is Ignorability of Treatment Assignment (Onwetendheid van de toewijzing van de behandeling): De reden waarom een patiënt de nieuwe behandeling kreeg, mag niet verbonden zijn aan hoe ziek ze zouden zijn geweest met de oude behandeling, zodra je rekening houdt met wat je over hen weet. Als artsen alleen de nieuwe behandeling gaven aan de "gelukkige" patiënten die al bestemd waren om het goed te doen, raakt het model in de war. De derde regel is Consistency (Consistentie): De behandeling moet elke keer hetzelfde betekenen. Als "Protontherapie" in het nieuwe ziekenhuis iets anders betekent dan in de oude gegevens, is de vergelijking appels met peren. De vierde regel is Positivity (Positiviteit): De nieuwe patiënten moeten lijken op mensen die het model eerder heeft gezien. Je kunt een recept dat ontworpen is voor volwassenen niet gebruiken om de uitkomst voor een peuter te voorspellen als het model nog nooit een peuter heeft gezien. De vijfde regel is Correct Model Specification (Correcte modelspecificatie): Het wiskundige recept zelf moet de juiste vorm hebben. Als de relatie tussen de leeftijd van een patiënt en hun gezondheid een kromme is, maar het recept gaat uit van een rechte lijn, dan zal de voorspelling onjuist zijn.
De auteurs illustreren deze regels met een praktijkvoorbeeld met betrekking tot hoofd- en halskankerpatiënten. Ze keken naar een groep mensen die een nieuwe, hoogtechnologische radiotherapie kregen, genaamd protontherapie, om te zien of dit slikproblemen (dysfagie) verminderde in vergelijking met de standaard fotontherapie. Ze gebruikten gegevens van 750 patiënten die tussen 2007 en 2017 fotontherapie kregen om hun voorspellingsmodel te bouwen. Vervolgens pasten ze dit model toe op 93 patiënten die in 2018 en 2019 protontherapie kregen. De resultaten suggereerden dat protontherapie het risico op slikproblemen met ongeveer 22% verminderde (een verschil van -0,22) vergeleken met wat er met fotontherapie zou zijn gebeurd. De paper benadrukt echter dat dit getal alleen betrouwbaar is als aan alle vijf de regels is voldaan.
De onderzoekers laten ook zien hoe je kunt controleren of de regels zijn nageleefd. Ze keken bijvoorbeeld naar de patiënten in de nieuwe groep die wel de standaard fotontherapie ontvingen en controleerden of het model hun uitkomsten correct voorspelde. Als het model het voor hen goed raadde, gaf dat meer vertrouwen dat de "geest-voorspellingen" voor de protongroep ook accuraat waren. In hun voorbeeld was het model erg goed in het voorspellen van de fotongroep (een verschil van 0,0), wat een goed teken was.
Uiteindelijk concludeert het artikel dat hoewel deze methode een krachtig instrument is voor het nemen van beslissingen wanneer we geen perfecte studie kunnen uitvoeren, het geen toverstaf is. Het vereist een systematische controle van alle vijf de voorwaarden, ondersteund door domeinexperts en real-world data. De auteurs waarschuwen dat als deze voorwaarden worden geschonden, de resultaten vertekend kunnen zijn, waardoor een behandeling beter of slechter lijkt dan hij in werkelijkheid is. Ze suggereren dat onderzoekers transparant moeten zijn over deze aannames en extra data moeten gebruiken om deze te testen wanneer dat mogelijk is. Het is een herinnering aan het feit dat zelfs de meest elegante afkortingen in de wetenschap een solide fundament nodig hebben om op te staan.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.