Alzheimer disease risk estimates lose clinical calibration across study phases despite useful patient ranking
Hoewel risicomodellen voor de ziekte van Alzheimer een nuttige rangschikking van patiënten behouden over verschillende onderzoeksfasen heen, lijden hun absolute waarschijnlijkheidsschattingen onder significante kalibratiedrift, wat hervalidatie van waarschijnlijkheidsschalen noodzakelijk maakt wanneer wervings- of meetpraktijken veranderen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een arts voor die probeert de toekomst te voorspellen voor een patiënt met milde geheugenproblemen. Het doel is om de kans in te schatten dat deze persoon binnen de komende twee jaar de ziekte van Alzheimer ontwikkelt. Deze voorspelling dient twee verschillende doelen. Ten eerste helpt het om patiënten in een lijst te sorteren, waarbij degenen met het hoogste risico bovenaan komen te staan, zodat artsen weten wie de meest dringende aandacht nodig heeft. Ten tweede levert het een specifiek getal, een percentage dat de werkelijke waarschijnlijkheid vertegenwoordigt dat de ziekte zich manifesteert. Dit getal stuurt cruciale beslissingen aan, zoals of er dure hersenscans moeten worden besteld, of een patiënt moet worden ingeschreven voor een klinische studie, of dat er een serieus gesprek over de toekomst moet worden gevoerd. Voor dit systeem te werken, moet de lijst accuraat zijn, maar het getal moet ook waarheidsgetrouw zijn voor de specifieke groep mensen die wordt behandeld. Als het getal fout is, kan een patiënt te horen krijgen dat hij een hoge kans op ziekte heeft terwijl hij eigenlijk veilig is, of andersom, wat leidt tot onnodige bezorgdheid of gemiste zorg.
Een nieuwe studie door Maurice Antony Ewing onderzoekt of deze waarschijnlijkheidsgetallen betrouwbaar blijven wanneer de groep patiënten in de loop van de tijd verandert. Het onderzoek richt zich op de Alzheimer's Disease Neuroimaging Initiative, een massaal, langlopend project dat sinds 2004 duizenden mensen volgt. Door de jaren heen is het project door verschillende fasen gegaan, waarbij verschillende soorten mensen werden gerekruteerd en iets andere methoden werden gebruikt om geheugen en cognitieve vaardigheden te meten. De onderzoeker stelde een eenvoudige maar vitale vraag: als een computermodel wordt getraind om risico te voorspellen met gegevens uit de vroege jaren van het project, geeft het dan nog steeds nauwkeurige percentage-inschattingen wanneer het wordt toegepast op patiënten uit de latere jaren, zelfs als het nog steeds correct kan rangschikken wie zieker is dan wie?
Om het antwoord te vinden, bouwde de onderzoeker elf verschillende computermodellen met behulp van gegevens uit de eerste fase van het project. Deze modellen leerden om te kijken naar de leeftijd van een patiënt, genetische markers en scores op geheugentests om de kans op het ontwikkelen van Alzheimer binnen twee jaar te voorspellen. Eenmaal getraind, werden deze modellen naar de tweede fase van het project gestuurd om voorspellingen te doen voor een nieuwe groep patiënten. De onderzoeker deed vervolgens het omgekeerde: modellen trainen op de tweede fase en deze testen op de eerste. In beide richtingen werden de modellen vergeleken met nieuwe modellen die specifiek voor de doelgroep waren gebouwd, die dienden als de lokale standaard. De studie omvatte meer dan duizend deelnemers met milde cognitieve stoornissen, waarbij werd bijgehouden of zij binnen de tweejaarlijkse periode progressie vertoonden naar de ziekte van Alzheimer.
De resultaten toonden een duidelijke en verontrustende splitsing tussen rangschikking en risico-inschatting. Wanneer de modellen die in de ene fase waren getraind, werden getest op de andere, bleven ze redelijk goed in het sorteren van patiënten. Ze konden nog steeds identificeren welke individuen waarschijnlijker de ziekte zouden ontwikkelen dan hun leeftgens, en presteerden vaak zelfs iets beter dan de modellen die lokaal voor die specifieke groep waren gebouwd. Echter, de specifieke getallen die ze aan deze risico's toewezen, waren volkomen onjuist. In de tweede fase voorspelde een model dat getraind was op de eerste fase de risico's gemiddeld vijftien procentpunten afwijken van wat er daadwerkelijk gebeurde, terwijl een model dat voor die fase was gebouwd slechts ongeveer vier procentpunten afweek. Deze kloof betekent dat een patiënt te horen kan krijgen dat hij veertig procent kans heeft op het ontwikkelen van de ziekte, terwijl zijn werkelijke kans slechts vijfentwintig procent is, of andersom. Deze fout is groot genoeg om een patiënt over een medische drempelwaarde te duwen, wat potentieel leidt tot onnodige tests of het ontzeggen van een trial waar hij zich bij had kunnen aansluiten.
De studie ging verder om te begrijpen waarom dit gebeurde. De onderzoeker testte of de fout werd veroorzaakt door ontbrekende gegevens, zoals wanneer bepaalde scores op geheugentests niet werden geregistreerd in de latere fase, of door de inclusie van een specifieke groep patiënten met zeer milde symptomen. Door deze variabelen en specifieke patiëntengroepen uit de analyse te verwijderen, vond de onderzoeker dat het probleem voortbestond. Zelfs toen de modellen alleen de meest complete gegevens gebruikten en de mildste gevallen uitsloten, bleven de getallen onnauwkeurig. De fout was geen rekenfout of een gebrek in een enkele test; het was een fundamentele verschuiving in wat de getallen betekenden. De populatie in de latere fase was anders: ze waren jonger, hadden minder ernstige symptomen aan het begin en waren minder waarschijnlijk om binnen twee jaar de ziekte te ontwikkelen vergeleken met de eerdere groep. Een model dat getraind was op de oudere, ziekeren groep, paste simpelweg de oude regels toe op een nieuwe realiteit, waardoor de waarschijnlijkheden gingen driften.
Om dit op te lossen, testte de onderzoeker of de modellen konden worden aangepast nadat ze naar de nieuwe groep waren verplaatst. Hij ontdekte dat het simpelweg corrigeren van het gemiddelde risiconiveau van de nieuwe groep aanzienlijk hielp, waardoor de fout werd teruggebracht van vijftien procentpunten naar ongeveer drie of vier. Echter, dit was niet voldoende om het probleem volledig op te lossen. De relatie tussen de specifieke symptomen van een patiënt en zijn risico veranderde ook. Pas toen het model werd aangepast om zowel rekening te houden met het gemiddelde risico van de groep als met de manier waarop individuele symptomen naar risico vertalen, werden de voorspellingen weer accuraat. Deze twee-staps-correctie herstelde de betrouwbaarheid van de getallen, wat bewees dat de modellen zelf niet kapot waren, maar dat ze gecalibreerd moesten worden voor de nieuwe omgeving.
De bevindingen bieden een duidelijke les voor de toekomst van medische voorspelling. Een computermodel dat patiënten succesvol rangschikt op basis van risico, is niet automatisch klaar om hen een specifiek percentage kans op een ziekte te geven. Naarmate medische programma's evolueren, waarbij verschillende mensen worden gerekruteerd of nieuwe meetinstrumenten worden gebruikt, verandert de betekenis van een risicopercentage. Een getal dat tien jaar geleden accuraat was voor een groep patiënten, kan vandaag de dag misleidend zijn voor een groep patiënten, zelfs als de symptomen er hetzelfde uitzien. De studie concludeert dat telkens wanneer een voorspellingsmodel naar een nieuwe setting of een nieuwe tijd wordt verplaatst, artsen en onderzoekers de nauwkeurigheid van de waarschijnlijkheidsgetallen opnieuw moeten controleren. Ze kunnen er niet van uitgaan dat de schaal hetzelfde blijft. Hoewel het vermogen om patiënten van hoog naar laag risico te sorteren goed meereist, vereist de specifieke inschatting van gevaar een frisse blik om ervoor te zorgen dat het de realiteit van de mensen die momenteel in de kliniek zijn weerspiegelt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.