Outcome labels and patient reuse in clinical validation: reanalyses of the DIPK and TIL-30 breast-cancer evaluations

In de strijd tegen kanker vertrouwen artsen steeds vaker op computermodellen die de genetische code van een patiënt lezen om te voorspellen hoe een tumor zal reageren op een behandeling. Deze modellen fungeren als een kristallen bol die duizenden genen analyseert om te raden of een medicijn een tumor volledig zal doen krimpen of dat deze achterblijft. Voor deze voorspellingen om vertrouwd te worden, moeten ze worden getoetst aan de werkelijke uitkomsten in de echte wereld: is de patiënt daadwerkelijk beter geworden? De gouden standaard voor deze controle is een blik onder een microscoop naar het weefsel na de chemotherapie, ook wel een pathologisch onderzoek genoemd. Als een model beweert een volledige genezing te voorspellen, moeten wetenschappers die bewering verifiëren door de gok van de computer te vergelijken met de werkelijke microscopische resultaten. De gegevens die worden gebruikt om deze modellen te bouwen en te testen, komen echter vaak uit publieke archieven, enorme digitale bibliotheken waar onderzoekers genetische informatie en klinische aantekeningen opslaan. De integriteit van deze archieven is van cruciaal belang; als de aantekeningen die de uitkomst van een patiënt beschrijven onjuist zijn, of als dezelfde patiënt twee keer voorkomt onder verschillende namen, kan de hele test van de nauwkeurigheid van het model in gevaar komen.

Een recente onderzoek door een onderzoeker aan de Universiteit van Edinburgh wierp een nauwkeurige blik op twee dergelijke modellen, die beide ontworpen zijn om te voorspellen hoe borstkankerpatiënten zouden reageren op chemotherapie. De studie was geen nieuw experiment, maar een zorgvuldige heronderzoek van bestaande gegevens, waarbij een eenvoudige maar cruciale vraag werd gesteld: hadden de onderzoekers die deze modellen oorspronkelijk publiceerden, ze getest tegen de juiste antwoorden? Het eerste model, genaamd DIPK, was een deep-learning systeem dat getraind was op kankercellen die in een laboratorium waren gekweekt en vervolgens werd getest op echte patiënten. Het tweede model, TIL-30, was een eenvoudiger hulpmiddel gebaseerd op dertig specifieke genen. De onderzoeker volgde de digitale voetsporen van de gegevens die in hun gepubliceerde succesverhalen werden gebruikt en stelde vast dat in beide gevallen de tests waren uitgevoerd tegen de verkeerde doelwitten.

In het geval van DIPK hadden de onderzoekers het model getest tegen een dataset van 310 patiënten. Het probleem was dat de "juiste antwoorden" in die dataset niet de werkelijke microscopische resultaten waren van de operaties van de patiënten. In plaats daarvan bevatten de gegevens voorspellingen gemaakt door een ander, ouder computerprogramma genaamd DLDA30. Het is alsof je het essay van een student beoordeelt, niet door te controleren of de feiten kloppen, maar door te kijken of hun essay overeenkomt met het essay van een andere student. Omdat beide computerprogramma's naar dezelfde genetische patronen keken, stemden ze van nature met elkaar overeen, waardoor het DIPK-model veel nauwkeuriger leek dan het in werkelijkheid was. Wanneer de onderzoeker die computergegenereerde antwoorden verving door de werkelijke microscopische resultaten van de patiënten, daalde de prestatiescore van het model aanzienlijk. Het verdween niet volledig; het model toonde nog steeds enige vaardigheid om onderscheid te maken tussen patiënten die goed reageerden en patiënten die dat niet deden, maar het schijnbare succes was grotendeels een illusie, gecreëerd door het te vergelijken met een vergelijkbaar computerprogramma in plaats met de werkelijkheid.

Het tweede model, TIL-30, kampte met een ander soort fout. Dit model was ontworpt om een volledige genezing na een volledige kuur te voorspellen. Echter, de gegevens die werden gebruikt om het te testen in één specifieke groep patiënten, legden de uitkomst vast na slechts de eerste fase van de chemotherapie. Het is vergelijkbaar met het beoordelen van de eindtijd van een marathonloper op basis van hun snelheid na de eerste mijl. Het model werd getest tegen een momentopname van de toestand van de patiënt die te vroeg was om het volledige verhaal te vertellen. Wanneer de onderzoeker de gegevens corrigeerde om de werkelijke definitieve uitkomst na de volledige behandeling te reflecteren, daalde het vermogen van het model om het resultaat te voorspellen, hoewel het statistische bewijs voor deze daling onzeker bleef.

Naast de verkeerde antwoorden onthulde de studie ook een probleem met wie er werd getest. In wetenschappelijke studies moet elke getelde patiënt een uniek individu zijn om de resultaten robuust te maken. De onderzoeker stelde vast dat in de DIPK-studie een groot aantal patiënten uit de ene groep eigenlijk dezelfde mensen waren als in de andere groep, alleen vermeld onder verschillende bestandsnamen. Dit betekende dat het model twee keer op dezelfde mensen werd getest, wat het vertrouwen in de resultaten opblas. Nog zorgwekkender was dat, voor het TIL-30-model, veel van de patiënten die werden gebruikt om het model te testen in één groep, exact dezelfde mensen waren die in de eerste plaats waren gebruikt om het model te leren hoe het moest werken. Dit is als een student die een toets maakt met vragen die ze net in de klas hebben geleerd; het bewijst niet dat ze de stof begrijpen, alleen dat ze de antwoorden zich herinneren. Hoewel deze overlap de scheiding tussen training en testen duidelijk in gevaar bracht, werd het specifieke effect van dit hergebruik op de prestatiescore van het model niet geschat in de studie.

De onderzoeksinstelling stopte niet bij het vinden van fouten; het controleerde ook of deze modellen enige echte waarde boden boven wat artsen al weten. Artsen gebruiken momenteel een reeks van zeven standaard klinische factoren, zoals leeftijd en tumortype, om de kansen op herstel van een patiënt in te schatten. De onderzoeker bouwde nieuwe statistische modellen om te zien of het toevoegen van de scores van de computer aan deze zeven factoren de voorspelling verbeterde. De resultaten waren inconclusief. Hoewel de scores van de computer de voorspelling niet verslechterden, waren de gegevens niet sterk genoeg om te bewijzen dat ze enige betekenisvolle nieuwe informatie toevoegden. In sommige tests leken de scores van de computer te helpen, maar de foutmarge was zo breed dat de verbetering een toevalstreffer had kunnen zijn. Bovendien, wanneer de onderzoeker probeerde de op één groep patiënten getrainde modellen toe te passen op een andere groep, werden de voorspellingen volkomen onnauwkeurig, waarbij vaak werd gerekend dat een kwart van de patiënten genezen zou zijn terwijl het er in werkelijkheid slechts een vijfde was, of andersom.

De studie concludeert dat deze twee specifieke gevallen dienen als een waarschuwing voor het hele vakgebied van het kankeronderzoek. De modellen zelf waren niet noodzakelijkerwijs nutteloos; het DIPK-model behield zelfs na de correctie van de fouten nog steeds een verband met de werkelijke uitkomsten van patiënten. Echter, de gepubliceerde claims over hun succes waren gebouwd op wankele grond. Het "succes" steunde op het vergelijken van voorspellingen met andere voorspellingen, testen tijdens onvolledige behandelfases, en het hergebruiken van dezelfde patiënten op manieren die de werkelijke moeilijkheid van de taak verborgen. De onderzoeker benadrukt dat voor elk nieuw medisch hulpmiddel om vertrouwd te worden, wetenschappers drie dingen moeten verifiëren: dat de voorspelde uitkomst de werkelijke definitieve uitkomst is, dat de patiënten in de test werkelijk afzonderlijke individuen zijn, en dat het hulpmiddel iets nieuws toevoegt aan wat artsen al weten. Zonder deze controles kan een model op papier een doorbraak lijken, terwijl het in de klinische praktijk faalt.