A preregistered test that outcome-permuted data also pass: mathematical coupling in a pan-cancer analysis of proliferation adjustment in prognostic gene expression studies
Dit artikel toont door middel van een vooraf geregistreerde pan-cancer analyse aan dat een hypothese betreffende wiskundige koppeling in prognostische genexpressiestudies grotendeels door constructie werd bevestigd, aangezien aan de testcriteria werd voldaan zelfs wanneer deze werden toegepast op met uitkomsten gepermuteerde nulgegevens, wat het kritieke belang benadrukt om analytische pipelines te valideren tegen gepermuteerde uitkomsten om foutieve verwarrende conclusies te vermijden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kankeronderzoek kijken wetenschappers vaak naar specifieke genen die fungeren als waarschuwingssignalen voor hoe het ziekteverloop van een patiënt zal verlopen. Door de activiteit van deze genen in een tumor te analyseren, hopen onderzoekers te voorspellen of een patiënt langer of korter zal overleven. Echter, tumoren zijn complex en hun gedrag wordt beïnvloed door vele factoren, zoals de leeftijd van de patiënt, de grootte van de tumor en hoe snel de kankercellen zich delen. Een grote uitdaging in dit veld is het onderscheiden van een gen dat een werkelijk unieke voorspeller is van overleving en een gen dat simpelweg de algemene snelheid reflecteert waarmee de tumor groeit. Als een onderzoeker vergeet rekening te houden met hoe snel de kanker zich deelt, kan hij een specifiek gen ten onrechte de eer geven voor het voorspellen van de uitkomst, terwijl dat gen in werkelijkheid slechts een passagier is op de snel bewegende trein van celdeling. Dit probleem staat bekend als mathematische koppeling, een situatie waarin twee metingen aan elkaar gelinkt zijn simpelweg omdat ze met dezelfde onderliggende gegevens zijn berekend, wat een vals gevoel van connectie creëert.
Een onderzoeker genaamd Soon Woo Nam zette zich af om een specifiek idee te testen over hoe deze genenlijsten worden samengesteld en of standaard statistische methoden per ongeluk een patroon kunnen bevestigen dat er eigenlijk niet is. De studie richtte zich op een grote collectie gegevens van twintig verschillende groepen kankerpatiënten, die veertien soorten kanker en bijna vijf duizend individuen besloeg. Het doel was om te zien of het aanpassen voor een "proliferatiescore" — een maatstaf voor hoe snel de kankercellen zich delen — de lijst met genen die de overleving lijken te voorspellen, zou veranderen. De onderzoeker had een vooraf geregistreerd plan, wat betekent dat de regels voor de analyse waren opgeschreven voordat naar de gegevens werd gekeken, om te waarborgen dat het proces eerlijk en transparant verliep. Het plan voorspelde dat wanneer de snelheid van celdeling aan de statistische modellen werd toegevoegd, de geschatte belangrijkheid van andere genen op een zeer specifieke, voorspelbare manier zou verschuiven over alle verschillende soorten kanker heen.
Toen de analyse werd uitgevoerd op de werkelijke patiëntgegevens, kwamen de resultaten perfect overeen met de voorspelling. De gegevens toonden aan dat de belangrijkheid van de genen precies verschoof zoals het plan had voorspeld, en dit patroon bleef waar voor elke van de twintig kankergroepen. Op het eerste gezicht zou dit kunnen lijken op een sterke bevestiging dat de statistische methode naar behoren werkt. Echter, de onderzoeker voerde vervolgens een cruciale controle uit die zelden in dergelijke studies wordt gedaan. Hij nam dezelfde gegevens en husselde de overlevingsresultaten door elkaar — in feite de overleving en het overlijden gerandomiseerd — zodat geen enkel gen een echte voorspeller van overleving kon zijn. In deze door elkaar gehusselde versie van de werkelijkheid, waarin niets ertoe deed, werd opnieuw dezelfde statistische test uitgevoerd. Verrassend genoeg slaagde de test ook in de gehusselde versie. De gehusselde gegevens voldeden aan dezelfde criteria als de echte gegevens, en bevestigden het patroon, ook al was er geen werkelijk biologisch signaal te vinden.
Deze bevinding onthult een fundamenteel gebrek in de manier waarop deze tests soms worden geïnterpreteerd. Het patroon waar de onderzoeker naar zocht, is geen teken van een echte biologische relatie of een specifiek type fout dat bekend staat als confounding. In plaats daarvan is het patroon "ingebouwd" in de wiskunde zelf. Omdat de nieuwe meting (de snelheid van celdeling) is afgeleid van dezelfde gendata die gebruikt worden om de andere genen te berekenen, zijn de statistische modellen er wiskundig toe gedwongen een relatie te tonen, ongeacht of die relatie echt of nep is. De test was zo gevoelig voor deze wiskundige structuur dat hij het verschil niet kon zien tussen een echt biologisch effect en een willekeurige gehusselde reeks getallen. Sterker nog, in negenentwintig van de honderd willekeurige proeven zou de test geslaagd zijn, ook al gebeurde er in werkelijkheid niets.
De studie onderzocht ook hoe de lijst van belangrijke genen veranderde wanneer verschillende factoren aan de modellen werden toegevoegd. Wanneer onderzoekers de fase van de kanker (hoe ver deze zich heeft verspreid) of de snelheid van celdeling aan hun berekeningen toevoegden, daalde het aantal genen dat als significante voorspellers verscheen drastisch. In sommige gevallen zorgde het toevoegen van deze factoren ervoor dat meer dan de helft van de genen die voorheen belangrijk leken, werd verwijderd. Dit suggereert dat de lijst van "prognostische genen" geen vaste set biologische waarheden is, maar eerder een lijst die sterk afhangt van welke andere factoren de onderzoeker besluit op te nemen in zijn model. Als een onderzoeker geen rekening houdt met hoe snel de tumor zich deelt, kan hij veel genen in zijn lijst opnemen die slechts de snelheid van die deling reflecteren, in plaats van unieke informatie over de toekomst van de patiënt te bieden.
De uiteindelijke conclusie is dat een vooraf geregistreerde hypothese bevestigd kan worden simpelweg door de manier waarop de gegevens zijn geconstrueerd, en niet omdat de hypothese waar is. De onderzoeker heeft aangetoond dat het uitvoeren van een test op gepermuteerde gegevens — waarbij de uitkomsten gerandomiseerd zijn — vóór het finaliseren van het analyseplan dit probleem onmiddellijk aan het licht zou hebben gebracht. Als de test slaagt wanneer er niets aan de hand is, kan hij niet worden vertrouwd om te bewijzen dat er iets aan de hand is wanneer de echte gegevens worden gebruikt. De studie dient als een herinnering dat in complexe genstudies de lijst van belangrijke genen zeer gevoelig is voor de keuzes die tijdens de analyse worden gemaakt. Onderzoekers moeten transparant zijn over welke factoren zij corrigeren, en zij moeten begrijpen dat het veranderen van deze factoren de resultaten drastisch kan wijzigen, waarbij soms twee derde van de genen die aanvankelijk significant leken, wordt verwijderd.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.