The declared winner of a clinical prediction model comparison is often decided by the random split: a simulation study
Deze simulatiestudie toont aan dat bij de kleine effectgroottes die typerend zijn voor vergelijkingen tussen klinische predictiemodellen, de uitgeroepen "winnaar" vaak wordt bepaald door willekeurige datasplitsing in plaats van werkelijke modelsuperioriteit, wat leidt tot opgeblazen prestatieverschillen en aanzienlijke onenigheid tussen analisten die dezelfde data gebruiken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van medisch onderzoek bouwen wetenschappers voortdurend nieuwe instrumenten om te voorspellen wie ziek zal worden en wie gezond zal blijven. Deze instrumenten, bekend als klinische voorspellingsmodellen, zijn als geavanceerde weersverwachtingen voor het menselijk lichaam, waarbij patiëntgegevens worden gebruikt om de waarschijnlijkheid van een toekomstige gebeurtenis te raden. Om te beslissen welk instrument het beste is, zetten onderzoekers ze doorgaans tegen elkaar af op een set testgegevens. Ze berekenen een score die meet hoe vaak het instrument de voorspelling juist heeft, en de een met de hogere score wordt uitgeroepen tot winnaar. Dit proces is de standaardmanier waarop het vakgebied vooruitgaat, waarbij nieuwe studies regelmatig aankondigen dat een nieuw machine learning-algoritme een ouder, eenvoudiger middel heeft verslagen. De verschillen tussen deze instrumenten zijn echter vaak extreem klein, soms slechts een fractie van een procentpunt. Wanneer het gat tussen twee modellen zo smal is, rijst de vraag: is de uitgeroepen winnaar werkelijk beter, of heeft hij gewoon geluk gehad met de specifieke groep patiënten waarop hij toevallig werd getest?
Een recente simulatiestudie door Ananya Sharma onderzoekt precies deze onzekerheid. Het onderzoek betreft geen echte patiënten of nieuwe medische gegevens; in plaats daarvan gebruikt het een computer om duizenden nepscenario's te genereren waarin twee voorspellingsmodellen met elkaar worden vergeleken. Het doel was om te zien hoe vaak het model dat de wedstrijd wint werkelijk het superieure model is, en hoe vaak het resultaat simpelweg een toevalstreffer is veroorzaakt door de willekeurige manier waarop de data is verdeeld. In deze simulaties creëerden de onderzoekers twee modellen die bijna identiek waren in hun werkelijke vermogen om uitkomsten te voorspellen. Vervolgens voerden ze duizenden vergelijkingen uit, waarbij ze de omvang van de testgroepen en de specifieke willekeurige verdeling van de data veranderden, om te zien hoe vaak de "winnaar" veranderde of hoeveel de gerapporteerde voorsprong werd overdreven.
De bevindingen onthullen een verbijsterend niveau van instabiliteit in de manier waarop deze vergelijkingen momenteel worden uitgevoerd. Wanneer het werkelijke verschil tussen twee modellen zeer klein is, wat de typische situatie is in de echte medische wereld, is de uitgeroepen winnaar vaak een product van toeval. In één scenario waarin de modellen bijna identiek waren in vaardigheid, zouden twee verschillende onderzoekers die exact dezelfde data analyseren maar een andere willekeurige verdeling gebruiken, bijna de helft van de tijd een andere winnaar aankondigen. Zelfs toen één model daadwerkelijk iets beter was, betekende een kleine testgroep dat het "betere" model slechts in ongeveer twee derde van de gevallen correct werd geïdentificeerd. Dit betekent dat in een aanzienlijk aantal gepubliceerde studies de conclusie dat het ene instrument superieur is aan het andere onjuist kan zijn, simpelweg omdat de specifieke patiënten die voor de testset zijn gekozen toevallig één model bevoordeelden door willekeurig geluk.
Nog een belangrijke ontdekking betreft de omvang van de overwinning. Wanneer een model wint, bleek de studie dat het gerapporteerde verschil in prestaties bijna altijd wordt opgeblazen, waardoor het gat veel groter lijkt dan het werkelijk is. Als bijvoorbeeld het werkelijke verschil tussen twee modellen minuscuul was, rapporteerde het winnende model vaak een verschil dat meer dan het dubbele van de werkelijke waarde was. Dit gebeurt omdat het proces van het kiezen van de winnaar van nature het model selecteert dat de meest gunstige willekeurige ruis in die specifieke test kreeg. Het is vergelijkbaar met het opgooien van een munt: als je tien keer gooit en zes keer kop krijgt, kun je beweren dat de munt geslagen is, maar het resultaat is slechts een willekeurige schommeling. In de context van deze medische modellen betekent de "winner's curse" dat het gerapporteerde succes een mix is van echte vaardigheid en een grote dosis statistisch geluk, wat leidt tot de overtuiging bij onderzoekers dat ze een doorbraak hebben gevonden, terwijl ze vooral een willekeurige piek hebben gevonden.
De studie onderzocht ook of het probleem ligt bij de manier waarop de modellen worden gebouwd of bij de manier waarop de data wordt getest. Door de modellen vast te houden en alleen de testgroep te veranderen, en door de modellen bij elke nieuwe verdeling opnieuw te trainen, ontdekten de onderzoekers dat de instabiliteit bijna volledig voortkomt uit de testgroep zelf. Dit suggereert dat het complexer of stabieler maken van de modellen het probleem niet zal oplossen; het probleem is dat de testgroepen die in veel studies worden gebruikt, simpelweg te klein zijn om modellen die qua prestaties heel dicht bij elkaar liggen, betrouwbaar te onderscheiden. Wanneer de testgroep klein is, overstemt de willekeurige ruis in de data het kleine signaal van het werkelijke verschil.
Uiteindelijk suggereert dit onderzoek dat de huidige gewoonte om een enkele winnaar uit te roepen op basis van één testronde vaak misleidend is. De studie adviseert onderzoekers om een enkele vergelijking niet langer als een definitief oordeel te beschouwen. In plaats daarvan zouden ze de onzekerheidsmarge rond het verschil moeten rapporteren en, cruciaal, de test vele malen herhalen met verschillende willekeurige verdelingen om te zien hoe vaak elk model wint. Als een model over veel herhalingen slechts iets vaker dan de helft van de tijd wint, dan is de eerlijke conclusie dat de twee modellen met de huidige data effectief niet van elkaar te onderscheiden zijn. Totdat de testgroepen groot genoeg zijn om deze willekeur te overwinnen, of totdat studies deze striktere rapportagemethoden adopteren, zijn de "winnaars" van klinische voorspellingswedstrijwen wellicht minder een reflectie van de medische waarheid en meer een reflectie van de worp van de dobbelstenen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.