When does validation design change the answer? A simulation study and two empirical applications in clustered longitudinal health data
Deze studie toont aan dat hoewel binnen-clustercorrelatie noodzakelijk is voor lekken op regelniveau, de clustergrootte fungeert als de beperkende factor in de praktijk, wat suggereert dat onderzoekers prioriteit moeten geven aan temporele validatie en pre-modelleringsdiagnostiek moeten gebruiken om te bepalen wanneer striktere validatieontwerpen werkelijk vereist zijn.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van medische voorspellingen bouwen wetenschappers computermodellen om te raden wat er als volgende zou kunnen gebeuren: zal een patiënt terugkeren naar het ziekenhuis, of zal er een nieuwe ziekteuitbraak zich verspreiden? Om te weten of deze gissingen goed zijn, moeten onderzoekers ze testen. De standaardmethode om dit te doen is door een stapel gegevens op te splitsen in twee stapels: één om het model te onderwijzen, en één om het te testen. Maar medische gegevens uit de echte wereld zijn rommelig. Ze zijn vaak geclusterd, wat betekent dat veel records afkomstig zijn van dezelfde bron, zoals meerdere bezoeken van dezelfde patiënt of verschillende rapporten over hetzelfde ziektegebeurtenis. Als een model dezelfde patiënt in zowel de leerstapel als de teststapel ziet, kan het overfitten. Het leert niet de ziekte; het memoriseert gewoon de patiënt. Dit geeft een vals gevoel van vertrouwen, waardoor het model briljant lijkt terwijl het eigenlijk gewoon goed is in het herkennen van bekende gezichten. Jarenlang was de vuistregel dat men deze clusters altijd gescheiden moest houden tijdens het testen, ongeacht de omstandigheden.
Een nieuwe studie daagt deze rigide regel uit. Onderzoekers van het Ministerie van Nationale Defensie in Zuid-Korea en de Seoul National University stelden een eenvoudige maar cruciale vraag: doet deze scheidingsregel er werkelijk toe voor elke dataset, of verspillen we energie aan sommige gevallen? Ze wilden precies weten wanneer de keuze van hoe de data wordt opgesplitst de uiteindelijke conclusie verandert, en hoeveel. Ze keken naar twee zeer verschillende situaties uit de echte wereld: een enorm archief van wereldwijde ziekteuitbraakrapporten en een grote collectie ziekenhuisgegevens van diabetespatiënten. Door gecontroleerde simulaties uit te voeren en hun tests vervolgens toe te passen op deze echte archieven, ontdekten ze dat de oude regel niet altijd noodzakelijk is. Sterker nog, voor de twee datasets die zij onderzochten, maakte de strikte scheiding bijna geen verschil voor de uiteindelijke score. Het echte gevaar, ontdekten zij, was niet het clusteren zelf, maar het verstrijken van de tijd.
Het team begon met het creëren van duizenden nepdatasets op een computer om de mechanica van het probleem te begrijpen. Ze konden drie specifieke ingrediënten omhoog of omlaag draaien: hoeveel de kenmerken binnen een groep op elkaar leken, hoeveel de uitkomst hetzelfde was voor iedereen in een groep, en hoeveel de regels van het spel veranderden over de tijd. Ze ontdekten dat wanneer de data statisch was en de groepen klein waren, het overfitting minimaal was. Maar wanneer de groepen groot waren en de uitkomst identiek was voor iedereen in de groep, werd de overfitting ernstig, waardoor de score van het model met meer dan twintig punten werd opgeblazen. Ze ontdekten echter ook een vierde, vaak over het hoofd geziene factor: de grootte van de groep. Zelfs als de data binnen een groep perfect identiek was, was er als de groep slechts één of twee vermeldingen had, niets voor het model om mee te overfitten.
Gewapend met dit begrip, richtten de onderzoekers zich op hun eerste echte test: een vierentwintig jaar oud archief van ziekteuitbraakrapporten van de Wereldgezondheidsorganisatie. In deze dataset kon één rapport meerdere rijen data genereren voor verschillende landen. De onderzoekers testten een model om te voorspellen of een rapport een specifieke categorie van gevaarlijke biologische agentia vermeldde. De data hier was theoretisch perfect voor overfitting: de uitkomst was identiek voor elke rij in een rapport, en de kenmerken waren sterk gecorreleerd. Volgens alle oude regels zou dit een ramp moeten zijn voor een standaardtest. Toch, toen ze de cijfers doorrekenden, was het verschil tussen een standaardtest en een strikte test minuscuul, minder dan één procentpunt. De reden was simpel: de meeste rapporten in het archief waren enkelvoudige vermeldingen. Er waren geen herhaalde rijen om informatie te lekken. Het model had geen kans om de groep te memoriseren omdat de groepen bijna altijd alleen stonden.
Vervolgens testten ze een tweede dataset, ditmaal kijkend naar ziekenhuisopnames voor diabetespatiënten. Hier waren de natuurlijke groepen individuele patiënten, van wie velen meerdere malen waren opgenomen. In dit geval waren de kenmerken enigszins vergelijkbaar voor dezelfde patiënt, maar de uitkomst was dat niet. Of een patiënt één maand later weer werd opgenomen, voorspelde niet sterk of diegene de volgende maand weer zou worden opgenomen. Deze dataset bevond zich aan het tegenovergestelde uiteinde van het spectrum: de groepen waren herhaald, maar de uitkomsten waren dat niet. Opnieuw maakte de strikte scheidingsregel bijna geen verschil voor de uiteindelijke score. Het model kon niet overfitten omdat het kennen van de patiënt niet hielp bij het raden van de uitkomst.
De meest opvallende bevinding kwam toen de onderzoekers naar de tijd keken. In het archief van ziekteuitbraken vergeleken ze de prestaties van het model op data uit het verleden tegenover data uit de toekomst. Terwijl de strikte scheiding van groepen de score nauwelijks veranderde, veranderde het scheiden van de data op basis van tijd alles. Een model dat perfect leek op interne tests, daalde drastisch bij het testen op data uit een latere periode. De score zakte van een hoog van 0,96 naar een laag van 0,62, een enorme kloof die onthulde dat het model er niet in slaagde zich aan te passen aan hoe de ziekteverslaglegging door de jaren heen was veranderd. De onderzoekers ontdekten dat de drift in de tijd veertig keer schadelijker was voor de betrouwbaarheid van het model dan het falen om de groepen te scheiden.
De studie concludeert dat de automatische, blinde toepassing van strikte groepsscheiding niet altijd de juiste zet is. Het is een hulpmiddel dat alleen gebruikt moet worden wanneer aan drie specifieke voorwaarden wordt voldaan: de data moet herhaalde vermeldingen binnen groepen hebben, de kenmerken moeten de identiteit van de groep dragen, en de uitkomst moet binnen die groep gedeeld worden. Als een van deze elementen ontbreekt, levert de inspanning om de groepen te scheiden zeer weinig op. In plaats daarvan stellen de onderzoekers dat de echte focus moet liggen op temporele validatie. Wanneer data afkomstig is uit een veranderende wereld, is de belangrijkste test om te zien of het model werkt op data uit de toekomst, en niet alleen op data uit het verleden die toevallig is gehusseld. Door de grootte van de groepen en de consistentie van de uitkomsten te controleren voordat een model wordt gebouwd, kunnen wetenschappers beslissen of ze hun energie moeten besteden aan het scheiden van groepen of aan het testen op tijd. In de twee onderzochte gevallen was het antwoord duidelijk: de tijdstest was belangrijk, en de groepstest niet.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.