Quantifying the Optimism of Naive Cross-Validation for Binary Outcome Prediction with Repeated-Measures Predictors: A Simulation Study and Clinical Illustration
Deze studie toont aan dat het toepassen van cross-validatie op observatieniveau op herhaalde metingen met binaire uitkomsten de voorspellende prestaties significant overschat, terwijl partitiering op subjectniveau de primaire bron van deze optimisme effectief elimineert en nauw aansluit bij rigoureuze leave-one-cluster-out validatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
In de wereld van medisch onderzoek bouwen wetenschappers vaak modellen om te voorspellen of een patiënt een specifieke aandoening zal ontwikkelen, zoals een ernstige oogziekte bij premature baby's. Om te weten of deze modellen goed zijn, gebruiken onderzoekers een standaard testmethode genaamd kruisvalidatie. Stel je voor dat je een kaartspel hebt dat patiëntgegevens vertegenwoordigt, en je wilt zien of je model de uitkomst kan raden van een kaart die het nog nooit eerder heeft gezien. De gebruikelijke manier om dit te doen is door de kaarten te schudden, er een aantal in een trainingsstapel te verdelen om het model te onderwijzen, en een aparte teststapel achter de hand te houden om het werk te controleren. Dit proces wordt vele malen herhaald, waarbij de kaarten telkens anders worden geschud, om een betrouwbaar gemiddelde te krijgen van hoe goed het model presteert. Deze methode werkt perfect wanneer elke kaart in het spel uniek en onafhankelijk is, zoals een enkele opname van een ander persoon.
Echter, veel moderne medische studies werken niet met enkelvoudige opnames. In plaats daarvan verzamelen ze continue stromen gegevens van dezelfde persoon over een bepaalde tijd, zoals dagelijkse zuurstofgehaltes die wekenlang in een ziekenhuis worden geregistreerd. In deze gevallen zijn de gegevenspunten niet onafhankelijk; het zuurstofgehalte van een baby op dinsdag is nauw verwant aan het niveau op maandag. Wanneer onderzoekers de standaard schudmethode toepassen op dit soort gegevens, maken ze vaak een subtiele maar cruciale fout. Ze kunnen een deel van de dinsdaggegevens van een baby in de trainingsstapel plaatsen en de gegevens van diezelfde baby van woensdag in de teststapel. Omdat het model de dinsdaggegevens al heeft gezien, kan het de woensdaggegevens gemakkelijk raden, niet omdat het een algemene regel over de ziekte heeft geleerd, maar simpelweg omdat het het patroon van die specifieke baby heeft onthouden. Dit creëert een vals gevoel van vertrouwen, waardoor het model veel beter lijkt te presteren dan het in werkelijkheid is wanneer het wordt geconfronteerd met een volledig nieuwe patiënt.
Joseph Hagan, een onderzoeker aan de Baylor College of Medicine, zette zich tegen hem in om precies te meten hoeveel deze fout de scores van medische voorspellingsmodellen opblaast. Hij richtte zich op een veelvoorkomend scenario in de neonatale zorg: het gebruik van dagelijkse zuurstofmetingen om te voorspellen of een premature baby een retinopathie van prematuriteit zal ontwikkelen, een ernstige oogconditie. Hiervoor keek hij eerst naar echte gegevens van 101 zuigelingen, waarbij hij hun dagelijkse zuurstofgehaltes en of zij de ziekte ontwikkelden, volgde. Vervolgens bouwde hij een computersimulatie die duizenden nep-datasets genereerde, waarbij hij variabelen zoals het aantal zuigelingen in de studie, hoe sterk de dagelijkse metingen aan elkaar gekoppeld waren en hoe vaak de ziekte voorkwam, zorgvuldig controleerde. Hierdoor kon hij de "standaard" methode, die individuele dagelijkse records schudt, vergelijken met een "correcte" methode die alle gegevens van één enkele baby bij elkaar houdt, waardoor wordt gewaarborgd dat het model alleen wordt getest op baby's die het nog nooit heeft gezien.
De resultaten waren schokkend. Wanneer de onderzoekers de standaard methode gebruikten op de echte gegevens van 101 zuigelingen, leek het model een hoog vermogen te hebben om onderscheid te maken tussen zieke en gezonde baby's, met een score van 0,686 op een schaal waarbij 0,5 niet beter is dan een muntje opgooien. Echter, wanneer zij de correcte methode gebruikten die de groepering van patiënten respecteerde, daalde de score naar 0,608. Dit verschil van 0,078 punten lijkt misschien klein, maar in de wereld van medische voorspelling is het het verschil tussen een model dat nuttig lijkt en een model dat weinig echte waarde biedt. In de simulatie was het probleem nog dramatischer. Gemiddeld overschatte de standaard methode de prestaties van het model met 0,213 punten. In het slechtste scenario, waar de studie zeer weinig patiënten had en de dagelijkse gegevens zeer voorspelbaar waren, claimde de standaard methode een score van 0,932, wat duidt op bijna perfecte nauwkeurigheid, terwijl het werkelijke vermogen van het model om nieuwe patiënten te voorspellen slechts 0,569 was, nauwelijks beter dan toeval.
De studie onthulde ook dat deze overschatting gepaard gaat met een misleidende bonus: de standaard methode laat de resultaten ongelooflijk precies lijken. Omdat het model in feite delen van dezelfde patiënt gebruikt in zowel de trainings- als de testfase, zijn de scores van verschillende testruns bijna identiek, wat een smalle, nauwe reeks resultaten creëert die er zeer stabiel uitziet. In werkelijkheid is deze stabiliteit een illusie. Wanneer de onderzoekers overgingen op de correcte methode, varieerden de scores veel meer, wat de werkelijke onzekerheid van de prestaties van het model weerspiegelde. Deze "precisie-illusie" is gevaarlijk omdat het onderzoekers ervan overtuigt dat hun model robuust is, terwijl het in werkelijkheid fragiel en bevooroordeeld is.
Hagans werk identificeerde twee afzonderlijke bronnen van deze fout. De eerste is een "lek"-component (leakage), veroorzaakt doordat het model direct delen van dezelfde patiënt in zowel de trainingsset als de testset ziet. Dit lek wordt groter wanneer de patiënten meer op elkaar lijken en wanneer hun dagelijkse metingen sterk gecorreleerd zijn. De tweede component is een kleinere, onvermijdelijke kloof die zelfs bestaat wanneer de tests correct worden uitgevoerd, simpelweg omdat de studie niet genoeg patiënten had om de complexiteit van de ziekte perfect te vangen. Hoewel de correcte testmethode het lek volledig elimineert, kan het de kloof die wordt veroorzaakt door een kleine steekproefomvang niet wegnemen. De studie bevestigde echter dat de correcte methode, die alle gegevens van één patiënt bij elkaar houdt, de geschatte prestaties heel dicht bij de werkelijke prestaties brengt, vooral naarmate het aantal patiënten toeneemt.
Het artikel concludeert dat voor elke studie die betrokken is bij herhaalde metingen van dezelfde individuen, de standaard manier van gegevens splitsen fundamenteel gebrekkig is. De oplossing is niet het uitvinden van een nieuw, complex algoritme, maar simpelweg het veranderen van de manier waarop de gegevens worden verdeeld. Onderzoekers moeten elke patiënt als een enkele eenheid behandelen, waarbij ervoor wordt gezorgd dat als één dag van de gegevens van een patiënt wordt gebruikt voor training, geen andere dag van diezelfde patiënt ooit in de testset kan verschijnen. Deze aanpak, bekend als subject-niveau partitionering, is essentieel voor het verkrijgen van eerlijke resultaten. Zonder deze aanpak kunnen medische modellen gebouwd op continue monitoringgegevens lijken op doorbraken, terwijl ze in werkelijkheid slechts het verleden aan het onthouden zijn, wat potentieel kan leiden tot onjuiste conclusies over hun vermogen om toekomstige patiënten te helpen. De studie dient als een duidelijke waarschuwing dat in het tijdperk van continue gezondheidsmonitoring, de manier waarop we onze voorspellingen testen, moet evolueren om te passen bij de manier waarop we onze gegevens verzamelen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.