Exact and near-duplicate symptom profiles inflate the reported performance of machine learning classifiers for diabetes: a leakage- aware re-evaluation of the UCI Early-Stage Diabetes dataset

In de wereld van de medische technologie heeft machine learning een belofte gedaan voor een toekomst waarin computers ziekten zoals diabetes kunnen opsporen door simpelweg een lijst met symptomen te lezen. Het idee is krachtig: een patiënt beschrijft zijn gevoelens—dorst, vermoeidheid, wazig zien—en een algoritme berekent onmiddellijk het risico, wat potentieel de ziekte kan ontdekken voordat deze onomkeerbare schade aanricht. Om deze digitale artsen te bouwen, vertrouwen wetenschappers op enorme collecties gegevens, waarbij duizenden eerdere patiëntendossiers worden gebruikt om de computer te leren hoe een ziek persoon eruitziet versus een gezond persoon. De standaard voor het testen van deze systemen is een methode genaamd cross-validatie. Stel je een leraar voor die een student een oefentoets geeft, en daarna een iets andere versie van dezelfde toets, om te zien of de student de stof echt begrijpt of dat hij alleen de antwoorden heeft uit het hoofd geleerd. In de wetenschappelijke gemeenschap is dit proces bedoeld om te onthullen hoe goed een model zal presteren op nieuwe, ongeziene patiënten.

Echter, een recente herbeoordeling van een van de meest beroemde datasets die hiervoor wordt gebruikt, heeft een stille fout blootgelegd in de manier waarop deze tests werden uitgevoerd. De dataset in kwestie, verzameld bij een ziekenhuis in Bangladesh, bevat gegevens over de symptomen van mensen en of zij diabetes hadden. Jarenlang hebben onderzoekers deze gegevens gebruikt om computermodellen te trainen, waarbij ze succespercentages rapporteerden die bijna te mooi leken om waar te zijn, vaak met nauwkeurigheidsniveaus tussen de 97 en 99 procent. Deze cijfers suggereerden dat de modellen bijna perfect waren. Maar een team onderzoekers uit Peru heeft nu aangetoond dat deze hoge scores geen teken van genialiteit waren, maar het resultaat van een simpele fout in het testproces. Ze ontdekten dat de dataset veel identieke kopieën van hetzelfde patiëntprofiel bevatte, en de manier waarop de tests werden uitgevoerd, zorgde ervoor dat de computer de antwoorden al wist voordat de test überhaupt begon.

De onderzoekers, onder leiding van William Marin-Rodriguez en zijn collega's, namen een frisse blik op de UCI Early-Stage Diabetes dataset. Deze collectie bevat 520 records, die elk de leeftijd van een persoon en vijftien verschillende symptomen beschrijven, zoals veelvuldig plassen of plotseling gewichtsverlies. Wanneer zij de unieke combinaties van deze symptomen telden, vonden zij iets verbazingwekkends: van de 520 records waren er slechts 251 werkelijk unieke profielen. Dit betekent dat 269 van de records exacte duplicaten waren van anderen, en vele meer deelden dezelfde symptomen maar verschilden alleen in leeftijd. In de oorspronkelijke studies werden deze identieke kopieën vaak willekeurig verdeeld over de trainings- en testgroepen. Een record kon in de trainingsgroep terechtkomen, waardoor de computer het antwoord leerde, terwijl zijn exacte tweelingbroer in de testgroep terechtkwam. Wanneer de computer op die tweeling werd getest, hoefde hij niet te gissen of te diagnosticeren; hij herkende simpelweg het patroon dat hij al uit het hoofd had geleerd.

Om te zien hoeveel dit de resultaten opblas, draaide het team dezelfde computermodellen opnieuw, maar dit keer veranderden ze de spelregels. In plaats van de data willekeurig te splitsen, hielden ze alle records met hetzelfde symptoomprofiel bij elkaar in dezelfde groep. Dit zorgde ervoor dat als een specifieke set symptomen in de trainingsdata voorkwam, die exacte set nooit in de testdata kon voorkomen. De computer werd gedwongen om de patronen van ziekte te leren in plaats van alleen specifieke patiëntenlijsten te memoriseren. Het verschil in de resultaten was dramatisch. Onder de oude, willekeurige methode behaalden de modellen nauwkeurigheidsscores tussen de 97 en 98 procent, wat overeenkwam met de lovende rapportages uit voorgaande jaren. Maar toen de onderzoekers de striktere, lekvrije regels afdwongen, daalden die nauwkeurigheidscijfers naar een bereik van 90 tot 93 procent. Hoewel nog steeds indrukwekkend, onthulde deze daling dat de eerdere claims van bijna perfecte prestaties grotendeels een illusie waren, gecreëerd door de datastructuur.

De studie ging verder dan alleen meten of de modellen juist of onjuist waren, maar keek ook naar hoe zelfverzekerd ze waren in hun voorspellingen. Ze keken naar een specifieke metriek genaamd de Matthews correlation coefficient, die een eerlijker beeld geeft van de prestaties wanneer het aantal zieke en gezonde mensen ongelijk is. Onder de willekeurige testmethode was deze score kunstmatig hoog, met een overschatting van wel 0,16 punten voor sommige modellen. Toen de duplicaten uit de testset werden verwijderd, daalden de scores aanzienlijk. Belangrijker nog, de rangorde van de modellen veranderde. Het model dat onder de oude regels als beste was gekroond, een complex systeem genaamd een 'stacking ensemble', zakte van de eerste naar de achtste plaats onder de nieuwe regels. Het model dat daadwerkelijk het beste presteerde bij een eerlijke test, was een ander type boom-gebaseerd algoritme dat bekend staat als Extra Trees. Deze verschuiving bewees dat de keuze voor het "beste" model geen vaststaand feit was, maar een resultaat van de gebrekkige testmethode.

De onderzoekers onderzochten ook wat er gebeurt als ze rekening houden met "bijna-duplicaten". In de dataset deelden veel mensen exact dezelfde symptomen, maar hadden een verschillende leeftijd. Het team testte een scenario waarin zelfs deze bijna-identieke profielen bij elkaar werden gehouden, om te voorkomen dat de computer zou leren van de symptomen van een 40-jarige om het risico voor een 45-jarige met dezelfde symptomen te voorspellen. Deze strengere test verlaagde de prestaties van elk enkel model nog verder. Opvallend genoeg presteerde een zeer eenvoudig model, dat werkt door de meest vergelijkbare eerdere casus te vinden, bijna even goed als de complexe modellen onder de eerste strikte test, maar de prestaties stortten in toen de bijna-duplicaten werden verwijderd. Dit suggereerde dat het eenvoudige model ook vertrouwde op het vinden van kopieën van zichzelf in de trainingsdata, in plaats van werkelijk de ziekte te begrijpen.

De implicaties van dit werk reiken verder dan slechts één dataset. De onderzoekers stellen dat de hoge nauwkeurigheidscijfers die in het verleden werden gerapporteerd voor diabetesvoorspelling, waarschijnlijk werden opgeblazen door ditzelfde probleem van duplicerende records. Ze ontdekten dat het verschil tussen de oude en nieuwe resultaten groot genoeg was om de kleine verbeteringen die nieuwe studies vaak claimen te hebben ontdekt, volledig te overschaduwen. Als een nieuw algoritme beweert één of twee procent beter te zijn dan de oude, dan is die verbetering misschien gewoon ruis veroorzaakt door de manier waarop de data werd gesplitst, in plaats van een echte doorbraak. Het team merkte ook op dat veel van de modellen slecht gekalibreerd waren, wat betekent dat hoewel ze vaak gelijk hadden, hun waarschijnlijkheidsscores niet de werkelijke kans op de ziekte weerspiegelden. Bijvoorbeeld, sommige modellen waren overdreven zelfverzekerd, terwijl andere te aarzelend waren, wat gevaarlijk kan zijn als een arts op die cijfers vertrouwt om een beslissing te nemen.

Deze herbeoordeling betekent niet dat machine learning niet kan helpen bij het diagnosticeren van diabetes, noch suggereert het dat de modellen nutteloos zijn. Het betekent simpelweg dat de benchmarks die worden gebruikt om ze te beoordelen, gebrekkig waren. De onderzoekers benadrukken dat hun bevindingen interne schattingen zijn gebaseerd op een specifieke dataset en niet bewijzen dat deze modellen werken in de echte klinische praktijk. Ze wijzen erop dat de data afkomstig is van een enkel ziekenhuis en dat details over hoe de diabetes werd bevestigd ontbreken, waardoor de resultaten niet direct toepasbaar kunnen worden op algemene screening zonder verdere tests. Echter, de studie biedt een duidelijke weg voorwaarts voor wetenschappers. Ze bevelen aan dat toekomstige studies moeten controleren op duplicerende records en deze tijdens het testen bij elkaar moeten groeperen, moeten rapporteren hoe onzeker hun resultaten zijn, en moeten vermijden om een enkel "beste" model te verklaren tenzij het verschil statistisch significant is. Door het testproces op te schonen, kunnen zij ervoor zorgen dat de digitale artsen van de toekomst worden beoordeeld op hun werkelijke vermogen om te leren, in plaats van op hun vermogen om de antwoorden te kennen.