Avoiding Data Leakage in Machine Learning Models for Diabetes and Hypertension Classification Using Routine Occupational Health Screening Data
Deze studie toont aan dat het opnemen van uitkomst-definiërende voorspellers zoals nuchtere bloedglucose en bloeddruk in machine learning-modellen voor de classificatie van diabetes en hypertensie ernstige datalekken en kunstmatig opgeblazen prestaties veroorzaakt, terwijl modellen die deze variabelen uitsluiten met behulp van routinematige arbeidsgerelateerde screeningsgegevens een matige maar klinisch realistische nauwkeurigheid bereiken, terwijl ze tegelijkertijd de voorspellende waarde van factoren zoals leeftijd, BMI en psychische nood benadrukken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van de moderne geneeskunde wordt er steeds vaker van computers gevraagd om naar de gegevens van een patiënt te kijken en te voorspellen of zij een ernstige ziekte zullen ontwikkelen, zoals diabetes of een hoge bloeddruk. Dit vakgebied, bekend als machine learning, werkt door een computer duizenden voorbeelden te voeden van mensen die ziek zijn en mensen die gezond zijn, samen met een lange lijst met metingen zoals leeftijd, gewicht en bloedtestresultaten. De computer probeert vervolgens verborgen patronen te vinden die deze metingen verbinden met de ziekte. Als de computer goed leert, hopen artsen dat het risicogezonen vroeg kan opsporen, bijvoorbeeld tijdens een routinecontrole op het werk, waardoor preventie mogelijk is voordat een ziekte zich nestelt. Er bestaat echter een gevaarlijke valstrik in dit proces genaamd data leakage (datalek). Dit gebeurt wanneer de computer per ongeluk het antwoordmodel krijgt terwijl hij nog probeert te leren. Als de computer een bloedsuikerspiegel ziet die al hoog is en vervolgens wordt gevraagd of de persoon diabetes heeft, dan voorspelt hij eigenlijk niets; hij leest simpelweg de definitie van de ziekte. Dit creëert een vals gevoel van vertrouwen, waardoor de computer een genie lijkt terwijl hij in werkelijkheid alleen maar ongeldige gegevens gebruikt.
Een team van onderzoekers in Iran zette zich scharpe schijn om een systeem te bouwen dat diabetes en hypertensie kon identificeren bij universitaire werknemers aan de hand van de gegevens die werden verzameld tijdens hun jaarlijkse gezondheidscontroles. Ze wilden zien of deze routinematige gegevens, die onder meer lichaamsmetingen, bloedtesten en zelfs vragen over stress en stemming bevatten, konden helpen om mensen met een risico op te sporen. Maar hun belangrijkste doel was niet alleen het bouwen van een model, maar het bewijzen van hoe gemakkelijk onderzoekers zichzelf kunnen misleiden door te denken dat hun modellen perfect zijn. Ze namen een grote groep personeelsdossiers en verdeelden deze in twee groepen om hun ideeën te testen. Eerst bouwden ze een model dat elk beschikbaar stukje informatie bevatte, inclussief de specifieke bloedsuiker- en bloeddrukcijfers die artsen gebruiken om de ziekten te diagnosticeren. Onverwacht presteerde dit model bijna perfect; het identificeerde bijna elk geval correct. Het leek op een doorbraak.
Vervolgens deden de onderzoekers iets cruciaals. Ze bouwden een tweede model dat strikt verboden was om naar die specifieke bloedsuiker- en bloeddrukcijfers te kijken. Ze dwongen de computer om zich uitsluitend te baseren op de andere aanwijzingen, zoals leeftijd, lichaamsomvang en psychologische stressniveaus, om zijn gok te doen. Dit tweede model vertegenwoordigde wat er in de echte wereld zou gebeuren, waar een arts misschien een risico wil voorspellen voordat de definitieve diagnostische test wordt uitgevoerd. Toen ze de twee vergeleken, was het verschil treffend. Het eerste model, dat over het antwoord beschikte, beweerde in 96 procent van de gevallen gelijk te hebben. Het tweede model, dat het zware werk van werkelijke voorspelling moest doen, daalde naar een nauwkeurigheid van ongeveer 78 procent. Dit gat van bijna twintig procentpunten was geen kleine fout; het was een enorme inflatie die volledig werd veroorzaakt doordat de computer in de antwoorden keek. De studie toonde aan dat veel eerdere claims van zeer nauwkeurige medische voorspellingen gebouwd kunnen zijn op dezezelfde wankele fundering, waarbij de computer simpelweg de definitie van de ziekte las in plaats van deze te leren herkennen.
Naast het blootleggen van deze methodologische fout, ontdekten de onderzoekers dat het model zonder het antwoord nog steeds waarde had. Zelfs zonder de directe bloeddruk- of suikerwaarden kon de computer nog steeds met een redelijke mate van nauwkeurigheid onderscheid maken tussen gezonde en risicovolle werknemers. Nog verrassender was dat de computer leerde dat psychologische factoren krachtige aanwijzingen waren. Variabelen die algemene psychologische stress, depressie en angst maten, behoorden tot de belangrijkste voorspellers voor beide aandoeningen en bleken even belangrijk als fysieke maten zoals middelomtrek of de body-massindex. Dit suggereert dat de geest en het lichaam diep met elkaar verbonden zijn bij deze ziekten, en dat de mentale staat van een werknemer een vitale vroege waarschuwing kan zijn voor fysieke gezondheidsproblemen.
De onderzoekers merkten zorgvuldig op dat hun bevindingen een startpunt zijn, en geen voltooide oplossing. De studie werd uitgevoerd op een relatief kleine groep werknemers van één enkele universiteit, en de modellen zijn nog niet getest op verschillende groepen mensen op andere plaatsen. De prestaties van het realistische model zijn, hoewel nuttig voor het indelen van mensen in risicogroepen, niet hoog genoeg om een diagnose van een arts te vervangen. De werkelijke waarde van dit werk ligt in de waarschuwing aan de wetenschappelijke gemeenschap: als je wilt weten of een voorspellingsinstrument daadwerkelijk werkt, moet je het testen zonder het de cijfers te laten zien die de ziekte definiëren. Door precies te laten zien hoeveel prestatieverlies optreedt wanneer deze regel wordt gevolgd, biedt de studie een helder en eerlijk kader voor toekomstig onderzoek. Het herinnert ons eraan dat in de race om kunstmatige intelligentie voor de gezondheid te gebruiken, de belangrijkste stap is ervoor te zorgen dat de computer de waarheid leert, en niet alleen de toets uit het hoofd leert.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.