A Comprehensive Evaluation of Distributional Shift and Concept Drift Across Preprocessing Configurations, Domain Adaptation, and Representation Learning in GDM Prediction

Zwangerschap is een periode van intense biologische verandering, en voor veel vrouwen brengt het het risico op zwangerschapsdiabetes met zich mee, een aandoening waarbij de bloedsuikerspiegels gevaarlijk hoog kunnen stijgen. Als dit onbehandeld blijft, kan dit leiden tot ernstige complicaties voor zowel moeder als kind. Om dit vroegtijdig te detecteren, vertrouwen artsen vaak op een specifieke bloedtest genaamd de orale glucosetolerantietest, waarbij een suikeroplossing wordt gedronken en wordt afgewacht om te zien hoe het lichaam reageert. Deze test is echter tijdrovend en vereist speciale apparatuur, wat het gebruik in elke kliniek of in gebieden met beperkte middelen bemoeilijkt. Daarom hebben onderzoekers jarenlang geprobeerd computerprogramma's te bouwen die kunnen voorspellen wie de ziekte zal ontwikkelen met behulp van alleen eenvoudige, routinematige informatie zoals leeftijd, gewicht en bloeddruk. De hoop is dat deze digitale hulpmiddelen als een snel, vroegtijdig waarschuwingssysteem kunnen fungeren, die risicovolle patiënten signaleren voordat ze ooit de complexe suikertest nodig hebben.

De uitdaging is echter dat deze computerprogramma's vaak perfect werken in het ziekenhuis waar ze zijn ontwikkeld, maar falen wanneer ze naar een andere kliniek worden gebracht. Dit komt doordat de mensen in verschillende ziekenhuizen niet identiek zijn; ze hebben verschillende leeftijden, lichaamsbouw en medische geschiedenissen. Wanneer een model dat getraind is op één groep mensen wordt toegepast op een andere, kan de onderliggende patronen die het heeft geleerd uiteenvallen. Dit is niet slechts een kwestie van het model dat er iets naast zit; het is een fundamentele verschuiving in hoe de gegevens zich gedragen. Onderzoekers noemen dit "concept drift", een situatie waarin de relatie tussen een risicofactor en de ziekte van de ene naar de andere plek verandert. Bijvoorbeeld, een factor die sterk diabetes voorspelt in de ene stad, kan in een andere stad geen voorspellende waarde hebben, of zelfs het tegenovergestelde effect hebben.

Een team van onderzoekers aan de Université de Moncton zette zich in om precies te onderzoeken waarom deze modellen falen wanneer ze van de ene populatie naar de andere overstappen. Ze wilden weten of het probleem simpelweg was dat de modellen niet geavanceerd genoeg waren, of dat het probleem dieper zat, geworteld in de data zelf. Om het antwoord te vinden, verzamelden ze twee grote groepen patiëntengegevens: één uit een primaire bron met meer dan sa 3.500 vrouwen, en een volledig aparte groep van meer dan 1.200 vrouwen uit een ander gebied. Vervolgens bouwden ze een enorme experimentele opzet, waarbij ze tientallen verschillende manieren om de data voor te bereiden en vijf verschillende soorten machine learning-modellen testten. Ze probeerden ook geavanceerde technieken die bedoeld zijn om de modellen te dwingen zich aan te passen aan de nieuwe populatie, en testten zelfs een moderne deep learning-benadering die probeert de "vorm" van de data op een meer abstracte manier te leren.

De resultaten waren scherp en consistent. Wanneer de modellen werden getest op de data waarop ze waren getraind, waren ze bijna perfect en identificeerden ze bijna elk geval van zwangerschapsdiabetes correct. Maar op het moment dat ze werden toegepast op de nieuwe, onafhankelijke groep vrouwen, stortte hun prestatie in. In plaats van een hoge nauwkeurigheid presteerden de modellen nauwelijks beter dan willekeurig gokken. Dit falen gebeurde ongeacht hoe complex het model was, hoe de data werd schoongemaakt, of of de onderzoekers probeerden speciale wiskundige trucs te gebruiken om de twee groepen op één lijn te brengen. Zelfs de meest geavanceerde deep learning-systemen, die meestal erg goed zijn in het vinden van verborgen patronen, leden onder hetzelfde totale falen. De enige keer dat de modellen goed werkten op de tweede groep, was wanneer de onderzoekers de data van beide groepen samenvoegden vóór de training. Dit bewees dat de modellen niet te simpel waren om de taak te leren; ze konden het simpelweg niet leren zonder eerst voorbeelden van de doelgroep te zien.

De onderzoekers ontdekten dat de belangrijkste boosdoener een specifiek kenmerk in de data was: de resultaten van de orale glucosetolerantietest. In de eerste groep vrouwen was deze test de krachtigste voorspeller van de ziekte. De computermodellen leerden er zwaar op te vertrouwen. Echter, in de tweede groep vrouwen was de relatie tussen deze test en de ziekte zo drastisch veranderd dat de test bijna nutteloos werd voor voorspelling. Omdat de computermodellen zo afhankelijk waren van dit ene stuk informatie, viel hun hele logica uiteen toen ze met de nieuwe groep te maken kregen. Toen de onderzoekers deze test volledig uit de data verwijderden, presteerden de modellen iets beter in de nieuwe setting, hoewel ze nog steeds worstelden. Dit suggereert dat voor een model bruikbaar te zijn in verschillende ziekenhuizen, het getraind moet worden zonder te vertrouwen op de specifieke diagnostische test die zo sterk varieert tussen populaties.

Een ander belangrijk bevinding betrof de manier waarop de onderzoekers met ontbrekende informatie omgingen. In medische dossiers zijn gegevens vaak incompleet; van een patiënt kan de bloeddruk worden geregistreerd, maar niet het gewicht. Het team testte drie verschillende methoden om deze hiaten op te vullen. Ze ontdekten dat de meest geavanceerde methode, die gebruikmaakt van de relaties tussen verschillende variabelen om de ontbrekende waarden te raden, het meest robuust was bij de overgang tussen groepen. Eenvoudigere methoden, die simpelweg de gemiddelde waarde invullen, hadden de neiging de delicate verbindingen tussen de datapunten te verbreken, waardoor de modellen minder betrouwbaar werden. Dit benadrukt dat de manier waarop data wordt voorbereid even cruciaal is als het model zelf.

De studie onthulde ook een verrassende wending met betrekking tot de geavanceerde technieken die werden gebruikt om deze problemen op te lossen. Eén populaire methode, die probeert de statistische eigenschappen van de twee groepen wiskundig op één lijn te brengen, maakte het voor de meeste modellen juist erger. Het verbeterde de prestaties van één specifiek type model, maar verslechterde die van de anderen. Dit suggereert dat het simpelweg proberen te dwingen dat twee verschillende populaties er statistisch gezien hetzelfde uitzien, geen magische oplossing is. Sterker nog, voor de modellen die beslissingen moeten nemen op basis van specifieke drempelwaarden, verstoorde deze uitlijning de data op een manier die het model verder in de war bracht.

Uiteindelijk wijst het werk op een duidelijke conclusie: de barrière voor het gebruik van deze voorspellende instrumenten in verschillende klinieken is niet een gebrek aan rekenkracht of slimme algoritmen. De barrière is de data zelf. De relatie tussen risicofactoren en de ziekte is niet vaststaand; deze verschuift afhankelijk van wie er wordt bestudeerd. De onderzoekers ontdekten dat als je wilt dat een model werkt in een nieuwe omgeving, je niet alleen op oude data kunt trainen en kunt hopen dat het zich aanpast. Je moet data van de nieuwe populatie opnemen in het trainingsproces, of het model tenminste herkalibreren met een kleine hoeveelheid nieuwe data. Tot die tijd is de meest betrouwbare aanpak voor een screeningsinstrument om de specifieke diagnostische test te vermijden die de meeste verwarring veroorzaakt, en in plaats daarvan te vertrouwen op de meer stabiele, basis gezondheidsindicatoren die consistent blijven tussen verschillende groepen. Deze studie dient als een herinnering dat in de wereld van medische AI, een model dat perfect werkt in de ene kamer, in de volgende kamer volledig blind kan zijn, en de enige manier om helder te zien is door te leren van de mensen die je probeert te helpen.