Draagbare apparaten zoals smartwatches zijn getransformeerd van eenvoudige fitness trackers naar krachtige instrumenten voor continue gezondheidsmonitoring, die een venster bieden op de ritmes van het lichaam dat ooit alleen in een ziekenhuis beschikbaar was. Deze gadgets verzamelen een constante stroom aan gegevens, zoals hartslag, slaapfasen en beweging, waardoor een gedetailleerde tijdlijn ontstaat van de fysiologische staat van een persoon. Deze gegevens zijn echter zelden perfect. Sensoren kunnen het contact met de huid verliezen, batterijen kunnen leeg raken of de connectiviteit kan wegvallen, waardoor er gaten in de tijdlijn ontstaan. Wanneer deze gaten optreden, gebeurt dat vaak in clusters; als de sensor het contact verliest, stopt hij met het registreren van meerdere metingen tegelijkertijd, in plaats van slechts één getal hier en daar over te slaan. Om zin te geven aan dit onvolledige beeld, gebruiken wetenschappers computermodellen om de ontbrekende stukjes in te vullen, een proces dat imputatie wordt genoemd. De kwaliteit van deze ingevulde waarden is cruciaal, omdat ze de basis vormen voor elke toekomstige gezondheidsvoorspelling, zoals het voorspellen van een epileptische aanval of het detecteren van een infectie. Als het model een foutieve gok maakt, kan de gehele gezondheidsanalyse die erop gebouwd is, gebrekkig zijn.

Jarenlang hebben onderzoekers deze invulmodellen getest met een methode die ervan uitgaat dat ontbrekende gegevens willekeurig voorkomen, zoals regendruppels die op een raam vallen. Ze namen een volledige dataset, verwijderden willekeurig enkele punten en keken of het model deze weer kon raden. Deze aanpak faalt echter in het reflecteren van hoe draagbare apparaten in werkelijkheid falen. In de echte wereld, wanneer een sensor uitvalt, laat dit vaak een lange, continue kloof achter waar veel verschillende metingen tegelijkert toevallig ontbreken. Een nieuwe studie door Skye Goodman en collega's van de Universiteit van Bristol, de Universiteit van Manchester en de Universiteit van Birmingham daagt de oude manier van testen uit. Door de gegevens te analyseren van een persoon met epilepsie die een Garmin smartwatch draagt, ontwikkelden de onderzoekers een nieuw testprotocol dat deze realistische, geclusterde gaten nabootst. Ze ontdekten dat de standaard manier van testen de werkelijke zwaktes en sterktes van de modellen verborg, en dat het simpelweg veranderen van hoe modellen worden getraind en getest, hun prestaties drastisch kon verbeteren.

De onderzoekers begonnen door de specifieke patronen van ontbrekende gegevens in hun dataset te bestuderen. Ze ontdekten dat de negen verschillende gezondheidsmetingen die door het horloge werden geregistreerd, niet onafhankelijk van elkaar faalden. In plaats daarvan waren ze nauw verbonden met de hardware die ze produceerde. Bijvoorbeeld, hartslag, intervallen tussen hartslagen en stressscores vertrouwen allemaal op een optische sensor aan de pols. Wanneer die sensor het contact verloor, verdwenen al die metingen gelijktijdig. In tegen tegenstelling hiertoe kwamen stappen tellen van een andere sensor, de versnellingsmeter, die zijn eigen uitvalpatronen had. De gaten varieerden ook enorm in lengte; sommige kenmerken hadden slechts korte, eenmalige uitvalmomenten, terwijl andere, zoals de hartslag, te lijden hadden onder lange onderbrekingen die uren konden duren. Het team realiseerde zich dat een enkele, uniforme methode voor testen deze complexiteit niet kon vangen. Ze creëerden een nieuw evaluatiesysteem dat deze realistische gaten uit de trainingsdata haalde, ze categoriseerde op lengte in typische, matige en ernstige categorieën, en injecteerde vervolgens deze exacte patronen in de testdata. Dit zorgde ervoor dat de modellen werden getest op dezelfde soort moeilijke, geclusterde ontbrekende gegevens die ze in de echte wereld zouden tegenkomen.

Toen de onderzoekers dit realistische protocol toepasten, waren de resultaten opmerkelijk. Ze testten twee geavanceerde deep learning-modellen, bekend als BRITS en SAITS, die zijn ontworpen om complexe tijdreeksgegevens te verwerken. Onder de oude, willekeurige testmethode leken deze modellen redelijk goed te presteren. Echter, toen ze werden getest tegen de realistische, geclusterde gaten, daalde hun prestatie aanzienlijk, wat onthulde dat ze overmoedig waren geweest. De studie toonde aan dat de modellen getraind waren op gegevens waarbij ontbrekende waarden willekeurig verspreid waren, waardoor ze nooit hadden geleerd hoe ze met de situatie moesten omgaan waarin een heel blok aan gegevens verdwenen was. Om dit op te lossen, paste het team het trainingsproces aan zodat de modellen tijdens hun leerfase werden blootgesteld aan dezelfde realistische, blokvormige ontbrekende gegevens. Deze eenvoudige verandering had een diepgaand effect: de foutmarge voor het BRITS-model in de meest ernstige scenario's met gaten daalde met 43 procent. Deze verbetering was geen kleine aanpassing; het transformeerde een model dat worstelde onder realistische omstandigheden naar een model dat robuust presteerde.

De studie onthulde ook dat geen enkel model het beste is in alles. De onderzoekers ontdekten dat de beste aanpak volledig afhangt van het specifieke type gegevens en de lengte van de kloof. Voor langzaam bewegende kenmerken, zoals een dagelijkse stappenteller of een 'body battery'-score die zeer geleidelijk verandert, was een eenvoudige, klassieke methode genaamd lineaire interpolatie — wat in essentie een rechte lijn trekt tussen het laatste bekende punt en het volgende — vaak het meest accuraat, vooral voor korte gaten. Echter, voor dynamische, snel veranderende signalen zoals de hartslag, waren de geavanceerde deep learning-modellen veel superieur, met name wanneer de gaten lang waren. De onderzoekers ontdekten ook dat het toevoegen van informatie over de tijd van de dag en de natuurlijke dagelijkse ritmes van het lichaam de modellen hielp om betere schattingen te maken wanneer gegevens ontbraken. Dit was vooral waar voor het BRITS-model, dat significante verbeteringen in nauwkeurigheid zag voor hartslag- en slaapgegevens wanneer deze tijdsgebonden aanwijzingen werden opgenomen.

Interessant genoeg benadrukte de studie een afweging tussen nauwkeurigheid en de vorm van de gegevens. Terwijl het ene model, de uitgebreide versie van BRITS, beter was in het raden van de exacte waarde van een ontbrekend punt, was het andere model, SAITS, beter in het behouden van de algemene statistische vorm van de gegevens. Dit onderscheid is essentieel voor medische toepassingen. Een model dat de gemiddelde waarde raadt, kan gemiddeld genomen wel accuraat zijn, maar kan er wel eens naast zitten bij het vastleggen van zeldzame, extreme gebeurtenissen, zoals een plotselinge piek in de hartslag die vaak voorafgaat aan een epileptische aanval. De onderzoekers ontdekten dat beide modellen de neiging hadden om deze extreme uitersten af te vlakken, wat potentieel de signalen kan verbergen die artsen juist nodig hebben om te zien. Dit suggereert dat hoewel de modellen krachtig zijn, ze nog steeds verfijning nodig hebben om te voorkomen dat ze kritieke, levensreddende anomalieën missen.

De bevindingen van dit artikel dragen een duidelijke boodschap over voor de toekomst van draagbare gezondheidstechnologie. De manier waarop we deze modellen testen, is even belangrijk als de modellen zelf. Het gebruik van onrealistische, willekeurige testmethoden geeft een vals gevoel van veiligheid en verhult de ware capaciteiten van de technologie. Door een protocol te adopteren dat de rommelige, geclusterde realiteit van hoe sensoren falen nabootst, kunnen onderzoekers betere strategieën ontwikkelen om de gaten op te vullen. De studie concludeert dat er niet één "beste" model is voor alle situaties; in plaats daarvan zal de meest effectieve aanpak waarschijnlijk een hybride systeem zijn dat het juiste instrument kiest voor de specifieke taak, of dat nu een eenvoudige lijn is voor trage gegevens of een complex neuraal netwerk voor dynamische signalen. Deze verschuiving in perspectief, van het zoeken naar een universele oplossing naar het begrijpen van de nuances van de gegevens, is een cruciale stap naar het bouwen van meer betrouwbare en effectieve gezondheidsmonitoringsystemen voor de toekomst.