A Comparative Study of Deep Learning Architectures for Multi-Horizon Behavioural Forecasting for Mobile Health

De kern

Stel je voor dat je een smartwatch hebt die je leven 24/7 bijhoudt: hoeveel stappen je zet, hoe lang je naar je telefoon staart en hoe goed je slaapt. Het doel van dit onderzoek is om een "glazen bol" te bouwen die naar je gegevens uit het verleden kan kijken en kan voorspellen hoe je gedrag er morgen, volgende week of zelfs over acht dagen uit zal zien**.

De onderzoekers wilden de beste "glazen bol" (een computermodel) voor deze klus vinden. Ze testten negen verschillende soorten modellen op gegevens van meer dan 800 mensen om te zien welk model je toekomstige gewoonten het meest nauwkeurig kon voorspellen.

Hier is de uitsplitsing van hun bevindingen, met behulp van eenvoudige analogieën:

1. De Deelnemers: Wie zijn de "Glazen Bol"?

De onderzoekers lieten drie soorten modellen tegen elkaar strijden:

• De "Klassiekers" (Statistische Modellen): Dit zijn als ouderwetse weersvoorspellers die alleen naar de regen van de afgelopen paar dagen kijken om het weer van morgen te raden. Ze zijn simpel, maar missen vaak het grote plaatje.
• De "Deep Learners" (Getrainde AI): Dit zijn als studenten die een enorm tekstboek over de gewoonten van iedereen (80'0+ mensen) bestuderen om algemene regels over menselijk gedrag te leren. Ze zijn slim, maar proberen een "one-size-fits-all"-regel op iedereen toe te passen.
• De "Foundation Models" (Zero-Shot Experts): Dit zijn als genieën die al elk boek in de bibliotheek hebben gelezen (miljarden gegevenspunten) voordat ze jou zelfs maar ontmoeten. Ze hebben jouw specifieke gewoonten nog niet bestudeerd, maar ze proberen je toekomst te raden op basis van hun enorme algemene kennis, zonder dat ze jou eerst hoeven te bestuderen.

2. De Grote Ontdekking: Er is niet één beste model

De belangrijkste bevinding is dat geen enkel model altijd wint. Het hangt volledig af van de situatie, net zoals een racewagen geweldig is op een circuit maar verschrikkelijk in een sneeuwstorm.

• Het "PatchTST" Model: Dit was de sterstudent onder de "Deep Learners". Het presteerde het beste over het algemeen, vooral voor het voorspellen van stappen en schermtijd. Zie dit als de meest betrouwbare generalist.
• Het "TimesFM" Model: Dit is de "Zero-Shot" genie. Het had geen specifieke groep mensen nodig om te bestuderen om een goede indruk te maken. Sterker nog, wanneer er weinig gegevens beschikbaar waren (zoals bij een kleine groep mensen), presteerde TimesFM net zo goed als, of zelfs beter dan, de modellen die maandenlang de gegevens hadden bestudeerd. Het is als een chef die een perfect maaltijd kan koken voor een vreemde zonder ooit hun keuken te hebben gezien.
• De "Slaap" Verrassing: Het voorspellen van slaap was lastig. Omdat de slaap van mensen zo regelmatig is, was een heel simpel model dat gewoon zegt "Je slaapt hetzelfde als gisternacht" (genaamd NaiveLast) eigenlijk moeilijk te verslaan. Echter, de complexe AI-modellen hadden hier moeite mee totdat ze gepersonaliseerd werden.

3. Het Geheimwapen: "Personalisatie" (De Kleermaker)

De studie vond dat de grootste boost in nauwkeurigheid kwam door personalisatie.

Stel je de "Deep Learner" modellen voor als een kleermaker die een pak maakt op basis van het gemiddelde menselijke lichaam. Het past redelijk, maar is niet perfect.
Personalisatie is als de kleermaker die die afmetingen neemt en het pak vervolgens specifiek aanpast voor jouw schouders en taille.

• Het Resultaat: Toen de onderzoekers de modellen namen en ze "fijn afstelden" (fine-tuned) voor elk individu, werden de voorspellingen 16% tot 60% nauwkeuriger.
• Wie profiteerde het meest?
  • Slaap: De grootste winnaar. Omdat jouw slaapgewoonten erg persoonlijk en consistent zijn, maakte het aanpassen van het model een groot verschil.
  • Stappen: De kleinste winnaar. Loopgewoonten zijn willekeuriger en worden beïnvloed door externe factoren, waardoor het aanpassen van het model minder hielp.
• De Addertjes onder het gras: Je hebt genoeg gegevens nodig om dit te doen. Als je slechts een paar dagen aan gegevens hebt, is het proberen te personaliseren van het model als het proberen te snijden van een pak met een piepklein stuk stof — dit leidt tot fouten (overfitting). Je hebt minstens een paar weken aan gegevens nodig om dit te laten werken.

4. Het "Tijdshorizon" Probleem

De onderzoekers testten voorspellingen voor 1 dag vooruit, tot aan 8 dagen vooruit.

• Korte termijn (1 dag): De modellen zijn vrij goed.
• Lange termijn (8 dagen): De nauwkeurigheid daalt van nature voor iedereen, net zoals een weersverwachting minder betrouwbaar is voor een week vooruit dan voor morgen.
• De Twist: Personalisatie wordt waardevoller naarmate je verder in de toekomst kijkt. Terwijl een "gemiddeld" model faalt om jouw specifieke gedrag over 8 dagen te voorspellen, blijft het "gepersonaliseerde" model veel dichter bij de waarheid.

5. Praktische Lessen voor de echte wereld

Het artikel suggereert een eenvoudige strategie voor iedereen die deze gezondheidsapps bouwt:

1. Als je nog geen gegevens hebt: Gebruik het TimesFM "genie" model. Het werkt direct goed zonder dat het eerst van jou hoeft te leren.
2. Als je veel gegevens hebt: Gebruik het PatchTST model. Het is de beste allrounder voor het leren van een grote groep.
3. Als je de verre toekomst wilt voorspellen (3-8 dagen): Neem je beste model en personaliseer het voor de specifieke gebruiker. Dit is waar de magie gebeurt, vooral bij het voorspellen van slaap.

Samenvatting

Het artikel concludeert dat hoewel geavanceerde AI krachtig is, de beste aanpak niet alleen het kiezen van het "slimste" algoritme is. Het gaat erom de juiste tool te matchen met de gegevens die je hebt en, cruciaal, de tool voor het individu aan te passen. Net zoals een generiek gezondheidsplan voor sommigen werkt maar voor anderen niet, werkt een generiek voorspellingsmodel voor de massa, maar een gepersonaliseerd model werkt voor jou.

Technische samenvatting

Technische Samenvatting: Een Vergelijkende Studie naar Deep Learning-architecturen voor Multi-Horizon Gedragsvoorspelling voor Mobile Health

Probleemstelling
Draagbare apparaten en smartphones genereren rijke gedragsmatige tijdreeksen (bijv. aantal stappen, schermtijd, slaapduur) die potentieel bieden voor proactieve gezondheidsinterventies. Er ontbreken echter systematische vergelijkingen van moderne deep learning-voorspellingsarchitecturen voor deze specifieke datatypen. De kritieke hiaten die zijn geïdentificeerd omvatten: (1) het gebrek aan evaluatie van moderne architecturen (Transformers, State-Space Models) specif으로 voor continue gedragsvoorspelling, aangezien eerder werk zich sterk richtte op classificatie; (2) de uitdaging van kruispopulatie-generalisatie, waarbij modellen vaak niet goed overdraagbaar zijn naar nieuwe gebruikers; en (3) de afwezigheid van multi-horizon analyse, ondanks praktische toepassingen die voorspellingen over langere perioden vereisen (1–8 dagen) in plaats van single-step voorspellingen.

Methodologie
De studie benchmarkt negen voorspellingsbenaderingen over drie publieke datasets (GLOBEM, CAPTURE-24 en Continuous Wearables) met meer dan 800 deelnemers. De evaluatie bestrijkt drie verschillende modelleringsparadigma's:

1. Globaal: Een enkel model getraind op gepoolde data van alle trainingsgebruikers.
2. Foundation Models (Zero-Shot): Voorgetrainde modellen die direct worden toegepast zonder taakspecifieke training.
3. Gepersonaliseerd: Globale modellen die zijn gefinetuned op individuele gebruikersdata.

Geëvalueerde Architecturen:

• Getrainde Deep Learning: MLP, LSTM, Temporal Convolutional Networks (TCN), Transformer, Mamba en PatchTST.
• Foundation Models: TimesFM (decoder-only, voorgetraind op 100B+ tijdspunten) en Reverso (hybride convolutie/recurrentie).
• Statistische Baselines: Naive (Last), Moving Average en ARIMA.

Experimentele Opzet:

• Kenmerken: Aantal stappen, schermtijd en slaapduur.
• Horizonnen: Voorspelling geëvalueerd over 1 tot 8 dagen.
• Metrieken: Root Mean Squared Error (RMSE), Mean Absolute Error (MAE), symmetrische MAPE (sMAPE) en Skill Score (relatief ten opzichte van een Naive Last baseline).
• Personalisatiestrategie: Een tweefasige transfer learning-procedure waarbij eerst een globaal optimum wordt vastgesteld, gevolgd door fine-tuning op individuele gebruikersrecords met een verlaagde learning rate.

Belangrijkste Resultaten

1. Geen enkele dominante architectuur: De prestatierangschikking is afhankelijk van de dataset. Onder de getrainde modellen leidt PatchTST over het algemeen op dagelijkse data (GLOBEM) voor aantal stappen en schermtijd. Echter, TCN, MLP en Transformer vertonen in veel scenario's geen betekenisvolle verschillen in prestaties. Mamba vertoont robuustheid op uurbasis (CAPTURE-24).
2. Effectiviteit van Foundation Models: TimesFM evenaart of overtreft getrainde modellen in zero-shot settings, met name in scenario's met weinig data (bijv. de Wearables dataset met N=10). Het blinkt uit bij slaapduur, maar vertoont een negatieve skill op uurbasis, wat wijst op een mismatch tussen de pre-training distributie en sub-dagelijkse gezondheidssignalen. Reverso presteerde over het algemeen ondermaats.
3. Impact van Personalisatie: Fine-tuning op deelnemersniveau vermindert de per-feature RMSE met 16–60%. Het voordeel is sterk kenmerkafhankelijk:
   • Slaap: Profiteert het meest (43–60% reductie) vanwege stabiele individuele patronen.
   • Schermtijd: Matig voordeel (19–36%).
   • Aantal stappen: Minst voordeel (16–46%).
   • Horizon-afhankelijkheid: De winst door personalisatie neemt toe met de voorspellingshorizon. Bij korte horizonnen (h=1) vangen globale modellen populatiepatronen al goed op; bij langere horizonnen (h=8) is personalisatie cruciaal om individuele gedragsdrift te vangen.
4. Risico's van Dataschaarste: Personalisatie vereist voldoende data per gebruiker. Bij datasets met schaarse observaties (bijv. CAPTURE-24 met ~22 uurlijkse punten) leidde fine-tuning tot overfitting en een prestatievermindering van wel 40% bij langere horizonnen.
5. Onzekerheidskwantificatie: Empirische voorspellingsintervallen voor PatchTST waren significant smaller (bijv. ±24 min voor schermtijd) vergeleken met Naive baselines (±90 min), terwijl ze bijna nominale dekking behielden.

Betekenis en Claims
De auteurs beweren dat dit de eerste studie is die gezamenlijk moderne deep learning-architecturen, Foundation Models en personalisatiestrategieën evalueert voor multi-horizon gedragsvoorspelling vanuit wearables.

De studie biedt praktische richtlijnen voor de mobile health-gemeenschap:

• Architectuurselectie: Geen enkel model is universeel superieur; de selectie moet afhangen van de datasetgrootte, temporele granulariteit en sequentielengte. PatchTST wordt aanbevolen voor dagelijkse data met voldoende historie, terwijl Mamba veelbelovend is voor hogere frequenties.
• Toepasbaarheid van Foundation Models: TimesFM dient als een sterke zero-shot standaard wanneer er weinig per-gebruiker data beschikbaar is, maar de prestaties zijn afhankelijk van de afstemming tussen het pre-training domein en de doelgezondheidssignalen.
• Personalisatiestrategie: Fine-tuning is het meest waardevol voor kenmerken met een hoge inter-individuele regelmaat (zoals slaap) en voor langere voorspellingshorizonnen. Het vereist echter een minimale drempel van individuele data om overfitting te voorkomen.

De paper concludeert dat hoewel deep learning significante verbeteringen biedt ten opzichte van statistische baselines, de keuze van de strategie (Globaal vs. Gepersonaliseerd vs. Zero-Shot) bepaald moet worden door de specifieke karakteristieken van de data en de beoogde voorspellingshorizon.