A Comparative Study of Deep Learning Architectures for Multi-Horizon Behavioural Forecasting for Mobile Health

Stellen Sie sich vor, Sie besitzen eine Smartwatch, die Ihr Leben rund um die Uhr verfolgt: wie viele Schritte Sie machen, wie lange Sie auf Ihr Handy starren und wie gut Sie schlafen. Das Ziel dieser Forschung ist es, eine „Kristallkugel“ zu bauen, die Ihre vergangenen Daten analysiert und vorhersagt, wie Ihr Verhalten morgen, nächste Woche oder sogar in acht Tagen sein wird.

Die Forscher wollten die beste „Kristallkugel“ (ein Computermodell) für diese Aufgabe finden. Sie testeten neun verschiedene Arten von Modellen mit Daten von über 800 Personen, um zu sehen, welches Modell Ihre zukünftigen Gewohnheiten am genauesten vorhersagen kann.

Hier ist die Aufschlüsselung ihrer Ergebnisse, unter Verwendung einfacher Analogien:

1. Die Kontrahenten: Wer sind die „Kristallkugeln“?

Die Forscher ließen drei Arten von Modellen gegeneinander antreten:

• Die „Klassiker“ (Statistische Modelle): Diese sind wie altmodische Wettervorhersager, die nur auf den Regen der letzten Tage schauen, um das Wetter für morgen zu erraten. Sie sind einfach, übersehen aber oft das große Ganze.
• Die „Deep Learner“ (Trainierte KI): Diese sind wie Schüler, die ein massives Lehrbuch über die Gewohnheiten aller (800+ Menschen) studieren, um allgemeine Regeln darüber zu lernen, wie Menschen sich verhalten. Sie sind klug, versuchen aber, eine „Einheitsregel“ auf alle anzuwenden.
• Die „Foundation Models“ (Zero-Shot-Experten): Diese sind wie Genies, die bereits jedes Buch in der Bibliothek gelesen haben (Milliarden von Datenpunkten), noch bevor sie Sie überhaupt treffen. Sie haben nicht Ihre spezifischen Gewohnheiten studiert, aber sie versuchen, Ihre Zukunft basierend auf ihrem massiven Allgemeinwissen vorherzusagen, ohne Sie vorher studieren zu müssen.

2. Die große Entdeckung: Es gibt nicht die eine „beste“ Kristallkugel

Die wichtigste Erkenntnis ist, dass kein einzelnes Modell immer gewinnt. Es kommt ganz auf die Situation an, ähnlich wie ein Rennwagen auf einer Rennstrecke großartig ist, aber im Schneesturm schrecklich abschneidet.

• Das „PatchTST“-Modell: Dies war der Spitzenstudent unter den „Deep Learners“. Es schnitt insgesamt am besten ab, insbesondere bei der Vorhersage von Schritten und Bildschirmzeit. Betrachten Sie es als den zuverlässigsten Generalisten.
• Das „TimesFM“-Modell: Dies ist das „Zero-Shot“-Genie. Es musste die spezifische Gruppe von Menschen nicht studieren, um eine gute Arbeit zu leisten. Tatsächlich war TimesFM, wenn nicht viel Daten zur Verfügung standen (wie bei einer kleinen Gruppe von Menschen), genauso gut oder sogar besser als die Modelle, die Monate damit verbracht hatten, die Daten zu studieren. Es ist wie ein Koch, der ein perfektes Essen für einen Fremden kochen kann, ohne jemals dessen Küche gesehen zu haben.
• Die „Schlaf“-Überraschung: Die Vorhersage des Schlafs war knifflig. Da der Schlaf der Menschen sehr regelmäßig ist, war ein sehr einfaches Modell, das einfach nur sagt: „Du wirst genauso schlafen wie letzte Nacht“ (genannt NaiveLast), tatsächlich schwer zu schlagen. Die komplexen KI-Modelle hatten hier jedoch Schwierigkeiten, bis sie personalisiert wurden.

3. Die Geheimwaffe: „Personalisierung“ (Der Schneider)

Die Studie fand heraus, dass der größte Schub an Genauigkeit durch Personalisierung kam.

Stellen Sie sich die „Deep Learner“-Modelle wie einen Schneider vor, der einen Anzug basierend auf dem Durchschnittskörper macht. Er passt ganz gut, ist aber nicht perfekt.
Personalisierung ist wie der Schneider, der diese Maße nimmt und den Anzug dann speziell für Ihre Schultern und Taille anpasst.

• Das Ergebnis: Als die Forscher die Modelle nahmen und sie für jede einzelne Person „feinabstimmten“, wurden die Vorhersagen um 16 % bis 60 % genauer.
• Wer profitierte am meisten?
  • Schlaf: Der größte Gewinner. Da Ihre Schlafgewohnheiten sehr persönlich und beständig sind, machte die Anpassung des Modells einen riesigen Unterschied.
  • Schritte: Der kleinste Gewinner. Gehgewohnheiten sind zufälliger und werden von äußeren Faktoren beeinflusst, sodass die Anpassung des Modells weniger half.
• Der Haken: Man braucht genug Daten, um dies zu tun. Wenn man nur wenige Tage an Daten hat, ist der Versuch, das Modell zu personalisieren, wie der Versuch, einen Anzug mit einem winzigen Stück Stoff zuzuschneiden – das führt zu Fehlern (Overfitting). Man benötigt mindestens ein paar Wochen an Daten, damit dies funktioniert.

4. Das „Zeithorizont“-Problem

Die Forscher testeten Vorhersagen für 1 Tag im Voraus, bis hin zu 8 Tagen im Voraus.

• Kurzfristig (1 Tag): Die Modelle sind ziemlich gut.
• Langfristig (8 Tage): Die Genauigkeit sinkt für alle natürlich, genau wie eine Wettervorhersage eine Woche im Voraus weniger zuverlässig ist als für morgen.
• Die Wendung: Personalisierung wird wertvoller, je weiter in die Zukunft man blickt. Während das „Durchschnittsmodell“ nicht in der Lage ist, Ihr spezifisches Verhalten in 8 Tagen vorherzusagen, bleibt das „personalisierte“ Modell viel näher an der Wahrheit.

5. Praktische Erkenntnisse für die reale Welt

Das Paper schlägt eine einfache Strategie für jeden vor, der solche Gesundheits-Apps entwickelt:

1. Wenn Sie noch keine Daten haben: Nutzen Sie das „TimesFM“-Genie-Modell. Es funktioniert sofort gut, ohne Sie zuerst lernen zu müssen.
2. Wenn Sie viele Daten haben: Nutzen Sie das „PatchTST“-Modell. Es ist der beste Allrounder, um von einer großen Gruppe zu lernen.
3. Wenn Sie die ferne Zukunft vorhersagen wollen (3–8 Tage): Nehmen Sie Ihr bestes Modell und personalisieren Sie es für den spezifischen Nutzer. Hier geschieht die Magie, besonders bei der Vorhersage des Schlafs.

Zusammenfassung

Das Paper kommt zu dem Schluss, dass, obwohl fortgeschrittene KI leistungsstark ist, der beste Ansatz nicht einfach darin besteht, den „klügsten“ Algorithmus auszuwählen. Es geht vielmehr darum, das richtige Werkzeug auf die vorhandenen Daten abzustimmen und entscheidend, das Werkzeug für das Individuum anzupassen. Genau wie ein generischer Gesundheitsplan für einige funktioniert, aber nicht für alle, funktioniert ein generisches Vorhersagemodell für die Masse, aber ein personalisiertes Modell funktioniert für Sie.