DeepConvContext: A Multi-Scale Approach to Timeseries Classification in Human Activity Recognition

Stellen Sie sich vor, Ihre Smartwatch oder Ihr Fitness-Tracker wäre ein winziger, superaufmerksamer Detektiv auf Ihrem Handgelenk. Seine Aufgabe ist es, herauszufinden, was Sie gerade tun, indem er die winzigen Erschütterungen, Stöße und Schwankungen Ihres Körpers fühlt. Dieses wissenschaftliche Feld wird als Human Activity Recognition (HAR) bezeichnet. Um seinen Job zu erledigen, betrachtet der Detektiv Ihre Bewegungen nicht als einen einzigen, langen, verschwommenen Strom; stattdessen zerstückelt er Ihre Bewegung in winzige, mundgerechte Häppchen, sogenannte „Fenster“ (Windows), wie bei einer Serie von schnellen Schnappschüssen. Lange Zeit betrachtete der Detektiv jeden Schnappschuss völlig isoliert und fragte: „Ist das Gehen? Ist das Laufen?“, ohne sich daran zu erinnern, was unmittelbar vor oder nach dem Schnappschuss passiert war. Dies machte den Detektiv etwas tollpatschig, da er oft verwirrt war, wenn man sich gerade mitten im Wechsel zwischen zwei Aktivitäten befand. Die große Frage, mit der Forscher schon lange ringen, lautet: Wie können wir unseren Detektiv dazu bringen, die Punkte zwischen diesen Schnappschüssen zu verbinden, damit er die ganze Geschichte versteht und nicht nur die isolierten Bilder?

Hier kommt DeepConvContext ins Spiel, eine neue und clevere Architektur, die von Marius Bock und seinem Team vorgeschlagen wurde und versucht, dieses „Verbinden-der-Punkte“-Problem zu lösen. Anstatt jedes Zeitfenster wie einen Fremden zu behandeln, ordnet diese neue Methode sie in einer Sequenz an, ähnlich einer Reihe von Dominosteinen, sodass das Modell lernen kann, wie eine Bewegung zur nächsten führt. Die Forscher fanden heraus, dass das System viel intelligenter wird, wenn man den Lernprozess in zwei Teile aufteilt – einen Teil, der die Details innerhalb eines einzelnen Fensters untersucht, und einen zweiten Teil, der untersucht, wie diese Fenster zueinander in Beziehung stehen. In Tests über sechs verschiedene Datensätze hinweg deutete dieser Ansatz auf eine signifikante Verbesserung hin, indem er die Genauigkeit der Aktivitätserkennung um durchschnittlich 5 % steigerte und den Zeitablauf der Aktivitäten viel glatter und weniger „sprunghaft“ machte als bisherige Methoden. Es stellt sich heraus, dass ein Roboter, um menschliche Bewegungen zu verstehen, die vergangenen Sekunden genauso gut im Gedächtnis behalten muss, wie er den gegenwärtigen Moment wahrnimmt.

Das neue Trainingsregime des Detektivs

Seit Jahrzehnten ist die Standardmethode, um Computern das Erkennen menschlicher Bewegungen beizubringen, ein wenig wie ein Spiel des „Snap“. Man nimmt einen kontinuierlichen Strom von Sensordaten (wie das Wackeln eines Beschleunigungssensors) und schneidet ihn in überlappende Fenster. Der Computer betrachtet ein Fenster, errät die Aktivität und vergisst sie sofort wieder, um das nächste Fenster zu betrachten. Dies ist der „Gleitfenster-Ansatz“ (Sliding Window). Während dies für einfache Aufgaben ganz gut funktioniert, hat es einen entscheidenden Nachteil: Es erzeugt einen fragmentierten Zeitstrahl. Wenn Sie beispielsweise von einem Stuhl aufstehen, sieht der Computer vielleicht ein „Sitzen“-Fenster, dann ein „Stehen“-Fenster und gerät in der Mitte durcheinander, weil er den Übergang nicht als kontinuierlichen Fluss wahrnimmt.

Die Autoren dieser Arbeit argumentieren, dass die alte Art, diese Modelle zu trainieren, so ist, als würde man versuchen, eine Sprache zu lernen, indem man immer nur ein Wort nach dem anderen liest, ohne jemals einen ganzen Satz zu sehen. Sie untersuchten, wie andere Fachbereiche, insbesondere die Computer Vision (wo KI Videos analysiert, um Aktionen zu finden), dies handhaben. In der Videoanalyse trennen KI-Modelle oft „lokale“ Merkmale (was gerade jetzt passiert) von „globalem“ Kontext (was vorher und nachher geschah). Das Team entschied sich, diese Idee auf tragbare Sensoren zu übertragen.

Sie führten DeepConvContext ein, einen zweistufigen Detektiv:

1. Der lokale Detektiv (Intra-Fenster): Zuerst betrachtet das System ein einzelnes Datenfenster, genau wie die alten Modelle. Es verwendet ein spezielles neuronales Netzwerk (eine Mischung aus Convolutional Neural Networks und LSTMs), um die Details innerhalb dieses spezifischen Zeitabschnitts zu erfassen. Es erstellt eine Zusammenfassung, einen „Merkmalsvektor“ (Feature Vector), der wie eine kurze Notiz ist, die beschreibt, was in diesem Fenster passiert ist.
2. Der Geschichtenerzähler (Inter-Fenster): Das ist der magische Teil. Anstatt diese Notiz wegzuwerfen, speist das System eine Sequenz dieser Notizen in ein zweites, größeres Gehirn (ein weiteres LSTM) ein. Dieses zweite Gehirn betrachtet die Kette von Notizen, um den Fluss zu verstehen. Es fragt sich: „Okay, die letzte Notiz besagte ‚Gehen‘ und die aktuelle Notiz sagt ‚Stehen‘, also muss dies der Moment des Anhaltens sein.“

Warum die alten Tricks nicht ganz funktionierten

Vor dieser Entwicklung versuchten einige Forscher, das „Vergesslichkeitsproblem“ durch eine Methode namens CausalBatch zu lösen. Dies war so, als würde man den Detektiv trainieren, indem man ihm eine Gruppe von Fenstern zeigt und ihm sagt: „Erinnere dich an den verborgenen Zustand (Hidden State) aus der letzten Gruppe, damit du eine Verbindung zur nächsten herstellen kannst.“ Die Autoren dieser Arbeit argumentieren, dass dieser Ansatz etwas unpassend ist. Es ist, als würde man einen Schüler bitten, einen Aufsatz zu schreiben, in dem die Absätze miteinander verbunden sind, aber der Lehrer bewertet die Absätze nur danach, wie gut sie für sich allein stehen. Das Modell wird angewiesen, langfristige Verbindungen zu lernen, aber das Trainingssignal (das Feedback, das es erhält) bezieht sich nur auf kurzfristige Muster.

DeepConvContext behebt dies, indem es die Trainingsdaten selbst verändert. Anstatt Fenster zufällig zu mischen, greift es eine zusammenhängende Sequenz von Fenstern aus dem Zeitablauf einer Person ab und behandelt diese gesamte Sequenz als einen einzigen Trainings-Batch. Dies stellt sicher, dass das Modell, wenn es lernt, die Fenster miteinander zu verbinden, tatsächlich eine echte, kontinuierliche Geschichte sieht.

Die Ergebnisse: Glattere Geschichten, weniger Fehler

Das Team testete seine neue Architektur auf sechs weit verbreiteten Datensätzen, die von einfachen Aufgaben wie Gehen und Laufen bis hin zu komplexen Aufgaben wie „Sitzen-zu-Stehen“-Übergängen und sogar laborbasierten Aktivitäten reichten. Sie verglichen DeepConvContext mit dem Standard-DeepConvLSTM, der CausalBatch-Methode und einer „flachen“ (Shallow) Version des Modells.

Die Ergebnisse waren vielversprechend. Im Durchschnitt verbesserte DeepConvContext den F1-Score (ein Maß für die Genauigkeit) gegenüber den Standardmethoden um 5 %. In bestimmten Fällen war die Verbesserung sogar so hoch wie 21 %. Noch wichtiger war, dass das Modell wesentlich kohärentere Zeitabläufe lieferte. Die Forscher maßen dies mit der Metrik mAP (mean Average Precision), die prüft, wie gut die vorhergesagten Aktivitätssegmente mit den tatsächlichen übereinstimmen. DeepConvContext erzielte bis zu 18 Punkte mehr als das flache DeepConvLSTM.

Visuell bedeutet dies, dass die alten Modelle oft „flackernde“ Ergebnisse lieferten – sie erkannten in einem Bruchteil einer Sekunde erst „Gehen“, dann „Laufen“ und dann wieder „Gehen“, obwohl die Person gerade eine einzige fließende Bewegung ausführte. DeepConvContext hingegen produzierte saubere, solide Blöcke von Aktivitäten, identifizierte Übergänge korrekt und vermied die Verwirrung, „Nichts“-Fenster (NULL-Fenster) fälschlicherweise als eine Aktivität einzustufen.

Die geheime Zutat: LSTMs vs. moderne High-Tech-Methoden

In der Welt der KI gibt es viel Hype um „Transformer“ und „Attention“-Mechanismen – ausgeklügelte Werkzeuge, die es Modellen ermöglichen, augenblicklich jeden Teil einer Sequenz zu betrachten, unabhängig von der Distanz. Viele Forscher nehmen an, dass diese immer besser sind. Die Autoren führten jedoch Experimente durch, bei denen sie ihren zweiten „Geschichtenerzähler“-Kern gegen diese Attention-basierten Modelle austauschten.

Überraschenderweise deuteten die Ergebnisse darauf hin, dass die älteren, sequentiellen LSTM-Netwerke (Long Short-Term Memory) tatsächlich besser abschnitten. Die LSTMs übertrafen die Attention-basierten Modelle um bis zu 5 % im F1-Score. Die Autoren vermuten, dass, da menschliche Bewegungen von Natur aus sequentiell und geordnet sind (man muss den Fuß erst heben, bevor man ihn wieder aufsetzt), die „lokale“ Voreingenommenheit der LSTMs besser zum Problem passt als die „globale“ Sichtweise von Attention-Mechanismen, die sich manchmal von den falschen Teilen der Sequenz ablenken lassen können.

Geschwindigkeit und Effizienz

Eine häufige Sorge bei neuen, komplexen Modellen ist, dass sie für die Echtzeitnutzung auf einer Uhr oder einem Telefon zu langsam sein könnten. Die Autoren haben dies sorgfältig geprüft. Obwohl DeepConvContext mehr Parameter hat (etwa dreimal so viele wie die CausalBatch-Methode), verarbeitet es die Daten fast genauso schnell. Es erreichte eine Latenz von 0,96 ms (Millisekunden) pro Batch, was mit den älteren, einfacheren Methoden vergleichbar ist. Das bedeutet, dass der neue „Super-Detektiv“ Sie nicht auf sich warten lässt; er kann Ihre Aktivität immer noch in Echtzeit vorhersagen.

Was dies für die Zukunft bedeutet

Das Paper kommt zu dem Schluss, dass DeepConvContext ein solider Schritt nach vorn ist, um das „Sliding-Window-Problem“ zu lösen. Durch die Trennung des Lernens lokaler Details vom globalen Kontext und durch das Training auf kontinuierlichen Sequenzen statt auf gemischten Stücken lernt das Modell, eine bessere Geschichte über menschliche Bewegungen zu erzählen.

Die Autoren merken an, dass sich ihr Fokus zwar auf die Online-Vorhersage (Echtzeit) konzentrierte, die Methode aber auch für die Offline-Analyse funktionieren könnte. Sie weisen zudem darauf an, dass dieser Ansatz nicht nur für eine spezifische Art von Sensor geeignet ist, sondern auch auf andere Modelle wie TinyHAR oder Attend-and-Discriminate angepasst werden kann. Dennoch bleiben sie vorsichtig und schlagen vor, dass die Fachwelt diese Ideen weiterhin in verschiedenen Szenarien testen sollte. Letztendlich hoffen sie, dass dieser Multi-Skala-Ansatz zu einem Standardwerkzeug wird, das unseren digitalen Detektiven hilft, nicht nur zu verstehen, was wir tun, sondern wie wir es tun – einen fließenden Übergang nach dem anderen.