CLAD-Net: Continual Activity Recognition in Multi-Sensor Wearable Systems

Die Arbeit stellt CLAD-Net vor, ein Framework für das kontinuierliche Lernen von menschlichen Aktivitäten in Multi-Sensor-Systemen, das durch die Kombination eines selbstüberwachten Transformers und einer CNN-basierten Wissensdistillation das Vergessen früherer Aufgaben vermeidet und auch bei knappen gelabelten Daten robuste Ergebnisse liefert.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr klugen persönlichen Trainer, der Sie beim Sport überwacht. Dieser Trainer lernt Ihre Bewegungen kennen: Wie Sie laufen, wie Sie Treppen steigen, wie Sie sitzen. Das ist toll, solange es nur um Sie geht.

Aber was passiert, wenn der Trainer plötzlich einen neuen Kunden bekommt? Oder wenn er jeden Tag einen anderen Patienten im Krankenhaus überwachen muss?

Das ist das große Problem, das in diesem wissenschaftlichen Papier namens CLAD-Net behandelt wird.

Hier ist die Geschichte in einfachen Worten, mit ein paar bildhaften Vergleichen:

Das Problem: Der vergessliche Trainer (Katastrophisches Vergessen)

Stellen Sie sich vor, Ihr Trainer lernt zuerst, wie Herr Müller joggt. Er merkt sich genau: "Ah, Herr Müller hebt die Knie hoch."
Dann kommt Frau Schmidt dazu. Sie joggt anders: "Sie wackelt mehr mit den Armen."

Wenn der Trainer nun versucht, Frau Schmidt zu lernen, passiert oft etwas Schlimmes: Er vergisst komplett, wie Herr Müller joggt! Er verwechselt die beiden oder denkt, Herr Müller wackelt jetzt auch mit den Armen. In der Technik nennt man das "Katastrophisches Vergessen".

Das ist im Gesundheitswesen ein riesiges Problem. Wenn eine KI für die Überwachung von Patienten (z. B. nach einem Schlaganfall oder bei älteren Menschen) ständig neue Patienten lernt, darf sie nicht die alten Patienten vergessen. Und sie darf auch keine alten Daten speichern, weil das die Privatsphäre verletzt (man darf die Bewegungsdaten von Patienten nicht einfach in einer Datenbank lagern).

Die Lösung: CLAD-Net (Der zweiköpfige Genie-Trainer)

Die Autoren haben eine Lösung namens CLAD-Net entwickelt. Man kann sich das wie ein Team aus zwei sehr unterschiedlichen Trainern vorstellen, die zusammenarbeiten:

1. Der "Langzeit-Gedächtnis-Trainer" (Der selbstüberwachte Transformer)

Stellen Sie sich diesen Teil als einen sehr aufmerksamen Beobachter vor, der keine Namen braucht.

• Wie er arbeitet: Er schaut sich einfach an, wie sich der Körper bewegt. Er merkt sich Muster: "Wenn der Arm hochgeht, geht der Körper vorwärts." Er lernt diese allgemeinen Regeln, ohne dass ihm jemand sagt: "Das ist jetzt Joggen" oder "Das ist Laufen".
• Die Analogie: Er ist wie ein Musikproduzent, der die Melodie der Bewegung versteht, egal wer sie spielt. Er speichert diese Melodie in einem Langzeitgedächtnis. Da er keine Namen (Labels) braucht, kann er auch Daten von Leuten verarbeiten, die nicht genau sagen, was sie tun.
• Besonderheit: Er nutzt eine Technik namens "Cross-Attention". Das ist wie ein Dirigent, der gleichzeitig auf die Geige, die Trompete und das Schlagzeug hört und merkt, wie sie zusammenspielen. Er verbindet die Sensoren am Handgelenk, am Brustkorb und am Knöchel, um ein ganzheitliches Bild zu bekommen.

2. Der "Kurzzeit-Spezialist" (Der überwachte CNN)

Dieser Trainer ist der eigentliche Klassifikator. Er sagt: "Das ist Joggen!", "Das ist Treppensteigen!".

• Das Problem: Normalerweise würde er, wenn er einen neuen Patienten lernt, den alten Patienten vergessen.
• Die Lösung: Er nutzt eine Technik namens "Wissens-Destillation".
• Die Analogie: Stellen Sie sich vor, der Kurzzeit-Spezialist hat einen alten Mentor (den Trainer vom letzten Tag). Bevor er ganz neu lernt, schaut er zu seinem Mentor: "Hey, wie hast du das damals gelöst?" Er versucht, seine Antworten so ähnlich zu halten wie die des Mentors, während er gleichzeitig den neuen Patienten lernt. So bleibt das alte Wissen erhalten, ohne dass er die alten Daten nochmal sehen muss.

Warum ist das so genial?

1. Kein Gedächtnis-Speicher nötig: Viele andere Systeme müssen alte Daten von Patienten speichern, um sie nicht zu vergessen. Das ist aber ein Datenschutz-Albtraum. CLAD-Net braucht keine alten Daten. Es speichert nur das "Wissen" (die Regeln), nicht die "Erinnerungen" (die Rohdaten).
2. Lernen mit wenig Hilfe: Oft wissen Patienten nicht genau, was sie gerade tun (z. B. "Ich bin jetzt gerade 5 Minuten gelaufen"). CLAD-Net kann trotzdem lernen, weil der "Langzeit-Trainer" auch ohne genaue Beschriftungen lernt.
3. Besser als die Konkurrenz: In Tests mit echten Daten (wie dem PAMAP2-Datensatz) hat CLAD-Net gezeigt, dass es viel besser darin ist, alte Patienten nicht zu vergessen als andere Methoden, und trotzdem neue Patienten schnell lernt.

Zusammenfassung in einem Satz

**CLAD-Net ist wie ein kluger Gesundheits-Assistent, der ein unzerstörbares Langzeitgedächtnis für Bewegungsmuster hat und gleichzeitig einen Mentor an der Seite, der ihm hilft, alte Patienten nicht zu vergessen, während er neue lernt – alles ohne die Privatsphäre der Patienten zu verletzen.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert das kritische Problem des katastrophalen Vergessens (Catastrophic Forgetting) bei der menschlichen Aktivitätserkennung (Human Activity Recognition, HAR) in tragbaren Mehrsensorsystemen.

• Kontext: In realen Gesundheitsanwendungen (z. B. Rehabilitation, Überwachung älterer Menschen) müssen Modelle kontinuierlich von neuen Patienten lernen, ohne das Wissen über vorherige Patienten zu verlieren.
• Herausforderung: Herkömmliche HAR-Modelle gehen von einer stationären Datenverteilung aus. In der Realität führt jedoch jeder neue Patient zu einer Domänenverschiebung (Distribution Shift) aufgrund individueller Bewegungsmuster, Sensorplatzierung und physiologischer Unterschiede.
• Spezifische Probleme:
  • Katastrophisches Vergessen: Wenn ein Modell sequenziell auf neue Daten (neue Patienten) trainiert wird, verschlechtert sich die Leistung auf zuvor gelernten Aufgaben drastisch.
  • Mangel an gelabelten Daten: In klinischen Studien sind Labels oft spärlich oder inkonsistent verfügbar, da die Teilnehmer die Datenerfassung nicht immer protokollieren.
  • Datenschutz: Das Speichern von Rohdaten früherer Patienten für das „Replay" (wie bei Experience Replay) ist aufgrund von Datenschutzbestimmungen (z. B. HIPAA, GDPR) oft unzulässig.

2. Methodik: CLAD-Net

Die Autoren stellen CLAD-Net (Continual Learning with Attention and Distillation) vor, ein zweikomponentiges Framework, das von komplementären Lernsystemen im menschlichen Gehirn inspiriert ist. Es kombiniert Selbstüberwachtes Lernen (Self-Supervised Learning, SSL) mit Wissensdestillation (Knowledge Distillation).

Architektur-Komponenten:

1. Selbstüberwachter Transformer (Langzeitgedächtnis):

   • Dient als robustes, domänenübergreifendes Merkmalslernen.
   • Architektur: Ein Transformer-Encoder, der Cross-Attention zwischen Sensoren verschiedener Körperteile (z. B. Hand, Brust, Knöchel) nutzt. Dies erfasst globale Abhängigkeiten und räumlich-zeitliche Muster.
   • Training: Wird ohne Labels trainiert (selbstüberwacht) mittels des BYOL-Verfahrens (Bootstrap Your Own Latent).
   • Mechanismus: Das Modell lernt invariante Repräsentationen durch den Vergleich zweier augmentierter Ansichten desselben Signals (z. B. durch Zero-Masking). Es generalisiert über verschiedene Patienten hinweg, da es nur auf der Struktur der Sensordaten basiert, nicht auf spezifischen Klassenlabels.

2. Überwachtes CNN-Klassifikator (Kurzzeitgedächtnis/Anpassung):

   • Ein Convolutional Neural Network (CNN), das für die eigentliche Aktivitätsklassifizierung zuständig ist.
   • Training: Wird überwacht trainiert, nutzt aber Wissensdestillation.
   • Mechanismus: Beim Training auf einem neuen Patienten (Task $t$) wird ein Verlustterm hinzugefügt, der die Ausgabe des aktuellen Modells mit der eines eingefrorenen Modells (aus dem vorherigen Patienten $t-1$) vergleicht (KL-Divergenz). Dies verhindert, dass sich die Entscheidungsgrenzen zu stark verschieben und das Wissen über alte Patienten verloren geht.
   • Fusion: Die Merkmalsvektoren des Transformers und des CNNs werden vor der Klassifikation fusioniert.

Trainingsprozess:

• Der Transformer lernt online und kontinuierlich aus den rohen, ungelabelten Datenströmen jedes neuen Patienten.
• Der CNN-Klassifikator wird für jeden neuen Patienten feinabgestimmt (Fine-Tuning), wobei die Destillation das alte Wissen konserviert.
• Es werden keine Daten früherer Patienten gespeichert (Exemplar-free), was den Datenschutz gewährleistet.

3. Wichtige Beiträge

1. Neues Paradigma für HAR: Die Formulierung von HAR als Domänen-incrementelles Lernen, bei dem das Modell sequenziell neue Patienten (Domänen) mit gleicher Label-Space, aber unterschiedlicher Datenverteilung lernt.
2. Hybride Architektur (CLAD-Net): Die innovative Kombination eines selbstüberwachten Transformers (für robuste, generalisierende Repräsentationen) mit einem destillierten CNN (für präzise Klassifizierung). Dies adressiert gleichzeitig das Vergessen und den Mangel an Labels.
3. Datenschutzfreundlichkeit: CLAD-Net bietet eine leistungsfähige Alternative zu Replay-basierten Methoden (wie Experience Replay), da es keine historischen Patientendaten speichern muss.
4. Robustheit bei Label-Spärlichkeit: Das System bleibt auch dann effektiv, wenn nur 10–20 % der Daten gelabelt sind, da der Transformer den Großteil des Lernens aus ungelabelten Daten bezieht.

4. Ergebnisse

Die Evaluation erfolgte auf drei Benchmark-Datensätzen (PAMAP2, DnSA, RealWorld) mit insgesamt 31 kontinuierlichen Lernströmen (verschiedene Anzahl von Patienten).

• Vergleich mit Baselines:
  • CLAD-Net übertrifft replaysfreie Baselines wie Learning without Forgetting (LwF) und Elastic Weight Consolidation (EWC) signifikant in Bezug auf finale Genauigkeit und Vergessensrate.
  • Im Vergleich zu replaysbasierten Methoden (Experience Replay, DER++) erzielt CLAD-Net zwar leicht niedrigere absolute Genauigkeit, bietet aber eine wettbewerbsfähige Leistung ohne Datenspeicherung.
• Konkrete Metriken (Beispiel PAMAP2):
  • Endgenauigkeit (Final Accuracy): 80,78 % (vs. 77,02 % bei LwF).
  • Vergessensmaß (Forgetting Measure): 11,05 % (vs. 11,41 % bei LwF).
  • Auf dem DnSA-Datensatz erreichte CLAD-Net 81,14 % Genauigkeit mit nur 8,68 % Vergessen.
• Ablationsstudien:
  • Die Entfernung des Transformers führt zu einem starken Anstieg des Vergessens.
  • Die Entfernung der Destillation verschlechtert die Gesamtperformance.
  • Cross-Attention ist überlegen gegenüber reinem Self-Attention, da sie die Interaktion zwischen verschiedenen Körperteilen besser modelliert.
  • BYOL als SSL-Loss-Funktion erwies sich als besser als SimCLR oder Barlow Twins für diese Aufgabe.
• Semi-supervised Setting: Bei nur 10–20 % gelabelten Daten behält CLAD-Net seine Überlegenheit bei und zeigt eine deutlich geringere Vergessensrate als alle anderen Baselines.

5. Bedeutung und Fazit

Das Paper demonstriert, dass die Integration von selbstüberwachtem Lernen und Wissensdestillation eine vielversprechende Lösung für die Herausforderungen von tragbaren Gesundheitsgeräten darstellt.

• Klinische Relevanz: CLAD-Net ermöglicht langlebige, zuverlässige Überwachungssysteme, die sich an neue Patienten anpassen können, ohne dass sensible historische Daten gespeichert werden müssen.
• Technischer Fortschritt: Es beweist, dass Transformer-Architekturen mit Cross-Attention effektiv genutzt werden können, um generalisierbare Repräsentationen aus ungelabelten Sensordaten zu extrahieren, was die Abhängigkeit von manuellen Labels reduziert.
• Zukunftsausblick: Die Autoren planen, das Framework auf vollständig klassen-incrementelles Lernen und komplexere Online-Szenarien mit noch mehr Patienten zu erweitern.

Zusammenfassend bietet CLAD-Net einen robusten, datenschutzkonformen und effizienten Ansatz für die kontinuierliche Aktivitätserkennung in dynamischen, realen Umgebungen.