FED-HARGPT: A Hybrid Centralized-Federated Approach of a Transformer-based Architecture for Human Context Recognition

Die Studie stellt FED-HARGPT vor, einen hybriden zentralisierten-föderierten Ansatz auf Basis von Transformer-Architekturen, der die Genauigkeit und Robustheit der menschlichen Aktivitätserkennung unter Wahrung der Datenschutzanforderungen in nicht-IID-Szenarien verbessert.

Das Wesentliche

📱 Die Geschichte von der „Schwarm-Intelligenz" für deine Handytasche

Stell dir vor, dein Smartphone oder deine Smartwatch ist wie ein kleiner Detektiv, der den ganzen Tag beobachtet, was du tust: Gehst du? Läufst du? Liegst du im Bett? Oder bist du gestresst?

Früher, um diesen Detektiv schlau zu machen, mussten alle Daten von Millionen Menschen in eine riesige Zentrale geschickt werden. Das war wie ein riesiger Umzug, bei dem jeder seine privaten Tagebücher in ein großes Lagerhaus bringt. Das Problem? Niemand möchte seine intimsten Geheimnisse (wo er schläft, wie er sich bewegt) mit einer fremden Firma teilen.

Die Forscher aus Brasilien haben sich eine clevere Lösung ausgedacht, die sie FED-HARGPT nennen. Hier ist, wie das funktioniert, ohne komplizierte Fachbegriffe:

1. Der „Lehrer" und die „Schüler" (Hybrid-Ansatz)

Stell dir vor, es gibt einen Super-Lehrer (das ist der zentrale Computer). Dieser Lehrer hat zuerst ein riesiges Buch mit Beispielen gelesen, das von 48 verschiedenen Menschen stammt. Er hat gelernt, wie sich „Laufen" von „Sitzen" unterscheidet. Er ist jetzt schon ziemlich schlau, aber noch nicht perfekt für jeden einzelnen Menschen.

Jetzt kommen die Schüler (dein Handy, die Smartwatches von 60 anderen Leuten).

• Das alte Problem: Wenn jeder Schüler seine eigenen Notizen (Daten) zum Lehrer schickt, ist das ein Datenschutz-Albtraum.
• Die neue Lösung (Federated Learning): Der Lehrer schickt nicht die Schüler zu sich. Stattdessen schickt er seinen Lehrplan zu den Schülern!

Jeder Schüler lernt zu Hause mit seinen eigenen Notizen. Er verbessert den Lehrplan ein wenig und schickt nur die neuen Erkenntnisse (nicht die Notizen selbst!) zurück zum Lehrer. Der Lehrer fasst alle neuen Erkenntnisse zusammen und macht den Lehrplan noch besser. Dann geht der verbesserte Lehrplan wieder zu allen Schülern.

Der Vergleich: Stell dir vor, 60 Köche lernen ein Rezept. Jeder kocht zu Hause mit seinen eigenen Zutaten. Statt alle Zutaten in eine große Küche zu bringen, schicken sie nur ihre neuen Tricks (z. B. „Ich habe etwas mehr Salz genommen") an den Chefkoch. Der Chefkoch verbessert das Rezept, und alle anderen Köche nutzen das neue, bessere Rezept. Niemand muss seine private Küche öffnen.

2. Der „Super-Gehirn"-Baustein (Transformer & GPT)

Normalerweise nutzen Handys einfache Gehirne, um Bewegungen zu erkennen. Diese Forscher haben aber einen Super-Baustein verwendet, der eigentlich für das Verstehen von menschlicher Sprache entwickelt wurde (ähnlich wie Chatbots, aber kleiner und schneller).

Stell dir diesen Baustein wie einen polyglotten Übersetzer vor. Er ist sehr gut darin, Zusammenhänge zu verstehen. Wenn er sieht, dass das Handy erst schnell wackelt (Laufen) und dann plötzlich ganz ruhig wird (Stehen), versteht er den Kontext besser als ein einfacher Rechner.

Die Forscher haben diesen „Sprach-Übersetzer" so umgebaut, dass er statt Wörter eher Bewegungen versteht. Das ist wie ein Übersetzer, der plötzlich nicht mehr Französisch ins Deutsche, sondern „Laufen" in „Sport" übersetzt.

3. Das große Chaos (Die Daten sind nicht gleich)

Ein großes Problem bei solchen Experimenten ist, dass nicht jeder Mensch gleich ist.

• Person A läuft jeden Tag 10 km.
• Person B sitzt den ganzen Tag im Büro.
• Person C hat eine sehr unregelmäßige Routine.

In der Technik nennt man das nicht-IID (nicht gleich verteilt). Es ist, als würde man versuchen, eine Schulschule zu gründen, in der einige Kinder nur Mathematik können, andere nur Musik, und wieder andere gar nicht zur Schule gehen.

Die Studie zeigt: Selbst mit diesem „Chaos" funktioniert die Methode super! Der „Schwarm" (Federated Learning) ist so stark, dass er lernt, alle diese unterschiedlichen Menschen zu verstehen, ohne dass jemand seine Daten preisgeben muss.

4. Das Ergebnis: Ein Gewinn für alle

Die Forscher haben herausgefunden:

• Datenschutz: Deine Daten bleiben sicher auf deinem Handy. Niemand sieht, was du tust.
• Genauigkeit: Das System wird fast so gut wie die alten Systeme, bei denen alle Daten gesammelt wurden. In einigen Fällen war es sogar besser!
• Persönlichkeit: Da das System auf deinem Handy lernt, passt es sich genau an deine Art zu laufen oder zu sitzen an.

🎯 Das Fazit in einem Satz

Die Forscher haben einen Weg gefunden, wie Millionen von Handys gemeinsam ein super-intelligentes Bewegungserkennungs-System lernen können, ohne dass auch nur ein einziger privater Datensatz das Haus verlässt – wie ein riesiges Team von Detektiven, die ihre Fälle gemeinsam lösen, ohne sich jemals zu treffen.

Das ist ein großer Schritt für die Zukunft, besonders im Gesundheitswesen, wo es darauf ankommt, dass unsere sensiblen Daten sicher bleiben, aber trotzdem lebensrettende Erkenntnisse liefern können.

Technische Zusammenfassung

1. Problemstellung und Motivation

Das Paper adressiert die Herausforderung der Human Activity Recognition (HAR) – der automatischen Erkennung menschlicher Aktivitäten – unter Berücksichtigung von Datenschutz und Datenheterogenität.

• Datenschutz: Durch die Allgegenwart von Edge-Geräten (Smartphones, Wearables) entstehen enorme Mengen privater Sensordaten (Beschleunigungsmesser, Gyroskope). Das zentrale Sammeln dieser Daten für das Training von KI-Modellen birgt erhebliche Datenschutzrisiken.
• Datenverteilung (Non-IID): In realen Szenarien sind Daten oft nicht unabhängig und identisch verteilt (Non-IID). Aktivitäten variieren stark zwischen Nutzern, und die Datenverteilung ist oft unausgewogen (z. B. mehr Daten für „Gehen" als für „Laufen").
• Limitationen bestehender Ansätze: Herkömmliche HAR-Modelle basieren oft auf zentralisiertem Training oder einfacheren Architekturen (MLP, CNN), die Schwierigkeiten haben, komplexe Kontexte in nicht-zentralisierten Umgebungen zu generalisieren.

2. Methodik: FED-HARGPT

Die Autoren schlagen einen hybriden Ansatz vor, der zentralisiertes Pre-Training mit Federated Learning (FL) kombiniert, um ein auf Transformern basierendes Modell zu trainieren.

A. Datensatz

Es wurde der ExtraSensory-Datensatz verwendet:

• Umfang: Über 300.000 Minuten realer Aufzeichnungen von 60 Teilnehmern.
• Besonderheit: Die Daten wurden in unkontrollierten Umgebungen gesammelt (unrestricted), was zu einer starken Klassenungleichheit (Imbalance) und Non-IID-Verteilung führt.
• Ziel: Erkennung von 51 verschiedenen Aktivitäten (Multi-Label-Klassifikation).

B. Modellarchitektur (FED-HARGPT)

Das Kernstück ist eine angepasste Version des GPT-2-Transformers:

• Anpassungen: Da GPT-2 für Text ausgelegt ist, wurde die Embedding-Schicht entfernt und durch eine trainierbare lineare Schicht ersetzt, um kontinuierliche Sensordaten zu verarbeiten.
• Erweiterungen: Zwei zusätzliche Schichten wurden hinzugefügt: eine lineare Schicht zur Verfeinerung und eine Ausgabeschicht mit tanh-Aktivierung, die der Anzahl der 51 Labels entspricht.
• Effizienz: Die Wahl von GPT-2 (im Vergleich zu größeren LLMs) ermöglichte den Einsatz auf ressourcenbeschränkten Hardware-Umgebungen und erleichterte das Deployment auf Edge-Geräten.

C. Trainingsstrategie (Hybrid-Ansatz)

Das Training erfolgte in zwei Phasen, um die Konvergenz im Federated Learning zu beschleunigen:

1. Zentralisiertes Pre-Training (Baseline): Ein globales Modell wurde mit Daten von 48 Teilnehmern zentral trainiert. Dies diente als Startpunkt (Initialisierung der Gewichte) für das FL.
2. Federated Fine-Tuning:
   • Framework: Nutzung von Flower (ein FL-Framework).
   • Setup: Die Daten der 60 Teilnehmer wurden in 5 Folds (Kreuzvalidierung) aufgeteilt. In jedem Fold dienten 12 Teilnehmer als Clients, die restlichen 48 als Basis für das Pre-Training.
   • Strategie: FedAvg (Federated Averaging) wurde über 4 Runden mit 2000 lokalen Epochen pro Client angewendet.
   • Hyperparameter-Optimierung: Ein Random Search wurde durchgeführt, um die optimale Anzahl an Transformer-Layern, die Hidden-Size und die Lernrate zu finden (Optimierung auf Balanced Accuracy).

3. Wichtige Beiträge

1. Leichtgewichtiges Transformer-Modell: Präsentation eines auf GPT-2 basierenden, feinabgestimmten Modells für ein unbeschränktes HAR-Problem.
2. Hybrider Ansatz: Entwicklung einer Strategie, die zentralisiertes Pre-Training mit Federated Learning kombiniert, um einen Kompromiss zwischen hoher Leistung, Datenschutz und Personalisierung in Non-IID-Szenarien zu finden.
3. Evaluation auf unbeschränkten Daten: Umfassende Analyse auf dem ExtraSensory-Datensatz, bei dem die Teilnehmer ihre Geräte im Alltag nutzten, ohne spezifische Anweisungen zu befolgen (hohe Realitätsnähe).

4. Ergebnisse

Die experimentellen Ergebnisse zeigen vielversprechende Leistungen:

• Leistung im Vergleich zum State-of-the-Art (SotA):
  • Der durchschnittliche Balanced Accuracy (BA) des FED-HARGPT-Modells lag bei 0,747.
  • Dies liegt leicht unter den besten zentralisierten SotA-Ergebnissen (ca. 0,772–0,773 für MLP-basierte Modelle), aber der beste einzelne Client erreichte eine BA von 0,909.
  • Etwa ein Drittel der Clients (19 von 60) erreichte eine Leistung, die gleichwertig oder besser als die etablierten SotA-Werte war.
• Robustheit: Trotz der Non-IID-Natur und der Datenungleichheit zeigte das Modell eine konsistente Leistung über verschiedene Folds hinweg (BA zwischen 0,718 und 0,779).
• Einfluss der Datenvielfalt: Es wurde festgestellt, dass Clients mit einer höheren Vielfalt an Labels (Aktivitäten) bessere Klassifikationsergebnisse erzielten.

5. Bedeutung und Fazit

Das Paper demonstriert erfolgreich, dass Transformer-Architekturen auch für komplexe, zeitbasierte Sensordatenprobleme wie HAR geeignet sind, wenn sie an die spezifischen Anforderungen angepasst werden.

• Datenschutz vs. Leistung: Der hybride Ansatz beweist, dass es möglich ist, Datenschutz durch Federated Learning zu wahren, ohne die Modellleistung drastisch zu opfern. Die Ergebnisse liegen nahe an denen zentralisierter Modelle.
• Praktische Anwendbarkeit: Die Methode ist besonders relevant für Bereiche mit hohen Datenschutzanforderungen, wie z. B. Gesundheitswesen (Krankheitsvorhersage, Stressmonitoring) und Finanzwesen.
• Zukunftsausblick: Die Autoren schlagen vor, fortschrittlichere FL-Strategien (wie FedPer für Non-IID-Daten) zu testen und die Skalierbarkeit durch hierarchisches FL oder Differential Privacy weiter zu optimieren.

Zusammenfassend etabliert FED-HARGPT einen starken Grundstein für den Einsatz von hybriden zentralisierten-föderierten Ansätzen in der KI-gestützten Kontexterkennung, der sowohl die Privatsphäre der Nutzer respektiert als auch hohe Genauigkeit in realen, unstrukturierten Umgebungen liefert.