🤖 AI

STELLA: Efficient Sensor-to-LLM Translation for On-Device Human Activity Recognition

STELLA ist ein effizientes On-Device-Framework zur menschlichen Aktivitätserkennung, das durch die Komprimierung von Rohsensordaten in kompakte latente Token für ein eingefrorenes LLM eine State-of-the-Art-Leistung sowie datenschutzwahrende Personalisierung erreicht, wodurch die Anpassungslast von dem Modell auf einen leichtgewichtigen, nutzerspezifischen Tokenizer verlagert wird.

Ursprüngliche Autoren: Nirhoshan Sivaroopan, Albert Zomaya, Kanchana Thilakarathna

Veröffentlicht 2026-07-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nirhoshan Sivaroopan, Albert Zomaya, Kanchana Thilakarathna

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Ihre Smartwatch oder Ihr Fitness-Tracker wäre wie ein sehr aufmerksamer, aber leicht überforderter Assistent. Er beobachtet ständig Ihre Bewegungen und sammelt jede Sekunde tausende winziger Datenpunkte (wie etwa, wie schnell Sie gehen, in welche Richtung Sie sich drehen oder wie intensiv Sie springen).

Lange Zeit haben wir versucht, diesen Geräten beizubringen, was Sie gerade tun (laufen, schlafen, tippen), indem wir spezielle, engstirnige „Klassifikatoren“ für jede spezifische Aufgabe erstellt haben. Vor kurzem haben wir jedoch begonnen, Large Language Models (LLMs) einzusetzen – dieselbe Art von KI, die Geschichten schreibt und Fragen beantwortet – weil diese sehr gut darin sind, Kontext und Bedeutung zu verstehen.

Es gibt jedoch ein großes Problem: LLMs sind schlecht mit Rohzahlen.

Wenn man versucht, einem Sprachmodell einen reinen Strom von Sensordaten zuzuführen, ist das so, als würde man einem Dichter versuchen, einen komplexen Tanz zu erklären, indem man ihm eine Liste von 1.000 Zufallszahlen entgegenruft. Der Dichter (die KI) wird verwirrt, die Nachricht braucht zu lange, um übermittelt zu werden, und er könnte sogar den Anfang vergessen haben, wenn er am Ende angekommen ist. Zudem ist das Senden all dieser Daten in die Cloud (das Internet), um sie dort verarbeiten zu lassen, langsam und riskant für Ihre Privatsphäre.

Hier kommt STELLA ins Spiel.

STELLA ist ein neues System, das wie ein super-effizienter Übersetzer direkt auf Ihrem Gerät fungiert. Anstatt dem KI eine Liste von Zahlen zuzubrüllen, hört STELLA auf die Sensordaten und fasst sie zu einer winzigen, perfekten „Notiz“ zusammen, bevor sie weitergegeben wird.

So funktioniert es, unter Verwendung einiger einfacher Analogien:

1. Der „Zusammenfasser“ (Der Tokenizer)

Stellen Sie sich vor, Sie haben ein 10-minütiges Video von Ihrem Tag. Wenn Sie einem Freund erzählen wollten, was passiert ist, würden Sie ihm nicht das gesamte Skript Wort für Wort vorlesen. Sie würden sagen: „Ich war joggen, dann habe ich einen Kaffee geholt, dann habe ich gearbeitet.“

STELLA macht genau das. Es nimmt ein massives Fenster aus Rohsensordaten (Hunderte von Zahlen) und komprimiert es auf nur 16 winzige „Tokens“ (denken Sie an sie als 16 sehr kluge, komprimierte Wörter).

Die Magie: Es verkleinert die Daten nicht einfach nur; es versteht die Struktur Ihrer Bewegung. Es weiß den Unterschied zwischen dem schnellen „Stupser“ eines Fußschritts und dem stetigen Rhythmus eines Gehens.
Das Ergebnis: Die KI erhält einen kurzen, leicht lesbaren Satz anstelle einer Wand aus Zahlen. Dies macht den Prozess unglaublich schnell und hält den Speicherbedarf der KI niedrig.

2. Das „eingefrorene Gehirn“ (Das LLM)

Normalerweise, wenn wir eine KI für eine neue Aufgabe trainieren wollen, müssen wir sie neu trainieren oder verkleinern, was oft dazu führt, dass sie ihr allgemeines Wissen verliert. STELLA hält das Gehirn der KI eingefroren (unverändert).

Betrachten Sie die KI als einen brillanten, universell gebildeten Bibliothekar, der alles über menschliches Verhalten weiß.
STELLA versucht nicht, den Bibliothekar in einen „Experten für das Laufen“ zu verwandeln. Stattdessen gibt es dem Bibliothekar nur eine perfekt geschriebene Notiz: „Die Sensordaten sehen so aus: [16 Tokens]. Basierend auf Ihrem Wissen: Ist dies 'Laufen' oder 'Gehen'?“
Da die Notiz so kurz und klar ist, kann der Bibliothekar sofort antworten, ohne für jede einzelne Aktivität einen neuen Bibliotheksausweis zu benötigen.

3. Der „persönliche Assistent“ (On-Device Personalisierung)

Jeder bewegt sich anders. Sie haben vielleicht eine ganz eigene Art zu joggen im Vergleich zu Ihrem Freund. Eine generische KI könnte durch Ihren Stil verwirrt werden.

STELLA hat eine spezielle Funktion, mit der es fast ausschließlich Sie lernen kann, ohne den Hauptbibliothekar zu verändern.
Es passt nur den „Zusammenfasser“ (den Übersetzer) an, um Ihren spezifischen Gang zu verstehen.
Es führt zudem ein kleines, privates Notizbuch auf Ihrem Telefon mit Beispielen Ihrer vergangenen Bewegungen. Wenn Sie etwas Neues tun, prüft es schnell dieses Notizbuch, um zu sagen: „Ah, das sieht so aus, wie du normalerweise läufst.“
Privatsphäre-Bonus: All dies geschieht direkt auf Ihrem Telefon. Ihre Bewegungsdaten verlassen Ihr Gerät nie, um zu einem Server zu gelangen.

Warum ist das eine große Sache?

Das Paper hat STELLA an sieben verschiedenen Datensätzen getestet (die alles abdeckten, vom Gehen bis hin zur Arbeit an einem industriellen Fließband) und stellte fest:

Es ist das Beste: Es hat alle bisherigen Methoden geschlagen, teilweise mit einem riesigen Vorsprung (um bis zu 11,8 % besser in der Genauigkeit).
Es ist schnell: Es läuft in Echtzeit auf normalen Smartphones, nicht nur auf Supercomputern.
Es ist privat: Da die schwere Arbeit vom Übersetzer auf Ihrem Telefon erledigt wird, bleiben Ihre Daten bei Ihnen.
Es ist flexibel: Es funktioniert sowohl mit einer einfachen Uhr mit einem Sensor als als auch mit einem komplexen Anzug mit Dutzenden von Sensoren.

Kurz gesagt: STELLA löst das Problem: „Wie bringen wir einem intelligenten Sprachmodell unsere Körperbewegungen bei, ohne dass es langsamer wird oder meine Privatsphäre gefährdet?“ – indem es einen winzigen, klugen Übersetzer baut, der unordentliche Sensordaten in eine saubere, kurze Geschichte verwandelt, die die KI sofort verstehen kann.

Technisches Resümee: STELLA – Effiziente Sensor-zu-LLM-Translation für die On-Device-Erkennung menschlicher Aktivitäten

1. Problemstellung

Die Erkennung menschlicher Aktivitäten (Human Activity Recognition, HAR) mittels Inertialsensoren (IMU) ist entscheidend für mobiles und ubiquitäres Computing. Während Large Language Models (LLMs) vielversprechende Fähigkeiten für semantisches Schließen und Generalisierung bieten, steht der Einsatz von LLM-basierter HAR auf Edge-Geräten vor drei primären Hindernissen:

Input-Mismatch und Kosten: LLMs sind für kurze Sequenzen diskreter Sprach-Token konzipiert. Rohsensordaten bestehen aus langen, mehrkanaligen Strömen kontinuierlicher Fließkommawerte. Die direkte Serialisierung dieser Daten erzeugt Prompts, die übermäßig lang sind, was die quadratischen Attention-Kosten und den KV-Cache-Speicherverbrauch des LLMs über die Budgets von Edge-Geräten hinaus in die Höhe treibt.
Verlust der Generalität: Das Fine-Tuning oder das Umschreiben eines LLMs, um Rohsensordaten direkt aufzunehmen, verwandelt ein allgemeines Modell in einen aufgabenspezifischen Klassifikator. Dies widerspricht dem Zweck des Edge-Deployments, bei dem Geräte typischerweise ein einziges, gemeinsames LLM für mehrere Modalitäten (Text, Sprache, Vision) hosten, anstatt mehrere spezialisierte Modelle zu verwalten.
Privatsphäre und Latenz: Das Auslagern von Sensordaten an Cloud-basierte LLMs führt zu Netzwerkabhängigkeit, unbegrenzter Latenz und erheblichen Datenschutzrisiken durch die Übertragung sensibler Verhaltensdaten aus dem Gerät heraus.

Bestehende Ansätze verlassen sich entweder auf Cloud-APIs (was die Privatsphäre und Echtzeitgarantien opfert) oder versuchen, das LLM selbst zu komprimieren oder feinabzustimmen (was die Wiederverwendbarkeit und Generalisierbarkeit opfert). Es mangelt an einer effizienten Schnittstelle, die es einem gefrorenen, allgemeinen LLM ermöglicht, über Sensordaten zu schlussfolgern, ohne dass eine Modifikation erforderlich ist.

2. Methodik: STELLA

STELLA (Sensor Tokenization for Edge LLM Activity Recognition) definiert das Problem nicht als „LLM-Adaption“, sondern als „Sensortokenisierung“ um. Die Kernarchitektur besteht aus drei Hauptkomponenten:

2.1 Hierarchischer Sensortokenizer (STELLA-Tower)

Anstatt rohe numerische Ströme zu verarbeiten, verwendet STELLA einen leichtgewichtigen, hierarchischen Encoder, der ein gesamtes mehrkanaliges Sensorfenster ( $C \times T$ ) in einen festen Satz von $N$ latenten Sensortoken komprimiert (Standardwert $N=16$ ).

Convolutional Stack: Anfängliche Depthwise- und Pointwise-Konvolutionen extrahieren lokale zeitliche Muster und mischen kanalübergreifende Informationen, während sie die zeitliche Auflösung reduzieren.
Hierarchische Stufen: Der Encoder verwendet drei Stufen. Frühe Stufen nutzen RepMixer-Blöcke (reparameterisierbare Mixer basierend auf Konvolutionen) für eine effiziente lokale Merkmalsextraktion. Eine abschließende Multi-Head Self-Attention (MHSA)-Schicht erfasst langfristige Abhängigkeiten auf der bereits heruntergesampelten Sequenz.
Multi-Scale Aggregation: Merkmale aus drei hierarchischen Ebenen (lokale Bewegungsmuster, Aktivitätsdynamik und globaler Kontext) werden über lineare Interpolation zu einer festen Token-Anzahl gepoolt und konkateniert.
Schlüsseleigenschaft: Das Ergebnis ist eine Sequenz von Tokens mit fester Länge, unabhängig von der Anzahl der Sensorkanäle oder der Fensterlänge, wodurch die Kosten des nachgeschalteten LLMs invariant gegenüber der Sensorkonfiguration bleiben.

2.2 Projektion und Integration

Die latenten Sensortoken werden mittels eines flachen Multi-Layer-Perceptrons (MLP) in den Embedding-Raum eines gefrorenen, vortrainierten LLMs (z. B. GPT-2) projiziert. Diese projizierten Tokens werden mit einem natürlichen Sprach-Aufgabenprompt (z. B. „Predict the human activity from the sensor data“) konkateniert. Das LLM bleibt gefroren; nur der Tokenizer und die Projektionsschichten werden trainiert.

2.3 Inferenz via Label-Scoring

Anstatt freien Text zu generieren, behandelt STELLA die Klassifizierung als Label-Scoring-Problem. Für einen geschlossenen Satz von Kandidaten-Aktivitätslabels berechnet das System die durchschnittliche pro-Token Log-Likelihood (Negative Log-Likelihood), die das gefrorene LLM dem Token-Sequenz-Fragment des jeweiligen Kandidaten zuordnet. Das Label mit dem höchsten Score wird ausgewählt. Dieser Ansatz vermeidet die Unvorhersehbarkeit generativer Ausgaben und hält die Prompt-Länge kurz.

2.4 On-Device-Personalisierung

STELLA unterstützt Personalisierung ohne LLM-Fine-Tuning. Nach dem Deployment kann der leichtgewichtige Sensortokenizer an die Daten eines spezifischen Nutzers angepasst werden, indem eine kleine Menge gelabelter Stichproben verwendet wird. Zusätzlich augmentiert ein lokaler Retrieval-Mechanismus die Inferenz:

Eine Wissensdatenbank mit den vergangenen Sensor-Token-Embeddings und Labels des Nutzers wird auf dem Gerät vorgehalten.
Während der Inferenz werden die Top- $k$ ähnlichsten historischen Kontexte abgerufen und der aktuellen Eingabe vorangestellt.
Dies ermöglicht es dem System, sich an individuelle Gang- und Bewegungsstile anzupassen, während alle Nutzerdaten und der Kontext strikt auf dem Gerät verbleiben.

3. Zentrale Beiträge

Neudefinition des Engpasses: Die Arbeit argumentt, dass der Effizienzengpass für LLM-basierte HAR die Sensor-zu-LLM-Schnittstelle ist, nicht das LLM selbst. Sie schlägt vor, dies durch einen gelernten Sensortokenizer zu lösen, statt das LLM zu komprimieren.
Konfigurations-invariante Tokenisierung: Der STELLA-Tower komprimiert variable Sensorfenster mit mehreren Kanälen in einen festen Satz von latenten Tokens ( $N=16$ ). Dies entkoppelt die LLM-Inferenzkosten von der Sensorkonfiguration und reduziert die Token-Anzahl um bis zu das $262,5$-fache im Vergleich zur Skalar-Level-Kodierung.
Private, leichtgewichtige Personalisierung: Das Framework ermöglicht die On-Device-Adaption, indem nur der Tokenizer (ca. 10 % der Parameter) aktualisiert wird und ein lokaler Retrieval-Kontext genutzt wird, wodurch das LLM als wiederverwendbares, gefrorenes Backend erhalten bleibt.
State-of-the-Art Performance mit einem kleinen LLM: STELLA erreicht neue SOTA-Ergebnisse über sieben öffentliche HAR-Datensätze hinweg unter Verwendung eines gefrorenen GPT-2-Backbones und übertrifft dabei Methoden, die auf wesentlich größeren LLMs oder Cloud-APIs basieren.

4. Experimentelle Ergebnisse

Die Autoren evaluierten STELLA auf sieben Datensätzen (HHAR, PAMAP2, MHEALTH, GOTOV, SKODA, Opportunity, USC-HAD), die 6 bis 60 Kanäle und 6 bis 18 Aktivitätsklassen abdecken.

Genauigkeit: STELLA erreichte eine neue SOTA-Performance in allen acht Benchmark-Settings. Die Verbesserungen gegenüber früheren Methoden reichten von marginalen Steigerungen auf gesättigten Benchmarks bis hin zu substanziellen Gewinnen bei spärlich besetzten Sensordatensätzen (z. B. +11,83 % F1 auf HHAR, +9,20 % F1 auf USC-HAD).
Effektivität des Tokenizers: Im Vergleich zu repräsentativen Zeitreihen-Encodern (PatchTST, Chronos, TimesNet usw.) unter demselben LLM-Pipeline- und Token-Budget übertraf der STELLA-Tokenizer diese konsistent, was bestätigt, dass die Gewinne aus dem spezifischen Sensor-zu-LLM-Translationsdesign resultieren.
On-Device-Machbarkeit:
- Latenz: Die Inferenz erfolgt in Echtzeit auf Standardhardware. Auf einer Server-GPU beträgt die Latenz ~9,7 ms; auf einem Flaggschiff-Smartphone (Samsung S23 Ultra) mit GPU-Beschleunigung ~41,7 ms. Selbst auf einem Single-Thread-CPU erfüllt sie die Echtzeit-Anforderungen für Standard-Schrittraten.
- Speicher: Das vollständige Modell (FP32) benötigt ~555 MB und passt damit in die Speicherbeschränkungen moderner mobiler GPUs (1 GB+ VRAM).
Personalisierung: Die Anpassung des Tokenizers und die Nutzung von Retrieval-Augmentation verbesserten den F1-Score für die schwierigsten Subjekte um bis zu 21,91 % (z. B. von 70,79 % auf 92,70 % bei USC-HAD) bei weniger als 1 ms Retrieval-Overhead.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass STELLA einen praktischen Weg zu präziser, privater und personalisierter LLM-basierter HAR auf Edge-Geräten bietet. Seine Bedeutung liegt in:

Erhalt des universellen LLMs: Durch die Verlagerung der Adaptionslast auf die Sensorseite ermöglicht STELLA, dass HAR als eine weitere Eingangsmodalität für ein gemeinsames, systemweites lokales LLM behandelt werden kann, anstatt einen separaten, feinabgestimmten Modell-Stack zu erfordern.
Privatsphäre und Effizienz: Es ermöglicht eine kontinuierliche, Echtzeit-HAR vollständig auf dem Gerät, wodurch die Notwendigkeit entfällt, sensible Verhaltensdaten in die Cloud zu streamen.
Skalierbarkeit: Die Fixed-Token-Schnittstelle stellt sicher, dass die Inferenzlatenz und der Speicherverbrauch unabhängig von der Anzahl der Sensoren oder der Länge des Datenfensters vorhersagbar bleiben, was das System robust gegenüber variierenden Hardwarekonfigurationen macht.

Die Autoren kommen zu dem Schluss, dass eine effiziente Sensortokenisierung, statt LLM-Komprimierung oder Cloud-Offloading, der Schlüssel zur Freisetzung des Potenzials von LLMs für das Edge-basierte Sensing ist.