🤖 AI

STELLA: Efficient Sensor-to-LLM Translation for On-Device Human Activity Recognition

STELLA is een efficiënt on-device Human Activity Recognition-framework dat state-of-the-art prestaties en privacy-bewuste personalisatie bereikt door ruwe sensordata te comprimeren tot compacte latente tokens voor een bevroren LLM, waardoor de adaptatiebelasting wordt verschoven van het model naar een lichtgewicht, gebruikersspecifieke tokenizer.

Oorspronkelijke auteurs: Nirhoshan Sivaroopan, Albert Zomaya, Kanchana Thilakarathna

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nirhoshan Sivaroopan, Albert Zomaya, Kanchana Thilakarathna

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je smartwatch of fitness tracker een zeer observante maar licht overwerkte assistent is. Het houdt constant je lichaamsbewegingen in de gaten en verzamelt elke seconde duizenden kleine datapuntjes (zoals hoe snel je loopt, welke kant je op draait, of hoe hard je springt).

Lama lang hebben we geprobeerd om deze apparaten te leren wat je aan het doen bent (rennen, slapen, typen) door specifieke, nauwe "classificaties" voor elke specifieke taak te bouwen. Maar onlangs zijn we Large Language Models (LLMs) gaan gebruiken—hetzelfde soort AI dat verhalen schrijft en vragen beantwoordt—omdat ze erg goed zijn in het begrijpen van context en betekenis.

Er is echter een groot probleem: LLM's zijn slecht in ruwe getallen.

Als je een stream van ruwe sensordata in een taalmodel probeert te voeren, is dat alsof je een complexe dans probeert uit te leggen aan een dichter door een lijst van 1.000 willekeurige getallen te schreeuwen. De dichter (de AI) raakt in de war, de boodschap duurt te lang om te versturen, en het kan zelfs het begin vergeten tegen de tijd dat het einde is bereikt. Ook is het versturen van al die data naar de cloud (het internet) om verwerkt te worden traag en riskant voor je privacy.

Maak kennis met STELLA.

STELLA is een nieuw systeem dat fungeert als een super-efficiënte vertaler direct op je apparaat. In plaats van een lijst met getallen naar de AI te schreeuwen, luistert STELLA naar de sensordata en vat het samen tot een klein, perfect "briefje" voordat het wordt doorgegeven.

Zo werkt het, met behulp van enkele eenvoudige analogieën:

1. De "Samenvatter" (De Tokenizer)

Stel je voor dat je een video van 10 minuten van je dag hebt. Als je een vriend wilt vertellen wat er is gebeurd, zou je niet het hele script woord voor woord voorlezen. Je zou zeggen: "Ik ben gaan hardlopen, daarna koffie gaan drinken, en toen aan het werk gegaan."

STELLA doet precies dit. Het neemt een enorme reeks ruwe sensordata (honderden getallen) en comprimeert deze tot slechts 16 kleine "tokens" (denk aan 16 zeer slimme, gecomprimeerde woorden).

De Magie: Het verkleint de data niet alleen; het begrijpt ook de structuur van je beweging. Het weet het verschil tussen de snelle "dreun" van een voetstap en het gestage ritme van een wandeling.
Het Resultaat: De AI ontvangt een korte, gemakkelijk leesbare zin in plaats van een muur van getallen. Dit maakt het proces ongelooflijk snel en houdt het geheugengebruik van de AI laag.

2. Het "Bevroren Brein" (De LLM)

Normaal gesproken, wanneer we willen dat een AI een nieuwe taak uitvoert, moeten we de AI opnieuw trainen of verkleinen, wat er vaak voor zorgt dat het zijn algemene intelligentie verliest. STELLA houdt het brein van de AI bevroren (onveranderd).

Zie de AI als een briljante, algemene bibliothecaris die alles weet over menselijk gedrag.
STELLA probeert de bibliothecaris niet te veranderen in een "Hardloopexpert". In plaats daarvan geeft het de bibliothecaris gewoon een perfect geschreven briefje: "De sensordata ziet er als volgt uit: [16 tokens]. Is dit op basis van jouw kennis 'Hardlopen' of 'Wandelen'?"
Omdat het briefje zo kort en duidelijk is, kan de bibliothecaris direct antwoorden zonder voor elke activiteit een nieuw bibliotheekpasje nodig te hebben.

3. De "Persoonlijke Assistent" (On-Device Personalisatie)

Iedereen beweegt anders. Je hebt misschien een unieke manier van joggen vergeleken met je vriend. Een generieke AI kan in de war raken door jouw stijl.

STELLA heeft een speciale functie waardoor het specifiek van jou kan leren zonder de hoofdbibliothecaris te veranderen.
Het past alleen de "Samenvatter" (de vertaler) aan om jouw specifieke loopje te begrijpen.
Het houdt ook een klein, privé notitieblokboek bij op je telefoon met voorbeelden van jouw eerdere bewegingen. Wanneer je iets nieuws doet, controleert het snel dit notitieboek om te zeggen: "Ah, dit lijkt op hoe jij normaal gesproken hardloopt."
Privacy-bonus: Al deze zaken gebeuren direct op je telefoon. Jouw bewegingsdata verlaat je apparaat nooit om naar een server te gaan.

Waarom is dit een grote zaak?

Het paper testte STELLA op zeven verschillende datasets (variërend van wandelen tot werk aan een industriële assemblageband) en stelde vast dat:

Het is de beste: Het versloeg alle voorgaande methoden, soms met een enorme marge (tot wel 11,8% beter in nauwkeurigheid).
Het is snel: Het draait in realtime op gewone smartphones, niet alleen op supercomputers.
Het is privé: Omdat het zware werk wordt gedaan door de vertaler op je telefoon, blijft je data bij jou.
Het is flexibel: Het werkt of je nu een simpele watch met één sensor hebt of een complex pak met tientallen sensoren.

Kortom: STELLA lost het probleem op van: "Hoe krijgen we een slim taalmodel om onze lichaamsbewegingen te begrijpen zonder dat het vertraagt of onze privacy lekt?" door een kleine, slimme vertaler te bouwen die rommelige sensordata omzet in een helder, kort verhaal dat de AI direct kan begrijpen.

Technisch overzicht: STELLA – Efficiënte Sensor-naar-LLM Translatie voor On-Device Human Activity Recognition

1. Probleemstelling

Human Activity Recognition (HAR) op basis van Inertial Measurement Unit (IMU) sensoren is cruciaal voor mobiel en alomtegenwoordig computergebruik. Hoewel Large Language Models (LLM's) veelbelovende mogelijkheden bieden voor semantische redenering en generalisatie, staat de implementatie van LLM-gebaseerde HAR op edge-apparaten voor drie primaire obstakels:

Input Mismatch en Kosten: LLM's zijn ontworpen voor korte sequenties van discrete taal-tokens. Ruwe sensordata bestaat uit lange, multi-channel stromen van continue drijvende-kommagetallen. Het serialiseren hiervan creëert prompts die excessief lang zijn, wat de kwadratische aandachtskosten (attention costs) en het KV-cache geheugengebruik van de LLM opblaast tot boven de budgetten van edge-apparaten.
Verlies van Generaliteit: Het finetunen of herschrijven van een LLM om direct ruwe sensordata te verwerken, transformeert een algemeen doelgericht model in een taakspecifieke classifier. Dit doet het doel van edge-implementatie teniet, waarbij apparaten doorgaans één gedeelde LLM hosten voor meerdere modaliteiten (tekst, spraak, visie) in plaats van het onderhouden van meerdere gespecialiseerde modellen.
Privacy en Latentie: Het offloaden van sensordata naar cloud-gebaseerde LLM's introduceert netwerkafhankelijkheid, onbegrensde latentie en aanzienlijke privacyrisico's door het verzenden van gevoelige gedragsdata van het apparaat af.

Bestaande benaderingen vertrouwen ofwel op cloud-API's (wat privacy en real-time garanties opoffert) of proberen de LLM zelf te comprimeren/finetunen (wat herbruikbaarheid en generaliseerbaarheid opoffert). Er is een gebrek aan een efficiënte interface die een bevroren, algemeen doelgericht LLM in staat stelt om over sensordata te redeneren zonder modificatie.

2. Methodologie: STELLA

STELLA (Sensor Tokenization for Edge LLM Activity Recognition) herkadert het probleem van "LLM-adaptatie" naar "sensor-tokenisatie". De kernarchitectuur bestaat uit drie hoofdonderdelen:

2.1 Hiërarchische Sensor Tokenizer (STELLA-Tower)

In plaats van ruwe numerieke stromen te verwerken, gebruikt STELLA een lichtgewicht, hiërarchische encoder die een volledige multi-channel sensor window ( $C \times T$ ) comprimeert tot een vaste set van $N$ latente sensortokens (standaard $N=16$ ).

Convolutional Stack: Initiële depthwise en pointwise convoluties extraheren lokale temporele patronen en mengen cross-channel informatie terwijl de temporele resolutie wordt verminderd.
Hiërarchische Stadia: De encoder maakt gebruik van drie stadia. Vroege stadia maken gebruik van RepMixer blokken (reparameteriseerbare mixers gebaseerd op convoluties) voor efficiënte lokale feature-extractie. Een finale Multi-Head Self-Attention (MHSA) laag legt langetermijn-afhankelijkheden vast op de reeds gedownsamplede sequentie.
Multi-Scale Aggregatie: Features uit drie hiërarchische niveaus (lokale bewegingspatronen, activiteitsdynamiek en globale context) worden gepoold naar een vast aantal tokens via lineaire interpolatie en geconcateneerd.
Cruciale Eigenschap: De output is een sequentie van vaste lengte, ongeacht het aantal sensorkanalen of de windowlengte, wat ervoor zorgt dat de downstream LLM-kosten invariant blijven aan de sensorkonfiguratie.

2.2 Projectie en Integratie

De latente sensortokens worden geprojecteerd in de embedding space van een bevroren, vooraf getrainde LLM (bijv. GPT-2) met behulp van een ondiepe Multi-Layer Perceptron (MLP). Deze geprojecteerde tokens worden geconcateneerd met een natuurlijke taal-taakprompt (bijv. "Predict the human activity from the sensor data"). De LLM blijft bevroren; alleen de tokenizer en projectielagen worden getraind.

2.3 Inferentie via Label Scoring

In plaats van vrije tekst te genereren, behandelt STELLA classificatie als een label-scoring probleem. Voor een gesloten set kandidaat-activatielabels berekent het systeem de gemiddelde per-token log-likelihood (Negative Log-Likelihood) die de bevroren LLM toekent aan de tokensequentie van elke kandidaat. Het label met de hoogste score wordt geselecteerd. Deze aanpak vermijdt de onvoorspelbaarheid van generatieve outputs en houdt de promptlengte kort.

2.4 On-Device Personalisatie

STELLA ondersteunt personalisatie zonder de LLM te finetunen. Na implementatie kan de lichtgewicht sensortokenizer worden aangepast aan de specifieke data van een gebruiker met behulp van een kleine hoeveelheid gelabelde samples. Daarnaast wordt inferentie versterkt door een lokale retrieval-mechanisme:

Een kennisbank van de eerdere sensor-token embeddings en labels van de gebruiker wordt on-device bijgehouden.
Tijdens inferentie worden de top- $k$ meest vergelijkbare historische contexten opgehaeld en voorafgevoegd aan de huidige input.
Dit stelt het systeem in staat om zich aan te passen aan individuele loop- en bewegingsstijlen, terwijl alle gebruikersdata en context strikt on-device blijft.

3. Belangrijkste Bijdragen

Herformulering van de Bottleneck: Het artikel betoogt dat de efficiëntie-bottleneck voor LLM-gebaseerde HAR de sensor-naar-LLM interface is, niet de LLM zelf. Het stelt voor dit op te lossen via een geleerde sensortokenizer in plaats van de LLM te comprimeren.
Configuratie-Invariante Tokenisatie: De STELLA-Tower comprimeert variabele-lengte, multi-channel sensor windows naar een vaste set latente tokens ( $N=16$ ). Dit ontkoppelt de LLM-inferentiekosten van de sensorkonfiguratie, waardoor het aantal tokens met wel $262.5\times$ wordt verminderd vergeleken met scalar-level encoding.
Private, Lichtgewicht Personalisatie: Het framework maakt on-device adaptatie mogelijk door alleen de tokenizer (ongeveer 10% van de parameters) te updaten en een lokale retrieval-context te gebruiken, waarbij de LLM als een herbruikbare, bevroren backend behouden blijft.
State-of-the-Art Prestaties met een Kleine LLM: STELLA bereikt nieuwe SOTA-resultaten over zeven publieke HAR-datasets met enkel een bevroren GPT-2 backbone, waarmee methoden die afhankelijk zijn van veel grotere LLM's of cloud-gebaseerde API's overtreft.

4. Experimentele Resultaten

De auteurs evalueerden STELLA op zeven datasets (HHAR, PAMAP2, MHEALTH, GOTOV, SKODA, Opportunity, USC-HAD) die variëren van 6 tot 60 kanalen en 6 tot 18 activiteitsklassen.

Nauwkeurigheid: STELLA behaalde nieuwe SOTA-prestaties op alle acht benchmark-settings. De verbeteringen ten opzichte van eerdere methoden varieerden van marginaal op verzadigde benchmarks tot substantieel op sparse-sensor datasets (bijv. +11.83% F1 op HHAR, +9.20% F1 op USC-HAD).
Effectiviteit van de Tokenizer: Wanneer vergeleken met representatieve tijdreeks-encoders (PatchTST, Chronos, TimesNet, etc.) onder dezelfde LLM-pipeline en token-budget, presteerde de STELLA-tokenizer consequent beter, wat bevestigt dat de winst voortkomt uit het specifieke sensor-naar-LLM translatieontwerp.
On-Device Haalbaarheid:
- Latentie: Inferentie vindt real-time plaats op standaard hardware. Op een server GPU is de latentie ~9.7 ms; op een flagship smartphone (Samsung S23 Ultra) met GPU-acceleratie is het ~41.7 ms. Zelfs op een single-thread CPU voldoet het aan de real-time beperkingen voor standaard pas-budgetten (stride budgets).
- Geheugen: Het volledige model (FP32) vereist ~555 MB, wat binnen de geheugenbeperkingen van moderne mobiele GPU's valt (1 GB+ VRAM).
Personalisatie: Het aanpassen van de tokenizer en het gebruik van retrieval-augmentatie verbeterde de F1-score voor de moeilijkste subjecten met tot wel 21.91% (bijv. van 70.79% naar 92.70% op USC-HAD) met minder dan 1 ms aan retrieval-overhead.

5. Betekenis en Claims

Het artikel claimt dat STELLA een praktisch pad biedt naar nauwkeurige, private en gepersonaliseerde LLM-gebaseerde HAR op edge-apparaten. De betekenis ligt in:

Behoud van de Algemene Doelgerichte LLM: Door de adaptatiebelasting naar de sensorzijde te verschuiven, maakt STELLA het mogelijk om HAR te behandelen als slechts een andere input-modaliteit voor een gedeelde, systeem-niveau lokale LLM, in plaats van een aparte, gefinetuned modelstack te vereisen.
Privacy en Efficiëntie: Het maakt continue, real-time HAR volledig on-device mogelijk, waardoor het streamen van gevoelige gedragsdata naar de cloud wordt geëlimineerd.
Schaalbaarheid: De fixed-token interface zorgt ervoor dat de LLM-inferentielatentie en het geheugengebruik voorspelbaar blijven, ongeacht het aantal sensoren of de lengte van de datavensters, wat het systeem robuust maakt voor variërende hardwareconfiguraties.

De auteurs concluderen dat efficiënte sensortokenisatie, in plaats van LLM-compressie of cloud-offloading, de sleutel is tot het ontsluiten van het potentieel van LLM's voor edge-gebaseerde sensing.