🤖 machine learning

Efficient and Adaptive Human Activity Recognition via LLM Backbones

Dit artikel stelt een efficiënt en adaptief raamwerk voor menselijke activiteitsherkenning voor dat bevroren, vooraf getrainde Large Language Models benut als temporele ruggengraten, verbonden door een gestructureerde convolutieprojectie en aangepast via Low-Rank Adaptation (LoRA) om sterke prestaties, datadoeltreffendheid en robuuste overdracht tussen verschillende datasets te bereiken terwijl de rekenkosten aanzienlijk worden verlaagd.

Oorspronkelijke auteurs: Aleksandr Bredikhin, Philippe Lalanda, German Vega

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aleksandr Bredikhin, Philippe Lalanda, German Vega

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente bibliothecaris hebt die elk boek ter wereld heeft gelezen. Deze bibliothecaris is een expert in het begrijpen van verhalen, hoe zinnen lopen en hoe personages veranderen in de loop van de tijd. Stel je nu voor dat je deze bibliothecaris wilt leren menselijke activiteiten te herkennen – zoals lopen, rennen of trappen beklimmen – puur door te kijken naar data van een smartwatch.

Het probleem is dat de bibliothecaris "Taal" spreekt, maar je smartwatch spreekt "Beweging". Ze spreken verschillende dialecten.

Dit artikel stelt een slimme oplossing voor: Bouw geen nieuwe bibliothecaris vanaf nul. Leer in plaats daarvan de bestaande superintelligente bibliothecaris beweging te begrijpen.

Hier is hoe de auteurs dit hebben gedaan, opgesplitst in eenvoudige concepten:

1. De Oude Weg versus de Nieuwe Weg

De Oude Weg: Meestal bouwen ingenieurs, om activiteiten te herkennen, een gloednieuw, gespecialiseerd computerbrein vanaf de grond. Ze moeten het duizenden uren aan gelabelde oefeningsdata voeden, en het kost veel tijd en geld om het te trainen. Het is alsof je een nieuwe stagiair huurt en hen alles vanaf nul leert.
De Nieuwe Weg (Dit Artikel): De auteurs zeggen: "Waarom beginnen bij nul?" Ze nemen een Groot Taalmodel (LLM) – een massieve AI die al is getraind op het hele internet om tekst te begrijpen – en hergebruiken deze. Ze behandelen deze AI niet als een lezer van boeken, maar als een meester van sequenties. Omdat een verhaal een sequentie van woorden is, en een activiteit een sequentie van bewegingen, is het brein van de AI al bedraad om de logica van "wat komt er als volgende" te hanteren.

2. De Vertaler (De "Adapter")

Je kunt ruwe smartwatch-data (cijfers die snelheid en richting voorstellen) niet zomaar in een tekstgebaseerde AI voeden. Het zou zijn alsof je probeert een filmplot uit te leggen door de bibliothecaris willekeurige cijfers toe te schreeuwen.

De auteurs bouwden een vertaler (een "convolutional projection module").

Wat het doet: Het neemt de ruwe, rommelige bewegingsdata van de versnellingsmeter en de gyroscoop en zet deze om in een formaat dat de AI kan begrijpen.
De Analogie: Denk aan de smartwatch-data als een vreemde taal. De vertaler vertaalt niet woord voor woord; het vat de "sfeer" van een korte burst van beweging samen tot één duidelijk concept dat de AI kan verteren.

3. Het "Bevroren" Brein en de "Post-it's"

Het trainen van een gigantische AI vanaf nul is duur en traag. Het is alsof je probeert de hele woordenlijst opnieuw te schrijven elke keer dat je een nieuw woord wilt leren.

De auteurs gebruikten een truc genaamd LoRA (Low-Rank Adaptation):

Het Bevroren Brein: Ze hielden het hoofd-AI-brein bevroren. Ze veranderden de kernkennis niet. Het is alsof je de boekenplanken van de bibliothecaris precies laat zoals ze zijn.
De Post-it's: In plaats van de boeken opnieuw te schrijven, voegden ze een tiny laag van trainbare "post-it's" (LoRA) toe aan de AI. Deze notities leren de AI hoe ze haar algemene sequentie-slimheid specifiek moet toepassen op bewegingsdata.
Het Resultaat: Ze hoefden slechts een klein deel van het model te trainen (minder dan 1%). Dit maakte het proces ongelooflijk snel, goedkoop en energiezuinig.

4. Hoe Ze Het Testten

Ze testten dit systeem op standaard datasets (zoals UCI, HHAR en RealWorld) die data bevatten van mensen die sensoren droegen terwijl ze verschillende activiteiten uitvoerden.

Prestaties: Het systeem werkte net zo goed als, of beter dan, de gespecialiseerde modellen die vanaf nul zijn gebouwd.
Data-efficiëntie: Dit is de grote winst. Het systeem leerde zeer goed, zelfs toen ze het slechts een kleine hoeveelheid data gaven (zoals 1% of 10% van de gebruikelijke trainingsset). Omdat de AI al "sequenties" begreep vanuit haar taaltraining, hoefde ze niet alles vanaf nul te leren.
Aanpasbaarheid: Het kon zeer gemakkelijk van de ene dataset naar de andere springen, wat cruciaal is voor gebruik in de echte wereld waar omstandigheden veranderen.

5. De Haken (Het "Sensorplaatsing"-Probleem)

Het artikel vond een specifieke beperking. De AI is geweldig in het begrijpen van het verhaal van de beweging (bijvoorbeeld: "eerst liep ik, toen stopte ik"). Het heeft echter moeite als de sensor op een rare plek wordt gedragen (zoals op de enkel in plaats van op de pols), omdat dat de ruwe "klank" van de data verandert.

De Les: De "Vertaler" (het convolutionele deel) moet slim genoeg zijn om de fysieke eigenaardigheden van waar de sensor is geplaatst, te hanteren. De AI (de LLM) behandelt de langetermijnlogica, maar de Vertaler behandelt de lokale fysieke details. Ze werken het beste als een team.

Samenvatting

Het artikel laat zien dat je het wiel niet opnieuw hoeft uit te vinden voor activiteitsherkenning. Door een krachtige, voorgetrainde taal-AI te nemen en deze een eenvoudige vertaler en een paar "post-it's" te geven om de specifieke details te leren, kun je een systeem bouwen dat:

Slimmer is (beter lange-termijnpatronen begrijpt).
Goedkoper is (minder rekenkracht nodig heeft).
Sneller te trainen is (minder data nodig heeft).

Het is een verschuiving van "een nieuwe motor bouwen" naar "een nieuwe transmissie op een bestaande, krachtige motor zetten".

Technische Samenvatting: Efficiënte en Adaptieve Menselijke Activiteitsherkenning via LLM-ruggengraten

Probleemstelling

Menselijke Activiteitsherkenning (HAR) is een kritieke taak in het allesomvattende computing, waarbij modellen inertieel sensordata (versnellingsmeters en gyroscopen) moeten interpreteren onder strikte reken-, energie- en data-beperkingen. Hoewel recente Transformer-gebaseerde architecturen de herkenningsprestaties hebben verbeterd, vertrouwen ze doorgaans op het ontwerpen van taakspecifieke modellen die vanaf nul worden getraind. Deze aanpak brengt hoge trainingskosten met zich mee, vereist grote hoeveelheden gelabelde data en worstelt met aanpassingsvermogen aan domeinverschuivingen (bijv. veranderingen in gebruikers, apparaten of sensorplaatsing). Bestaande oplossingen voor domeinadaptatie introduceren vaak extra complexiteit of blijven gevoelig voor data-schaarste in doeldomeinen.

Methodologie

Het artikel stelt HARLLM voor, een paradigmaverschuiving die grote voorgetrainde Taalmodellen (LLM's) hergebruikt als generieke temporele ruggengraten voor sensor-gebaseerde HAR, in plaats van domeinspecifieke Transformers vanaf nul te trainen. Het kader adresseert de modale kloof tussen continue multivariate inertieel tijdsreeksen en discrete linguïstische tokens via drie kernontwerpprincipes:

Modaal-uitgelijnde Projectie (Convolutionele Frontend):
- Ruwe sensordata (6 kanalen: 3 versnellingsmeter, 3 gyroscoop) wordt verwerkt in vaste lengtevensters ( $W=128$ ).
- Een gestructureerd convolutioneel projectiemodule mapt deze continue signalen af op de latente ruimte van de LLM.
- De module verwerkt versnellingsmeter- en gyroscoopsignalen onafhankelijk voordat ze worden samengevoegd. Het maakt gebruik van een multi-branch architectuur met 1D temporele convoluties om lokaal invariant bewegingspatronen en mid-range temporele dynamiek te extraheren.
- De output wordt geprojecteerd naar embeddings die compatibel zijn met de embedding-dimensie van de LLM ( $d_{LLM}$ ), waarbij de temporele volgorde behouden blijft.
Bevroren Ruggengraat met Parameter-efficiënte Adaptatie:
- De voorgetrainde LLM (bijv. GPT-2 Small, GPT-2 Medium, of Qwen-1.8B) dient als sequentie-encoder en blijft bevroren tijdens het trainen om zijn voorgetrainde kennis te behouden en de rekenkosten te minimaliseren.
- Adaptatie wordt uitsluitend bereikt via Low-Rank Adaptation (LoRA). Trainbare low-rank matrices worden geïnjecteerd in de query-, key- en value-projecties van de self-attention lagen.
- Dit reduceert het aantal trainbare parameters tot minder dan 1% van de totale modelgrootte (bijv. ~1,2M parameters voor GPT-2 Small), wat de geheugenfootprint en trainingsduur drastisch verlaagt.
Gekoppelde Representatie en Redenering:
- De convolutionele frontend behandelt signaal-niveau eigenschappen (sampling, ruis, lokale patronen) en dwingt inductieve biases specifiek voor inertieel sensing af.
- De LLM-ruggengraat opereert op de resulterende venster-niveau embeddings om lang-range temporele afhankelijkheden, activiteitsovergangen en globale sequentiestructuur te vangen.

Belangrijkste Bijdragen

Paradigmaverschuiving: De auteurs introduceren een nieuwe aanpak voor HAR die voorgetrainde LLM's hergebruikt als temporele ruggengraten, weg van de conventionele praktijk van het ontwerpen van taakspecifieke Transformers vanaf nul.
Uitlijnend Kader: Zij stellen een convolutioneel projectie- en LoRA-gebaseerd adaptatiekader voor dat efficiënte uitlijning mogelijk maakt tussen inertieel tijdsreeksen en LLM latente ruimtes, zonder te vertrouwen op prompting-strategieën die ongeschikt zijn voor continue signalen.
Analyse van Complementaire Rollen: Het werk analyseert en demonstreert de complementaire rollen van convolutionele encoders en LLM's: de eerste behandelt lokale invarianties en signaal-niveau verwerking, terwijl de laatste lang-range temporele afhankelijkheden vangt.
Efficiëntie en Overdraagbaarheid: De aanpak blijkt sterke prestaties te behalen met aanzienlijk minder trainingsbronnen, en demonstreert robuustheid in scenario's met weinig data en cross-dataset transfer.

Experimentele Resultaten

Het kader werd geëvalueerd op drie standaard benchmarks: UCI HAR, HHAR en RealWorld.

Absolute Prestaties: HARLLM behaalde de hoogste gewogen F1-score op de HHAR-dataset (98,43%), presterend beter dan klassieke CNN's, DeepConvLSTM en recente Transformer-gebaseerde baselines (inclusief HART). Op UCI HAR bereikte het concurrerende prestaties (95,78%), en op RealWorld bleef het concurrerend (94,16%), zij het iets onder HART dat expliciet sensorplaatsings-invariantie encodeert.
Data-efficiëntie: Wanneer getraind met beperkte gelabelde data op HHAR, behield HARLLM sterke prestaties. Het behaalde een gewogen F1-score boven de 95 met slechts 20% van de trainingsdata en bleef concurrerend tot 10%. Prestatie-degradatie was significant alleen in het extreme 1%-regime.
Cross-Dataset Transfer (LODO): In een Leave-One-Dataset-Out-scenario waarbij het model voorgetraind was op meerdere bron-datasets (MotionSense, UCI, PAMAP2, RealWorld) en fine-tuned werd op HHAR met minimale doeldata:
- Het voorgetrainde model behaalde 87,67% F1 zonder enige HHAR-data.
- Met slechts 1% van de HHAR-data voor fine-tuning, steeg de prestatie naar 80,89%.
- Met 10% van de data bereikte het 93,68%, wat effectieve few-shot adaptatie demonstreert.
Trainings-efficiëntie: Het volledige trainingsproces werd voltooid in minder dan één uur op een enkele commerciële GPU (Google Colab gratis tier), waarbij minder dan 1% van de parameters van de ruggengraat werd gebruikt voor adaptatie.

Betekenis en Claims

Het artikel claimt dat LLM's kunnen dienen als een praktische, zuinige en schaalbare basis voor adaptieve HAR-systemen. De betekenis van dit werk ligt in:

Bron-efficiëntie: Door de ruggengraat te bevriezen en LoRA te gebruiken, reduceert de aanpak trainingskosten en energieverbruik drastisch, waardoor het geschikt is voor allesomvattende en ingebouwde scenario's waar rekenbronnen beperkt zijn.
Robuustheid tegen Data-schaarste: De sterke representatieve prior die door LLM-voortraining wordt geboden, zorgt voor snelle convergentie en effectief leren in settings met weinig data en few-shot, wat een grote bottleneck in real-world HAR-deployments adresseert.
Verduidelijking van Architecturale Rollen: De resultaten benadrukken dat hoewel LLM's uitblinken in temporele redenering en transfer, ze niet van nature sensorplaatsings-invarianties leren. Daarom is een gespecialiseerde convolutionele frontend noodzakelijk om lokale signaalvariabiliteit te behandelen. Dit suggereert een ontwerpstategie waarbij domeinspecifieke inductieve biases (convolutioneel) grote schaal voortraining (LLM) aanvullen in plaats daarvan te worden vervangen door deze.

De auteurs concluderen dat dit werk nieuwe richtingen opent voor het hergebruiken van foundation-modellen buiten hun oorspronkelijke taal-domein, en biedt een algemeen blauwdruk voor het integreren van LLM's in pipelines voor allesomvattende tijdsreeksmodellering.