🤖 AI

RAG-HAR: Retrieval Augmented Generation-based Human Activity Recognition

RAG-HAR is een trainingsvrij, retrieval-verrijkt raamwerk dat gebruikmaakt van grote taalmodellen en geoptimaliseerde prompt-engineering om state-of-the-art prestaties te bereiken in de herkenning van menselijke activiteiten over diverse benchmarks, terwijl het tegelijkertijd de identificatie van ongezette activiteiten mogelijk maakt zonder model-finetuning of grote gelabelde datasets te vereisen.

Oorspronkelijke auteurs: Nirhoshan Sivaroopan, Hansi Karunarathna, Chamara Madarasingha, Anura Jayasumana, Kanchana Thilakarathna

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nirhoshan Sivaroopan, Hansi Karunarathna, Chamara Madarasingha, Anura Jayasumana, Kanchana Thilakarathna

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een smartwatch hebt die je bewegingen bijhoudt. Normaliter moet je, om een computer te leren wat je doet (zoals lopen, rennen of zitten), voor elke persoon en elke nieuwe activiteit een speciale "leraar" bouwen. Je voert duizenden uren aan data in, de leraar studeert hard en wordt dan goed in het raden. Maar als je het horloge, de persoon of de activiteit verandert, raakt de leraar in de war en moet je opnieuw beginnen.

RAG-HAR is een nieuwe manier om dit te doen die het "studeren" volledig overslaat. In plaats van een nieuwe leraar te trainen, gebruikt het een superslimme, bestaande "expert" (een Large Language Model, of LLM) en geeft deze direct voor het raden een spiekbriefje.

Zo werkt het, met eenvoudige analogieën:

1. Het Probleem: De "Blanco" Expert

Denk aan een standaard AI als een student die elk boek ter wereld heeft gelezen, maar nog nooit een specifiek type beweging heeft gezien. Als je een sensorwaarde toont van een nieuwe persoon die rent, kan het "lopen" raden omdat het geen specifieke referentie heeft voor deze persoon's renbeweging. Het is alsof je een chef vraagt een gerecht te koken dat hij nog nooit heeft gezien, alleen door de ingrediënten te beschrijven.

2. De Oplossing: De "Bibliotheek"-Aanpak (RAG)

RAG-HAR verandert het spel. In plaats van de expert te vragen vanuit het geheugen te raden, geeft het hem direct een bibliotheek met voorbeelden naast zich.

Het Spiekbriefje (Vectordatabase): Voordat de AI een gok waagt, kijkt het systeem naar de huidige beweging (zoals een 2-seconden clip van jou die beweegt). Het breekt deze beweging op in simpele wiskundige feiten (zoals "hoe snel was de gemiddelde snelheid?" of "hoeveel trilde het?"). Vervolgens gaat het naar een gigantische digitale bibliotheek en vindt de 10 meest vergelijkbare eerdere voorbeelden.
De Context: Het geeft deze 10 voorbeelden aan de expert-AI en zegt: "Kijk, deze nieuwe beweging lijkt veel op deze 10 dingen. Op basis daarvan, wat is het?"

3. Het Tweestapsproces

Het artikel beschrijft dat dit in twee hoofdfasen gebeurt:

Fase 1: De Basislijn (De Snelle Blik)
Het systeem neemt je beweging, zet deze om in een lijst met getallen (statistieken) en vindt vergelijkbare lijsten in de bibliotheek. Vervolgens vraagt het de AI: "Hier zijn 10 vergelijkbare eerdere bewegingen en hun labels. Wat is deze nieuwe?"
- Resultaat: Dit alleen is al beter dan veel complexe, getrainde systemen omdat de AI kan "redeneren" met echte voorbeelden in plaats van alleen maar te raden.
Fase 2: De Optimalisatie (De Expert-Pols)
De onderzoekers realiseerden zich dat de AI nog beter zou kunnen doen als het "spiekbriefje" duidelijker was geschreven en de vragen slimmer waren gesteld.
- Betere Beschrijvingen: In plaats van de AI alleen ruwe getallen te geven, gebruiken ze de AI zelf om een kort verhaal in natuurlijke taal te schrijven over de beweging (bijvoorbeeld: "Dit lijkt op een ritmische, hoge-intensiteitsbeweging met een steady beat"). Dit helpt de AI het gevoel van de beweging te begrijpen, niet alleen de wiskunde.
- Prompt Engineering: Ze gebruikten een speciaal hulpmiddel om automatisch de perfecte instructies voor de AI te schrijven, waarbij ze duizenden verschillende manieren om de vraag te stellen testten totdat ze degene vonden die de beste antwoorden gaf.

4. Waarom Dit Een Groot Ding Is

Het artikel benadrukt drie grote superkrachten van RAG-HAR:

Geen Training Vereist: Je hoeft de AI niet wekenlang te leren. Je voegt gewoon nieuwe voorbeelden toe aan de bibliotheek. Als je wilt dat de AI "dansen" herkent, voeg je gewoon een paar dansvoorbeelden toe aan de bibliotheek. De AI weet direct hoe het moet.
Het Kan het Onbekende Raden: Traditionele AI raakt in de war als het iets ziet waarvoor het niet is getraind (zoals een nieuw type oefening). RAG-HAR kan naar een vreemde nieuwe beweging kijken en zeggen: "Ik heb dit exacte ding nog niet gezien, maar het lijkt op een mix van joggen en springen", en geeft het een betekenisvolle naam. Het zegt niet zomaar "Ik weet het niet".
Het is Goedkoop en Snel: Omdat het geen enorme computer nodig heeft om het model te "trainen", bespaart het veel geld en tijd. Het is alsof je een consultant huurt die alles al weet, in plaats van een student te huren en jarenlang te leren.

Samenvattende Analogie

Stel je voor dat je een vogel probeert te identificeren die je nog nooit hebt gezien.

Oude Manier (Deep Learning): Je besteedt 10 jaar aan het memoriseren van foto's van 50 specifieke vogels. Als je een vogel ziet die niet op je lijst staat, faal je.
RAG-HAR Manier: Je hebt een vriend die een expert-ornitholoog is. Je laat ze de vogel zien en geeft ze ook een boek met de 10 vogels die het meest op die vogel lijken. Je vriend kijkt in het boek, vergelijkt het met de vogel in je hand en zegt: "Ah, dit lijkt op een mix van een mus en een vink, maar het is zeker een nieuw type mus."

Het artikel bewijst dat deze "consultant met een naslagwerk"-aanpak beter werkt dan de "geheugenstudent"-aanpak voor het herkennen van menselijke activiteiten, zonder dat er extra training nodig is.

Technische Samenvatting: RAG-HAR

Probleemstelling

Menselijke Activiteitsherkenning (HAR) op basis van draagbare sensordata is cruciaal voor gezondheidszorg, revalidatie en slimme omgevingen. Echter, bestaande deep learning (DL) benaderingen staan voor drie aanzienlijke beperkingen:

Ressourcenintensiteit: Ze vereisen kostbare, tijdrovende, dataset-specifieke training en fine-tuning.
Generalisatieproblemen: De prestaties verslechteren bij domeinverschuivingen (bijv. verschillende proefpersonen, sensorplaatsingen of apparaten).
Data-afhankelijkheid: Ze zijn sterk afhankelijk van grote, gelabelde corpora.

Bovendien, hoewel Large Language Models (LLM's) brede wereldkennis en redeneervermogen bieden, faalt directe toepassing op sensordata vaak. LLM's worstelen met fijnmazige activiteitsonderscheidingen en missen verankering in specifieke activiteitspatronen, wat leidt tot verkeerde classificaties wanneer ze worden geconfronteerd met ruwe of slecht gecontextualiseerde sensorsignalen.

Methodologie: RAG-HAR

Het artikel introduceert RAG-HAR, een trainingsvrij kader dat Retrieval-Augmented Generation (RAG) benut om LLM's in staat te stellen HAR uit te voeren zonder modeltraining of fine-tuning. Het kader werkt in twee fasen: een Basisfase en een Optimalisatiefase.

1. Dataverwerking en Kenmerkextractie

Normalisatie: Ruwe sensorkanalen (bijv. versnellingsmeter, gyroscoop, magnetometer) worden gestandaardiseerd met Z-score normalisatie.
Schuifend Venster & Partitionering: Tijdsreeksdata wordt opgesplitst in vensters van vaste grootte. Cruciaal wordt elk venster verder onderverdeeld in vier sub-segmenten: het Volledige segment, en drie gelijke delen (Start, Midden, Einde).
Statistische Descriptoren: Voor elk segment en sub-segment worden acht statistische kenmerken berekend over alle kanalen: gemiddelde, maximum, minimum, 25e/75e percentielen, standaardafwijking, mediaan en piektelling. Dit vangt zowel globale trends als lokale transient gebeurtenissen op.

2. Basisfase (Retrieval-Augmented Redenering)

Embedding Generatie: De statistische kenmerkvectoren worden gesequenced naar gestructureerde tekststrings (bijv. mean=0.12, std=0.34). Deze strings worden ingebed met een vooraf getraind, algemeen tekstembeddingmodel (bijv. text-embedding-3-small).
Vectordatabase Indexering: Embeddings van de trainingsdata worden opgeslagen in een vectordatabase samen met metadata (activiteitlabels, gebruikers-ID's).
Inferentie & Retrieval:
- Voor een testsample worden embeddings gegenereerd voor zijn segmenten en sub-segmenten.
- Een benaderde dichtstbijzijnde buur (ANN) zoekopdracht haalt de top- $k$ meest vergelijkbare trainingsamples op op basis van cosijnvergelijking.
- Een gewogen herordeningmechanisme combineert scores van de verschillende sub-segmenten om de uiteindelijke contextset te selecteren.
LLM Classificatie: De opgehaalde samples (met hun labels en statistische kenmerken) en het query-sample worden opgemaakt in een prompt. Een vooraf getrainde LLM (bijv. gpt-5-mini) analyseert de contextuele bewijzen en de query om het activiteitlabel te voorspellen en een onderbouwing te geven.

3. Optimalisatiefase

Om de prestaties verder te verbeteren, worden twee strategieën geïntroduceerd:

Prompt Optimalisatie: Een meta-optimalisatielus genereert en verfijnt systematisch systeemprompts. Met behulp van een roulette-wiel selectiestrategie gebaseerd op validatie F1-scores, verkent het systeem diverse promptformuleringen en strategieën (bijv. specifieke instructies voor kenmerkextractie) om de classificatieprecisie voor een gegeven dataset te maximaliseren.
LLM-gebaseerde Activiteitsdescriptoren: In plaats van eenvoudige statistische sjablonen voor embedding te gebruiken, genereert een gespecialiseerde LLM-prompt rijke, natuurlijke taalbeschrijvingen van de bewegingspatronen (bijv. "volgehouden, repetitieve beweging", "dominante as X"). Deze semantisch rijkere beschrijvingen worden vervolgens ingebed en geïndexeerd, waardoor de kwaliteit van de opgehaalde context verbetert.

Belangrijkste Bijdragen

Trainingsvrije SOTA Prestaties: RAG-HAR is het eerste retrieval-augmented kader voor HAR dat state-of-the-art (SOTA) prestaties bereikt over zes diverse benchmarks zonder enige dataset-specifieke modeltraining of fine-tuning.
Twee-fase Kader: Het artikel stelt een nieuwe architectuur voor die een basisretrievalsysteem combineert met een optimalisatiefase met prompt optimalisatie en LLM-gebaseerde activiteitsdescriptoren, wat een beheersbare afweging biedt tussen efficiëntie en nauwkeurigheid.
Open-wereld Herkenning: In tegenstelling tot traditionele DL-modellen die beperkt zijn tot vaste taxonomieën, kan RAG-HAR ongezien activiteiten detecteren en betekenisvolle labels genereren. Het gaat voorbij aan het samenvoegen van onbekende inputs tot een enkel "onbekend" klasse, en gebruikt in plaats daarvan de semantische kennis van de LLM om nieuwe gedragingen te categoriseren.
Uitgebreide Evaluatie: Het kader is gevalideerd op zes datasets (HHAR, PAMAP2, MHEALTH, GOTOV, SKODA, USC-HAD) die variëren van 6 tot 60 sensorkanalen en diverse activiteitstypen (locomotie, dagelijks leven, assemblagetaken).

Resultaten

Benchmarks Prestaties: RAG-HAR presteert beter dan toonaangevende DL-baselines (inclusief CNN's, LSTMs en Transformers) over vijf van de zes datasets.
- Op PAMAP2 behaalde het een F1-score van 91,12%, wat de vorige beste (Triplet LSTM) met ongeveer 0,5% overtrof.
- Op MHEALTH bereikte het 96,74%, en presteerde het beter dan adversariale kenmerkextractoren.
- Op GOTOV en SKODA verbeterde het F1-scores met 1–2% ten opzichte van de sterkste eerdere modellen.
- Op HHAR toonde het een significante verbetering van meer dan 7% F1-score in vergelijking met SimCLR en DeepConvLSTM baselines.
Open-set Capaciteit: In open-set experimenten (waarbij 30–70% van de activiteitsklassen uit de database worden weggehouden), presteerde RAG-HAR consistent 3–7% beter in F1-score dan de MTMD-baseline.
Labeling van Ongesien Activiteiten: Het systeem toonde het vermogen om semantisch coherente labels te genereren voor nieuwe activiteiten. Voor enkele onbekende klassen behaalde het 96,47% nauwkeurigheid bij het mappen van voorspelde labels naar de grondwaarheid; dit bleef robuust (88,90%) zelfs met drie onbekende klassen weggehouden.
Kosten en Efficiëntie: Het kader elimineert trainingstijd. Inferentiekosten zijn minimaal (ongeveer $0,0006 per sample op MHEALTH), en het systeem vermijdt de noodzaak van GPU-intensieve trainingspijplijnen.

Betekenis en Claims

Het artikel beweert dat RAG-HAR het HAR-paradigma fundamenteel verschuift van modelcentrisch leren naar retrieval-augmented redenering. De primaire betekenis ligt in:

Eliminatie van Trainingslast: Het verwijdert de noodzaak voor dure, dataset-specifieke trainingscycli, waardoor HAR toegankelijker en schaalbaarder wordt.
Omgaan met Ongesien Data: Het adresseert het "open-wereld" probleem door het herkennen en betekenisvol labelen van activiteiten die niet in de trainingsdata aanwezig zijn, een capaciteit die traditioneel uitgebreide menselijke annotatie vereist.
Robuustheid: Door voorspellingen te verankeren in opgehaalde voorbeelden en gebruik te maken van de vooraf getrainde wereldkennis van de LLM, bereikt het systeem hoge generalisatie over verschillende proefpersonen en sensorconfiguraties zonder hertraining.
Praktijktoepasbaarheid: Het kader biedt een lichtgewicht, kosteneffectief alternatief voor deep learning, geschikt voor implementatie in omgevingen met beperkte middelen waar hertraining onpraktisch is.