🤖 machine learning

RAG-HAR+: Towards Cost-Efficient LLM-Based Human Activity Recognition for Edge Deployment

Het artikel introduceert RAG-HAR+, een kostengeoptimaliseerd, retrieval-first framework voor Human Activity Recognition dat een offline agent gebruikt om dataset-specifieke kenmerken te ontwerpen en meerderheidsstemming toepast om het gebruik van LLM's te minimaliseren terwijl de competitieve prestaties over diverse benchmarks worden behouden.

Oorspronkelijke auteurs: Hansi Karunarathna, Nirhoshan Sivaroopan, Chamara Madarasingha, Anura Jayasumana, Kanchana Thilakarathna

Gepubliceerd 2026-07-30

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hansi Karunarathna, Nirhoshan Sivaroopan, Chamara Madarasingha, Anura Jayasumana, Kanchana Thilakarathna

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je lichaam een druk orkest is, en kleine sensoren op je pols of kleding zijn de dirigenten die constant luisteren naar het ritme van je stappen, het zwaaien van je armen en de hartslag van je hart. Dit vakgebied, gena de Human Activity Recognition (HAR), is hoe computers leren het verschil te zien tussen wanneer je jogt, slaapt of typt. Lange tijd was de beste manier om computers dit te leren hen enorme bibliotheken met gelabelde voorbeelden te laten memoriseren, zoals een student die voor een examen leert door elk boek in de bibliotheek te lezen. Maar dit is duur, traag en gaat kapot als je de sensor of de activiteit verandert. Onlangs kwam er een nieuw idee naar voren: in plaats van te memoriseren, waarom laten we de computer niet "opzoeken" wat vergelijkbare voorbeelden uit het verleden in een gigantische database, en vragen we een superintelligente AI (een Large Language Model, of LLM) om te helpen begrijpen wat er aan de hand is? Het is alsof je een geniale bibliothecaris hebt die direct de meest vergelijkbare verhalen kan vinden om je te helpen een mysterie op te lossen. Maar zelfs deze nieuwe methode heeft een struikelblok: de geniale bibliothecaris om hulp vragen bij elke stap die je zet, is traag, kost veel geld en vereist een constante internetverbinding.

Dit artikel introduceert een slimme upgrade genaamd RAG-HAR+ die dit probleem oplost door te veranderen wanneer en hoe we om hulp vragen. De auteurs ontdekten dat de vorige methode was alsof je voor elke vraag een consultant inhuurt, zelfs voor de makkelijke vragen. RAG-HAR+ werkt meer als een slim detectiebureau. Eerst gebruikt het de AI offline (voordat je zelfs maar begint met bewegen) om een beter "archiveringssysteem" voor de database te ontwerpen, waarbij de specifieke aanwijzingen kiest die het belangrijkst zijn voor jouw specifieke activiteit. Vervolgens, wanneer je beweegt, probeert het systeem het mysterie op te lossen door simpelweg te kijken naar de meest vergelijkbare voorbeelden uit het verleden in de database. Het roept pas de dure AI-consultant in actie als de aanwijzingen verwarrend zijn en de database het niet eens kan worden over een antwoord. Door dit te doen, wordt het systeem ongelooflijk snel, goedkoop en werkt het zelfs als de internetverbinding slecht is, terwijl het nog steeds net zo nauwkeurig is als de oude, tragere methoden.

Het Probleel: De "Overdreven Roepende" Detective

Stel je voor dat je een superintelligente AI-assistent hebt die alles weet over menselijke beweging. In het oorspronkelijke systeem (RAG-HAR) stopt het systeem bij elke stap die je zet, stuurt een bericht naar de AI en vraagt: "Wat ben ik aan het doen?" De AI leest het bericht, kijkt naar enkele voorbeelden uit het verleden en antwoordt. Dit werkt, maar het is alsof je een wereldberoemde detective inhuurt om elke zaak op te lossen, van "Wie heeft de koekjes gestolen?" tot "Wie heeft de butler vermoord?". Het is een verspilling van de tijd en het geld van de detective voor de diefstal van de koekjes. Bovendien, als de detective in een ander land is (de cloud), moet je wachten tot een bericht heen en weer is gereisd telkens wanneer, wat het hele proces traag maakt.

De onderzoekers realiseerden zich dat voor de meeste stappen het antwoord overduidelijk is als je maar naar de juiste voorbeelden uit het verleden kijkt. Je hebt geen genie nodig om je te vertellen dat wandelen op wandelen lijkt; je hoeft alleen maar een paar andere voorbeelden van wandelen in de database te vinden. Het probleem met het oude systeem was dat het een "one-size-fits-all" manier gebruikte om de beweging te beschrijven, waardoor het soms de subtiele aanwijzingen miste die een activiteit uniek maken.

De Oplossing: Het Slimme Archiveringssysteem en de "Ambiguïteitsoplosser"

RAG-HAR+ verandert het spel met twee belangrijke trucs.

1. De Offline "Archiveringssysteem" Ontwerper
Voordat je zelfs aan je workout begint, gebruikt het systeem de AI één keer om een op maat gemaakt archiveringssysteem voor jouw specifieke dataset te ontwerpen. Zie dit als de AI die optreedt als een bibliothecaris die jouw collectie bestudeert en besluit: "Oké, voor deze collectie boeken moet ik ze organiseren op kleur en auteur, niet op genre en aantal pagina's." De AI kijkt naar duizenden verschillende manieren om een beweging te beschrijven (zoals hoe snel het is, hoe hobbelig het is of het ritme ervan) en kiest de drie beste groepen aanwijzingen die het beste werken voor jouw specifieke sensoren en activiteiten. Dit gebeurt slechts één keer, offline, zodat het je later niet vertraagt.

2. De "Ambiguïteitsoplosser" (De Slimme Fallback)
Nu, wanneer je beweegt, roept het systeem de AI niet onmiddellijk aan. In plaats daarvan neemt het jouw huidige beweging, vertaalt deze naar die aangepaste aanwijzingen en zoekt in de database naar de top 10 meest vergelijkbare voorbeelden uit het verleden.

De Meerderheidsstem: Als 8 van de 10 voorbeelden uit het verleden zeggen: "Je bent aan het rennen", dan zegt het systeem gewoon: "Oké, je bent aan het rennen," en gaat verder. Geen AI nodig!
De Fallback: Als de database in de war is—bijvoorbeeld, 5 voorbeelden zeggen "rennen" en 5 zeggen "joggen"—dan roept het systeem de AI aan. Deze AI, nu de "Ambiguïteitsoplosser" genoemd, kijkt naar de verwarrende aanwijzingen en de voorbeelden uit het verleden om de uiteindelijke, slimme beslissing te nemen.

Dit betekent dat de dure AI alleen wordt opgeroepen voor de lastige, verwarrende momenten. Voor de makkelijke, overduidelijke momenten draait het systeem op eigen kracht, gebruikmakend van eenvoudige wiskunde om stemmen te tellen.

De Resultaten: Snelheid, Besparingen en Slimheid

De onderzoekers testten dit nieuwe systeem op zes verschillende datasets, variërend van mensen die wandelen en rennen tot complexe industriële assemblage-taken. De resultaten waren indrukwekkend:

Nauwkeurigheid: Het nieuwe systeem was net zo goed, of zelfs beter, in het herkennen van activiteiten dan de oude methode. Op sommige datasets verbeterde de nauwkeurigheid aanzienlijk (bijvoorbeeld op de MHEALTH-dataset ging het van 96,91% naar 98,35% nauwkeurigheid).
Kostenbesparing: Omdat het stopte met het aanroepen van de AI voor elk enkel monster, verminderde het de hoeveelheid data die naar de AI werd verzonden met 89,3% tot 99,9%. In één geval (MHEALTH) hoefde het de AI slechts voor één enkel monster aan te roepen van de 666!
Snelheid: Het systeem werd veel sneller. Op de MHEALTH-dataset daalde de tijd die nodig was om een activiteit te herkennen van 18,25 seconden naar slechts 0,41 seconden. Dat is een versnelling van meer dan 44 keer! Zelfs op de langzaamste dataset was het nog steeds ongeveer 5,7 keer sneller.

Waarom dit ertoe doet voor de toekomst

Het artikel bouwde ook een werkend prototype op een echte smartphone om aan te tonen dat dit niet alleen een theorie is. Ze hebben het omgezet in een widget in een fitness-app. Toen ze het op een echte telefoon testten, was de versnelling nog spectaculairder—ongeveer 15 keer sneller—omdat de telefoon niet hoefde te wachten tot het internet met de AI communiceerde voor elke stap.

De auteurs suggereren dat deze aanpak een grote stap is naar het toegankelijk maken van slimme gezondheids- en fitnessapps die overal werken, zelfs zonder een perfecte internetverbinding, en zonder dat het een fortuin kost om te draaien. Het bewijst dat je niet de "genie" om hulp hoeft te vragen bij elk klein dingetje; soms zijn een slim archiveringssysteem en een eenvoudige stemming alles wat je nodig hebt. Het artikel concludeert dat door de rol van de AI te verschuiven van een constante online werker naar een slim ontwerper en een reserve-expert, we activiteitsherkenning goedkoper, sneller en klaar voor de echte wereld kunnen maken.

Technische Samenvatting: RAG-HAR+ Naar Kostenefficiënte LLM-gebaseerde Human Activity Recognition voor Edge-implementatie

Probleemstelling

Human Activity Recognition (HAR) op basis van draagbare sensoren is cruciaal voor de gezondheidszorg, fitness en slimme omgevingen. Bestaande deep learning (DL) benaderingen ervaren echter aanzienlijke barrières voor praktische edge-implementatie: ze vereisen dataset-specifieke training, grote gelabelde corpora en lijden onder prestatievermindering bij domeinverschuivingen (bijv. veranderingen in sensorplaatsing of het onderwerp). Hoewel Large Language Models (LLMs) een training-vrije alternatief bieden met sterke semantische redenering, wordt hun directe toepassing op HAR gehinderd door de continue, multi-channel aard van sensordata, wat het contextbudget uitput en hoge computationele kosten en latentie met zich meebrengt.

Het eerdere werk van de auteurs, RAG-HAR, pakte dit aan door HAR te formuleren als een retrieval-augmented taak, waarbij statistische beschrijvingen van sensorvensters worden gebruikt om vergelijkbare gelabelde voorbeelden op te halen om LLM-classificatie te sturen. RAG-HAR behield echter twee kritieke beperkingen voor continue edge-implementatie:

Statische Retrieval-representatie: Het gebruikte een statische set basisstatistieken (gemiddelde, max, min, etc.) voor alle datasets, waardoor het niet in staat was om dataset-specifieke onderscheidende kenmerken te vangen (bijv. periodiciteit voor locomotie versus magnitude voor houdingen).
Verplichte LLM-inferentie: De LLM werd voor elke test-sample aangeroepen, wat resulteerde in netwerk-round-trips, hoge tokenkosten en variabele latentie, zelfs wanneer de opgehaalde buren al een betrouwbaar antwoord boden.

Methodologie: RAG-HAR+

RAG-HAR+ introduceert een retrieval-first, kosten-geoptimaliseerd framework dat de rol van de LLM herstructureert van een per-sample classifier naar een gespecialiseerde, conditionele hulpbron. Het framework bestaat uit twee afzonderlijke stadia:

1. Offline Retrieval Designer Agent

Voordat de inferentie plaatsvindt, fungeert een LLM-gebaseerde agent als een Retrieval Designer om de retrieval-representatie voor een specifieke dataset te optimaliseren.

Feature Pool: De agent krijgt toegang tot een diverse pool van descriptors die variëren van statistische, temporele en spectrale categorieën tot motion-intensity en signaalvorm-categorieën.
Iteratief Ontwerp: Door een iteratief proces selecteert de agent kenmerken en verdeelt deze in drie compacte, niet-overlappende feature groepen ( $G^*_1, G^*_2, G^*_3$ ).
Feedback Loop: De agent stelt groepen voor, evalueert deze op een validatieset met behulp van Retrieval F1 (prestaties van majority voting op opgehaalde buren) en RAG Hit Rate (aanwezigheid van het correcte label in de top- $q$ buren), en verfijnt de groepen via "improvement prompts" om zwakke klassen of redundantie aan te pakken.
Resultaat: Dit resulteert in dataset-specifieke, multi-vector representaties die beter aansluiten bij de unieke bewegingspatronen van de doel-activiteitentaxonomie.

2. Online Inferentie Pipeline

Tijdens real-time inferentie werkt het systeem als volgt:

Multi-Vector Search: Een query-venster wordt verwerkt met behulp van de geselecteerde feature groepen om drie query-vectoren te generen. Deze worden doorzocht tegen een multi-vector index (waarbij elke trainingssample wordt opgeslagen als drie afzonderlijke vectorvelden).
Gewogen Re-ranking: Resultaten uit de drie vectorvelden worden samengevoegd en opnieuw gerankt met geoptimaliseerde gewichten om de top- $q$ buren te selecteren.
Deterministische Routing (Majority Voting): Het systeem past een parameter-vrije majority vote toe op de labels van de top- $q$ $q$ buren.
- Duidelijke Meerderheid: Als één label wint, wordt de activiteit direct voorspeld. De LLM wordt niet aangeroepen.
- Ambiguïteit: Als twee of meer labels een gelijk aantal stemmen delen voor de hoogste stem, wordt de sample gerouteerd naar de Ambiguity Resolver Agent.
Ambiguity Resolver Agent: Voor ambigue gevallen wordt de LLM online aangeroepen. Deze ontvangt een gestructureerde prompt met de statistische beschrijvingen van het query-venster (berekend over begin-, midden-, eind- en volledige segmenten) en de opgehaalde voorbeelden, waardoor de LLM kan redeneren over de specifieke context om de strijd te beslechten.

Belangrijkste Bijdragen

Twee-fasen LLM-gebruik: Het artikel herkadert het LLM-gebruik in HAR naar een eenmalige offline Retrieval Designer fase en een conditionele online Ambiguity Resolver fase. Dit verschuift de inferentiekosten van schalen met het aantal samples naar schalen met de voorspellingsambiguïteit.
Adaptieve Feature Groepering: De introductie van een LLM-gestuurde agent die compacte, dataset-specifieke multi-vector retrieval groepen construeert, ter vervanging van de vaste, generieke statistische descriptors van eerdere methoden.
Mobiel Prototype: Implementatie van een smartphone-gebaseerd prototype (Flutter app) die de praktische haalbaarheid van deze retrieval-first benadering in een echte mobiele edge-omgeving demonstreert, inclusief on-device latentiemetingen en incrementele index-updates.
Uitgebreide Evaluatie: Een uitgebreide evaluatie over zes HAR-benchmarks (USC-HAD, PAMAP2, MHEALTH, GOTOV, HHAR, Skoda) met ablatie-studies die de bijdragen van de retrieval designer, feature grouping en routing strategieën isoleren.

Resultaten

Prestaties: RAG-HAR+ behaalt competitieve of verbeterde prestaties vergeleken met RAG-HAR en state-of-the-art non-LLM baselines. Het verbeterde de F1-scores op vier van de zes datasets (USC-HAD, MHEALTH, HHAR, Skoda) en bleef competitief op de overige datasets.
Kostenreductie: Het framework vermindert het online LLM-gebruik drastisch. Over de zes datasets heen werd het online tokenverbruik met 89,3% tot 99,9% verminderd. Op de MHEALTH-dataset vereiste bijvoorbeeld slechts één sample een LLM-oproep van 666 test-samples.
Latentie: De inferentie-latentie werd met 5,7x tot 44,5x verminderd ten opzichte van RAG-HAR. Op het mobiele prototype daalde de latentie van ~5,4 seconden naar ~0,36 seconden per sample (een versnelling van ~15x), voornamelijk omdat de meeste samples de netwerk-round-trip naar de LLM omzeilen.
Retrieval Kwaliteit: De adaptieve feature groepen verbeterden de Retrieval F1 (prestaties van voting alleen) aanzienlijk, waardoor de kloof tussen retrieval-only voorspellingen en de uiteindelijke LLM-ondersteunde voorspellingen werd verkleind. Dit geeft aan dat de retrieval-stap sterker bewijs levert, waardoor de noodzaak voor een fallback wordt verminderd.

Betekenis en Claims

Het artikel claimt dat RAG-HAR+ de praktische haalbaarheid van training-vrije, retrieval-augmented HAR voor edge-implementatie aantoont. Door de LLM los te koppelen van het kritieke pad van elke inferentie, bereikt het systeem een schaalbaar operationeel punt waarbij:

Inferentiekosten schalen met ambiguïteit, niet met datavolume.
Retrieval-kwaliteit wordt verbeterd door dataset-specifieke, door de LLM ontworpen feature-representaties zonder een classifier te finetunen.
Edge-implementatie levensvatbaar is voor continue monitoring, aangezien het systeem de netwerkafhankelijkheid en tokenkosten minimaliseert terwijl de hoge nauwkeurigheid behouden blijft.

De auteurs positioneren dit werk als een stap naar schaalbare, generaliseerbare HAR-systemen die de redeneerkracht van LLM's kunnen benutten zonder de prohibitieve computationele of financiële kosten, waardoor ze geschikt zijn voor hulpbron-beperkte wearable en mobiele omgevingen.