🤖 machine learning

RAG-HAR+: Towards Cost-Efficient LLM-Based Human Activity Recognition for Edge Deployment

Das Papier stellt RAG-HAR+ vor, ein kostenoptimiertes, retrieval-basiertes Framework für die menschliche Aktivitätserkennung, das einen Offline-Agenten nutzt, um datenspezifische Merkmale zu entwerfen, und Mehrheitsvotum (Majority Voting) einsetzt, um den LLM-Einsatz zu minimieren und gleichzeitig eine wettbewerbsfähige Leistung über verschiedene Benchmarks hinweg aufrechtzuerhalten.

Ursprüngliche Autoren: Hansi Karunarathna, Nirhoshan Sivaroopan, Chamara Madarasingha, Anura Jayasumana, Kanchana Thilakarathna

Veröffentlicht 2026-07-30

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hansi Karunarathna, Nirhoshan Sivaroopan, Chamara Madarasingha, Anura Jayasumana, Kanchana Thilakarathna

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Ihr Körper wäre ein geschäftiges Orchester, und winzige Sensoren an Ihrem Handgelenk oder Ihrer Kleidung sind die Dirigenten, die ständig dem Rhythmus Ihrer Schritte, dem Schwanken Ihrer Arme und dem Schlag Ihres Herzens lauschen. Dieses Feld, genannt Human Activity Recognition (HAR), ist die Art und Weise, wie Computer lernen, zwischen Ihrem Joggen, Schlafen oder Tippen zu unterscheiden. Lange Zeit war der beste Weg, Computer dies beizubringen, sie dazu zu zwingen, riesige Bibliotheken mit beschrifteten Beispielen auswendig zu lernen, wie ein Schüler, der für eine Prüfung büffelt, indem er jedes einzelne Buch in der Bibliothek liest. Aber das ist teuer, langsam und bricht zusammen, wenn man den Sensor oder die Aktivität ändert. Vor kurzem entstand eine neue Idee: Anstatt auswendig zu lernen, warum lassen wir den Computer nicht einfach in einer riesigen Datenbank nach ähnlichen vergangenen Beispielen „nachschlagen“ und fragen eine superintelligente KI (ein Large Language Model, oder LLM), um herauszufinden, was gerade passiert? Es ist, als hätte man einen genialen Bibliothekar, der sofort die ähnlichsten Geschichten finden kann, um einem dabei zu helfen, ein Rätsel zu lösen. Aber selbst diese neue Methode hat einen Haken: Den genialen Bibliothekar bei jedem einzelnen Schritt, den Sie machen, um Hilfe zu bitten, ist langsam, kostet viel Geld und erfordert eine ständige Internetverbindung.

Dieses Paper stellt ein kluges Upgrade namens RAG-HAR+ vor, das dieses Problem löst, indem es ändert, wann und wie wir um Hilfe bitten. Die Autoren fanden heraus, dass die vorherige Methode so war, als würde man für jede einzelne Frage einen Berater rufen, selbst für die einfachen. RAG-HAR+ agiert eher wie eine kluge Detektivagentur. Zuerst nutzt es die KI offline (bevor Sie überhaupt mit der Bewegung beginnen), um ein besseres „Ablagesystem“ für die Datenbank zu entwerfen, indem es die spezifischen Hinweise auswählt, die für Ihre jeweilige Aktivität am wichtigsten sind. Dann, wenn Sie sich bewegen, versucht das System, das Rätsel zu lösen, indem es einfach nur nach den ähnlichsten vergangenen Beispielen in der Datenbank sucht. Es ruft den teuren KI-Berater erst dann, wenn die Hinweise verwirrend sind und die Datenbank sich nicht auf eine Antwort einigen kann. Durch dies wird das System unglaublich schnell, günstig und funktioniert selbst dann, wenn die Internetverbindung lückenhaft ist, während es gleichzeitig genauso genau ist wie die alten, langsameren Methoden.

Das Problem: Der „überforderte“ Detektiv

Stellen Sie sich vor, Sie haben einen superintelligenten KI-Assistenten, der alles über menschliche Bewegungen weiß. Im ursprünglichen System (RAG-HAR) hält das System bei jedem Schritt, den Sie machen, inne, sendet eine Nachricht an die KI und fragt: „Was mache ich gerade?“ Die KI liest die Nachricht, betrachtet einige vergangene Beispiele und antwortet. Das funktioniert, aber es ist, als würde man einen weltberühmten Detektiv engagieren, um jeden einzelnen Fall zu lösen, von „Wer hat den Keks gestohlen?“ bis hin zu „Wer hat den Butler ermordet?“. Das ist eine Verschwendung der Zeit und des Geldes des Detektivs für den Diebstahl eines Kekses. Zudem, wenn sich der Detektiv in einem anderen Land befindet (in der Cloud), müssen Sie jedes Mal warten, bis eine Nachricht hin und zurück gereist ist, was den gesamten Prozess langsam macht.

Die Forscher erkannten, dass für die meisten Schritte die Antwort offensichtlich ist, wenn man nur die richtigen vergangenen Beispiele betrachtet. Man braucht keinen Genie, um zu sagen, dass Gehen wie Gehen aussieht; man muss nur ein paar andere Beispiele für Gehen in der Datenbank finden. Das Problem mit dem alten System war, dass es eine „Einheitslösung“ verwendete, um die Bewegung zu beschreiben, die manchmal die subtilen Hinweise übersah, die eine Aktivität einzigartig machen.

Die Lösung: Das kluge Ablagesystem und der „Ambiguity Resolver“

RAG-HAR+ verändert die Spielregeln mit zwei Haupttricks.

1. Der Offline-Designer des „Ablagesystems“
Bevor Sie überhaupt mit Ihrem Training beginnen, nutzt das System die KI einmalig, um ein maßgeschneidertes Ablagesystem für Ihren spezifischen Datensatz zu entweren. Betrachten Sie dies als die KI, die als Bibliothekar fungiert, Ihre Bibliothek studiert und entscheidet: „Okay, für diese Sammlung von Büchern sollte ich sie nach Farbe und Autor organisieren, nicht nach Genre und Seitenzahl.“ Die KI schaut sich tausende verschiedene Arten an, eine Bewegung zu beschreiben (wie etwa wie schnell sie ist, wie uneben sie ist oder ihr Rhythmus), und wählt die drei besten Gruppen von Hinweisen aus, die am besten für Ihre spezifischen Sensoren und Aktivitäten funktionieren. Dies geschieht nur einmal, offline, sodass es Sie später nicht ausbremst.

2. Der „Ambiguity Resolver“ (Der kluge Fallback)
Wenn Sie sich nun bewegen, ruft das System die KI nicht sofort an. Stattdessen nimmt es Ihre aktuelle Bewegung, übersetzt sie in diese maßgeschneiderten Hinweise und sucht in der Datenbank nach den 10 ähnlichsten vergangenen Beispielen.

Die Mehrheitsentscheidung: Wenn 8 von 10 dieser vergangenen Beispiele sagen: „Du läufst“, dann sagt das System einfach: „Okay, du läufst“, und macht weiter. Keine KI nötig!
Der Fallback: Wenn die Datenbank verwirrt ist – sagen wir, 5 Beispiele sagen „Laufen“ und 5 sagen „Joggen“ – dann ruft das System die KI an. Diese KI, nun als „Ambiguity Resolver“ bezeichnet, betrachtet die verwirrenden Hinweise und die vergangenen Beispiele, um die endgültige, kluge Entscheidung zu treffen.

Das bedeutet, dass die teure KI nur für die schwierigen, verwirrenden Momente aufgerufen wird. Für die einfachen, offensichtlichen Momente läuft das System eigenständig und nutzt einfache Mathematik, um Stimmen zu zählen.

Die Ergebnisse: Geschwindigkeit, Ersparnisse und Intelligenz

Die Forscher testeten dieses neue System auf sechs verschiedenen Datensätzen, die von Menschen beim Gehen und Laufen bis hin zu komplexen industriellen Montageaufgaben reichen. Die Ergebnisse waren beeindruckend:

Genauigkeit: Das neue System war bei der Erkennung von Aktivitäten ebenso gut oder sogar besser als die alte Methode. Bei einigen Datensätzen verbesserte es die Genauigkeit signifikant (zum Beispiel verbesserte sich beim MHEALTH-Datensatz die Genauigkeit von 96,91 % auf 98,35 %).
Kosteneinsparungen: Da es aufhörte, die KI für jedes einzelne Sample aufzurufen, reduzierte es die Menge der an die KI gesendeten Daten um 89,3 % bis 99,9 %. In einem Fall (MHEALTH) musste es die KI nur für ein einziges Sample von 666 aufrufen!
Geschwindigkeit: Das System wurde viel schneller. Auf dem MHEALTH-Datensatz sank die Zeit für die Erkennung einer Aktivität von 18,25 Sekunden auf nur 0,41 Sekunden. Das ist eine Beschleunigung um mehr als das 44-fache! Selbst beim langsamsten Datensatz war es immer noch etwa 5,7 Mal schneller.

Warum dies für die Zukunft wichtig ist

Das Paper hat auch einen funktionierenden Prototyp auf einem echten Smartphone gebaut, um zu zeigen, dass dies nicht nur eine Theorie ist. Sie haben es in ein Widget für eine Fitness-App verwandelt. Als sie es auf einem echten Telefon testeten, war die Beschleunigung sogar noch dramatischer – etwa 15 Mal schneller – weil das Telefon nicht auf das Internet warten musste, um bei jedem Schritt mit der KI zu kommunizieren.

Die Autoren schlagen vor, dass dieser Ansatz ein großer Schritt hin zu intelligenten Gesundheits- und Fitness-Apps ist, die überall funktionieren, selbst ohne eine perfekte Internetverbindung und ohne Unsummen zu kosten. Es beweist, dass man nicht das „Genie“ um Hilfe bitten muss, bei jeder Kleinigkeit; manchmal sind ein kluges Ablagesystem und eine einfache Abstimmung alles, was man braucht. Das Paper kommt zu dem Schluss, dass, indem wir die Rolle der KI von einem ständigen Online-Arbeiter zu einem klugen Designer und einem Backup-Experten verschieben, wir die Aktivitätserkennung billiger, schneller und bereit für die reale Welt machen können.

Technisches Resümee: RAG-HAR+ im Hinblick auf eine kosteneffiziente LLM-basierte menschliche Aktivitätserkennung für den Edge-Einsatz

Problemstellung

Die Erkennung menschlicher Aktivitäten (Human Activity Recognition, HAR) mittels tragbarer Sensoren ist entscheidend für das Gesundheitswesen, die Fitness und intelligente Umgebungen. Bestehende Deep-Learning-Ansätze (DL) stehen jedoch vor erheblichen Barrieren für einen praktischen Einsatz am Edge: Sie erfordern datenspezifisches Training, große gelabelte Korpora und leiden unter Leistungsabfall bei Domänenverschiebungen (z. B. Änderungen der Sensorplatzierung oder des Probanden). Während Large Language Models (LLMs) eine trainingsfreie Alternative mit starker semantischer Argumentationsfähigkeit bieten, wird ihre direkte Anwendung auf HAR durch die kontinuierliche, multikanalige Natur von Sensordaten behindert, die das Kontext-Budget erschöpft und hohe Rechenkosten sowie Latenzen verursacht.

Die vorangegangene Arbeit der Autoren, RAG-HAR, adressierte dies, indem sie HAR als eine retrieval-augmentierte Aufgabe formulierte, bei der statistische Beschreibungen von Sensorfenstern verwendet werden, um ähnliche gelabelte Beispiele abzurufen, die die LLM-Klassifizierung leiten. RAG-HAR behielt jedoch zwei kritische Einschränkungen für den kontinuierlichen Edge-Einsatz bei:

Feste Retrieval-Repräsentation: Es verwendete einen statischen Satz grundlegender Statistiken (Mittelwert, Maximum, Minimum usw.) über alle Datensätze hinweg, wodurch es versäumte, datenspezifische diskriminative Merkmale zu erfassen (z. B. Periodizität für Lokomotion gegenüber Magnitude für Körperhaltungen).
Obligatorische LLM-Inferenz: Das LLM wurde für jedes Test-Sample aufgerufen, was Netzwerkrundläufe, hohe Token-Kosten und variable Latenzen zur Folge hatte, selbst wenn die abgerufenen Nachbarn bereits eine konfidente Antwort lieferten.

Methodik: RAG-HAR+

RAG-HAR+ führt ein Retrieval-First-, kostenoptimiertes Framework ein, das die Rolle des LLMs von einem pro-Sample-Klassifikator zu einer spezialisierten, konditionalen Ressource umstrukturiert. Das Framework besteht aus zwei distinkten Phasen:

1. Offline Retrieval Designer Agent

Vor der Inferenz fungiert ein LLM-basierter Agent als Retrieval Designer, um die Retrieval-Repräsentation für einen spezifischen Datensatz zu optimieren.

Feature-Pool: Dem Agenten wird ein vielfältiger Pool von Deskriptoren zur Verfügung gestellt, die statistische, temporale, spektrale, bewegungsintensitätsbezogene und Signalform-Kategorien umfassen.
Iteratives Design: Durch einen iterativen Prozess wählt der Agent Merkmale aus und partitioniert sie in drei kompakte, sich nicht überschneidende Feature-Gruppen ( $G^*_1, G^*_2, G^*_3$ ).
Feedback-Schleife: Der Agent schlägt Gruppen vor, evaluiert diese auf einem Validierungsdatensatz mittels Retrieval F1 (Leistung der Mehrheitsentscheidung auf abgerufenen Nachbarn) und RAG Hit Rate (Vorhandensein des korrekten Labels in den Top- $q$ Nachbarn) und verfeinert die Gruppen über „Improvement Prompts“, um schwache Klassen oder Redundanzen zu adressieren.
Ergebnis: Dies resultiert in datenspezifischen, multi-vektoriellen Repräsentationen, die besser mit den einzigartigen Bewegungsmustern der Ziel-Aktivitäts-Taxonomie korrelieren.

2. Online-Inferenz-Pipeline

Während der Echtzeit-Inferenz arbeitet das System wie folgt:

Multi-Vektor-Suche: Ein Abfragefenster wird unter Verwendung der ausgewählten Feature-Gruppen verarbeitet, um drei Abfragevektoren zu generieren. Diese werden gegen einen Multi-Vektor-Index durchsucht (wobei jedes Trainingssample als drei separate Vektorfelder gespeichert ist).
Gewichtetes Re-Ranking: Die Ergebnisse aus den drei Vektorfeldern werden zusammengeführt und mittels optimierter Gewichte neu sortiert, um die Top- $q$ Nachbarn auszuwählen.
Deterministisches Routing (Mehrheitsentscheidung): Das System wendet eine parameterfreie Mehrheitsentscheidung auf die Labels der Top- $q$ $q$ Nachbarn an.
- Klare Mehrheit: Wenn ein einzelnes Label gewinnt, wird die Aktivität direkt vorhergesagt. Das LLM wird nicht aufgerufen.
- Ambiguität: Wenn zwei oder mehr Labels bei der höchsten Stimmenanzahl gleichauf liegen, wird das Sample an den Ambiguity Resolver Agent weitergeleitet.
Ambiguity Resolver Agent: Für ambivalente Fälle wird das LLM online aufgerufen. Es erhält einen strukturierten Prompt, der die statistischen Beschreibungen des Abfragefensters (berechnet über Start-, Mittel-, End- und Vollsegment) sowie die abgerufenen Beispiele enthält, was es ihm ermöglicht, über den spezifischen Kontext zu argumentieren, um den Gleichstand aufzulösen.

Zentrale Beiträge

Zweistufige LLM-Nutzung: Das Paper definiert die LLM-Nutzung in der HAR neu, indem es eine einmalige Offline-Phase (Retrieval Designer) und eine konditionale Online-Phase (Ambiguity Resolver) einführt. Dies verschiebt die Inferenzkosten von der Skalierung mit der Anzahl der Samples hin zur Skalierung mit der Vorhersage-Ambiguität.
Adaptive Feature-Gruppierung: Die Einführung eines LLM-gesteuerten Agenten, der kompakte, datenspezifische Multi-Vektor-Retrieval-Gruppen konstruiert und damit die generischen statistischen Deskriptoren früherer Methoden ersetzt.
Mobiler Prototyp: Implementierung eines Smartphone-basierten Prototyps (Flutter-App), der die praktische Machbarkeit dieses Retrieval-First-Ansatzes in einem realen mobilen Edge-Szenario demonstriert, einschließlich On-Device-Latenzmessungen und inkrementeller Index-Updates.
Umfassende Evaluierung: Eine erweiterte Evaluierung über sechs HAR-Benchmarks (USC-HAD, PAMAP2, MHEALTH, GOTOV, HHAR, Skoda) inklusive Ablationsstudien, welche die Beiträge des Retrieval Designers, der Feature-Gruppierung und der Routing-Strategien isolieren.

Ergebnisse

Performance: RAG-HAR+ erzielt eine wettbewerbsfähige oder verbesserte Leistung im Vergleich zu RAG-HAR und dem Stand der Technik bei Non-LLM-Baselines. Es verbesserte die F1-Scores bei vier der sechs Datensätze (USC-HAD, MHEALTH, HHAR, Skoda) und blieb bei den anderen wettbewerbsfähig.
Kostensenkung: Das Framework reduziert den Online-LLM-Verbrauch drastisch. Über die sechs Datensätze hinweg wurde der Online-Token-Verbrauch um 89,3 % bis 99,9 % reduziert. Beispielsweise war beim MHEALTH-Datensatz nur ein einziges Sample pro 666 Test-Samples für einen LLM-Aufruf erforderlich.
Latenz: Die Inferenzlatenz wurde im Vergleich zu RAG-HAR um den Faktor 5,7 bis 44,5 reduziert. Auf dem mobilen Prototyp sank die Latenz von ca. 5,4 Sekunden auf ca. 0,36 Sekunden pro Sample (eine ca. 15-fache Beschleunigung), primär weil die meisten Samples den Netzwerkrundlauf zum LLM umgehen.
Retrieval-Qualität: Die adaptiven Feature-Gruppen verbesserten die Retrieval F1 (Leistung allein durch Voting) signifikant und verringerten den Abstand zwischen Retrieval-only-Vorhersagen und den finalen LLM-unterstützten Vorhersagen. Dies zeigt, dass der Retrieval-Schritt eine stärkere Evidenz liefert und somit die Notwendigkeit eines Fallbacks reduziert.

Bedeutung und Ansprüche

Das Paper behauptet, dass RAG-HAR+ die praktische Machbarkeit von trainingsfreier, retrieval-augmentierter HAR für den Edge-Einsatz demonstriert. Durch die Entkopplung des LLMs vom kritischen Pfad jeder Inferenz erreicht das System einen skalierbaren Betriebspunkt, an dem:

Die Inferenzkosten mit der Ambiguität skalieren, nicht mit dem Datenvolumen.
Die Retrieval-Qualität verbessert wird durch datenspezifische, LLM-designte Feature-Repräsentationen ohne das Training eines Klassifikators.
Der Edge-Einsatz lebensfähig ist, da das System die Netzwerkabhängigkeit und die Token-Kosten minimiert und gleichzeitig eine hohe Genauigkeit beibehält.

Die Autoren positionieren diese Arbeit als Schritt hin zu skalierbaren, generalisierbaren HAR-Systemen, die die Argumentationsfähigkeiten von LLMs nutzen können, ohne prohibitive Rechen- oder Finanzkosten zu verursachen, was sie für ressourcenbeschränkte Wearable- und Mobile-Umgebungen geeignet macht.