ZARA: Training-Free Motion Time-Series Reasoning via Evidence-Grounded LLM Agents

ZARA is een trainingsvrij agent-gebaseerd raamwerk dat Large Language Models combineert met een statistisch onderbouwde tekstuele kennisbank en retrieval-augmentatie om betrouwbare, open-set menselijke activiteitsherkenning mogelijk te maken zonder kostbare parameterhertraining.

De kern

Stel je voor dat je een slimme horloge of een sensor op je lichaam draagt die je bewegingen bijhoudt: wandelen, rennen, traplopen, zitten. De technologie om te weten wat je doet, heet HAR (Human Activity Recognition).

Tot nu toe was dit een beetje als een schoolmeester die alleen de antwoorden kent die hij in zijn boek heeft staan. Als je een nieuwe beweging deed die niet in het boek stond, of als je een ander horloge droeg, raakte het systeem in de war en moest het opnieuw "leren" (trainen), wat veel tijd en rekenkracht kost.

Deze paper introduceert ZARA. ZARA is geen schoolmeester die uit zijn hoofd leert, maar een slimme detective die werkt zonder te studeren. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Blinddoek" van de AI

Standaard AI-modellen kijken naar de ruwe cijfers van de sensor (zoals een lange lijst met getallen: 0.31, -1.02, etc.). Voor een mens is dat onbegrijpelijk. Het is alsof je iemand vraagt een verhaal te vertellen terwijl je alleen een reeks willekeurige nummers fluistert. De AI raakt dan in de war en verzint dingen (hallucinaties).

2. De Oplossing: ZARA, de Detective met een Referentieboek

ZARA doet iets heel slims: het vertaalt die saaie getallen naar verifieerbare feiten voordat de AI er naar kijkt.

Stel je voor dat ZARA een groot referentieboek heeft, geschreven in mensentaal, gebaseerd op statistieken.

• In plaats van: "De getallen zijn 0.5 en -0.2."
• Zegt ZARA: "Wanneer iemand loopt, is de variatie in de verticale versnelling lager dan wanneer iemand rent."

Dit boekje is niet gemaakt door de AI te trainen, maar door de data van tevoren te analyseren. Het is als een kookboek voor bewegingen. Het zegt: "Als je dit ingrediënt (sensor-data) ziet, dan is de kans groot dat het dit gerecht (activiteit) is."

3. Hoe werkt ZARA? (De Drie Stappen)

ZARA werkt als een team van drie detectives die samenwerken:

• Stap 1: Het Opzoeken van het Recept (Retrieval)
  Als je een nieuwe beweging doet, zoekt ZARA niet in een enorme database van ruwe data. In plaats daarvan zoekt het in zijn referentieboek naar de belangrijkste kenmerken.

  • Analogie: Stel je wilt weten of een appel rijp is. Je kijkt niet naar elke atoom in de appel, maar je zoekt in je geheugen: "Rijpe appels zijn rood en zacht." ZARA zoekt naar de specifieke "recepten" (statistieken) die onderscheid maken tussen bijvoorbeeld 'lopen' en 'rennen'.

• Stap 2: Het Bewijzen (Evidence Grounding)
  ZARA pakt de huidige sensor-data en vergelijkt deze met de feiten uit het boek.

  • Analogie: De detective zegt: "Oké, de sensor zegt dat de arm snel beweegt. In ons boek staat dat 'rennen' een hoge variatie heeft, maar 'wandelen' niet. De data past beter bij rennen."
  • Dit voorkomt dat de AI dingen verzint. Alles moet gebaseerd zijn op bewijs uit het boek.

• Stap 3: Het Uitsluiten van Verdachten (Pruning)
  ZARA begint met alle mogelijke activiteiten (lopen, rennen, fietsen, slapen...). Maar het sluit er snel een paar uit die duidelijk niet passen.

  • Analogie: Als de sensor zegt dat je heel stil bent, kan het geen 'fietsen' zijn. ZARA schraapt die verdachte weg. Dan kijkt het naar de overgebleven verdachten met nog fijnere details. Uiteindelijk blijft er één over: de winnaar.

4. Waarom is dit zo cool?

• Geen Nieuwe Schoolboeken: Als je een nieuwe beweging wilt herkennen (bijv. "danssen"), hoeft je de AI niet opnieuw te laten studeren. Je voegt gewoon één nieuwe regel toe aan het referentieboek: "Danssen heeft een hoge variatie in de heup." Klaar!
• Werkt voor Iedereen: Het maakt niet uit of je een groot of klein iemand bent, of of je een duur of goedkoop horloge hebt. Omdat ZARA kijkt naar de relatie tussen bewegingen (bijv. "rennen is sneller dan lopen"), werkt het overal.
• Vertrouwen: Omdat ZARA een uitleg geeft ("Ik denk dat je rent, omdat je versnelling hoger is dan bij wandelen"), kun je het vertrouwen. Je weet waarom het die keuze maakte.

Samenvattend

ZARA is als een slimme tolk die de taal van de sensoren (ruwe cijfers) vertaalt naar de taal van de mens (logica en feiten). In plaats van de AI dwingen om alles uit zijn hoofd te leren, geeft je haar een handig naslagwerk en laat je haar zelf de conclusies trekken op basis van bewijs.

Het resultaat? Een systeem dat direct werkt, geen dure training nodig heeft, en je precies kan vertellen waarom het denkt dat je aan het joggen bent in plaats van aan het wandelen.

Technische samenvatting

1. Het Probleem

Human Activity Recognition (HAR) op basis van draagbare sensoren (zoals versnellingsmeters en gyroscopen) is cruciaal voor toepassingen in digitale gezondheid en adaptieve interfaces. De huidige staat van de kunst (SOTA) heeft echter drie fundamentele beperkingen:

• Slechte Generalisatie: Bestaande methoden zijn zwaar afhankelijk van toepassingsspecifieke diepe neurale netwerken die getraind zijn op vaste sets van activiteiten en specifieke hardware. Aanpassing aan nieuwe gebruikers (cross-subject) of nieuwe sensorconfiguraties (cross-domain) vereist kostbare hertraining van modelparameters.
• Beperkte Training-Free Adaptatie: Hoewel foundation modellen voor tijdreeksen (zoals Moment of Mantis) transferleerbaarheid bieden, vereisen ze vaak nog steeds specifieke classificatiekoppen. Contrastieve modellen missen vaak de semantische gronding om fijne activiteiten te onderscheiden zonder parameters aan te passen.
• Gebrek aan Interpretatie: De meeste systemen leveren alleen categorische voorspellingen zonder transparante redenering, wat het vertrouwen in veiligheidskritieke scenario's ondermijnt.
• Directe toepassing van LLMs: Het direct invoeren van ruwe numerieke tijdreeksen in Large Language Models (LLMs) leidt vaak tot hallucinaties, hoge token-kosten en slechte prestaties, omdat LLMs fysische dynamiek niet intuïtief begrijpen uit ruwe getallenstromen.

2. Methodologie: ZARA

ZARA (Zero-training Activity Reasoning Agents) is een nieuw agentisch raamwerk dat HAR mogelijk maakt zonder training van parameters. Het lost het "signaal-naar-taal" gat op door impliciete signaalstatistieken om te zetten in expliciete, gestructureerde taal. Het raamwerk bestaat uit drie kerncomponenten:

A. Offline Statistische Profiling (Globale Priors)

In plaats van LLM-weights te fine-tunen, distilleert ZARA een kennisbank van paarsgewijze activiteitsprofielen.

• Voor elk paar activiteiten (bijv. "lopen" vs. "rennen") worden discriminerende statistische kenmerken (tijd-domein, frequentie-domein, kruiskanaal) geëxtraheerd.
• Deze kenmerken worden omgezet in verifieerbare natuurlijke taal priors (bijv. "rennen vertoont een hogere variantie in verticale versnelling dan lopen").
• Deze kennisbank is statisch en kan nieuwe activiteiten toevoegen zonder modelhertraining, simpelweg door hun statistische profiel te registreren.

B. Class-Wise Multi-Sensor Retrieval (Lokale Evidentie)

ZARA gebruikt Retrieval-Augmented Generation (RAG) om lokale context te bieden.

• Er worden specifieke vector-databases onderhouden per sensorlocatie (bijv. pols, enkel).
• Voor een query wordt er per klasse gezocht naar de meest vergelijkbare historische data (top-k) in plaats van een globale zoekopdracht. Dit zorgt voor een gebalanceerde recall, zelfs voor zeldzame activiteiten.
• De resultaten van verschillende sensoren worden samengevoegd via Reciprocal Rank Fusion (RRF) om een robuuste, multimodale evidentiële basis te creëren.

C. Hiërarchische Multi-Agent Redenering

ZARA gebruikt een workflow met gespecialiseerde LLM-agenten die iteratief werken:

1. Feature Selector: Kiest op basis van de kennisbank de meest discriminerende statistische kenmerken voor de huidige kandidaat-activiteiten.
2. Evidence Pruning: Vergelijkt de query-waarden met de statistische verdelingen (gemiddelde ± standaardafwijking) van de gekende klassen en verwijdert onwaarschijnlijke kandidaten.
3. Decision Insight: Analyseert de resterende kandidaten en de geselecteerde kenmerken om een definitieve voorspelling te doen, ondersteund door een menselijk leesbare, op bewijs gebaseerde uitleg.

3. Belangrijkste Bijdragen

• Signaal-naar-Text Kennisgronding: Een geautomatiseerde methode om bewegingstijdreeksen om te zetten in een paarsgewijze tekstuele kennisbank, waardoor LLMs verifieerbare redenering kunnen uitvoeren zonder parameter-aanpassing.
• Interpreteerbaar Agentisch Raamwerk: ZARA is het eerste kennis- en retrieval-gedreven systeem voor multi-sensor classificatie dat niet alleen voorspellingen doet, maar ook beknopte, op bewijs gebaseerde redenen genereert.
• Sterke Training-Free Generalisatie: Het bewijst dat het injecteren van bewegings-priors (kennis) en lokale evidentiële steun (retrieval) leidt tot state-of-the-art prestaties over onbekende gebruikers en heterogene domeinen, zonder extra classifier-training.

4. Resultaten

De auteurs hebben ZARA getest op 8 diverse HAR-datasets (van "Easy" tot "Hard" complexiteit) en vergeleken met 10 bestaande baselines (inclusief HARGPT, UniMTS, ImageBind, en IMU2CLIP).

• Cross-Subject Generalisatie: ZARA presteert consistent beter dan alle baselines. De beste variant (ZARA met Gemini-2.0-Flash) bereikte een gemiddelde nauwkeurigheid van 81,6% en een macro F1-score van 81,4%. Dit is een aanzienlijke verbetering ten opzichte van de sterkste baseline (UniMTS, ~39% Acc).
• Cross-Dataset Generalisatie: ZARA toont sterke transferbaarheid tussen verschillende datasets (bijv. van WISDM naar PAMAP2). Interessant genoeg presteerde kennis overgedragen van diverse bronnen beter dan kennis uit dezelfde dataset in sommige scenario's, wat suggereert dat kennis van diverse populaties generaliseerbaarder is.
• Ablatie Studies:
  • Zonder retrieval daalde de nauwkeurigheid van 81,6% naar 71,8%.
  • Zonder de "Evidence Pruning" agent daalde de nauwkeurigheid naar 68,2%.
  • Zonder de vooraf ingestelde kennis (prior knowledge) daalde de nauwkeurigheid drastisch naar 63,4%, wat aantoont dat LLMs niet kunnen vertrouwen op hun interne wereldkennis voor numerieke sensorredenering.
• Efficiëntie: Hoewel de agent-workflow meer tokens gebruikt dan eenvoudige prompts, is het veel efficiënter dan methoden die ruwe sensoren direct naar tekst converteren.

5. Betekenis en Impact

ZARA markeert een belangrijke stap naar betrouwbare, plug-and-play bewegingsbegrip.

• Vertrouwen: Door voorspellingen te koppelen aan verifieerbare statistische bewijzen en menselijke uitleg, maakt het HAR-systemen transparanter en veiliger voor kritieke toepassingen.
• Scalabiliteit: Het elimineert de noodzaak voor kostbare hertraining bij elke nieuwe gebruiker of sensorconfiguratie. Nieuwe activiteiten kunnen worden toegevoegd door simpelweg hun statistische profiel te registreren.
• Paradigmaverschuiving: Het paper beweert dat de sleutel tot succesvolle LLM-toepassing in HAR niet ligt in het projecteren van sensoren naar tokens of afbeeldingen, maar in het vertalen van impliciete signaalstatistieken naar expliciete, gestructureerde taal die als "gronding" dient voor de redenering van het model.

Samenvattend biedt ZARA een robuust, interpreteerbaar en trainingsvrij alternatief voor traditionele HAR-systemen, met name geschikt voor dynamische omgevingen waar data-distributies veranderen.