🤖 AI

RAG-HAR: Retrieval Augmented Generation-based Human Activity Recognition

RAG-HAR è un framework di riconoscimento delle attività umane basato sul recupero e privo di addestramento che sfrutta i grandi modelli linguistici e un'ingegneria dei prompt ottimizzata per ottenere prestazioni all'avanguardia su benchmark diversificati, consentendo al contempo l'identificazione di attività non viste senza richiedere affinamento del modello o grandi dataset etichettati.

Autori originali: Nirhoshan Sivaroopan, Hansi Karunarathna, Chamara Madarasingha, Anura Jayasumana, Kanchana Thilakarathna

Pubblicato 2026-05-12

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Nirhoshan Sivaroopan, Hansi Karunarathna, Chamara Madarasingha, Anura Jayasumana, Kanchana Thilakarathna

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un smartwatch che traccia i tuoi movimenti. Di solito, per insegnare a un computer cosa stai facendo (come camminare, correre o sederti), devi costruire un "insegnante" personalizzato per ogni singola persona e per ogni nuova attività. Gli fornisci migliaia di ore di dati, studia con impegno e poi diventa bravo a indovinare. Ma se cambi l'orologio, la persona o l'attività, l'insegnante si confonde e devi ricominciare da capo.

RAG-HAR è un nuovo modo di farlo che elimina completamente la fase di "studio". Invece di addestrare un nuovo insegnante, utilizza un "esperto" super-intelligente e preesistente (un Modello Linguistico di grandi dimensioni, o LLM) e gli fornisce un promemoria subito prima che faccia una previsione.

Ecco come funziona, usando semplici analogie:

1. Il Problema: L'Esperto "Tabula Rasa"

Pensa a un'IA standard come a uno studente che ha letto ogni libro al mondo ma non ha mai visto un tipo specifico di movimento. Se gli mostri una lettura da un sensore di una nuova persona che corre, potrebbe indovinare "camminata" perché non ha un riferimento specifico per la corsa di questa persona. È come chiedere a uno chef di cucinare un piatto che non ha mai visto, basandosi solo sulla descrizione degli ingredienti.

2. La Soluzione: L'Approccio "Biblioteca" (RAG)

RAG-HAR cambia le regole del gioco. Invece di chiedere all'esperto di indovinare dalla memoria, gli mette accanto una biblioteca di esempi.

Il Promemoria (Database Vettoriale): Prima che l'IA faccia una previsione, il sistema esamina il movimento attuale (come un clip di 2 secondi del tuo movimento). Scompone questo movimento in semplici fatti matematici (come "qual era la velocità media?" o "quanto ha vibrato?"). Quindi va in una gigantesca biblioteca digitale e trova i 10 esempi passati più simili.
Il Contesto: Consegnano questi 10 esempi all'IA esperta e dicono: "Guarda, questo nuovo movimento assomiglia molto a queste 10 cose. In base a ciò, cos'è?"

3. Il Processo in Due Fasi

Il documento descrive questo processo che avviene in due fasi principali:

Fase 1: La Linea di Base (La Prima Oculata)
Il sistema prende il tuo movimento, lo trasforma in un elenco di numeri (statistiche) e trova elenchi simili nella biblioteca. Poi chiede all'IA: "Ecco 10 movimenti passati simili e le loro etichette. Cos'è questo nuovo?"
- Risultato: Questo da solo è già migliore di molti sistemi complessi e addestrati perché l'IA può "ragionare" usando esempi reali invece di indovinare semplicemente.
Fase 2: L'Ottimizzazione (La Rifinitura dell'Esperto)
I ricercatori hanno realizzato che l'IA poteva fare ancora meglio se il "promemoria" fosse stato scritto in modo più chiaro e le domande fossero state poste in modo più astuto.
- Migliori Descrizioni: Invece di fornire all'IA solo numeri grezzi, usano la stessa IA per scrivere una breve storia in linguaggio naturale sul movimento (ad esempio: "Questo sembra un movimento ritmico ad alta intensità con un ritmo costante"). Questo aiuta l'IA a capire la sensazione del movimento, non solo la matematica.
- Prompt Engineering: Hanno utilizzato uno strumento speciale per scrivere automaticamente le istruzioni perfette per l'IA, testando migliaia di modi diversi per porre la domanda fino a trovare quella che otteneva le risposte migliori.

4. Perché Questa è una Grande Novità

Il documento evidenzia tre superpoteri principali di RAG-HAR:

Nessun Addestramento Richiesto: Non devi passare settimane ad addestrare l'IA. Aggiungi semplicemente nuovi esempi alla biblioteca. Se vuoi che l'IA riconosca "ballare", aggiungi solo alcuni esempi di ballo alla biblioteca. L'IA sa immediatamente come farlo.
Può Indovinare l'Inconosciuto: L'IA tradizionale rimane bloccata se vede qualcosa su cui non è stata addestrata (come un nuovo tipo di esercizio). RAG-HAR può guardare un nuovo movimento strano e dire: "Non ho mai visto esattamente questa cosa, ma sembra un mix di jogging e salto", dandogli un nome significativo. Non si limita a dire "Non lo so".
È Economico e Veloce: Poiché non ha bisogno di un computer massiccio per "addestrare" il modello, risparmia molto denaro e tempo. È come assumere un consulente che già sa tutto, invece di assumere uno studente e passare anni ad addestrarlo.

Analogia di Sintesi

Immagina di dover identificare un uccello che non hai mai visto.

Vecchio Modo (Deep Learning): Passi 10 anni a memorizzare le immagini di 50 uccelli specifici. Se vedi un uccello che non è nella tua lista, fallisci.
Modo RAG-HAR: Hai un amico che è un esperto ornitologo. Gli mostri l'uccello e gli consegni anche un libro con i 10 uccelli che gli assomigliano di più. Il tuo amico guarda il libro, lo confronta con l'uccello che hai in mano e dice: "Ah, questo sembra un mix di passero e fringuello, ma è sicuramente un nuovo tipo di passero".

Il documento dimostra che questo approccio del "consulente con un libro di riferimento" funziona meglio dell'approccio dello "studente memorizzato" per il riconoscimento delle attività umane, senza bisogno di alcun addestramento aggiuntivo.

Riepilogo Tecnico: RAG-HAR

Enunciato del Problema

Il Riconoscimento dell'Attività Umana (HAR) basato su dati provenienti da sensori indossabili è fondamentale per l'assistenza sanitaria, la riabilitazione e gli ambienti intelligenti. Tuttavia, gli approcci esistenti basati sull'apprendimento profondo (DL) presentano tre limitazioni significative:

Intensità di Risorse: Richiedono addestramento e affinamento specifici per dataset, costosi e dispendiosi in termini di tempo.
Problemi di Generalizzazione: Le prestazioni peggiorano in caso di spostamenti di dominio (ad esempio, soggetti diversi, posizionamenti dei sensori o dispositivi differenti).
Dipendenza dai Dati: Si basano pesantemente su grandi corpora etichettati.

Inoltre, sebbene i Modelli Linguistici di Grande Dimensione (LLM) offrano una vasta conoscenza del mondo e capacità di ragionamento, la loro applicazione diretta ai dati dei sensori spesso fallisce. Gli LLM faticano a distinguere attività fini e mancano di un ancoraggio a specifici pattern di attività, portando a classificazioni errate quando vengono presentati segnali grezzi o scarsamente contestualizzati provenienti dai sensori.

Metodologia: RAG-HAR

Il documento introduce RAG-HAR, un framework senza addestramento che sfrutta la Generazione Aumentata per Recupero (RAG) per permettere agli LLM di eseguire HAR senza addestramento o affinamento del modello. Il framework opera in due fasi: una fase Baseline e una fase di Ottimizzazione.

1. Elaborazione dei Dati ed Estrazione delle Caratteristiche

Normalizzazione: I canali grezzi dei sensori (ad esempio, accelerometro, giroscopio, magnetometro) vengono standardizzati utilizzando la normalizzazione Z-score.
Finestra Scorrevole e Partizionamento: I dati delle serie temporali vengono segmentati in finestre di dimensione fissa. Crucialmente, ogni finestra viene ulteriormente suddivisa in quattro sottosegmenti: il segmento Completo e tre parti uguali (Inizio, Centro, Fine).
Descrittori Statistici: Per ogni segmento e sottosegmento, vengono calcolate otto caratteristiche statistiche su tutti i canali: media, massimo, minimo, percentili 25°/75°, deviazione standard, mediana e conteggio dei picchi. Questo cattura sia le tendenze globali che gli eventi transitori locali.

2. Fase Baseline (Ragionamento Aumentato per Recupero)

Generazione degli Embedding: I vettori di caratteristiche statistiche vengono serializzati in stringhe di testo strutturate (ad esempio, media=0.12, dev_std=0.34). Queste stringhe vengono incorporate utilizzando un modello di embedding testuale generico pre-addestrato (ad esempio, text-embedding-3-small).
Indicizzazione nel Database Vettoriale: Gli embedding derivati dai dati di addestramento vengono archiviati in un database vettoriale insieme ai metadati (etichette di attività, ID utente).
Inferenza e Recupero:
- Per un campione di test, vengono generati gli embedding per i suoi segmenti e sottosegmenti.
- Una ricerca del Vicino Approssimativo più Vicino (ANN) recupera i primi $k$ campioni di addestramento più simili basandosi sulla similarità del coseno.
- Un meccanismo di riordinamento ponderato combina i punteggi dei diversi sottosegmenti per selezionare l'insieme finale di contesto.
Classificazione tramite LLM: I campioni recuperati (con le loro etichette e caratteristiche statistiche) e il campione di query vengono formattati in un prompt. Un LLM pre-addestrato (ad esempio, gpt-5-mini) analizza le prove contestuali e la query per prevedere l'etichetta dell'attività e fornire una motivazione.

3. Fase di Ottimizzazione

Per migliorare ulteriormente le prestazioni, vengono introdotte due strategie:

Ottimizzazione del Prompt: Un ciclo di meta-ottimizzazione genera e affina iterativamente i prompt di sistema. Utilizzando una strategia di selezione a ruota della roulette basata sui punteggi F1 di validazione, il sistema esplora diverse formulazioni e strategie di prompt (ad esempio, istruzioni specifiche per l'estrazione delle caratteristiche) per massimizzare l'accuratezza della classificazione per un dato dataset.
Descrittori di Attività Basati su LLM: Invece di utilizzare semplici template statistici per l'embedding, un prompt specializzato per LLM genera descrizioni ricche in linguaggio naturale dei pattern di movimento (ad esempio, "movimento sostenuto e ripetitivo", "asse dominante X"). Queste descrizioni semanticamente più ricche vengono poi incorporate e indicizzate, migliorando la qualità del contesto recuperato.

Contributi Chiave

Prestazioni SOTA Senza Addestramento: RAG-HAR è il primo framework aumentato per recupero per HAR che raggiunge prestazioni allo stato dell'arte (SOTA) su sei benchmark diversi senza alcun addestramento specifico per dataset o affinamento del modello.
Framework a Due Stadi: Il documento propone un'architettura innovativa che combina un sistema di recupero baseline con una fase di ottimizzazione caratterizzata da ottimizzazione del prompt e descrittori di attività basati su LLM, offrendo un compromesso controllabile tra efficienza e accuratezza.
Riconoscimento in Mondo Aperto: A differenza dei modelli DL tradizionali vincolati a tassonomie fisse, RAG-HAR può rilevare e generare etichette significative per attività inedite. Va oltre la riduzione degli input sconosciuti in una singola classe "sconosciuta", utilizzando invece la conoscenza semantica dell'LLM per categorizzare nuovi comportamenti.
Valutazione Completa: Il framework è stato validato su sei dataset (HHAR, PAMAP2, MHEALTH, GOTOV, SKODA, USC-HAD) che coprono da 6 a 60 canali di sensori e vari tipi di attività (locomozione, vita quotidiana, compiti di assemblaggio).

Risultati

Prestazioni sui Benchmark: RAG-HAR supera le principali linee di base DL (inclusi CNN, LSTM e Transformer) su cinque dei sei dataset.
- Su PAMAP2, ha raggiunto un punteggio F1 del 91,12%, superando il precedente migliore (Triplet LSTM) di circa lo 0,5%.
- Su MHEALTH, ha raggiunto il 96,74%, superando gli estrattori di caratteristiche avversari.
- Su GOTOV e SKODA, ha migliorato i punteggi F1 dell'1-2% rispetto ai modelli precedenti più forti.
- Su HHAR, ha mostrato un miglioramento significativo superiore al 7% del punteggio F1 rispetto alle linee di base SimCLR e DeepConvLSTM.
Capacità Open-Set: Negli esperimenti open-set (dove il 30-70% delle classi di attività è trattenuto dal database), RAG-HAR ha costantemente superato la linea di base MTMD del 3-7% in termini di punteggio F1.
Etichettatura di Attività Inedite: Il sistema ha dimostrato la capacità di generare etichette semanticamente coerenti per attività nuove. Per singole classi sconosciute, ha raggiunto un'accuratezza del 96,47% nel mappare le etichette previste sulla verità fondamentale; questo è rimasto robusto (88,90%) anche con tre classi sconosciute trattenute.
Costi ed Efficienza: Il framework elimina il tempo di addestramento. I costi di inferenza sono minimi (circa 0,0006 $ per campione su MHEALTH) e il sistema evita la necessità di pipeline di addestramento intensive per GPU.

Significato e Affermazioni

Il documento afferma che RAG-HAR sposta fondamentalmente il paradigma HAR dall'apprendimento centrato sul modello al ragionamento aumentato per recupero. Il suo significato principale risiede in:

Eliminazione del Sovraccarico di Addestramento: Rimuove la necessità di cicli di addestramento specifici per dataset, costosi, rendendo l'HAR più accessibile e scalabile.
Gestione di Dati Inediti: Affronta il problema del "mondo aperto" consentendo il riconoscimento e l'etichettatura significativa di attività non presenti nei dati di addestramento, una capacità che tradizionalmente richiedeva un'ampia annotazione umana.
Robustezza: Ancorando le previsioni agli esempi recuperati e sfruttando la conoscenza del mondo pre-addestrata dell'LLM, il sistema raggiunge un'alta generalizzazione tra diversi soggetti e configurazioni di sensori senza riaddestramento.
Praticità: Il framework offre un'alternativa leggera e conveniente all'apprendimento profondo, adatta al dispiegamento in ambienti con risorse limitate dove il riaddestramento è impraticabile.