Sintesi Tecnica: RAG-HAR+ Verso un Riconoscimento dell'Attività Umana Basato su LLM Efficiente dal Punto di Vista dei Costi per il Deployment su Edge

Problema

Il Riconoscimento dell'Attività Umana (HAR) da sensori indossabili è fondamentale per la sanità, il fitness e gli ambienti intelligenti. Tuttavia, gli approcci esistenti di deep learning (DL) affrontano barriere significative per il deployment pratico su edge: richiedono l'addestramento specifico per ogni dataset, ampi corpora etichettati e soffrono di degradazione delle prestazioni sotto shift di dominio (ad esempio, cambiamenti nel posizionamento del sensore o nel soggetto). Sebbene i Large Language Models (LLM) offrano un'alternativa senza addestramento con una forte capacità di ragionamento semantico, la loro applicazione diretta all'HAR è ostacolata dalla natura continua e multicanale dei dati dei sensori, che esaurisce il budget di contesto e comporta elevati costi computazionali e latenza.

Il lavoro precedente degli autori, RAG-HAR, aveva affrontato questo problema inquadrando l'HAR come un compito di recupero aumentato (retrieval-augmented), utilizzando descrizioni statistiche di finestre di sensori per recuperare esempi etichettati simili per guidare la classificazione dell'LLM. Tuttavia, RAG-HAR manteneva due limitazioni critiche per il deployment continuo su edge:

1. Rappresentazione di Recupero Fissa: Utilizzava un insieme statico di statistiche di base (media, massimo, minimo, ecc.) per tutti i dataset, fallendo nel catturare indizi discriminanti specifici del dataset (ad esempio, la periodicità per la locomozione rispetto alla magnitudo per le posture).
2. Inferenza LLM Obbligatoria: L'LLM veniva invocato per ogni campione di test, comportando round-trip di rete, alti costi di token e latenza variabile, anche quando i vicini recuperati fornivano già una risposta affidabile.

Metodologia: RAG-HAR+

RAG-HAR+ introduce un framework di recupero prioritario e ottimizzato per i costi che ristruttura il ruolo dell'LLM da classificatore per singolo campione a risorsa condizionale specializzata. Il framework si compone di due fasi distinte:

1. Agente Progettista del Recupero Offline (Offline Retrieval Designer Agent)

Prima dell'inferenza, un agente basato su LLM funge da Retrieval Designer per ottimizzare la rappresentazione del recupero per un dataset specifico.

• Pool di Caratteristiche: All'agente viene fornito un pool diversificato di descrittori che spaziano tra categorie statistiche, temporali, spettrali, di intensità del movimento e di forma del segnale.
• Design Iterativo: Attraverso un processo iterativo, l'agente seleziona e partiziona le caratteristiche in tre gruppi di caratteristiche compatti e non sovrapponibili ($G^*_1, G^*_2, G^*_3$).
• Ciclo di Feedback: L'agente propone gruppi, ne valuta le prestazioni su un set di validazione utilizzando il Retrieval F1 (prestazioni del voto di maggioranza sui vicini recuperati) e il RAG Hit Rate (presenza dell'etichetta corretta tra i top-$q$ vicini), e perfeziona i gruppi tramite "prompt di miglioramento" per affrontare classi deboli o ridondanze.
• Risultato: Ciò produce rappresentazioni multi-vettore dataset-specifiche che si allineano meglio ai pattern di movimento unici della tassonomia dell'attività target.

2. Pipeline di Inferenza Online

Durante l'inferenza in tempo reale, il sistema opera come segue:

• Ricerca Multi-Vettore: Una finestra di query viene elaborata utilizzando i gruppi di caratteristiche selezionati per generare tre vettori di query. Questi vengono cercati contro un indice multi-vettore (dove ogni campione di addestramento è memorizzato come tre campi vettoriali separati).
• Reranking Pesato: I risultati dei tre campi vettoriali vengono uniti e ri-classificati utilizzando pesi ottimizzati per selezionare i top-$q$ vicini.
• Routing Deterministico (Voto di Maggioranza): Il sistema applica un voto di maggioranza privo di parametri sulle etichette dei top-$q$ vicini.
  • Maggioranza Chiara: Se un'unica etichetta vince, l'attività viene predetta direttamente. L'LLM non viene invocato.
  • Ambiguità: Se due o più etichette si contendono il voto più alto, il campione viene instradato all'Agente Risolutore di Ambiguità (Ambiguity Resolver Agent).
• Agente Risolutore di Ambiguità: Per i casi ambigui, l'LLM viene invocato online. Riceve un prompt strutturato contenente le descrizioni statistiche della finestra di query (calcolate su segmenti iniziale, centrale, finale e completo) e gli esempi recuperati, permettendogli di ragionare sul contesto specifico per risolvere l'impasse.

Contributi Chiave

1. Utilizzo LLM in Due Fasi: Il paper riformula l'uso dell'LLM nell'HAR in una fase offline di Retrieval Designer e una fase online condizionale di Ambiguity Resolver. Questo sposta il costo dell'inferenza dal numero di campioni all'ambiguità della predizione.
2. Raggruppamento Adattivo delle Caratteristiche: L'introduzione di un agente guidato dall'LLM che costruisce gruppi di recupero multi-vettore compatti e specifici per il dataset, sostituendo i descrittori statistici generici e fissi dei metodi precedenti.
3. Prototipo Mobile: Implementazione di un prototipo su smartphone (app Flutter) che dimostra la fattibilità pratica di questo approccio basato sul recupero in un contesto edge mobile reale, inclusi i misurazioni della latenza on-device e gli aggiornamenti incrementali dell'indice.
4. Valutazione Esaustiva: Una valutazione estesa su sei benchmark di HAR (USC-HAD, PAMAP2, MHEALTH, GOTOV, HHAR, Skoda) con studi di ablazione che isolano i contributi del designer del recupero, del raggruppamento delle caratteristiche e delle strategie di routing.

Risultati

• Prestazioni: RAG-HAR+ raggiunge prestazioni competitive o migliorate rispetto a RAG-HAR e ai baseline non-LLM allo stato dell'arte. Ha migliorato i punteggi F1 su quattro dei sei dataset (USC-HAD, MHEALTH, HHAR, Skoda) pur rimanendo competitivo sugli altri.
• Riduzione dei Costi: Il framework riduce drasticamente l'uso online dell'LLM. Attraverso i sei dataset, il consumo di token online è stato ridotto dell'89,3% - 99,9%. Ad esempio, sul dataset MHEALTH, un solo campione ha richiesto una chiamata all'LLM su 666 campioni di test.
• Latenza: La latenza di inferenza è stata ridotta da 5,7x a 44,5x rispetto a RAG-HAR. Sul prototipo mobile, la latenza è scesa da ~5,4 secondi a ~0,36 secondi per campione (un'accelerazione di circa 15 volte), principalmente perché la maggior parte dei campioni evita il round-trip di rete verso l'LLM.
• Qualità del Recupero: I gruppi di caratteristiche adattivi hanno migliorato significativamente il Retrieval F1 (prestazioni del solo voto), restringendo il divario tra le predizioni basate solo sul recupero e le predizioni finali assistite dall'LLM. Ciò indica che il passaggio di recupero fornisce prove più forti, riducendo la necessità di ricorso all'LLM.

Significato e Claim

Il paper sostiene che RAG-HAR+ dimostra la fattibilità pratica dell'HAR senza addestramento e potenziata dal recupero per il deployment su edge. Decoupling (disaccoppiando) l'LLM dal percorso critico di ogni inferenza, il sistema raggiunge un punto operativo scalabile dove:

• Il costo dell'inferenza scala con l'ambiguità, non con il volume dei dati.
• La qualità del recupero è aumentata attraverso rappresentazioni di caratteristiche multi-vettore progettate dall'LLM e specifiche per il dataset, senza fine-tuning di un classificatore.
• Il deployment su edge è vitale per il monitoraggio continuo, poiché il sistema minimizza la dipendenza dalla rete e i costi dei token mantenendo un'alta accuratezza.

Gli autori pongono questo lavoro come un passo verso sistemi di HAR scalabili e generalizzabili che sfruttano le capacità di ragionamento degli LLM senza incorrere in costi computazionali o finanziari proibitivi, rendendoli adatti ad ambienti mobili e wearable con risorse limitate.