Riepilogo Tecnico: Riconoscimento Efficiente e Adattivo delle Attività Umane tramite Backbones LLM

Enunciato del Problema

Il Riconoscimento delle Attività Umane (HAR) è un compito critico nel calcolo pervasivo, che richiede ai modelli di interpretare dati da sensori inerziali (accelerometri e giroscopi) in condizioni di vincoli rigorosi di calcolo, energia e dati. Sebbene le recenti architetture basate su Transformer abbiano migliorato le prestazioni di riconoscimento, esse tipicamente si affidano alla progettazione di modelli specifici per il compito, addestrati da zero. Questo approccio comporta costi di addestramento elevati, richiede grandi volumi di dati etichettati e fatica ad adattarsi a cambiamenti di dominio (ad esempio, variazioni negli utenti, nei dispositivi o nel posizionamento dei sensori). Le soluzioni esistenti per l'adattamento di dominio spesso introducono complessità aggiuntiva o rimangono sensibili alla scarsità di dati nei domini target.

Metodologia

Il documento propone HARLLM, un cambiamento di paradigma che riutilizza i grandi modelli linguistici (LLM) preaddestrati come backbones temporali generici per l'HAR basata su sensori, invece di addestrare Transformer specifici per il dominio da zero. Il framework affronta il divario di modalità tra le serie temporali inerziali multivariate continue e i token linguistici discreti attraverso tre principi fondamentali di progettazione:

1. Proiezione Allineata alla Modalità (Frontend Convoluzionale):

   • I dati grezzi dei sensori (6 canali: 3 accelerometro, 3 giroscopio) vengono elaborati in finestre di lunghezza fissa ($W=128$).
   • Un modulo di proiezione convoluzionale strutturato mappa questi segnali continui nello spazio latente dell'LLM.
   • Il modulo elabora i segnali dell'accelerometro e del giroscopio indipendentemente prima di fonderli. Impiega un'architettura a rami multipli con convoluzioni temporali 1D per estrarre pattern di movimento localmente invarianti e dinamiche temporali di medio raggio.
   • L'output viene proiettato in embedding compatibili con la dimensione dell'embedding dell'LLM ($d_{LLM}$), preservando l'ordine temporale.

2. Backbone Congelato con Adattamento Efficiente in Parametri:

   • L'LLM preaddestrato (ad esempio, GPT-2 Small, GPT-2 Medium o Qwen-1.8B) funge da codificatore di sequenza e viene mantenuto congelato durante l'addestramento per preservare le sue conoscenze preaddestrate e minimizzare il costo computazionale.
   • L'adattamento è ottenuto esclusivamente tramite Adattamento a Basso Rango (LoRA). Matrici a basso rango addestrabili vengono iniettate nelle proiezioni di query, chiave e valore dei livelli di attenzione self-attention.
   • Ciò riduce il numero di parametri addestrabili a meno dell'1% della dimensione totale del modello (ad esempio, ~1,2 milioni di parametri per GPT-2 Small), riducendo drasticamente l'ingombro di memoria e il tempo di addestramento.

3. Rappresentazione e Ragionamento Disaccoppiati:

   • Il frontend convoluzionale gestisce le proprietà a livello di segnale (campionamento, rumore, pattern locali) e impone pregiudizi induttivi specifici per il rilevamento inerziale.
   • Il backbone LLM opera sugli embedding a livello di finestra risultanti per catturare dipendenze temporali a lungo raggio, transizioni di attività e struttura globale della sequenza.

Contributi Chiave

• Cambiamento di Paradigma: Gli autori introducono un approccio innovativo per l'HAR che riutilizza gli LLM preaddestrati come backbones temporali, allontanandosi dalla pratica convenzionale di progettare Transformer specifici per il compito da zero.
• Framework di Allineamento: Propongono un framework di proiezione convoluzionale e adattamento basato su LoRA che consente un allineamento efficiente tra le serie temporali inerziali e gli spazi latenti degli LLM, senza fare affidamento su strategie di prompting inadatte ai segnali continui.
• Analisi dei Ruoli Complementari: Il lavoro analizza e dimostra i ruoli complementari dei codificatori convoluzionali e degli LLM: il primo gestisce le invarianti locali e l'elaborazione a livello di segnale, mentre il secondo cattura le dipendenze temporali a lungo raggio.
• Efficienza e Trasferibilità: L'approccio dimostra di ottenere prestazioni elevate con risorse di addestramento significativamente inferiori, mostrando robustezza in scenari di trasferimento con pochi dati e tra diversi dataset.

Risultati Sperimentali

Il framework è stato valutato su tre benchmark standard: UCI HAR, HHAR e RealWorld.

• Prestazioni Assolute: HARLLM ha ottenuto il punteggio F1 pesato più alto sul dataset HHAR (98,43%), superando le CNN classiche, DeepConvLSTM e le recenti basi di riferimento basate su Transformer (incluso HART). Su UCI HAR ha raggiunto prestazioni competitive (95,78%) e su RealWorld è rimasto competitivo (94,16%), sebbene leggermente al di sotto di HART, che codifica esplicitamente l'invarianza al posizionamento del sensore.
• Efficienza dei Dati: Quando addestrato con dati etichettati limitati su HHAR, HARLLM ha mantenuto prestazioni elevate. Ha ottenuto un punteggio F1 pesato superiore a 95 con solo il 20% dei dati di addestramento e è rimasto competitivo fino al 10%. Il degrado delle prestazioni è stato significativo solo nel regime estremo dell'1%.
• Trasferimento tra Dataset (LODO): In uno scenario Leave-One-Dataset-Out in cui il modello è stato preaddestrato su più dataset sorgente (MotionSense, UCI, PAMAP2, RealWorld) e affinato su HHAR con dati target minimi:
  • Il modello preaddestrato ha ottenuto un F1 dell'87,67% senza alcun dato HHAR.
  • Con solo l'1% dei dati HHAR per l'affinamento, le prestazioni sono salite all'80,89%.
  • Con il 10% dei dati, ha raggiunto il 93,68%, dimostrando un'efficace adattamento few-shot.
• Efficienza di Addestramento: L'intero processo di addestramento è stato completato in meno di un'ora su una singola GPU commerciale (livello gratuito di Google Colab), utilizzando meno dell'1% dei parametri del backbone per l'adattamento.

Significato e Affermazioni

Il documento afferma che gli LLM possono servire come fondamento pratico, frugale e scalabile per sistemi HAR adattivi. Il significato di questo lavoro risiede in:

1. Efficienza delle Risorse: Congelando il backbone e utilizzando LoRA, l'approccio riduce drasticamente i costi di addestramento e il consumo energetico, rendendolo adatto a scenari pervasivi e incorporati dove le risorse computazionali sono limitate.
2. Robustezza alla Scarsità di Dati: Il forte prior rappresentazionale fornito dal preaddestramento degli LLM consente una convergenza rapida e un apprendimento efficace in contesti con pochi dati e few-shot, affrontando un collo di bottiglia maggiore nelle implementazioni reali dell'HAR.
3. Chiarezza sui Ruoli Architettonici: I risultati evidenziano che, sebbene gli LLM eccellano nel ragionamento temporale e nel trasferimento, non apprendono naturalmente le invarianti al posizionamento del sensore. Pertanto, è necessario un frontend convoluzionale specializzato per gestire la variabilità locale del segnale. Ciò suggerisce una strategia di progettazione in cui i pregiudizi induttivi specifici del dominio (convoluzionali) completano il preaddestramento su larga scala (LLM) invece di essere sostituiti da esso.

Gli autori concludono che questo lavoro apre nuove direzioni per il riutilizzo dei modelli fondazionali oltre il loro dominio linguistico originale, offrendo un progetto generale per l'integrazione degli LLM nelle pipeline di modellazione delle serie temporali pervasive.