Multilevel neural networks with dual-stage feature fusion for human activity recognition

Titolo: Reti Neurali Multilivello con Fusione di Caratteristiche a Doppio Stadio per il Riconoscimento delle Attività Umane (HAR)

1. Il Problema

Il Riconoscimento delle Attività Umane (HAR) è fondamentale in settori come la sanità, la sicurezza e gli ambienti intelligenti. Sebbene i modelli di deep learning (come CNN, LSTM e ibridi) abbiano migliorato le prestazioni, esistono diverse sfide:

• Mancanza di valutazioni sistematiche: Spesso manca un confronto completo tra diverse architetture e strategie di fusione dei dati.
• Integrazione dei dati sensoriali: I dati provenienti da sensori indossabili (accelerometri e giroscopi) contengono informazioni spaziali e temporali complesse. L'integrazione efficace di queste informazioni da diversi livelli di rete o da diversi sensori è cruciale.
• Ottimizzazione dell'architettura: È necessario determinare la combinazione ottimale di componenti (CNN, LSTM, CLSTM) e strategie di fusione (precoce, tardiva, intermedia) per massimizzare l'accuratezza senza un eccessivo costo computazionale.

2. Metodologia

Gli autori propongono un framework innovativo basato su un'architettura di rete a due livelli che utilizza una strategia di fusione delle caratteristiche a doppio stadio:

• Fusione Tardiva (Late Fusion): Combina gli output finali dei primi due network indipendenti.
• Fusione Intermedia (Intermediate Fusion): Integra le caratteristiche estratte dal primo livello prima di passarle al secondo livello, permettendo una maggiore interazione tra i dati.

Flusso del modello:

1. Preprocessing: I dati grezzi dei sensori (accelerometro e giroscopio) vengono filtrati e normalizzati.
2. Primo Livello: Due percorsi paralleli elaborano i segnali dell'accelerometro e del giroscopio. Vengono testate diverse combinazioni di:
   • CNN (1D e 2D)
   • LSTM
   • CLSTM (Convolutional LSTM)
3. Fusione Intermedia: Le mappe di caratteristiche dei due percorsi vengono concatenate.
4. Secondo Livello: Un secondo network elabora le caratteristiche fuse per un ulteriore livello di astrazione.
5. Pooling Globale: Viene applicato il Global Average Pooling (GAP) agli output del primo e del secondo livello per ridurre la dimensionalità spaziale e creare vettori compatti.
6. Fusione Finale: I vettori poolati vengono concatenati e passati a un layer denso e uno di classificazione (Softmax).

Dataset Utilizzati:

• USC-HAD: 14 soggetti, 12 attività, sensori IMU (accelerometro, giroscopio, magnetometro) a 100 Hz.
• UCI-HAR: 30 soggetti, 6 attività, smartphone con sensori a 50 Hz.

3. Contributi Chiave

• Prima applicazione del CLSTM nell'HAR: Lo studio è il primo a utilizzare le Convolutional LSTM (CLSTM) sia in configurazioni singole che ibride per il riconoscimento delle attività, sfruttando la loro capacità di preservare le dimensioni spaziali all'interno della struttura ricorrente.
• Valutazione Estensiva: Vengono testate 15 diverse configurazioni architetturali combinando CNN, LSTM e CLSTM in uno o due livelli.
• Analisi Comparativa delle Strategie di Fusione: Il lavoro dimostra empiricamente che l'aggiunta di una fusione intermedia (oltre a quella tardiva) migliora significativamente le prestazioni rispetto all'uso della sola fusione tardiva.
• Scoperta sull'Efficienza 1D vs 2D: Viene dimostrato che, per i dati IMU (segnali temporali unidimensionali), le architetture 1D (1D CNN, 1D CLSTM) sono superiori alle controparti 2D, offrendo maggiore accuratezza con minore complessità computazionale.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti con una validazione incrociata a 5 fold.

• Dataset USC-HAD:
  • L'architettura migliore ha raggiunto un'accuratezza del 94,40%.
  • Configurazione ottimale: Due stadi di 1D CNN con fusione intermedia.
  • Le architetture basate su operazioni 1D hanno costantemente superato quelle 2D.
• Dataset UCI-HAR:
  • Sui dati grezzi, le migliori performance sono state ottenute con combinazioni ibride (es. LSTM + 2D CNN) raggiungendo circa l'88,9%.
  • Sui vettori di feature estratti, il modello proposto ha raggiunto un'accuratezza record del 96,75% utilizzando una sequenza di 1D CNN + 1D CNN con fusione intermedia.
• Confronto con lo Stato dell'Arte (SOTA):
  • Il modello proposto supera tutti i metodi confrontati (inclusi CNN+HC, H-LSTM, e varianti CNN-LSTM multi-testa) su entrambi i dataset.
  • Dimostra una forte capacità di generalizzazione, superando modelli complessi con un'architettura più efficiente.

5. Significato e Implicazioni

Questo studio fornisce una guida fondamentale per la progettazione di sistemi HAR basati su deep learning:

• Validazione dell'Approccio Ibrido: Conferma che integrare la fusione delle caratteristiche a livelli intermedi è cruciale per sfruttare le informazioni complementari tra diversi sensori e stadi di elaborazione.
• Efficienza Computazionale: Dimostra che per i dati temporali dei sensori indossabili, le architetture 1D sono preferibili rispetto a quelle 2D, offrendo un compromesso migliore tra accuratezza e risorse necessarie.
• Baseline Solida: Il modello proposto stabilisce un nuovo stato dell'arte per i dataset USC-HAD e UCI-HAR, fornendo una base solida per ricerche future.
• Sfide Future: Gli autori riconoscono che la complessità computazionale potrebbe essere un ostacolo per l'implementazione su dispositivi edge a bassa potenza e propongono futuri lavori su tecniche di ottimizzazione come pruning, quantization e neural architecture search.

In sintesi, il paper dimostra che un'architettura a due livelli con fusione intermedia, basata su componenti 1D (in particolare CNN), rappresenta la soluzione più efficace ed efficiente per il riconoscimento delle attività umane da dati sensoriali.