FED-HARGPT: A Hybrid Centralized-Federated Approach of a Transformer-based Architecture for Human Context Recognition

Il documento presenta FED-HARGPT, un approccio ibrido centralizzato-federato basato su Transformer che, utilizzando il framework Flower, dimostra come sia possibile ottenere modelli di riconoscimento delle attività umane con prestazioni comparabili a quelli centralizzati, garantendo al contempo la privacy dei dati in scenari non-IID.

L'essenziale

Immagina di voler insegnare a un assistente virtuale a capire cosa stai facendo nella tua giornata: se stai correndo, dormendo, camminando o semplicemente riposando. Per farlo, l'assistente ha bisogno di guardare i dati del tuo smartphone o del tuo smartwatch (come il battito cardiaco o i movimenti).

Il problema? Nessuno vuole che i suoi dati privati lascino il proprio telefono. È come se volessi che un cuoco imparasse a cucinare il tuo piatto preferito senza che tu gli dia mai la ricetta scritta o gli permetta di entrare in cucina.

Ecco come gli autori di questo studio, chiamati FED-HARGPT, hanno risolto il problema con un approccio "ibrido" (un mix di due mondi).

1. Il Problema: La Privacy contro l'Intelligenza

Fino a poco tempo fa, per addestrare un'intelligenza artificiale (AI) a riconoscere le attività umane, si raccoglievano tutti i dati di milioni di persone e si mettevano tutti insieme in un unico "magazzino" centrale.

• L'analogia: È come se tutti gli studenti di una scuola consegnassero i loro compiti a un unico professore che li corregge tutti insieme. Funziona bene, ma il professore legge tutto quello che hai scritto, violando la tua privacy.

2. La Soluzione: La "Scuola a Distanza" (Federated Learning)

Gli autori hanno usato una tecnica chiamata Federated Learning. Immagina invece che il professore (l'AI) vada in giro per le case degli studenti (i telefoni).

• Come funziona: Il professore porta il suo libro di testo (il modello AI) a casa tua. Tu lo studi usando i tuoi compiti privati (i tuoi dati) e gli restituisci solo le note su cosa hai imparato, senza mostrargli i tuoi compiti. Il professore raccoglie le note da tutti gli studenti, le unisce e crea una versione migliore del libro di testo per il prossimo giro.
• Il risultato: L'AI diventa intelligente, ma i tuoi dati privati restano sempre chiusi nel tuo telefono.

3. La Magia: L'Architettura "GPT" (Il Cervello Super)

Per fare questo, hanno usato un tipo di cervello artificiale molto potente chiamato Transformer (lo stesso tipo usato da ChatGPT), ma lo hanno "dimagrito" e adattato.

• L'analogia: Immagina di prendere un motore di Formula 1 (un modello AI enorme e complesso) e di modificarlo per farlo correre su una bicicletta elettrica (il tuo telefono). Hanno creato un modello chiamato FED-HARGPT. È abbastanza leggero da girare su un telefono, ma abbastanza intelligente da capire le sfumature dei movimenti umani.

4. L'Esperimento: La "Prova del Fuoco"

Hanno testato questo sistema usando un dataset reale chiamato ExtraSensory, dove 60 persone hanno usato i loro telefoni liberamente per un mese, senza seguire regole rigide.

• La sfida: I dati erano "disordinati" (non tutti facevano le stesse cose allo stesso modo). È come se alcuni studenti studiassero solo matematica e altri solo storia.
• Il metodo ibrido:
  1. Prima, hanno addestrato il modello su un grande gruppo di persone (addestramento centrale) per dargli una base solida.
  2. Poi, hanno mandato questo modello ai singoli telefoni per affinarlo con i dati locali (addestramento federato).

5. I Risultati: Un Successo Sorprendente

I risultati sono stati ottimi:

• Privacy: I dati non sono mai usciti dai telefoni.
• Precisione: L'AI ha imparato a riconoscere le attività quasi quanto i modelli centralizzati tradizionali.
• Personalizzazione: Ogni telefono ha potuto adattarsi allo stile specifico del suo proprietario.

In sintesi, hanno dimostrato che puoi avere un'intelligenza artificiale molto intelligente che rispetta la tua privacy, proprio come un tutor privato che ti insegna senza mai leggere i tuoi appunti segreti.

Perché è importante?

Questo studio apre la strada a un futuro in cui:

• Gli ospedali possono monitorare i pazienti senza rubare i loro dati medici.
• Le app di fitness possono darti consigli personalizzati senza spiarti.
• Le città intelligenti possono migliorare i servizi senza invadere la privacy dei cittadini.

È come se avessimo trovato il modo di costruire un cervello collettivo super-intelligente, senza che nessuno debba mai rivelare i propri pensieri segreti.

Sommario tecnico

1. Il Problema

Il lavoro affronta la sfida della Riconoscimento delle Attività Umane (HAR - Human Activity Recognition) in scenari reali, caratterizzati da dati privati generati da dispositivi edge (smartphone e wearable).
Le principali problematiche identificate sono:

• Privacy dei dati: La necessità di elaborare dati sensibili (movimenti, posizione, stati fisiologici) senza centralizzarli, per rispettare la sovranità dei dati e la privacy degli utenti.
• Dati Non-IID (Non-Independent and Identically Distributed): Nei contesti reali, i dati raccolti dai diversi utenti variano notevolmente in termini di distribuzione, frequenza e tipi di attività svolte. Questo rende difficile l'addestramento di modelli generalizzati.
• Squilibrio delle classi: I dataset reali (come ExtraSensory) presentano forti squilibri tra le diverse attività (es. molto più dati su "camminare" rispetto a "correre").
• Limitazioni computazionali: La necessità di eseguire modelli complessi su dispositivi con risorse limitate, pur mantenendo alte prestazioni.

2. Metodologia

Gli autori propongono un approccio ibrido Centralizzato-Federato basato su un'architettura Transformer, denominata FED-HARGPT.

Architettura del Modello (FED-HARGPT)

• Base: Il modello deriva dall'architettura GPT-2, scelta per il suo equilibrio tra complessità e leggerezza rispetto ai grandi modelli linguistici (LLM) più recenti.
• Adattamenti:
  • Rimozione del layer di embedding standard (inadatto a dati continui) e sostituzione con un layer lineare addestrabile per l'elaborazione iniziale dei dati dei sensori.
  • Aggiunta di due layer superiori: un layer lineare per raffinare le trasformazioni e un layer finale con attivazione tanh e un numero di neuroni pari al numero di etichette (51), rendendo il problema una classificazione multi-label.
• Input: Dati provenienti da accelerometri, giroscopi, magnetometri, GPS e stato del telefono (dataset ExtraSensory).

Strategia di Addestramento Ibrida

Il processo è suddiviso in due fasi principali per ottimizzare l'efficienza e la convergenza:

1. Fase Centralizzata (Pre-training):
   • Un modello base viene addestrato su un dataset aggregato di 48 partecipanti (su un totale di 60).
   • Vengono utilizzati tecniche di Random Search per l'ottimizzazione degli iperparametri (dimensione nascosta, numero di layer Transformer, learning rate).
   • L'obiettivo è stabilire un punto di partenza solido (baseline) che riduca il numero di epoche necessarie nella fase federata.
2. Fase Federata (Fine-tuning):
   • Utilizzo del framework Flower per implementare l'apprendimento federato.
   • I dati dei 60 partecipanti sono divisi in 5 fold (pieghe) per la validazione incrociata. In ogni fold, 12 utenti agiscono come client federati, mentre il modello pre-addestrato viene inviato a questi client.
   • Strategia: Viene utilizzato FedAvg (Federated Averaging).
   • Ogni client addestra il modello localmente sui propri dati (2000 epoche locali) e invia solo gli aggiornamenti dei pesi al server centrale, senza condividere i dati grezzi.
   • Il server aggrega i pesi per migliorare il modello globale.

3. Contributi Chiave

• Architettura Transformer per HAR: Presentazione di un modello basato su GPT-2 adattato per il riconoscimento delle attività umane, un approccio innovativo che sfrutta la capacità dei Transformer di catturare dipendenze a lungo termine nei dati sequenziali.
• Approccio Ibrido Centralizzato-Federato: Dimostrazione di come un pre-training centralizzato seguito da un fine-tuning federato possa bilanciare prestazioni, privacy e personalizzazione in scenari con dati Non-IID.
• Valutazione su Dataset Non-IID e Multi-label: Analisi su un dataset reale (ExtraSensory) con 51 etichette, dove le attività non sono mutualmente esclusive e i dati sono raccolti in condizioni non controllate, simulando scenari reali complessi.
• Efficienza su Edge: Dimostrazione della fattibilità di utilizzare modelli Transformer leggeri su dispositivi con risorse limitate, mantenendo la privacy.

4. Risultati

• Prestazioni Generali: Il modello FED-HARGPT ha raggiunto una Balanced Accuracy media di 0.747. Sebbene leggermente inferiore alla media dello stato dell'arte (SotA) su questo dataset specifico (circa 0.772-0.773), le prestazioni sono competitive.
• Performance dei Singoli Client:
  • Il miglior client ha raggiunto un'accuratezza di 0.909, superando significativamente lo stato dell'arte.
  • Il 31% dei client (19 su 60) ha ottenuto prestazioni pari o superiori a quelle dello stato dell'arte.
  • Esiste una variazione significativa tra i fold (da 0.718 a 0.779), attribuibile alla diversità intrinseca dei dati raccolti e alla difficoltà di inferire certe attività dai sensori mobili.
• Confronto con lo Stato dell'Arte: La Tabella 2 del paper mostra che, sebbene la media sia leggermente inferiore, la capacità del modello di adattarsi a singoli utenti (personalizzazione) è superiore, con picchi di performance molto elevati.
• Robustezza: La distribuzione delle accuratezze mostra una consistenza (maggioranza dei dati tra 0.7 e 0.8), confermando l'affidabilità del modello in scenari diversi.

5. Significato e Implicazioni

• Privacy e Utilità: Il lavoro dimostra che è possibile ottenere modelli di alta qualità per l'HAR senza centralizzare i dati sensibili, risolvendo il dilemma tra privacy e prestazioni.
• Potenziale dei Modelli Linguistici: Suggerisce che i modelli basati su Transformer (spesso usati per il testo) possono essere efficacemente riadattati per dati temporali e sequenziali provenienti da sensori, anche su dataset sbilanciati.
• Scalabilità Futura: L'approccio ibrido apre la strada a applicazioni in settori critici come la sanità digitale (monitoraggio pazienti), le smart city e i servizi personalizzati, dove la diversità dei dati e la privacy sono fondamentali.
• Direzioni Future: Gli autori suggeriscono l'uso di strategie federate più avanzate (es. FedPer) per gestire meglio i dati Non-IID e l'integrazione di tecniche di privacy differenziale.

In sintesi, il paper valida la fattibilità di un'architettura Transformer ibrida per l'HAR, offrendo un compromesso efficace tra la necessità di proteggere la privacy degli utenti e la richiesta di modelli di intelligenza artificiale robusti e personalizzati.