FedHyperM: Modality-Sensitive Federated Hypergraph Learning for Heterogeneous Multimodal Edge Intelligence

Riepilogo Tecnico: FedHyperM

Problematica
L'Apprendimento Federato (Federated Learning - FL) consente ai dispositivi edge di addestrare modelli in modo collaborativo senza condividere i dati grezzi, affrontando così le preoccupazioni relative alla privacy nell'Edge Intelligence (EC). Tuttavia, le implementazioni edge pratiche affrontano una significativa eterogeneità di modalità: i dispositivi possiedono spesso sottoinsiemi differenti di sensori (ad esempio, alcuni hanno telecamere RGB mentre altri hanno solo sensori termici o audio) a causa di differenze hardware, condizioni di rilevamento variabili o guasti dei sensori.

In tali scenari eterogenei, le strategie di aggregazione convenzionali del FL (come FedAvg) diventano inaffidabili. Esse assumono che i parametri del modello siano appresi da spazi di input comparabili. Quando i dispositivi addestrano su diverse combinazioni di modalità, i loro parametri appresi rappresentano fonti di evidenza differenti, rendendo l'aggregazione diretta fonte di rumore e degradando le prestazioni del modello globale. Inoltre, i metodi esistenti di FL multimodale trattano spesso le modalità mancanti come dati da ricostruire o allineare, invece di progettare framework che operino nativamente su set di modalità disponibili variabili, preservando al contempo le correlazioni di ordine superiore tra di esse.

Metodologia: FedHyperM
Gli autori propongono FedHyperM, un framework di apprendimento multimodale federato che preserva la privacy e che è progettato specificamente per dispositivi edge sotto eterogeneità di modalità. Il framework opera attraverso tre processi chiave:

1. Estrazione delle Caratteristiche Multimodali Locali e Congelamento:
   Ogni dispositivo edge inizializza un estrattore di caratteristiche multimodali utilizzando modelli pre-addestrati specifici per le proprie modalità disponibili (ad esempio, BERT per il testo, CLIP per le immagini, LSTM per i segnali, BEATS per l'audio). Durante la fase di apprendimento collaborativo, questi estrattori sono congelati. Ciò garantisce che lo spazio di rappresentazione delle caratteristiche rimanga coerente mentre il modello si concentra sull'apprendimento delle relazioni tra le modalità.

2. Predizione Multimodale Basata su Ipergrafi (Lato Edge):
   Invece di trattare le modalità come input indipendenti, FedHyperM le modella come un ipergrafo in cui le caratteristiche specifiche della modalità sono i nodi.

   • Costruzione Adattiva: Il framework costruisce dinamicamente gli iperarchi per catturare correlazioni di ordine superiore. Definisce "nodi ancora" (che rappresentano una specifica modalità) e li connette dinamicamente ai "nodi associati" (altre modalità) in base a coefficienti di ricostruzione appresi.
   • Obiettivo di Apprendimento: Il sistema minimizza una perdita di ricostruzione (che misura quanto bene un nodo ancora possa essere ricostruito dai suoi nodi associati) regolarizzata dalle norme $L_1$ e $L_2$ per controllare la sparsità e l'impatto degli outlier.
   • Predizione: Un meccanismo di attenzione multi-testa aggrega gli embedding degli iperarchi per aggiornare gli embedding dei nodi, che vengono poi passati attraverso un Perceptron Multistrato (MLP) per la predizione. Ciò consente al modello di apprendere relazioni complesse a livello di gruppo tra le specifiche modalità disponibili su quel dispositivo.

3. Aggregazione Sensibile alle Modalità (Lato Server):
   Per affrontare la sfida di aggregare modelli addestrati su diversi set di modalità, FedHyperM introduce un meccanismo di Aggregazione Sensibile alle Modalità (Modality-Sensitive Aggregation - MSA).

   • Strategia di Pesatura: Invece di una media uniforme, il server calcola i pesi di aggregazione in base alla Distanza di Modifica Minima (Minimum Edit Distance - MinED) tra i set di nomi delle modalità disponibili dei dispositivi vicini.
   • Logica: Una MinED più piccola implica una maggiore somiglianza nella disponibilità delle modalità, portando a un peso di aggregazione più elevato. Ciò assicura che i parametri provenienti da dispositivi con configurazioni di modalità simili contribuiscano in modo più significativo all'aggiornamento globale, mitigando il rumore causato dall'aggregazione di evidenze incompatibili.

Contributi Chiave

• Framework Innovativo: La proposta di FedHyperM, un framework collaborativo progettato specificamente per facilitare l'apprendimento multimodale federato tra dispositivi edge con eterogeneità di disponibilità delle modalità.
• Modulo di Apprendimento Ipergrafico: La progettazione di un modulo di predizione basato su ipergrafi che tratta le caratteristiche delle modalità come nodi e costruisce adattivamente iperarchi per catturare correlazioni di ordine superiore e non pairwise tra le caratteristiche multimodali.
• Meccanismo MSA: Lo sviluppo di una strategia di aggregazione sensibile alle modalità utilizzando la Distanza di Modifica Minima (MinED) per pesare gli aggiornamenti del modello, garantendo che l'aggregazione tenga conto della composizione specifica delle modalità di ogni dispositivo edge.
• Validazione Empirica: Esperimenti estesi che dimostrano come il framework gestisca efficacemente l'eterogeneità delle modalità senza richiedere la condivisione di dati grezzi o complessi processi di imputazione di modalità mancanti.

Risultati Sperimentali
Gli autori hanno valutato FedHyperM sul dataset UR-FALL (rilevamento delle cadute tramite video RGB-depth) sotto tre diversi Tassi di Esistenza delle Modalità (Modality Existence Rate - MER: $\rho = 0.5, 0.7, 0.8$), simulando diversi gradi di mancanza di modalità. Hanno confrontato il framework con cinque baseline: FedAvg, FedCor, FedProx, AutoFed e FedInMM.

• Guadagni di Prestazione: FedHyperM ha superato costantemente tutte le baseline in tutte le impostazioni MER.
  • Accuratezza: Ha migliorato l'accuratezza media del 3,64% fino al 22,33% rispetto alle baseline.
  • F1-Score: Ha migliorato l'F1-score medio dal 2,91% al 26,82%.
  • Robustezza: Il framework ha mostrato una forza particolare nelle metriche "Worst Accuracy" (W. Acc) e "Worst F1" (W. F1), indicando che stabilizza le prestazioni anche per i dispositivi con i set di modalità più limitati.
• Studi di Ablazione:
  • Rimuovendo il modulo ipergrafico (w/o HyperG), si è verificata una diminuzione delle prestazioni di circa il 6,6% nell'accuratezza media, confermando la necessità di catturare le correlazioni di ordine superiore.
  • Sostituendo l'MSA con una semplice media (w/o MSA), si è verificata una diminuzione più significativa (~9,15% nell'accuratezza media), validando che la pesatura consapevole delle modalità è critica per l'aggregazione eterogenea.
• Sensibilità agli Iperparametri: Il modello ha dimostrato stabilità, con prestazioni ottimali osservate a $\alpha = 0.3$ e $\beta = 0.5$ (iperparametri per la regolarizzazione $L_1$ e $L_2$).

Significatività
Il paper sostiene che FedHyperM affronti una lacuna fondamentale nell'Edge Intelligence: la capacità di apprendere collaborativamente da dati sensoriali distribuiti ed eterogenei senza compromettere la privacy o richiedere l'imputazione dei dati. Trattando l'eterogeneità delle modalità come una caratteristica strutturale da modellare tramite ipergrafi e pesare tramite distanza di modifica, anziché come un difetto da correggere, il framework abilita modelli globali più robusti e accurati in scenari edge reali dove la disponibilità dei sensori è inconsistente. I risultati suggeriscono che modellare esplicitamente le correlazioni di modalità di ordine superiore e rispettare i pesi di aggregazione specifici per modalità siano essenziali per la prossima generazione di sistemi multimodali federati.