CurvFed: Curvature-Aligned Federated Learning for Fairness without Demographics

Il paper introduce CurvFed, un framework di Federated Learning che garantisce equità senza richiedere dati demografici, allineando la curvatura del paesaggio di perdita tramite la regolarizzazione dell'autovalore massimo della Matrice di Informazione di Fisher.

L'essenziale

Immagina di avere un gruppo di amici che vivono in città diverse e che vogliono imparare a cucinare la ricetta perfetta per una torta, ma nessuno vuole condividere i propri ingredienti segreti o le foto dei propri fornelli con gli altri. Questo è il mondo del Federated Learning (FL): un modo per addestrare un'intelligenza artificiale collaborativa senza che i dati personali lascino mai il dispositivo di ciascuno (come il tuo smartphone o il tuo smartwatch).

Tuttavia, c'è un problema: se ogni amico ha un forno diverso, ingredienti diversi o cuoce a temperature diverse, la torta finale potrebbe venire perfetta per alcuni e bruciata per altri. In termini tecnici, il modello non è equo (fair). Spesso, per correggere questo, dovremmo chiedere agli amici: "Sei maschio o femmina? Hai la mano destra o sinistra? Che tipo di forno hai?". Ma questo viola la privacy e, in molti casi (come nei sensori di salute), non abbiamo nemmeno queste informazioni.

Ecco che entra in gioco CurvFed, la soluzione proposta in questo paper.

L'Analogia della "Collina Perfetta"

Per capire CurvFed, dobbiamo immaginare l'apprendimento di un'intelligenza artificiale come un viaggio su una montagna.

• La meta: Trovare la valle più bassa (il punto dove l'errore è minimo, cioè la torta è perfetta).
• Il problema: Se la valle è molto ripida e stretta (una "cresta affilata"), anche un piccolo passo falso ti fa scivolare giù e rovinare tutto. Questo è un modello che impara a memoria i dati di chi lo ha addestrato, ma fallisce con gli altri.
• La soluzione ideale: Una valle larga, piatta e dolce. Qui, anche se fai un piccolo passo falso, rimani stabile. Questo è un modello robusto ed equo.

CurvFed è come una bussola speciale che guida ogni amico verso una valle larga e piatta, senza chiedergli mai chi è o cosa ha nel suo forno.

Come funziona CurvFed? (Senza chiedere "Chi sei?")

Il metodo si basa su tre idee semplici, ma potenti:

1. Non serve sapere chi sei: Invece di chiedere "Sei maschio o femmina?", CurvFed guarda la forma del terreno sotto i piedi di ogni amico. Se il terreno è troppo ripido e instabile (una "curvatura" alta), significa che il modello sta imparando in modo troppo specifico per quel singolo utente. CurvFed dice: "Rallenta, cerca una zona più piatta e stabile".
2. L'allenamento locale (Ogni amico a casa sua): Mentre ogni amico allena il proprio modello sul proprio telefono, CurvFed aggiunge una regola: "Non cercare solo la torta più buona per te, cerca una ricetta che funzioni bene anche se cambi leggermente gli ingredienti". Questo rende il modello più flessibile e meno propenso a fare favoritismi.
3. L'incontro finale (Il server centrale): Quando tutti gli amici si riuniscono per creare la ricetta globale, CurvFed non fa una semplice media. Guarda chi ha trovato la valle più piatta e stabile. Chi ha un modello "piatto" (che funziona bene per tutti) riceve più peso nella ricetta finale. Chi ha un modello "ripido" (che funziona solo per se stesso) ne riceve meno.

Perché è una rivoluzione?

• Privacy Totale: Non devi mai dire al sistema chi sei, quanto sei vecchio o di che genere sei. Il sistema capisce l'equità guardando solo la "geometria" della matematica.
• Funziona ovunque: Che tu sia un singolo utente con un solo smartwatch o un'azienda con migliaia di dipendenti, CurvFed funziona.
• Testato nel mondo reale: Gli autori hanno provato questo sistema su dispositivi reali (come telefoni Pixel, Raspberry Pi e computer potenti) simulando scenari reali. Hanno scoperto che CurvFed è veloce, non consuma troppa batteria e riesce a creare modelli equi anche quando i dati sono scarsi o sbilanciati.

In sintesi

Immagina che CurvFed sia un istruttore di yoga universale. Invece di chiedere ai partecipanti di dire la loro età o il loro peso per correggere la postura, l'istruttore guarda semplicemente la loro stabilità. Se un partecipante è instabile (il modello è "sbilanciato"), l'istruttore lo aiuta a trovare una posizione più solida e sicura per tutti.

Il risultato? Un'intelligenza artificiale che tratta tutti gli utenti allo stesso modo, non perché sa chi sono, ma perché ha imparato a stare in piedi su un terreno solido e piatto, accessibile a chiunque. È un passo avanti enorme per rendere l'IA più giusta, privata e affidabile nella vita di tutti i giorni.

Sommario tecnico

1. Il Problema: Equità nel Federated Learning senza Demografia

Le applicazioni di sensing umano (come il monitoraggio della salute, il riconoscimento delle attività e il rilevamento dello stress) si basano sempre più su dati distribuiti su dispositivi edge (smartphone, wearable). Il Federated Learning (FL) è il paradigma preferito per addestrare modelli su questi dati senza violare la privacy, poiché i dati grezzi non lasciano mai il dispositivo locale.

Tuttavia, garantire l'equità (fairness) in questo contesto presenta sfide critiche:

• Mancanza di etichette demografiche: La maggior parte dei dataset di sensing umano non contiene etichette sensibili (es. sesso, età, orientamento del sensore) necessarie per gli algoritmi di equità tradizionali.
• Vincoli di privacy: Anche se le etichette esistessero, il FL non dovrebbe richiedere la condivisione di attributi sensibili con il server centrale per rispettare normative come GDPR e HIPAA.
• Complessità dei bias: I bias possono derivare da molteplici fattori latenti (es. tipo di corpo, posizione del sensore, sesso) che coesistono e interagiscono.
• Limiti degli approcci esistenti: I metodi attuali per l'equità nel FL richiedono spesso l'accesso a gruppi sensibili noti o assumono che ogni client rappresenti una distribuzione completa di gruppi, ipotesi irrealistica in scenari reali dove un client può essere un singolo utente.

L'obiettivo è raggiungere la Fairness Without Demographics (FWD): garantire prestazioni eque tra gruppi di utenti senza conoscere né utilizzare attributi sensibili durante l'addestramento.

2. Metodologia: CurvFed

Il paper introduce CurvFed, un framework teorico e pratico che promuove l'equità allineando la curvatura del paesaggio di perdita (loss landscape) sia all'interno dei client che tra i diversi client.

Fondamento Teorico

La metodologia si basa sull'ipotesi che una curvatura più piatta (flat minima) nel paesaggio di perdita sia correlata a una migliore generalizzazione e a minori disparità di prestazioni tra gruppi.

• Teorema 1: Dimostra che l'eccesso di perdita (la differenza tra la performance del modello globale e quello locale) è limitato dalla curvatura (autovalore massimo dell'Hessiano).
• Proposizione 1: Utilizza la Matrice di Informazione di Fisher (FIM) come proxy computazionalmente efficiente per l'Hessiano, rendendo il calcolo fattibile su dispositivi edge.
• Proposizione 2: Minimizzare l'autovalore massimo della FIM durante l'addestramento locale riduce implicitamente le disparità di curvatura tra gruppi sconosciuti all'interno del client.
• Proposizione 3: Un'aggregazione consapevole della "sharpness" (nitidezza) riduce la varianza dell'eccesso di perdita tra i client, promuovendo un modello globale più equo.

Architettura di CurvFed

Il framework opera in due fasi principali:

1. Addestramento Locale con Regularizzazione di Curvatura:
   Ogni client addestra il proprio modello minimizzando una funzione di perdita composta da due termini:

   • La perdita di classificazione standard (per l'accuratezza).
   • Un termine di regolarizzazione che penalizza l'autovalore massimo della FIM ($\lambda(F)$).
     Questo spinge il modello locale verso minimi più piatti, riducendo la sensibilità ai bias specifici dei dati locali senza conoscere le etichette sensibili. Viene utilizzato l'ottimizzatore SAM (Sharpness-Aware Minimization) per facilitare questo processo.

2. Aggregazione Consapevole della Sharpness (Sharpness-Aware Aggregation):
   Il server non aggrega i modelli con una media semplice (come in FedAvg). Invece, calcola pesi di aggregazione basati su:

   • La perdita di valutazione del client.
   • L'autovalore massimo della FIM del client.
     I client con modelli più "piatti" (bassa curvatura) e bassa perdita ricevono pesi più alti. Questo meccanismo seleziona e combina i modelli che hanno dimostrato di essere più robusti ed equi localmente.
     Inoltre, CurvFed integra lo Stochastic Weight Averaging (SWA) sul server per migliorare ulteriormente la generalizzazione e la stabilità del modello globale.

3. Contributi Chiave

• Primo approccio FWD nel FL per sensing umano: CurvFed è il primo metodo che garantisce equità nel FL per applicazioni di sensing umano senza richiedere alcuna informazione demografica o sensibile, né a livello di client né di server.
• Giustificazione Teorica Solida: Fornisce una base teorica che collega la geometria del paesaggio di perdita (curvatura) alla parità di prestazioni tra gruppi, offrendo una via "agnostica agli attributi" per l'equità algoritmica.
• Robustezza in scenari reali: Funziona efficacemente sia con client multi-utente che con client a singolo utente (comuni nel sensing umano), superando il limite degli approcci precedenti che richiedono la rappresentanza completa dei gruppi in ogni client.
• Validazione su Hardware Reale: Il paper include una valutazione su un testbed eterogeneo di dispositivi edge reali (smartphone, Raspberry Pi, Jetson Nano, PC desktop), dimostrando la fattibilità pratica.

4. Risultati Sperimentali

Gli autori hanno valutato CurvFed su quattro dataset reali (WIDAR, HugaDB, Stress Sensing, PERCEPT-R) con diverse modalità di sensing (WiFi, inerziale, fisiologico, audio).

• Trade-off Equità-Accuratezza: CurvFed supera significativamente gli stati dell'arte (FedAvg, FedSAM, FedSWA, FedSRCVaR, KD-FedAvg) nel punteggio FATE (Fairness-Accuracy Trade-off), che bilancia l'accuratezza e il divario di opportunità uguale (EO Gap).
  • Ad esempio, su Stress Sensing, CurvFed ha ottenuto un punteggio FATE di 2.292, contro 1.344 di KD-FedAvg e 0.458 di FedSRCVaR.
• Scenario Single-Person: CurvFed mantiene prestazioni eque anche quando i client contengono dati di un solo utente, una situazione in cui molti metodi falliscono.
• Multidimensionalità dei Bias: Il metodo migliora l'equità simultaneamente su più attributi sensibili (es. sesso e orientamento del sensore) senza bisogno di etichette.
• Overhead Computazionale: L'analisi di fattibilità mostra che l'overhead computazionale e di comunicazione è minimo (pochi millisecondi in più per round, aumento di memoria <1%), rendendolo adatto per dispositivi edge con risorse limitate.

5. Significato e Impatto

CurvFed rappresenta un passo fondamentale verso un'intelligenza artificiale decentralizzata ed equa.

• Privacy-Preserving: Risolve il dilemma tra equità e privacy eliminando la necessità di condividere o conoscere attributi sensibili.
• Scalabilità: La sua indipendenza dalla conoscenza demografica lo rende immediatamente applicabile a nuovi dataset e scenari di sensing umano dove le etichette sensibili sono spesso assenti o non etichettate.
• Impatto Sociale: Promuove sistemi di sensing umano (sanità, attività fisica) che non discriminano gruppi sottorappresentati o con caratteristiche diverse, allineandosi alle visioni di equità algoritmica e alle normative emergenti.

In sintesi, CurvFed dimostra che l'equità nel Federated Learning può essere raggiunta ottimizzando la geometria matematica del processo di apprendimento, piuttosto che manipolando i dati sensibili, offrendo una soluzione robusta, teorica e praticamente valida per il mondo reale.