RESFL: An Uncertainty-Aware Framework for Responsible Federated Learning by Balancing Privacy, Fairness and Utility

1. Il Problema

Il Federated Learning (FL) permette l'addestramento collaborativo di modelli senza centralizzare i dati, preservando la privacy. Tuttavia, esistono compromessi critici (trade-off) tra tre obiettivi fondamentali:

• Privacy vs. Fairness: Le tecniche di protezione della privacy (es. Differential Privacy) spesso oscurano gli attributi sensibili necessari per rilevare e correggere i bias, peggiorando le disparità di performance tra gruppi demografici (es. diverse tonalità della pelle).
• Incertezza e Affidabilità: In scenari reali (es. veicoli autonomi), fattori come rumore dei sensori, condizioni meteorologiche avverse e spostamenti di dominio (domain shift) introducono incertezze epistemiche. Se non gestite, queste incertezze degradano la performance in modo sproporzionato per alcuni sottogruppi, amplificando le ingiustizie.
• Limiti delle Soluzioni Esistenti: I metodi attuali tendono a ottimizzare un obiettivo a scapito degli altri (es. migliorare la privacy riduce l'utilità o la fairness) o richiedono l'accesso centrale agli attributi sensibili, violando la privacy.

2. Metodologia: Il Framework RESFL

Gli autori propongono RESFL, un framework agnostico rispetto al dominio che integra due componenti complementari in un'unica pipeline per ottimizzare simultaneamente privacy, fairness e utilità.

A. Disentanglement della Privacy Avversaria (Adversarial Privacy Disentanglement)

Per prevenire la fuga di attributi sensibili durante l'addestramento federato:

• Viene utilizzato un classificatore avversario che tenta di prevedere l'attributo sensibile (es. tonalità della pelle) dalle rappresentazioni latenti estratte dal modello.
• Viene inserita una Gradient Reversal Layer (GRL) tra l'estratte di caratteristiche e il classificatore. Durante la retropropagazione, la GRL inverte il gradiente, costringendo l'estratte di caratteristiche a massimizzare l'errore del classificatore avversario.
• Risultato: Le rappresentazioni apprese diventano invarianti rispetto all'attributo sensibile, riducendo l'informazione reciproca tra i dati e l'attributo (garantendo privacy) senza richiedere la rimozione esplicita dei dati sensibili dai client.

B. Aggregazione Guidata dall'Incertezza (Uncertainty-Guided Aggregation)

Per garantire la fairness senza accedere agli attributi sensibili a livello centrale:

• Ogni client sostituisce il classico strato di output softmax con un layer di output evidenziale (basato su distribuzioni Dirichlet). Questo permette di stimare l'incertezza epistemica (la "conoscenza" del modello) in modo analitico, senza costosi campionamenti Monte Carlo.
• Viene definito un Uncertainty Fairness Metric (UFM): una metrica scalare che quantifica la disparità nell'incertezza tra diversi gruppi demografici all'interno di un client. Un UFM basso indica che il modello è equamente sicuro per tutti i gruppi.
• Meccanismo di Aggregazione: Il server aggrega gli aggiornamenti dei client pesandoli in base al loro UFM. I client con un UFM più basso (migliore equità e minore disparità di incertezza) ricevono pesi maggiori.
  • Formula dei pesi: $\omega_i \propto \exp(-\beta \cdot \text{UFM}_i)$.
  • Questo approccio favorisce i contributi che sono sia confidenziali che equi, mitigando l'impatto di aggiornamenti "tossici" o sbilanciati.

C. Ottimizzazione Congiunta

Ogni client minimizza una funzione di perdita composita:
$$L_{local} = L_{task} + \lambda_{priv} L_{adv} + \lambda_{fair} L_{uncertainty}$$
Dove $L_{task}$ è la perdita di rilevamento, $L_{adv}$ è la perdita avversaria per la privacy e $L_{uncertainty}$ penalizza le disparità di incertezza.

3. Contributi Chiave

1. Framework Unificato: RESFL è la prima soluzione che integra disentanglement avversario e metriche di incertezza evidenziale in un unico algoritmo FL end-to-end.
2. Privacy senza Sacrificio di Fairness: Dimostra che è possibile proteggere gli attributi sensibili (riducendo il rischio di inferenza) mantenendo o migliorando l'equità tra i gruppi, superando il limite delle tecniche DP tradizionali.
3. Robustezza in Ambienti Critici: Il framework è stato validato in scenari di guida autonoma, dimostrando resilienza a condizioni meteorologiche avverse (nebbia, pioggia, nuvole) che tipicamente degradano la fairness nei modelli standard.
4. Agnosticismo del Dominio: Sebbene testato su visione artificiale, il framework è stato validato anche su dati tabulari (Adult) e testuali (TweetEval), dimostrando la sua generalizzabilità.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sui dataset FACET (reale, con annotazioni di tonalità della pelle) e CARLA (simulatore di guida autonoma).

• Performance Complessiva (FACET):

  • Utilità: RESFL raggiunge un mAP di 0.6654, superiore a FedAvg-DP (0.4612) e competitivo con FairFed (0.7013), ma con un profilo privacy/fairness molto migliore.
  • Fairness: Riduce il gap di opportunità di uguaglianza ($\Delta EOP$) del 17% rispetto a FedAvg e riduce la deviazione dell'impatto disparato ($|1-DI|$) a 0.2287.
  • Privacy: Riduce il successo degli attacchi di inferenza dell'appartenenza (MIA) del 37% rispetto a FedAvg e riduce il successo degli attacchi di inferenza degli attributi (AIA) a 0.1832 (il valore più basso tra tutti i metodi testati).
  • Robustezza: Mantiene una robustezza superiore agli attacchi di Byzantine e avvelenamento dei dati (DPA).

• Resilienza alle Condizioni Avverse (CARLA):

  • In condizioni di nebbia intensa (100%), RESFL mantiene un mAP di 0.17, mentre altri metodi crollano sotto 0.10.
  • RESFL limita l'aumento delle disparità di fairness e dei tassi di attacco privacy anche quando la visibilità è scarsa, grazie alla gestione dell'incertezza e al "flooring" dell'evidenza.

• Varianti senza Etichette: Anche senza attributi sensibili espliciti (usando varianti AF-UFM), RESFL recupera oltre il 90% dei guadagni in fairness e privacy, rendendolo applicabile in scenari reali dove i dati demografici non sono disponibili.

5. Significato e Impatto

Il lavoro di RESFL è significativo perché risolve il dilemma fondamentale del FL responsabile: come proteggere la privacy senza creare ingiustizie algoritmiche.

• Sicurezza Critica: Offre una soluzione praticabile per settori ad alto rischio come i veicoli autonomi e la sanità, dove la disparità di performance può avere conseguenze fisiche o legali gravi.
• Scalabilità: Il framework ha un costo computazionale lineare rispetto ai metodi FL standard, rendendolo adatto per dispositivi edge.
• Futuro della Ricerca: Stabilisce un nuovo paradigma per l'ottimizzazione multi-obiettivo nel FL, spostando l'attenzione dalla semplice protezione dei dati alla garanzia di equità e affidabilità in condizioni di incertezza.

In sintesi, RESFL dimostra che è possibile costruire sistemi di apprendimento federato che siano contemporaneamente privati, equi e affidabili, superando i compromessi tradizionali che hanno limitato l'adozione del FL in applicazioni critiche.