Riepilogo Tecnico: FinP: Fairness-in-Privacy nel Federated Learning affrontando le disparità nel rischio di privacy

1. Definizione del Problema

Il Federated Learning (FL) mitiga i rischi della centralizzazione massiva dei dati, ma non riesce a garantire una protezione della privacy equa tra tutti i client partecipanti. Negli ambienti di FL incentrati sull'uomo, l'eterogeneità statistica (dati non-IID) porta a una distribuzione iniqua dei rischi di privacy. Nello specifico, i client con distribuzioni di dati uniche o outlier (ad esempio, individui con specifiche disabilità fisiche nel riconoscimento dell'attività umana - Human Activity Recognition) sono soggetti a un overfitting locale. Questo overfitting causa la memorizzazione di punti dati unici da parte dei loro modelli locali, rendendoli sproporzionatamente vulnerabili agli Attacchi di Inferenza della Sorgente (Source Inference Attacks - SIA).

A differenza degli attacchi di inferenza dell'appartenenza (Membership Inference Attacks - MIA), che determinano se un record è stato utilizzato durante l'addestramento, il SIA identifica il client specifico che ha contribuito a quel record. Ciò rompe la pseudonimità collegando i dati sensibili a un contesto del mondo reale (dispositivo o posizione). Le difese di privacy esistenti, come la Differential Privacy (DP), spesso iniettano rumore uniforme che degrada l'utilità globale senza risolvere la disparità nell'esposizione per singolo client; in alcuni casi, esse esacerbano l'ingiustizia penalizzando i client ben rappresentati mentre non riescono a mascherare gli aggiornamenti distintivi dei client sbilanciati. Il documento identifica una lacuna critica: la mancanza di un framework che formalizzi e imponga la fairness-in-privacy (equità nella privacy), garantendo che nessun singolo gruppo sopporti un carico sproporzionato di vulnerabilità della privacy.

2. Metodologia: Il Framework FinP

FinP è un nuovo framework progettato per operazionalizzare la fairness-in-privacy affrontando sia i sintomi (aggregazione di rischio diseguale) che le cause profonde (overfitting locale) della disparità di privacy. Esso impiega una strategia di difesa a due fronti e a ciclo chiuso che coinvolge interventi lato server e lato client.

2.1 Modello di Minaccia

Il framework opera sotto l'assunzione di un server "onesto ma curioso" (honest-but-curious). Il server esegue fedelmente il protocollo FL, ma tenta di inferire informazioni sensibili dei client attraverso gli aggiornamenti del modello e le metriche di curvatura. La minaccia principale è un attacco in due fasi:

1. Membership Inference Attack (MIA): Determinare se un dato punto $x$ appartiene al set di addestramento globale.
2. Source Inference Attack (Sile): Se $x$ è confermato come parte dell'addestramento, identificare il client specifico $C_i$ che lo ha generato.

2.2 Intervento Lato Client: Riduzione Collaborativa dell'Overfitting

Per affrontare la causa radice della vulnerabilità (l'overfitting locale), FinP introduce un meccanismo di regolarizzazione guidato dal feedback:

• Stima dell'Overfitting Relativo: I client stimano localmente il proprio livello di overfitting utilizzando l'autovalore massimo della matrice Hessiana ($\lambda_{max}$) e la traccia della Hessiana ($H_T$) del loro modello locale. Queste metriche caratterizzano la nitidezza (sharpness) del paesaggio della perdita; paesaggi più nitidi indicano un grave overfitting.
• Ranking Relativo ($\rho_k$): Il server aggrega queste metriche scalari per calcolare un ranking di overfitting relativo ($\rho_k$) per ogni client, che rappresenta la loro vulnerabilità rispetto alla federazione. Questo ranking viene trasmesso nuovamente al client come feedback mirato.
• Regolarizzazione Adattiva: Al ricevimento di $\rho_k$, il client modifica la propria funzione di perdita locale aggiungendo un termine di regolarizzazione limitato dalla costante di Lipschitz (approssimata dalla norma spettrale del Jacobiano). La perdita modificata è:
  $$L^*_k = L_k + \beta \cdot \rho_k \cdot ||J_k||$$
  Qui, $\beta$ è un parametro dipendente dal compito. I client con ranking di overfitting relativo più elevato ($\rho_k$) sono soggetti a una regolarizzazione più forte, che li costringe a imparare rappresentazioni più generalizzabili e riduce la loro suscettibilità al SIA.

2.3 Intervento Lato Server: Aggregazione Adattiva

Per affrontare i sintomi della disparità, il server regola dinamicamente i pesi di aggregazione degli aggiornamenti dei client:

• Quantificazione del Rischio: Il server utilizza il ranking di overfitting relativo del client ($\rho_k$) come proxy per il rischio di privacy.
• Aggregazione Leggera Adattiva (Adaptive Lightweight Aggregation - ALA): Il server calcola i pesi di aggregazione ($\alpha_k$) inversamente proporzionali al ranking del rischio:
  $$\alpha_k = \frac{1 - \rho_k}{\sum_{i=1}^K (1 - \rho_i)}$$
  Questo meccanismo riduce l'influenza dei client altamente vulnerabili sul modello globale, impedendo alle loro rappresentazioni outlier memorizzate di plasmare in modo sproporzionato i parametri globali.
• Baseline Alternativa: Il documento valuta anche una strategia basata su PCA per la quantificazione del rischio, ma evidenzia ALA come la soluzione computazionalmente efficiente e scalabile adatta all'implementazione nel mondo reale.

3. Contributi Chiave

Il documento delinea quattro contributi primari:

1. Definizione Formale: Introduce una definizione formale di fairness-in-privacy (FinP) adattata ai sistemi di machine learning centrati sull'uomo del mondo reale, concentrandosi sulla distribuzione equa del rischio di privacy.
2. Operazionalizzazione: Operazionalizza la misurazione della FinP all'interno del FL, quantificando specificamente le vulnerabilità agli attacchi di inferenza della sorgente (SIA).
3. Nuovo Framework: Propone un framework tecnico a due fronti che combina l'aggregazione adattiva lato server e la regolarizzazione basata sulla Hessiana lato client per ottimizzare la FinP.
4. Validazione Empirica: Fornisce valutazioni complete su dataset reali (HAR) e standard (FEMNIST, CIFAR-10), dimostrando guadagni significativi nella fairness della privacy con una perdita minima di utilità del compito.

4. Risultati Sperimentali

Il framework è stato valutato su tre dataset: Human Activity Recognition (HAR), CIFAR-10 e FEMNIST, confrontando FinP con FedAvg standard, difese per l'eterogeneità allo stato dell'arte (FedAlign) e la Differential Privacy (DP-SGD).

4.1 Miglioramenti della Fairness della Privacy

• Dataset HAR: FinP ha ridotto il Coefficiente di Variazione (CoV) per l'accuratezza del SIA da 0,94 (Baseline) a 0,89, migliorando l'Indice di Fairness (FI) del 5,56%. Ha ridotto l'Equal Opportunity Difference (EOD) del 5,45%, indicando un tasso di successo dell'avversario più uniforme tra i client.
• Dataset CIFAR-10: FinP ha ottenuto un miglioramento del 43,1% nell'Indice di Fairness per la perdita di predizione (FI(Loss)) rispetto a FedAlign. Ha ridotto l'EOD del 57,14%, garantendo matematicamente un True Positive Rate più uniforme per l'avversario.
• Privacy Assoluta: Su CIFAR-10, FinP ha ridotto l'accuratezza media del SIA da circa il 30,86% (FedAvg) al 10,07%, riducendo efficacementamente il tasso di successo dell'attacco al livello del caso casuale (1/10).

4.2 Utilità ed Efficienza

• Utilità del Modello: Contrariamente al tipico compromesso privacy-utilità, FinP mantiene o migliora leggermente l'utilità globale del modello. Su CIFAR-10, FinP ha raggiunto un'accuratezza di test del 78,46%, leggermente superiore al 77,62% di FedAvg. Su HAR, la degradazione è stata minima (circa l'1,75%).
• Efficienza: Il framework ha richiesto solo un incremento marginale dei round di comunicazione per la convergenza (ad esempio, 10 round contro i 9 della baseline in HAR).
• Confronto con DP: È stato riscontrato che la Differential Privacy (DP-SGD) degrada drasticamente l'utilità (ad esempio, un calo del 34,7% dell'accuratezza su HAR) pur non riuscendo a migliorare la fairness empirica della privacy, spesso peggiorando l'Indice di Fairness.

4.3 Studi di Ablazione

• Sinergia dei Componenti: Il sistema completo a ciclo chiuso (Server + Client) ha prodotto i maggiori guadagni di fairness. L'aggregazione lato server da sola affrontava i sintomi ma era insufficiente per la fairness strutturale; la regolarizzazione lato client da sola riduceva l'overfitting ma mancava della coordinazione globale per bilanciare la distribuzione del rischio.
• Praticità Computazionale: La strategia di Aggregazione Leggera Adattiva (ALA) ha ottenuto miglioramenti di fairness identici alla baseline basata su PCA, che è più onerosa dal punto di vista computazionale, consumando solo il 17% del tempo di calcolo.

5. Significato e Rivendicazioni

Il documento afferma che FinP stabilisce protezioni di privacy eque riducendo le disparità di vulnerabilità fino al 57,14% preservando al contempo l'utilità del modello globale entro un margine di ±1,75% rispetto alle baseline standard del federated learning.

Gli autori sostengono che FinP sia significativo perché:

1. Sposta l'attenzione dalle garanzie di privacy medie alla distribuzione equa del rischio, affrontando la realtà del "zero trust" dove una certa fuga di dati è inevitabile.
2. Dimostra che forti garanzie di fairness-in-privacy non devono necessariamente compromettere l'utilità del modello; anzi, penalizzando la memorizzazione localizzata, il framework può migliorare la generalizzazione e l'accuratezza globale.
3. Fornisce una soluzione scalabile e pratica (tramite ALA) che evita i colli di bottiglia computazionali dei metodi tradizionali, rendendola sostenibile per implementazioni FL reali con risorse limitate.
4. Offre ai decisori politici e ai progettisti di sistemi metriche tangibili (come EOD e FI) per imporre protezioni eque e promuovere la fiducia del pubblico nei sistemi di IA.

Il documento conclude che, senza affrontare esplicitamente l'inequità nella distribuzione del rischio, il FL rischia di rinforzare proprio quelle disuguaglianze sociali che mira a eludere, e FinP offre un meccanismo strutturale per prevenire questa disuguaglianza digitale.