Riassunto Tecnico: FedCF: Fair Federated Conformal Prediction

Definizione del Problema

I modelli di machine learning spesso esibiscono prestazioni disparate tra diversi sottogruppi demografici, portando a bias che possono essere esacerbati in domini critici per la sicurezza come la sanità e la finanza. Sebbene la Conformal Prediction (CP) fornisca una quantificazione dell'incertezza rigorosa, agnostica rispetto al modello e con garanzie di copertura a campioni finiti, la CP standard è agnostica rispetto agli attributi sensibili e non garantisce l'equità (fairness). I metodi esistenti di "Fair Conformal Prediction" (CF) affrontano questo problema garantendo garanzie di copertura condizionale tra i sottogruppi, ma si affidano all'accesso centralizzato ai dati.

Nel Federated Learning (FL), i dati rimangono decentralizzati per preservare la privacy, rendendo impossibile l'applicazione della CF standard. Inoltre, studi recenti indicano che il passaggio verso un addestramento decentralizzato che preserva la privacy può involontariamente esacerbare l'ingiustizia a causa dell'eterogeneità dei dati e delle diverse capacità dei client. La sfida principale consiste nell'estendere le garanzie teoriche della CF all'ambiente federato senza violare i vincoli di privacy o incorrere in un overhead di comunicazione proibitivo, tenendo conto della natura non-IID dei dati federati.

Metodologia

Gli autori propongono FedCF (Federated Conformal Fairness), un framework che adatta il framework di Conformal Fairness (CF) al contesto federato. La metodologia si basa su tre pilastri:

1. Riformulazione dell'Ottimizzazione Basata sulla Discesa

L'algoritmo CF originale impiega una ricerca a griglia su uno spazio discretizzato per trovare la soglia minima $\lambda$ che soddisfi i vincoli di equità. Questo è inefficiente nel FL a causa dell'alto costo dei round di comunicazione. FedCF riformula questo problema come un problema di ottimizzazione basato sulla discesa. Invece di una ricerca a griglia, l'algoritmo aggiorna adattivamente la soglia $\lambda$ utilizzando una regola di aggiornamento basata sul momentum. Ciò consente al sistema di convergere verso un $\lambda$ che soddisfi i vincoli in significativamente meno round di comunicazione (dimostrato da un'accelerazione di circa 10x negli esperimenti) pur sfuggendo ai minimi locali tramite restart casuali.

2. Formulazione del Gap di Copertura Mixture-of-Clients

Per gestire i dati decentralizzati, FedCF non può stimare direttamente la copertura condizionale richiesta per le metriche di equità. Gli autori introducono una formalizzazione mixture-of-clients basata sull'assunzione di scambiabilità parziale. Essi decompongono il livello di copertura specifico per l'equità globale ($\Pi_{cov}$) in quattro termini:

• Termini I & II: Calcolati localmente da ogni client in base ai propri dati di calibrazione e alla specifica coppia gruppo-etichetta.
• Termine III: La probabilità che un punto di test sia scambiabile con i dati di un particolare client (pesata in base alla dimensione del client).
• Termine IV: La probabilità globale che il filtro di equità sia attivo.

Derivando intervalli di limite (Teorema 3.1) per questi termini, il server può aggregare le statistiche locali per delimitare il gap di copertura globale senza mai vedere i dati grezzi dei client. Il framework offre anche una variante di Stima di Massima Verosimiglianza (MLE) per stime più strette, sebbene meno conservative, sotto un'assunzione di parziale-IID.

3. Protocolli di Aggregazione Flessibili

FedCF affronta il compromesso tra efficienza di comunicazione e privacy dei dati attraverso due protocolli:

• Efficienza di Comunicazione: I client inviano statistiche riassuntive (valori $\alpha$) per ogni coppia gruppo-etichetta. Il server le aggrega per calcolare i limiti. Questo ha una complessità di comunicazione lineare rispetto al numero di gruppi.
• Privacy Avanzata: I client calcolano localmente le differenze a coppie dei termini di copertura prima di inviarli al server. Ciò offusca l'informazione distributiva individuale, prevenendo attacchi di ricostruzione, a costo di una complessità di comunicazione quadratica rispetto al numero di gruppi.
• Ibrido: I client possono scegliere tra i protocolli in base ai propri vincoli di risorse.

Il framework supporta anche la Differential Privacy (DP) aggiungendo rumore Gaussiano agli aggiornamenti dei client, garantendo robustezza contro server malevoli.

Contributi Chiave

1. Estensione della CF al FL: Il documento presenta il primo framework che estende la Conformal Fairness a un contesto federato, dimostrando teoricamente che le garanzie di copertura condizionale possono essere mantenute in un ambiente distribuito sotto scambiabilità parziale.
2. Algoritmo Basato sulla Discesa: Un approccio di ottimizzazione innovativo che sostituisce la ricerca a griglia con un metodo di discesa adattiva, riducendo drasticamente il numero di round di comunicazione necessari per la convergenza nel FL.
3. Limiti Teorici: La derivazione di intervalli di limite per i livelli di copertura specifici per l'equità in un contesto federato, fornendo un metodo rigoroso per audit dei gap di equità senza centralizzare i dati.
4. Compromessi Privacy-Comunicazione: La proposta di distinti protocolli di aggregazione (Efficienza di Comunicazione, Privacy Avanzata e Ibrido) che consentono ai client di bilanciare i vincoli di banda con i requisiti di privacy.
5. Validazione Empirica: Esperimenti estesi su dataset tabulari (ACSIncome, ACSEducation), grafici (Pokec) e di visione (Fitzpatrick) dimostrano che FedCF controlla con successo le disparità di equità (es. Parità Demografica, Equal Opportunity) mantenendo al contempo le garanzie di copertura della CP originale.

Risultati Sperimentali

Gli autori hanno valutato FedCF attraverso molteplici domini e metriche di equità:

• Controllo dell'Equità: FedCF raggiunge costantemente il criterio di vicinanza specificato dall'utente ($c$) per la disparità di equità, mentre il baseline Federated Conformal Prediction (FCP) senza vincoli di equità non riesce a controllare tali gap.
• Efficienza vs. Equità: Esiste un compromesso intrinseco; imporre un'equità più rigorosa (un $c$ più piccolo) aumenta la dimensione dell'insieme di predizione (riducendo l'efficienza). Tuttavia, FedCF minimizza questo costo rispetto ai baseline.
• Robustezza all'Eterogeneità: Il framework opera efficacemente attraverso diversi numeri di client (da 2 a 48) e differenti schemi di partizione dei dati (split geografici naturali vs. partizioni di Dirichlet).
• Dati Grafici: FedCF si integra con successo con i punteggi di non-conformità specifici per i grafi (DAPS), dimostrando l'applicabilità oltre i comuni dati tabulari.
• Protocolli di Privacy: Gli esperimenti mostrano che, sebbene il protocollo Enhanced Privacy sia più conservativo (insiemi di predizione più grandi) a causa dei limiti più stretti, esso controlla efficacemente le disparità di equità proteggendo al contempo i dati dei client.

Significato e Rivendicazioni

Il documento sostiene che FedCF fornisca una soluzione teoricamente fondata e praticamente sostenibile per l'audit e la garanzia di equità nei modelli di machine learning federati. La sua importanza risiede in:

• Conformità Regolatoria: Offrire un meccanismo per soddisfare le regolamentazioni emergenti (es. EU AI Act, NYC Local Law 144) che richiedono audit di equità in sistemi decentralizzati senza compromettere la privacy dei dati.
• ML Affidabile (Trustworthy ML): Colmare il divario tra quantificazione dell'incertezza ed equità, garantendo che i modelli non solo predicano con intervalli di errore noti, ma lo facciano equamente tra i gruppi sensibili.
• Auditabilità: Il framework può essere utilizzato post-hoc per auditare modelli federati esistenti, determinando se soddisfano le specifiche di equità senza richiedere il riaddestramento o l'accesso ai dati grezzi.

Gli autori riconoscono i limiti, specificamente la dipendenza dall'assunzione di scambiabilità parziale, che potrebbe essere violata in scenari con drift dinamico dei dati. Suggeriscono lavori futuri che coinvolgano la CP non-scambiabile e tecniche di federated learning robuste per affrontare tali scenari.