Sintesi Tecnica: FED-FBD

Definizione del Problema

L'Apprendimento Federato (FL) consente l'addestramento collaborativo di modelli su dati medici decentralizzati senza condividere i record grezzi dei pazienti. Tuttavia, i metodi dominanti come FedAvg, FedProx e FedNova trattano i client come scatole nere, portando a tre vulnerabilità critiche nei deployment medici realistici:

1. Mancanza di Isolamento: Un singolo client avversario o con dati etichettati erroneamente può corrompere l'intero modello globale perché il gradiente di ogni client contribuisce a ogni parametro.
2. Garanzie di Privacy Deboli: Lo standard FL non offre una privacy intrinseca; la protezione si affida a meccanismi "aggiunti successivamente" come la privacy differenziale o l'aggregazione sicura.
3. Unlearning inefficiente: Onorare il "diritto all'oblio" di un partecipante richiede tipicamente il riaddestramento del modello da zero o l'uso di approssimazioni costose.

Gli autori sostengono che questi problemi derivino da una radice comune: ogni peso è una risorsa condivisa. Se i parametri fossero invece posseduti da piccoli set noti di client, la contaminazione potrebbe essere contenuta per costruzione, la memorizzazione limitata strutturalmente e la rimozione di un client ridotta a un'operazione di insieme.

Metodologia: FED-FBD

Il paper propone FED-FBD (Federated Functional Block Diversification), un'architettura modulare che decompone un backbone ResNet in sei blocchi funzionali: lo stem, quattro gruppi residuali e la testa di classificazione.

Architettura Core

• Il Magazzino (The Warehouse): Il server mantiene un magazzino di $N$ "varianti di colore" (modelli completi). Ogni colore è assemblato partendo da un blocco per ogni posizione funzionale.
• Timbratura del Contributore (Contributor Stamping): A ogni tensore di peso del blocco viene assegnato un hash unico e una traccia di addestramento che registra gli ID specifici dei client che lo hanno aggiornato.
• Piano di Spedizione (Shipping Plan): Un piano predefinito limita ogni client a un sottoinsieme noto di colori. Ad esempio, in una configurazione con 6 client e 6 colori, il Client 0 potrebbe avere il permesso di scrivere solo ai blocchi per i colori $M_0, M_1, M_2$. Di conseguenza, i colori $M_3, M_4, M_5$ sono architettonicamente isolati dal Client 0.
• Obiettivo di Addestramento: I client minimizzano una funzione di perdita che combina l'accuratezza della cross-entropy con un termine di divergenza di Kullback-Leibler (KL). Il termine KL attira le predizioni di un client verso un "colore fratello" scelto casualmente e con una parametrizzazione differente, per incoraggiare la diversità funzionale e prevenire il collasso.
• Protocollo del Server: Il server esegue la sostituzione diretta dei pesi dei blocchi anziché la media ponderata. Quando un client restituisce un blocco aggiornato, questo sovrascrive il tensore esistente per quella specifica intersezione blocco-colore.

Meccanismi Chiave

1. Isolamento a livello di Blocco: Poiché i blocchi vengono sovrascritti direttamente, qualsiasi blocco escluso dal piano di spedizione di un client è matematicamente garantito per non contenere mai informazioni derivate dai dati di quel client.
2. Unlearning Chirurgico: Per rimuovere un client, il server identifica tutti i blocchi in cui il client è un contributore e li sostituisce con la media degli altri colori "puliti" in quelle posizioni. Ciò non richiede riaddestramento.
3. Routing dell'Inferenza: Durante l'inferenza, il sistema può instradare le predizioni verso il colore più affidabile per campione o media l'ensemble, permettendo l'esclusione post-hoc di colori compromessi.

Contributi Chiave

1. Isolamento Architetturale: FED-FBD fornisce un perfetto isolamento a livello di blocco. Gli esperimenti mostrano che anche sotto attacchi avversari severi (label-flip, iniezione di rumore), i colori "puliti" (quelli che l'attaccante non può toccare) deviano di non più di $\pm 0.01$ AUC, mentre i colori avvelenati degradano significativamente.
2. Privacy-by-Design: Il framework sopprime strutturalmente la memorizzazione. L'advantage di un attacco di inferenza dell'appartenenza (MIA) è indistinguibile dal caso ($0.50 \pm 0.01$) prima di applicare qualsiasi meccanismo di privacy esplicito, poiché nessun singolo blocco vede abbastanza dati per memorizzare i singoli campioni.
3. Unlearning Sub-secondario: Il paper dimostra un "unlearning chirurgico" tramite la sostituzione aggregata dei blocchi. Questo raggiunge la rimozione esatta del contributo di un client in un tempo di esecuzione inferiore al secondo con una perdita di utilità inferiore allo $0.25\%$ di AUC, evitando la necessità di riaddestramento.
4. Caratterizzazione della Transizione di Fase: Gli autori identificano una transizione di fase "dati-per-client $\times$ eterogeneità". FED-FBD è competitivo (entro $\sim 4\%$ di FedAvg) quando i client hanno dati sufficienti (es. $\ge 15.000$ campioni) anche con alta eterogeneità ($\alpha=0.25$), ma le prestazioni crollano su dataset molto piccoli con alto skew.

Risultati Sperimentali

Gli esperimenti sono stati condotti su sei dataset MedMNIST-2D, PathMNIST a risoluzione $224\times224$ e CIFAR-10 con 6 client e 100 round di comunicazione.

• Trade-off di Accuratezza: Su dataset di dimensioni adeguate, FED-FBD scambia un modesto gap di accuratezza del $0.3\% - 3.1\%$ rispetto a FedAvg per le sue garanzie di sicurezza. Su PathMNIST ($224\times224$), il gap scende all' $1.2\%$.
• Performance Non-IID: Sotto lieve eterogeneità ($\alpha=1.0$), FED-FBD rimane entro lo $0.8\% - 4.0\%$ di FedAvg su tre dei quattro dataset. Le prestazioni degradano sotto skew estremo su piccoli dataset, ma il gap si restringe all'aumentare dei campioni per client.
• Robustezza Avversaria: Attraverso sei configurazioni di attacco, i colori puliti sono rimasti isolati. Un semplice z-score lato server sulla loss di validazione ha rilevato il $39\% - 76\%$ degli attacchi con bassi falsi positivi.
• Efficienza dell'Unlearning: Le operazioni di unlearning sono state completate in meno di 1 secondo con una perdita di AUC trascurabile (caso peggiore $-0.0022$).

Significato e Rivendicazioni

Il paper sostiene che FED-FBD sposti il paradigma dell'apprendimento federato dalla sicurezza "probabilistica" (basata su aggregazione robusta o rumore) alla sicurezza strutturale. Rendendo la proprietà dei parametri granulare ed esplicita:

• La contaminazione diventa impossibile piuttosto che semplicemente improbabile.
• L'unlearning diventa un'operazione di lookup e aggregazione piuttosto che un problema di ottimizzazione.
• La privacy è inerente all'architettura, non un elemento aggiunto.

Gli autori posizionano FED-FBD come una soluzione motivata specificamente dalle rigide esigenze di governance dei dati delle reti ospedaliere, offrendo un modo pratico per gestire client avvelenati e richieste di cancellazione senza costosi riaddestramenti. Riconoscono le limitazioni, inclusi i piani di spedizione fissi e il fatto che l'unlearning esatto sia possibile solo per i blocchi di proprietà esclusiva, ma sostengono che il trade-off in termini di accuratezza sia giustificato per applicazioni mediche ad alto rischio dove l'isolamento e l'auditabilità sono fondamentali.