Communication-Efficient Byzantine-Robust Federated Conformal Prediction via Partial Model Sharing

Sintesi Tecnica: PRISM-FCP – Conformal Prediction Federata Efficiente nella Comunicazione e Robusta ai Byzantine tramite la Condivisione Parziale del Modello

Problematica
L'Apprendimento Federato (FL) consente l'addestramento collaborativo di modelli senza condividere i dati grezzi, ma introduce vulnerabilità a causa di client Byzantine (maliziosi) che possono avvelenare gli aggiornamenti durante l'addestramento o manipolare i dati di calibrazione. Sebbene i metodi esistenti affrontino queste minacce isolatamente, persiste una lacuna critica: le difese attuali sono tipicamente specifiche per singola fase. Le regole di aggregazione robuste proteggono la fase di addestramento, ma ignorano la manipolazione della calibrazione, mentre la calibrazione conforme robusta (ad es. Rob-FCP) assume una fase di addestramento sicura. Questa separazione è insufficiente perché un modello globale scarsamente addestrato (a causa dell'avvelenamento nella fase di addestramento) produce residui instabili, il che amplia le distribuzioni dei punteggi di non conformità dei client benigni e riduce la separabilità tra i client benigni e quelli Byzantine durante la calibrazione. Di conseguenza, gli approcci esistenti non riescono a fornire una soluzione end-to-end che garantisca sia previsioni puntuali accurate che una quantificazione dell'incertezza calibrata in condizioni avversarie, spesso al costo di un elevato overhead di comunicazione.

Metodologia: PRISM-FCP
Gli autori propongono PRISM-FCP (Partial shaRing and robust calIbration with Statistical Margins for Federated Conformal Prediction), un framework che integra la condivisione parziale del modello con una calibrazione robusta basata su istogrammi per mitigare gli attacchi Byzantine attraverso entrambe le fasi di addestramento e calibrazione.

1. Fase di Addestramento (Condivisione Parziale del Modello):
   Invece di trasmettere gli aggiornamenti completi del modello, i client scambiano solo un sottoinsieme casualmente selezionato di $M$ parametri su un totale di $D$ parametri per round. Questo meccanismo, originariamente progettato per l'efficienza della comunicazione, funge da filtro stocastico contro gli attacchi di model-poisoning. Quando un client Byzantine inietta una perturbazione avversaria, la maschera casuale attenua l'energia attesa della perturbazione che entra nell'aggiornamento aggregato di un fattore $M/D$. Ciò riduce la componente indotta dai Byzantine dell'Errore Quadratico Medio (MSE) allo stato stazionario, portando a un modello globale più accurato e a distribuzioni dei residui più strette per i client benigni.

2. Fase di Calibrazione (Filtraggio Basato su Istogrammi):
   I client calcolano i punteggi di non conformità (residui assoluti) su set di calibrazione locali. Per preservare la privacy e ridurre la comunicazione, i client convertono questi punteggi in vettori di caratterizzazione (istogrammi di punteggi normalizzati) invece di condividere i punteggi grezzi o i singoli valori.

   • Il server calcola le distanze $\ell_2$ a coppie tra questi vettori.
   • A ogni client viene assegnato un "punteggio di maliziosità" basato sulla somma delle distanze dai suoi $K_b - 1$ vicini più lontani (dove $K_b$ è il numero di client benigni).
   • I client con i punteggi di maliziosità più elevati (sospetti Byzantine) vengono filtrati.
   • Il quantile conforme viene stimato utilizzando solo i riepiloghi dei punteggi sicuri dei restanti client benigni.

Contributi Chiave

• Robustezza End-to-End: Il documento dimostra che la condivisione parziale non è semplicemente una tecnica di risparmio della comunicazione, ma un meccanismo di difesa principista. Attenuando le perturbazioni nella fase di addestramento, essa rafforza indirettamente la robustezza della fase di calibrazione.
• Analisi Teorica:
  • Gli autori dimostrano che la condivisione parziale attenua l'energia della perturbazione Byzantine iniettata da un fattore proporzionale a $M/D$.
  • Derivano limiti che mostrano come la riduzione dell'errore di addestramento porti a distribuzioni dei residui più strette, il che a sua volta riduce la deviazione del quantile conforme e restringe gli intervalli di previsione.
  • L'analisi stabilisce che la riduzione dell'errore di addestramento concentra i vettori di caratterizzazione benigni, aumentando il margine di separazione dai outlier Byzantine e migliorando l'affidabilità del filtraggio basato sulla distanza.
• Efficienza della Comunicazione: Il framework riduce significativamente l'overhead di comunicazione (trasmettendo solo $M/D$ dei parametri) pur mantenendo o migliorando la robustezza rispetto ai baseline a condivisione completa.

Risultati Sperimentali
Sono stati condotti estesi esperimenti su dati sintetici e sul dataset UCI Superconductivity sotto tre scenari di attacco: attacchi di efficienza (deflazione dei punteggi), attacchi di copertura (inflazione dei punteggi) e attacchi casuali (aggiunta di rumore).

• Copertura e Ampiezza dell'Intervallo: PRISM-FCP ha mantenuto una copertura empirica quasi nominale (circa il 90%) in tutti i tipi di attacco. Al contrario, la standard Federated Conformal Prediction (FCP) ha subito una significativa inflazione degli intervalli (ad es. 4,4 volte più ampi sotto attacchi di copertura) o una sottocopertura.
• Confronto con Rob-FCP: Mentre Rob-FCP (che utilizza la condivisione completa con filtraggio della calibrazione) manteneva la corretta copertura, PRISM-FCP ha prodotto intervalli di previsione significativamente più stretti (ad es. 1,2 volte più stretti in esperimenti sintetici). Questo miglioramento è attribuito alla riduzione dell'errore di addestramento ottenuta tramite la condivisione parziale.
• Robustezza rispetto alla Dimensione dell'Attacco Ignota: Il metodo è rimasto efficace anche quando il numero di client Byzantine era ignoto, utilizzando una regola di outlier basata sulla Deviazione Assoluta dalla Mediana (MAD).
• Modelli Non Lineari: L'approccio è stato esteso con successo alla regressione non lineare utilizzando un Multi-Layer Perceptron (MLP) con un meccanismo di condivisione parziale per livello, dimostrando l'applicabilità oltre i modelli lineari.
• Attacchi Stealth: PRISM-FCP ha mostrato resilienza contro gli attacchi adattivi "ALIE", mantenendo una copertura quasi nominale dove altri baseline di aggregazione robusta (come Krum) faticavano.

Significatività e Rivendicazioni
Il documento sostiene che PRISM-FCP offre un approccio robusto ed efficiente nella comunicazione per la quantificazione dell'incertezza federata. La sua principale significatività risiede nel trattamento congiunto delle fasi di addestramento e calibrazione. Gli autori sostengono che l'addestramento robusto e la calibrazione robusta siano interdipendenti; mitigando l'influenza Byzantine durante l'addestramento tramite la condivisione parziale, il framework migliora naturalmente la separabilità tra i client benigni e quelli maliziosi durante la calibrazione. Questo accoppiamento permette a PRISM-FCP di ottenere intervalli di previsione più stretti rispetto ai metodi che filtrano solo durante la calibrazione, il tutto riducendo i costi di comunicazione. Il lavoro posiziona la condivisione parziale del modello come uno strumento a duplice scopo: un meccanismo per l'efficienza e una difesa stocastica contro le perturbazioni avversarie.

Limitazioni e Lavoro Futuro
Gli autori notano che la loro analisi teorica si basa su un modello di regressione lineare e su un modello di perturbazione Gaussiana stocastica per gli attacchi di addestramento. Riconoscono che l'estensione della teoria ad avversari completamente adattivi che potrebbero sfruttare le maschere di selezione casuale è una direzione aperta. Inoltre, sebbene il metodo sia stato testato su MLP non lineari, un quadro teorico completo per le reti profonde rimane un lavoro futuro. Il documento nota anche che l'estensione dell'approccio ai compiti di classificazione richiederebbe specifici punteggi di non conformità e regole di previsione basate su insiemi.