Partial Model Sharing Improves Byzantine Resilience in Federated Conformal Prediction

Sintesi Tecnica: La Condivisione Parziale del Modello Migliora la Resilienza Bizantina nella Predizione Conformale Federata

Enunciato del Problema
L'Apprendimento Federato (FL) consente l'addestramento collaborativo di modelli su dispositivi decentralizzati senza condividere dati grezzi, tuttavia rimane vulnerabile agli avversari bizantini. Questi client malintenzionati possono manipolare il processo di apprendimento inviando gradienti corrotti o informazioni fuorvianti, degradando il modello globale. Sebbene la Predizione Conformale Federata (FCP) offra una quantificazione dell'incertezza senza distribuzione con garanzie di copertura statistica, la FCP standard eredita le vulnerabilità dell'FL. Gli approcci robusti esistenti, come Rob-FCP, si concentrano principalmente sul rafforzamento della fase di calibrazione rilevando i client malintenzionati in base ai punteggi di non conformità. Tuttavia, non riescono a contrastare l'avvelenamento durante la fase di addestramento federato, dove gli avversari possono già corrompere il modello appreso, propagando così errori negli intervalli conformali. Inoltre, i metodi di calibrazione robusti comportano spesso un sovraccarico di comunicazione aggiuntivo.

Metodologia
Gli autori propongono un framework FCP resiliente ai bizantini che integra l'Apprendimento Federato Online con Condivisione Parziale (PSO-Fed) con una calibrazione conformale robusta. Il metodo opera in due fasi distinte:

1. Fase di Addestramento (Condivisione Parziale del Modello):
   Invece di scambiare vettori completi dei parametri del modello, i client e il server scambiano solo un sottoinsieme delle coordinate del modello ad ogni iterazione. Questo meccanismo, definito da una matrice di selezione diagonale $S_{k,n}$, limita intrinsecamente la superficie di attacco. Limitando la frazione di parametri che un avversario può influenzare nel modello aggregato, la condivisione parziale attenua l'impatto degli aggiornamenti avvelenati riducendo contemporaneamente i costi di comunicazione. L'analisi teorica di lavori precedenti indica che PSO-Fed mantiene la convergenza anche quando i client bizantini iniettano rumore.

2. Fase di Calibrazione (Rilevamento Basato su Istogrammi):
   Per difendersi dalla manipolazione bizantina dei punteggi di non conformità, i client benigni comprimono i loro punteggi locali in vettori di caratterizzazione basati su istogrammi. Questi vettori rappresentano la distribuzione di probabilità empirica dei punteggi su $H$ bin. Il server calcola quindi le distanze $\ell_2$ a coppie tra questi vettori per assegnare un punteggio di malizia ($m_k$) a ciascun client, definito come la distanza media dai suoi $K_b - 1$ vicini più prossimi. I client con i punteggi di malizia più bassi sono identificati come benigni e mantenuti per la stima del quantile conformale, mentre gli outlier (client bizantini) vengono esclusi.

Contributi Chiave

• Resilienza a Doppia Fase: A differenza di lavori precedenti che si concentrano esclusivamente sulla calibrazione, questo approccio protegge sia la fase di addestramento federato che quella di calibrazione conformale. Sfrutta la condivisione parziale per mitigare l'avvelenamento durante l'addestramento e l'analisi vettoriale basata su istogrammi per filtrare gli attacchi durante la calibrazione.
• Efficienza Comunicativa: Il metodo riduce il sovraccarico di comunicazione trasmettendo solo una frazione dei parametri del modello durante l'addestramento e vettori di istogrammi compressi durante la calibrazione, evitando la trasmissione di punteggi grezzi o statistiche complete.
• Stima Robusta del Quantile: Filtrando i contributori bizantini in base ai punteggi di malizia basati sulla distanza, il server stima il quantile conformale utilizzando solo dati benigni, garantendo intervalli di previsione validi.

Risultati Sperimentali
Gli autori hanno valutato il metodo proposto confrontandolo con FCP standard e Rob-FCP in tre scenari di attacco bizantino: attacchi di efficienza (segnalazione di punteggi anormalmente piccoli), attacchi di copertura (segnalazione di punteggi artificialmente grandi) e attacchi casuali.

• Efficacia del Rilevamento: I punteggi di malizia hanno distinto chiaramente i client bizantini da quelli benigni in tutti i tipi di attacco, consentendo un'esclusione affidabile.
• Copertura e Larghezza dell'Intervallo: In vari scenari di attacco, il metodo proposto ha raggiunto una copertura più vicina al target nominale del 90% rispetto alla FCP standard (che ha sofferto di copertura inflazionata e intervalli ampi) e Rob-FCP.
• Miglioramenti delle Prestazioni: L'approccio proposto ha prodotto intervalli di previsione 1,8 volte più stretti rispetto a Rob-FCP e 2,2 volte più stretti rispetto alla FCP standard. Questo miglioramento è attribuito all'attenuazione dell'avvelenamento del modello durante l'addestramento (tramite condivisione parziale) e alla stima robusta del quantile durante la calibrazione.

Significato e Affermazioni
Il documento afferma di stabilire un approccio robusto ed efficiente dal punto di vista comunicativo per la quantificazione dell'incertezza federata. Accoppiando lo scambio efficiente di parametri parziali con una calibrazione conformale robusta, il metodo raggiunge la resilienza agli attacchi bizantini lungo l'intera pipeline FCP. Gli autori affermano che il loro approccio produce intervalli di previsione validi e affidabili con limiti sostanzialmente più stretti rispetto ai metodi esistenti, anche quando una porzione significativa di client (ad esempio il 20%) è bizantina. Concludono che l'integrazione di PSO-Fed nei framework di calibrazione robusta offre una direzione promettente per un FL affidabile, sebbene notino che stabilire garanzie teoriche che quantifichino gli effetti specifici della condivisione parziale sulla robustezza e sulla copertura rimanga un ambito per lavori futuri.