Partial Model Sharing Improves Byzantine Resilience in Federated Conformal Prediction

Technischer Zusammenfassung: Teilweises Modell-Sharing verbessert die byzantinische Resilienz in der federierten konformen Vorhersage

Problemstellung
Federated Learning (FL) ermöglicht das kollaborative Trainieren von Modellen über dezentrale Geräte hinweg, ohne Rohdaten zu teilen, bleibt jedoch anfällig für byzantinische Angreifer. Diese bösartigen Clients können den Lernprozess manipulieren, indem sie korrupte Gradienten oder irreführende Informationen einreichen, was das globale Modell verschlechtert. Obwohl Federated Conformal Prediction (FCP) eine verteilungsfreie Unsicherheitsquantifizierung mit statistischen Abdeckungsgarantien bietet, erbt die Standard-FCP die Anfälligkeiten von FL. Bestehende robuste Ansätze, wie Rob-FCP, konzentrieren sich hauptsächlich auf die Härtung der Kalibrierungsphase durch die Erkennung bösartiger Clients basierend auf Nicht-Konformitäts-Scores. Sie versagen jedoch darin, Vergiftungen während der federierten Trainingsphase zu adressieren, in der Angreifer das gelernte Modell bereits korrumpieren können, wodurch Fehler in die konformen Intervalle propagiert werden. Darüber hinaus verursachen robuste Kalibrierungsmethoden oft zusätzlichen Kommunikationsaufwand.

Methodik
Die Autoren schlagen ein byzantin-resilientes FCP-Framework vor, das Partial Sharing Online Federated Learning (PSO-Fed) mit robuster konformer Kalibrierung integriert. Die Methode arbeitet in zwei distincten Phasen:

1. Trainingsphase (Teilweises Modell-Sharing):
   Anstatt vollständige Modellparametervektoren auszutauschen, tauschen Clients und Server bei jeder Iteration nur eine Teilmenge der Modellkoordinaten aus. Dieser Mechanismus, definiert durch eine diagonale Selektionsmatrix $S_{k,n}$, schränkt die Angriffsfläche inhärent ein. Durch die Begrenzung des Anteils der Parameter, die ein Angreifer im aggregierten Modell beeinflussen kann, dämpft das teilweise Sharing die Auswirkungen vergifteter Updates und reduziert gleichzeitig die Kommunikationskosten. Theoretische Analysen aus früheren Arbeiten zeigen, dass PSO-Fed die Konvergenz auch dann aufrechterhält, wenn byzantinische Clients Rauschen injizieren.

2. Kalibrierungsphase (Histogrammbasierte Erkennung):
   Um sich gegen byzantinische Manipulationen von Nicht-Konformitäts-Scores zu verteidigen, komprimieren vertrauenswürdige Clients ihre lokalen Scores in histogrammbasierte Charakterisierungsvektoren. Diese Vektoren repräsentieren die empirische Wahrscheinlichkeitsverteilung der Scores über $H$ Bins. Der Server berechnet dann paarweise $\ell_2$-Abstände zwischen diesen Vektoren, um jedem Client einen Bösartigkeits-Score ($m_k$) zuzuweisen, definiert als der durchschnittliche Abstand zu seinen $K_b - 1$ nächsten Nachbarn. Clients mit den niedrigsten Bösartigkeits-Scores werden als vertrauenswürdig identifiziert und für die Schätzung des konformen Quantils beibehalten, während Ausreißer (byzantinische Clients) ausgeschlossen werden.

Hauptbeiträge

• Zweiphasige Resilienz: Im Gegensatz zu früheren Arbeiten, die sich ausschließlich auf die Kalibrierung konzentrieren, schützt dieser Ansatz sowohl die federierte Trainings- als auch die konforme Kalibrierungsphase. Er nutzt teilweises Sharing zur Milderung von Vergiftungen während des Trainings und histogrammbasierte Vektoranalyse zur Filterung von Angriffen während der Kalibrierung.
• Kommunikationseffizienz: Die Methode reduziert den Kommunikationsaufwand, indem sie während des Trainings nur einen Bruchteil der Modellparameter und während der Kalibrierung komprimierte Histogrammvektoren überträgt, wodurch die Übertragung roher Scores oder vollständiger Statistiken vermieden wird.
• Robuste Quantilschätzung: Durch das Filtern byzantinischer Beiträge basierend auf abstandsbasierten Bösartigkeits-Scores schätzt der Server das konforme Quantil ausschließlich mit vertrauenswürdigen Daten, was gültige Vorhersageintervalle sicherstellt.

Experimentelle Ergebnisse
Die Autoren bewerteten die vorgeschlagene Methode gegen Standard-FCP und Rob-FCP unter drei byzantinischen Angriffsszenarien: Effizienzangriffe (Meldung abnorm kleiner Scores), Abdeckungsangriffe (Meldung künstlich großer Scores) und Zufallsangriffe.

• Erkennungseffektivität: Die Bösartigkeits-Scores unterschieden byzantinische Clients klar von vertrauenswürdigen über alle Angriffstypen hinweg, was eine zuverlässige Ausgrenzung ermöglichte.
• Abdeckung und Intervallbreite: Unter verschiedenen Angriffsszenarien erreichte die vorgeschlagene Methode eine Abdeckung, die näher am nominalen Ziel von 90 % lag, im Vergleich zu Standard-FCP (das unter aufgeblähter Abdeckung und breiten Intervallen litt) und Rob-FCP.
• Leistungssteigerung: Der vorgeschlagene Ansatz erzeugte Vorhersageintervalle, die 1,8-mal enger waren als bei Rob-FCP und 2,2-mal enger als bei Standard-FCP. Diese Verbesserung wird auf die Dämpfung der Modellvergiftung während des Trainings (durch teilweises Sharing) und die robuste Quantilschätzung während der Kalibrierung zurückgeführt.

Bedeutung und Behauptungen
Die Arbeit behauptet, einen robusten und kommunikationseffizienten Ansatz für die federierte Unsicherheitsquantifizierung zu etablieren. Durch die Kopplung von kommunikationseffizientem teilweisem Parametertausch mit robuster konformer Kalibrierung erreicht die Methode Resilienz gegen byzantinische Angriffe über die gesamte FCP-Pipeline hinweg. Die Autoren behaupten, dass ihr Ansatz gültige und zuverlässige Vorhersageintervalle mit erheblich engeren Schranken als bestehende Methoden liefert, selbst wenn ein signifikanter Anteil der Clients (z. B. 20 %) byzantinisch ist. Sie schließen, dass die Integration von PSO-Fed in robuste Kalibrierungsrahmen eine vielversprechende Richtung für vertrauenswürdiges FL bietet, wobei sie jedoch feststellen, dass die theoretischen Garantien zur Quantifizierung der spezifischen Auswirkungen des teilweisen Sharing auf Resilienz und Abdeckung weiterhin ein Forschungsziel für zukünftige Arbeiten darstellen.