Communication-Efficient Byzantine-Robust Federated Conformal Prediction via Partial Model Sharing

Technische Samenvatting: PRISM-FCP – Communicatie-efficiënte, Byzantijnse-robuuste Federatieve Conforme Predictie via Partiële Modeldeling

Probleemstelling
Federated Learning (FL) maakt collaboratieve modeltraining mogelijk zonder ruwe data te delen, maar introduceert kwetsbaarheden door Byzantijnse (kwaadwillende) clients die updates tijdens de training kunnen vergiftigen of de kalibratiedata kunnen manipuleren. Hoewel bestaande methoden deze dreigingen afzonderlijk aanpakken, blijft er een kritieke kloof bestaan: huidige verdedigingen zijn doorgaans fase-specifiek. Robuuste aggregatieregels beschermen de trainingsfase, maar negeren manipulatie tijdens de kalibratie, terwijl robuuste conforme kalibratie (bijv. Rob-FCP) een veilige trainingsfase veronderstelt. Deze scheiding is onvoldoende omdat een slecht getraind globaal model (door vergiftiging in de trainingsfase) instabiele residuen produceert, wat de distributies van de nonconformiteitsscores voor benigne clients verbrijzelt en de scheidbaarheid tussen benigne en Byzantijnse clients tijdens de kalibratie vermindert. Bijgevolg falen bestaande benaderingen om een end-to-end oplossing te bieden die zowel nauwkeurige puntvoorspellingen als gekalibreerde onzekerheidskwantificatie garandeert onder adversariële omstandigheden, vaak ten koste van een hoge communicatieoverhead.

Methodologie: PRISM-FCP
De auteurs stellen PRISM-FCP voor (Partial shaRing and robust calIbration with Statistical Margins for Federated Conformal Prediction), een framework dat partiële modeldeling integreert met robuuste histogram-gebaseerde kalibratie om Byzantijnse aanvallen over zowel de trainings- als de kalibratiefase te mitigeren.

1. Trainingsfase (Partiële Modeldeling):
   In plaats van volledige modelupdates te verzenden, wisselen clients alleen een willekeurig geselecteerde subset van $M$ parameters uit van de in totaal $D$ parameters per ronde. Dit mechanisme, oorspronkelijk ontworpen voor communicatie-efficiëntie, fungeert als een stochastisch filter tegen modelvergiftigingsaanvallen. Wanneer een Byzantijnse client een adversariële perturbatie injecteert, dempt de willekeurige maskering de verwachte energie van de perturbatie die de geaggregeerde update binnendringt met een factor $M/D$. Dit vermindert de door de Byzantijnse client veroorzaakte component van de steady-state Mean Square Error (MSE), wat leidt tot een nauwkeuriger globaal model en kortere residu-distributies voor benigne clients.

2. Kalibratiefase (Histogram-gebaseerde Filtering):
   Clients berekenen nonconformiteitsscores (absolute residuen) op lokale kalibratiesets. Om privacy te waarborgen en communicatie te verminderen, zetten clients deze scores om in karakterisatievectoren (histogrammen van genormaliseerde scores) in plaats van ruwe scores of individuele waarden te delen.

   • De server berekent $\ell_2$-afstanden tussen deze vectoren.
   • Een "maliciousness score" wordt aan elke client toegewezen op basis van de som van de afstanden tot hun $K_b - 1$ verste buren (waarbij $K_b$ het aantal benigne clients is).
   • Clients met de hoogste maliciousness scores (vermoedelijk Byzantijn) worden eruit gefilterd.
   • Het conforme kwantiel wordt geschat met behulp van enkel de veilige score-samenvattingen van de resterende benigne clients.

Belangrijkste Bijdragen

• End-to-End Robuustheid: De paper toont aan dat partiële deling niet louter een techniek is voor het besparen van communicatie, maar een principieel verdedigingsmechanisme. Door de effectiviteit van de training te versterken via partiële deling, versterkt het indirect de robuustheid tijdens de kalibratiefase.
• Theoretische Analyse:
  • De auteurs bewijzen dat partiële deling de geïnjecteerde Byzantijnse perturbatie-energie dempt met een factor proportioneel aan $M/D$.
  • Ze leiden grenzen af die aantonen dat een verminderde trainingsfout leidt tot kortere residu-distributies, wat op zijn beurt de afwijking van het conforme kwantiel vermindert en voorspellingsintervallen nauwer maakt.
  • De analyse stelt vast dat een verminderde trainingsfout de benigne karakterisatievectoren concentreert, waardoor de scheidingsmarge van Byzantijnse uitschieters wordt vergroot en de betrouwbaarheid van de afstand-gebaseerde filtering wordt verbeterd.
• Communicatie-efficiëntie: Het framework vermindert de communicatieoverhead aanzienlijk (door slechts $M/D$ van de parameters te verzenden) terwijl het de robuustheid behoudt of zelfs verbetert ten opzalle van baselines met volledige deling.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op synthetische data en de UCI Superconductivity dataset onder drie aanvalsscenario's: efficiëntie-aanvallen (het verkleinen van scores), coverage-aanvallen (het vergroten van scores) en random aanvallen (het toevoegen van ruis).

• Coverage en Intervalbreedte: PRISM-FCP behield een bijna nominale empirische coverage (ongeveer 90%) over alle aanvalstypes heen. In contrast hiermee leden standaard Federated Conformal Prediction (FCP) aan significante interval-inflatie (bijv. 4,4x bredere intervallen onder coverage-aanvallen) of ondercoverage.
• Vergelijking met Rob-FCP: Terwijl Rob-FCP (dat volledige deling met kalibratiefiltering gebruikt) de correcte coverage behield, produceerde PRISM-FCP aanzienlijk nauwere voorspellingsintervallen (bijv. 1,2x smaller in synthetische experimenten). Deze verbetering wordt toegeschreven aan de verminderde trainingsfout verkregen via partiële deling.
• Robuustheid tegen Onbekende Aanvalsomvang: De methode bleef effectief, zelfs wanneer het aantal Byzantijnse clients onbekend was, door gebruik te maken van een Median Absolute Deviation (MAD)-gebaseerde outlier-regel.
• Niet-lineaire Modellen: De benadering werd succesvol uitgebreid naar niet-lineaire regressie met behulp van een Multi-Layer Perceptron (MLP) met een layer-wise partiële deelingsmechanisme, wat de toepasbaarheid buiten lineaire modellen aantoont.
• Stealth-aanvallen: PRISM-FCP toonde veerkracht tegen adaptieve "ALIE"-aanvallen, waarbij het een bijna nominale coverage behield waar andere robuuste aggregatie-baselines (zoals Krum) moeite hadden.

Betekenis en Claims
De paper claimt dat PRISM-FCP een robuuste en communicatie-efficiënte benadering biedt voor federatieve onzekerheidskwantificatie. De primaire betekenis ligt in de gezamenlijke behandeling van de trainings- en kalibratiefase. De auteurs argumenteren dat robuuste training en robuuste kalibratie onderling afhankelijk zijn; door de Byzantijnse invloed tijdens de training te beperken via partiële deling, verbetert het framework van nature de scheidbaarheid van benigne en kwaadwillende clients tijdens de kalibratie. Deze koppeling stelt PRISM-FCP in staat om nauwere voorspellingsintervallen te bereiken dan methoden die enkel tijdens de kalibratie filteren, terwijl de communicatiekosten worden verlaagd. Het werk positioneert partiële modeldeling als een tweeledig instrument: een mechanisme voor efficiëntie én een stochastisch verdedigingsmechanisme tegen adversariële perturbaties.

Beperkingen en Toekomstig Werk
De auteurs merken op dat hun theoretische analyse steunt op een lineair regressiemodel en een stochastisch Gaussisch perturbatiemodel voor trainingsaanvallen. Ze erkennen dat het uitbreiden van de theorie naar volledig adaptieve adversariële actoren die de willekeurige selectiemaskers zouden kunnen exploiteren, een openstaande richting is. Verder merkt men op dat hoewel de methode op niet-lineaire MLP's is getest, een volledig theoretisch kader voor diepe netwerken nog toekomstig werk is. De paper merkt ook op dat het uitbreiden van de benadering naar classificatietaken specifieke nonconformiteitsscores en set-valued voorspellingsregels vereist.