Technische Samenvatting: FoggyTrust

Probleemstelling

Federated Learning (FL) maakt gedistribueerde modeltraining mogelijk zonder cliëntgegevens bloot te leggen, maar deze privacybewaring creëert een kwetsbaarheid voor Byzantijnse aanvallen. Kwaadwillende cliënten kunnen lokale data vergiftigen of modelupdates manipuleren om de prestaties van het globale model te verslechteren. Hoewel robuuste aggregatiemethoden zoals Krum en Trimmed Mean bestaan, vertrouwen deze op statistische technieken die gevoelig zijn voor zorgvuldig ontworpen aanvallen (bijv. Krum Attack, Trim Attack) die deze statistische eigenschappen uitbuiten.

Een specifieke beperking die is geïdentificeerd bij de state-of-the-art verdediging, FLTrust, is de afhankelijkheid van een enkele, globale server-zijde root-dataset om vertrouwensscores te berekenen. FLTrust gaat ervan uit dat cliëntdata relatief Onafhankelijk en Identiek Verdeeld (IID) is. In dergelijke scenario's zijn real-world FL-toepassingen echter vaak voorzien van zeer heterogene datadistributies (non-IID). In dergelijke scenario's kan een globale root-dataset niet representatief zijn voor alle groepen cliënten, wat leidt tot broze vertrouwensscores. Dit kan ertoe leiden dat FLTrust onterecht updates van legitieme cliënten met afwijkende datadistributies straft, terwijl het in staat is om kwaadwillende updates te missen die toevallig overeenkomen met de niet-representatieve root-dataset. Bovendien worstelen standaard FL-methoden met "client drift" in non-IID-omgevingen, waarbij lokale updates afwijken van het globale doel.

Methodologie: FoggyTrust

De auteurs stellen FoggyTrust voor, een hiërarchische uitbreiding van FLTrust die is ontworpen om heterogene omgevingen aan te pakken door gebruik te maken van lokale homogeniteit. Het framework introduceert een twee-niveau architectuur:

1. Lokaal Niveau (Fog Nodes): In plaats van één enkele globale server die alle cliënten beheert, maakt het systeem gebruik van tussenliggende "fog nodes". Cliënten worden gegroepeerd in clusters op basis van lokale homogeniteit (bijv. geografische locatie of vergelijkbare datadistributies). Elke fog node onderhoudt zijn eigen kleine, representatieve root-dataset.

   • Cliënten sturen hun lokale updates naar hun respectievelijke fog node.
   • De fog node berekent vertrouwensscores voor deze updates met behulp van zijn lokale root-dataset (via cosinus-gelijkenis, vergelijkbaar met FLTrust).
   • Updates worden ReLU-geclipt en genormaliseerd op basis van deze lokale vertrouwensscores, en vervolgens geaggregeerd tot een enkele "fog node update".

2. Globaal Niveau (Server): De globale server ontvangt geaggregeerde updates van de fog nodes.

   • In tegenstelling tot het lokale niveau, berekent de globale server geen vertrouwensscores op basis van een root-dataset.
   • Het aggregeert de fog node updates met behulp van geavanceerde federated aggregatieregels die ontworpen zijn om heterogeniteit en client drift aan te pakken, zoals FedAvg, FedAdam, of SCAFFOLD.

Deze hiërarchische aanpak ontkoppelt de schatting van vertrouwen van de globale aggregatie. Vertrouwen wordt lokaal berekend waar de data homogeen is, wat zorgt voor nauwkeurige scoring, terwijl de globale laag zich richt op het optimaliseren van convergentie over heterogene groepen.

Belangrijkste Bijdragen

Het artikel beschrijft drie primaire bijdragen ten opzichte van de baseline FLTrust methode:

1. Geglocalizeerde Vertrouwensberekening: De auteurs gebruiken root-datasets over meerdere fog nodes in plaats van één enkele globale server. Dit lokaliseert de vertrouwensscores naar groepen cliënten die homogener zijn, waardoor de referentiedata representatief is voor de specifieke groep die wordt geaggregeerd.
2. Hiërarchische Aggregatie met Robuuste Optimizers: Het framework introduceert een hiërarchische structuur die het mogelijk maakt om de tweede-niveau aggregator (tussen de fog nodes en de globale server) te vervangen door heterogeniteitsbewuste optimizers zoals SCAFFOLD (om client drift te mitigeren) en FedAdam (om adaptiviteit te verbeteren), waarmee de zwakheden van standaard FedAvg worden aangepakt.
3. Validatie in de Praktijk: De methode wordt niet alleen geëvalueerd op standaard benchmarks, maar ook op Snapshot Safari, een real-world dataset die betrekking heeft op wildlife monitoring in verschillende biomen, wat de toepasbaarheid van het framework in veiligheidskritische, sociaal impactvolle settings aantoont.

Experimentele Resultaten

De auteurs evalueerden FoggyTrust tegen FLTrust en andere baselines (Krum, Trimmed Mean, Median) over vier datasets: MNIST, Fashion-MNIST, CIFAR-10 en Snapshot Safari, onder diverse aanvallen (Label Flipping, Krum, Trim, en Scaling).

• CIFAR-10 (Hoge Heterogeniteit): FoggyTrust toonde hier zijn sterkste prestatiewinsten. Onder Krum- en Trim-aanvallen behaalde FoggyTrust een verbetering van meer dan 50% in nauwkeurigheid vergeleken met FLTrust. Specifiek vertoonde FoggyTrust met SCAFFOLD consistente winsten in no-attack, Trim- en Scaling-scenario's, terwijl FoggyTrust met FedAdam het best presteerde onder Krum-aanvallen.
• MNIST en Fashion-MNIST: FoggyTrust presteerde over het algemeen beter dan de baselines onder Trim- en Scaling-aanvallen. Echter, FLTrust bleef competitief of superieur in Label Flipping- en Krum-aanvalscenario's op MNIST, en onder Label Flipping op Fashion-MNIST.
• Snapshot Safari: In deze real-world heterogene setting presteerde de eenvoudigste methode (FedAvg) het beste overall. Echter, FoggyTrust slaagde erin de prestatiekloof tussen FedAvg en FLTrust te overbruggen. Opvallend genoeg vertoonde FoggyTrust onder de Trim Attack een meer gracieuze daling in nauwkeurigheid (0.6455 naar 0.6029) vergeleken met FLTrust (0.6383 naar 0.4297).
• Beperkingen: Het artikel merkt op dat FoggyTrust de prestaties tegen Label Flipping (Data Poisoning) aanvallen niet significant verbetert. De auteurs schrijven dit toe aan het "stille" karakter van deze aanvallen, waarbij gradiënten wiskundig plausibel blijven, en het feit dat het verminderde aantal cliënten per fog node (10 vs. 100 in globale FLTrust) de statistische foutmarge bij de vertrouwensschatting beperkt.

Betekenis en Claims

Het artikel beweert dat FoggyTrust de eerste Byzantijnse-robuuste aggregatiemethode is die specifiek gespecialiseerd is voor heterogene toepassingen. De betekenis ligt in:

• Betrouwbaarheid in Heterogeniteit: Door de vertrouwensberekening te lokaliseren, mitigeert de methode de mismatch in distributie tussen de referentiedataset en de cliëntdata die FLTrust in non-IID-omgevingen degradeert.
• Modulariteit: Het twee-niveau ontwerp maakt de integratie van verschillende aggregatiestrategieën op het globale niveau mogelijk om specifieke problemen zoals client drift aan te pakken, waarbij robuustheidsmechanismen worden gecombineerd met heterogeniteitsbewuste optimalisatie.
• Praktische Toepasbaarheid: De evaluatie op Snapshot Safari suggereert dat hiërarchische vertrouwensnetwerken veelbelovend zijn voor gedistribueerde, veiligheidskritische systemen (zoals wildlife monitoring) waar data inherent gestructureerd is door geografie of omgeving, zelfs als de overhead van vertrouwensschatting moet worden afgewogen tegen de voordelen in zeer variabele intra-groep settings.

De auteurs concluderen dat hoewel FoggyTrust de systeemcomplexiteit verhoogt, het ontkoppelen van lokale vertrouwensschatting van globale aggregatie substantiële voordelen oplevert in adversariële en heterogene omgevingen, en een principieel framework biedt voor het afhandelen van gestructureerde datadistributie-heterogeniteit.