🤖 machine learning

Robust Federated Inference

Dit artikel adresseert de kritieke kwetsbaarheid van federatieve inferentie voor aanvallen door het probleem te formaliseren, de beperkingen van op middeling gebaseerde aggregatoren te analyseren en een nieuw DeepSet-gebaseerd raamwerk voor te stellen dat adversariale training combineert met robuuste aggregatie op het tijdstip van testen om de nauwkeurigheid ten opzichte van bestaande methoden aanzienlijk te verbeteren.

Oorspronkelijke auteurs: Akash Dhasade, Sadegh Farhadkhani, Rachid Guerraoui, Nirupam Gupta, Maxime Jacovella, Anne-Marie Kermarrec, Rafael Pinot

Gepubliceerd 2026-04-15

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Akash Dhasade, Sadegh Farhadkhani, Rachid Guerraoui, Nirupam Gupta, Maxime Jacovella, Anne-Marie Kermarrec, Rafael Pinot

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Deze paper lost voornamelijk een probleem op rondom "hoe men veilig meningen van meerdere partijen kan horen".

Stel je voor dat je een schoolhoofd (server) bent met een groep leerlingen (clients/modellen). Deze leerlingen leren elk lokaal, hebben hun eigen kennis (privégegevens), maar hun kennisniveau varieert sterk en er kunnen zelfs een paar rabbauwen (kwaadaardige aanvallers) tussen zitten.

Nu heb je een vraag voor iedereen en hoop je op het meest accurate antwoord. Dit is "Federated Inference": het schoolhoofd verzamelt niet de huiswerkopdrachten (data) van de leerlingen, maar vraagt hen direct om hun antwoord en bundelt vervolgens de antwoorden van iedereen.

De kern van deze paper is: Hoe kan een schoolhoofd slim antwoorden samenvoegen wanneer rabbauwen expres verkeerde antwoorden geven, zodat het niet op het verkeerde been wordt gezet?

Hieronder volgt een ontleding van de inhoud van de paper in begrijpelijke, alledaagse taal:

1. Huidige situatie: Hoe deden ze het vroeger? (Eenvoudig gemiddelde vs. misleid)

De oude aanpak (eenvoudig gemiddelde):
Het schoolhoofd telt de antwoorden van 10 leerlingen bij elkaar en deelt door 10.
- Probleem: Als 3 rabbauwen expres "Het antwoord is 999" schrijven, terwijl goede leerlingen "Het antwoord is 1" schrijven, wordt het gemiddelde misschien "300", wat volledig verkeerd is.
De oude verbetering (Robuust gemiddelde):
Het schoolhoofd is slim en weet de hoogste en laagste scores te verwijderen (bijvoorbeeld de extreme antwoorden van 3 rabbauwen) voordat het gemiddelde wordt berekend. Dit is vergelijkbaar met de "trimmed mean"-methode.
- Probleem: De paper ontdekt dat zelfs als de rabbauwen worden verwijderd, als de antwoorden van de goede leerlingen zelf al "verdeeld" zijn (bijvoorbeeld sommigen denken dat het 1 is, anderen dat het 2 is), of als de rabbauwen slim zijn en antwoorden zo aanpassen dat ze dicht bij het juiste antwoord liggen maar toch anders zijn, een simpele "trimmed mean" nog steeds het verkeerde antwoord kan kiezen. Dit is alsof je, ondanks het verwijderen van de meest absurde scores, nog steeds het juiste antwoord verliest omdat de resterende scores te dicht bij elkaar liggen; het schoolhoofd kan dan nog steeds de verkeerde keuze maken.

2. Kerninzicht: Waarom is een simpele "trimming" niet genoeg?

De auteurs van de paper hebben een wiskundige analyse uitgevoerd en ontdekt dat de fouten van het schoolhoofd voornamelijk afhangen van drie factoren:

Het aandeel van de rabbauwen: Hoe meer slechte leerlingen, hoe moeilijker het wordt.
De verdeeldheid onder de goede leerlingen: Als de goede leerlingen zelf al onenigheid hebben (grote verschillen in antwoorden), is het voor het schoolhoofd moeilijk om te bepalen wie gelijk heeft.
De "zekerheid" van het juiste antwoord: Als het juiste antwoord veel sterker is dan andere antwoorden (bijvoorbeeld 90% kans op het juiste antwoord, terwijl anderen slechts 5% hebben), is het moeilijk om fouten te maken; maar als het juiste antwoord slechts een klein beetje beter is dan de tweede beste (bijvoorbeeld 40% versus 39%), is het heel makkelijk om door een kleine verstoring op het verkeerde been te worden gezet.

Conclusie: Het is niet genoeg om alleen de rabbauwen te verwijderen (trimmed mean), omdat de antwoorden van de goede leerlingen zelf al vaag kunnen zijn, of omdat de rabbauwen een tactiek van "subtiele aanpassing" hanteren.

3. Innovatieve oplossing: DeepSet + Adversarial Training (Het schoolhoofd uitrusten met een "superbrein")

Om dit probleem op te lossen, stellen de auteurs een "combinatie van methoden" voor, alsof ze het schoolhoofd uitrusten met een AI-ondersteuningssysteem:

Stap 1: Het schoolhoofd uitrusten met een "superbrein" (DeepSet-model)

Het schoolhoofd doet niet langer alleen simpele optel- en deeltaken, maar gebruikt een neuraal netwerk (DeepSet).

Vergelijking: Dit brein is zeer slim; het maakt niet uit in welke volgorde leerlingen antwoorden geven (het maakt niet uit wie eerst of laatst wordt gevraagd, het resultaat is hetzelfde). Het kan patronen leren uit complexe antwoordmodellen.
Moeilijkheid: Hoe train je dit brein? Als de identiteit van de rabbauwen bij elke training niet vaststaat (vandaag misschien Zhang, morgen Li), wordt de trainingsomvang te groot om te berekenen.
Slimme truc: De auteurs ontdekten dat het volstaat om willekeurig een klein deel van de combinaties van rabbauwen te selecteren om te trainen. Het brein leert dan de "kenmerken van rabbauwen" te herkennen, zonder dat alle mogelijke combinaties hoeven te worden uitgeprobeerd. Dit is vergelijkbaar met "onveranderlijk reageren op veranderlijke omstandigheden".

Stap 2: Dubbele verzekering (Adversarial Training + Trimming tijdens inferentie)

De auteurs hebben twee technieken gecombineerd:

Adversarial Training: Tijdens het trainen van het brein van het schoolhoofd worden expres verschillende "rabbauwen" gegenereerd om het aan te vallen, zodat het leert helder te blijven in chaos. Dit is vergelijkbaar met "levelen in een simulatieoorlog".
Trimming tijdens inferentie (Robuust gemiddelde): Wanneer er echt wordt getoetst (inferentie), laat het brein van het schoolhoofd het uiteindelijke antwoord eerst door een "trimmed mean"-filter gaan om de meest absurde afwijkingen nog een keer te filteren.

Vergelijking: Dit is alsof je een "scheidsrechter hebt getraind door een speciale eenheid" (adversarial training), die voor het fluiten van de fluit, "eerst een paar duidelijk valsspelerige spelers verwijdert" (trimmed mean).

4. Hoe zijn de resultaten? (Volledige overwinning)

De auteurs hebben deze methode getest op verschillende toetsen (datasets: CIFAR-10, CIFAR-100, AG-News):

Tegenstanders: Traditionele "trimmed mean", eenvoudige "median voting", en eerdere andere verdedigingsmethoden.
Aanvallers: Verschillende hoogintelligente rabbauwen (inclusief een nieuw uitgevonden "sterkste reverse-aanval SIA").
Resultaat: De combinatie van dit "superbrein + dubbele verzekering" van de auteurs presteerde bij alle tests het beste.
- In extreme moeilijke situaties was de nauwkeurigheid 4,7% tot 22,2% hoger dan die van de nummer twee.
- Dit is alsof in een luidruchtige kamer vol met storingen, alleen dit schoolhoofd het juiste antwoord kan horen, terwijl anderen in de war gokken.

5. Samenvatting: Wat zegt deze paper precies?

Kort gezegd vertelt deze paper ons:
In scenario's met meerdere samenwerkende partijen (federated learning/inference) zijn simpele "minderheid onderwerpt zich aan meerderheid" of "extreme waarden verwijderen" niet langer voldoende. Tegenover slimme verstoringen hebben we nodig:

Een slimmer aggregator (gebruik van neurale netwerken in plaats van simpele wiskundige gemiddelden).
Strakkere training (simulatie van verschillende aanvallen tijdens training om het model sterker te maken).
Dubbele verdediging (levelen tijdens training, en opnieuw filteren tijdens gebruik).

Een zin als vergelijking:
Vroeger dachten we dat als we de stoornissen verwijderden, het gemiddelde van de resterende goede mensen genoeg zou zijn voor een hoge score; nu vertellen de auteurs ons dat goede mensen ook onenigheid kunnen hebben en dat stoornissen zeer slim kunnen zijn. Daarom hebben we een super-scheidsrechter nodig die "duivelse training" heeft ondergaan, die zowel de complexe meningen van goede mensen kan begrijpen als de vermomming van stoornissen kan doorzien, om zo in de chaos de meest accurate beslissing te nemen.

Technische Samenvatting: Robuste Federated Inference

Probleemformulering

Het artikel adresseert de kritieke lacune in robustheid binnen Federated Inference, een paradigma waarbij een centrale server voorspellingen aggregeert van meerdere client-houdende modellen (bijvoorbeeld via one-shot federated learning, edge ensembles of federated ensembles) zonder toegang tot lokale data of modelgewichten. Waar bestaande literatuur zich richt op de nauwkeurigheid van dergelijke ensembles, wordt hun kwetsbaarheid voor Byzantijnse fouten en vergiftigde outputs grotendeels verwaarloosd.

De auteurs formaliseren het probleem van Robuste Federated Inference als volgt:

Opzet: Een systeem van $n$ clients, waarbij elke client beschikt over een lokale probit-waarde-classificator $h_i$ die inputs afbeeldt naar een waarschijnlijkheidssimplex $\Delta_K$ .
Bedreigingsmodel: Tot $f < n/2$ clients (met verborgen identiteiten) kunnen op het moment van inferentie willekeurig corrupte probit-vectoren teruggeven.
Doel: Ontwerp een aggregatieschema $\psi$ dat het risico op robuuste federated inference ( $R_{adv}$ ) minimaliseert, gedefinieerd als de worst-case voorspelfout over alle mogelijke corruptiepatronen van grootte $f$ , terwijl de nauwkeurigheid op de globale data-distributie behouden blijft.

Het artikel onderscheidt twee soorten aggregators:

Lineair (op gemiddelde gebaseerd): De server berekent een robuust gemiddelde van client-probits (bijvoorbeeld Coordinate-wise Trimmed Mean - CWTM) voordat de argmax wordt genomen.
Niet-lineair (geleerd): De server gebruikt een getrainde neurale netwerkggregator om client-probits te combineren, wat superieure prestaties heeft getoond in niet-vergiftigde situaties maar geen garanties voor robustheid biedt.

Methodologie

1. Analyse van op gemiddelde gebaseerde Aggregators

De auteurs analyseren eerst robuuste middelingsschema's (zoals CWTM) als baseline. Zij tonen aan dat, hoewel robuuste middeling ervoor zorgt dat de output dicht bij het gemiddelde van eerlijke probits ligt in de $\ell_2$ -norm, deze nabijheid geen correcte classificatie garandeert vanwege de discontinuïteit van de argmax-operator.

Theoretisch Inzicht: Zij leiden een robustheidscertificaat af waaruit blijkt dat de fout van de aggregator afhankelijk is van drie factoren:
1. Het fractie van corrupties ( $f/n$ ).
2. De dissimilariteit tussen outputs van eerlijke clients ( $\sigma_x$ ).
3. De marge tussen de twee meest voorspelde klassen.
Conclusie: Robuuste middeling is onvoldoende wanneer de marge klein is of client-modellen sterk dissimilaar zijn, zelfs als de aggregatie in statistische zin robuust is.

2. Robuste Inference als Adversarial ML-probleem

Voor niet-lineaire aggregators presenteren de auteurs het probleem als een adversarial learning-probleem over de ruimte van probit-vectoren.

Uitdaging: Standaard adversarial training is computationeel onuitvoerbaar omdat de verzameling van mogelijke adversarial subsets (het kiezen van $f$ kwaadaardige clients uit $n$ ) een hoge kardinaliteit heeft ( $\binom{n}{f} \times f!$ ).
Oplossing (DeepSet): De auteurs stellen het gebruik van een DeepSet-architectuur voor (Zaheer et al., 2017), die permutatie-invariant is. Deze eigenschap maakt het mogelijk het zoekruimte te reduceren van permutaties naar combinaties ( $\binom{n}{f}$ ), waardoor het probleem meer uitvoerbaar wordt.
Benadering: In plaats van alle adversarial subsets te enumereren, bemonsteren zij een klein aantal $N$ willekeurige adversarial configuraties tijdens training ( $N \ll \binom{n}{f}$ ) en passen multi-stap Fast Gradient Sign Method (FGSM) toe om de probits van de geselecteerde adversaries te verstoren.

3. De DeepSet-TM Compositie

Om de robustheid verder te versterken, introduceren de auteurs een nieuwe compositie van Adversarial Training en Robuuste Middeling op het moment van inferentie:

Architectuur: Een DeepSet-model waarbij de input-probits eerst worden verwerkt door een robuust middeling-operator (CWTM) voordat ze worden ingevoerd in de neurale netwerkggregator.
Trainingsstrategie: Het model wordt adversariaal getraind op de ruwe probits (zonder CWTM) om robuuste features te leren.
Inferentiestrategie: Op het testmoment wordt de robuuste middeling (CWTM) toegepast op de client-inputs voordat de DeepSet-inferentie plaatsvindt. Dit ontkoppelt de trainingskosten van het robustheidsmechanisme op het moment van inferentie, waardoor het trainingsproces niet prohibitief duur wordt.

Belangrijkste Bijdragen

Formalisatie: De eerste formele definitie en robustheidsanalyse van het Federated Inference-probleem onder Byzantijnse corrupties.
Theoretische Grenzen: Afleiding van formele robustheidscertificaten voor zowel lineaire (middeling) als niet-lineaire (DeepSet) aggregators, waarbij foutpercentages worden gekoppeld aan corruptiefacties, modeldissimilariteit en voorspellingmarges.
Algorithmische Innovatie: Het voorstellen van DeepSet-TM, een methode die permutatie-invariante neurale netwerken combineert met adversarial training en robust middeling op het moment van inferentie. Deze aanpak adresseert de computationele onuitvoerbaarheid van training tegen willekeurige subsets van adversaries.
Nieuwe Aanval: Introductie van de Strongest Inverted Attack (SIA), een nieuwe white-box en black-box aanval die de tweede meest waarschijnlijke klasse exploiteert om aggregatiebeslissingen om te draaien, gebruikt om verdedigingen rigoureus te evalueren.

Experimentele Resultaten

De auteurs evalueren hun aanpak op CIFAR-10, CIFAR-100 en AG-News met diverse modelfamilies (ResNet-8, ViT-B/32, DistilBERT) en variërende niveaus van data-heterogeniteit ( $\alpha \in \{0.3, 0.5, 0.8\}$ ).

Prestaties: DeepSet-TM presteert consequent beter dan bestaande robuuste aggregatie-baselines (CWTM, CWMed, Geometric Median) en state-of-the-art verdedigingen (COPUR, Manifold Projection).
Verbetering: De methode bereikt een verbetering van 4,7% tot 22,2% in worst-case nauwkeurigheidspunten over diverse benchmarks en aanvalstypen.
Robustheid tegen Sterke Aanvallen: Onder de voorgestelde SIA en PGD-cw-aanvallen lijden basismethoden vaak aan nauwkeurigheidsdalingen van 35–40 punten, terwijl DeepSet-TM dalingen beperkt tot 20–30 punten. Op AG-News behoudt DeepSet-TM 83,2% nauwkeurigheid onder PGD-cw, vergeleken met ~53% voor baselines.
Schaalbaarheid: De aanpak schaalt effectief met het aantal clients ( $n=10, 17, 25$ ) en adversaries ( $f=3, 4, 5$ ), waarbij superieure prestaties behouden blijven naarmate het systeem groeit.
Efficiëntie: Hoewel adversarial training een eenmalige kost met zich meebrengt (ongeveer 1,5 uur), blijft de inferentielatentie laag (ongeveer 0,3 ms per batch), waardoor het geschikt is voor cross-silo-instellingen.

Betekenis en Claims

Het artikel claimt dat Robuste Federated Inference een distinct en kritiek probleem is dat niet kan worden opgelost door simpelweg bestaande Byzantijnse-robuste trainings technieken of zuiveringsmethoden (zoals COPUR) toe te passen, die vaak falen in de probit-ruimte of onder sterke aanvallen.

De betekenis van het werk ligt in:

Het Overbruggen van de Kloof: Het biedt het eerste uitgebreide kader voor het beveiligen van federated inference, een groeiend paradigma voor het benutten van propriëtaire modellen (inclusief LLM's) zonder data te centraliseren.
Nieuwe Compositie: Door adversarial training (uit de adversarial ML-literatuur) te combineren met robuuste middeling (uit de robuuste statistiek/Byzantijnse ML-literatuur), tonen de auteurs aan dat deze twee velden synergetisch kunnen worden gecombineerd om state-of-the-art robustheid te bereiken.
Praktijktoepasbaarheid: De voorgestelde DeepSet-TM biedt een praktische oplossing die hoge robustheid tegen geavanceerde aanvallen balanceert met acceptabele computerefficiëntie, specifiek toegesneden op cross-silo-scenario's waarbij clients statisch zijn maar inferentie-aanvragen dynamisch.

De auteurs concluderen dat hun methode een nieuwe state-of-the-art voor federated inference zet, en technologische voordelen effectief voorkomt dat ze aanzienlijke kwetsbaarheden worden in aanwezigheid van kwaadaardige actoren.