🤖 machine learning

Robust Federated Inference

Dieser Beitrag behandelt die kritische Verwundbarkeit von federierter Inferenz gegenüber Angriffen, indem er das Problem formalisiert, die Grenzen durchschnittsbasierter Aggregatoren analysiert und ein neuartiges DeepSet-basiertes Framework vorschlägt, das adversariales Training mit robuster Aggregation zur Laufzeit kombiniert, um die Genauigkeit im Vergleich zu bestehenden Methoden erheblich zu verbessern.

Ursprüngliche Autoren: Akash Dhasade, Sadegh Farhadkhani, Rachid Guerraoui, Nirupam Gupta, Maxime Jacovella, Anne-Marie Kermarrec, Rafael Pinot

Veröffentlicht 2026-04-15

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Akash Dhasade, Sadegh Farhadkhani, Rachid Guerraoui, Nirupam Gupta, Maxime Jacovella, Anne-Marie Kermarrec, Rafael Pinot

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Diese Arbeit löst hauptsächlich ein Problem: „Wie hört man sicher die Meinungen vieler Parteien an?"

Stellen Sie sich vor, Sie sind ein Schulleiter (Server) mit einer Gruppe von Schülern (Clients/Modellen). Diese Schüler lernen jeweils lokal und besitzen ihr eigenes Wissen (private Daten), doch ihr Wissensstand ist sehr unterschiedlich, und möglicherweise haben sich einige Schläue (böswillige Angreifer) untergemischt.

Nun haben Sie eine Frage an alle und hoffen auf die genaueste Antwort. Dies ist „Federated Inference" (Föderierte Inferenz): Der Schulleiter sammelt nicht die Hausaufgaben (Daten) der Schüler ein, sondern fragt sie direkt nach ihren Antworten und fasst diese dann zusammen.

Der Kern dieser Arbeit lautet: Wenn Schläue absichtlich falsche Antworten verfassen, wie kann der Schulleiter dann intelligent zusammenfassen, um nicht in die Irre geführt zu werden?

Im Folgenden wird der Inhalt der Arbeit in einfacher, umgangssprachlicher Sprache aufgeschlüsselt:

1. Der Status Quo: Wie ging man bisher vor? (Einfacher Durchschnitt vs. Irreführung)

Bisherige Methode (Einfacher Durchschnitt):
Der Schulleiter addiert die Antworten von 10 Schülern und teilt durch 10.
- Problem: Wenn 3 Schläue absichtlich „Die Antwort ist 999" schreiben, während gute Schüler „Die Antwort ist 1" schreiben, ergibt der Durchschnitt möglicherweise „300" – völlig falsch.
Bisherige Verbesserung (Robuster Durchschnitt):
Der Schulleiter ist klug und weiß, dass man die höchste und die niedrigste Note streicht (z. B. die extremen Antworten der 3 Schläue entfernt), bevor man den Durchschnitt berechnet. Dies entspricht der „Trimmed-Mean-Methode".
- Problem: Die Arbeit zeigt, dass selbst wenn die Schläue entfernt werden, der einfache „Trimmed Mean" die falsche Antwort wählen kann, wenn die guten Schüler selbst uneinig sind (z. B. einige denken, es sei 1, andere 2) oder wenn die Schläue schlau sind und Antworten wählen, die der richtigen Antwort sehr nahe kommen, aber nicht ganz übereinstimmen. Es ist so, als würde man die allerabsurdesten Noten streichen, aber unter den verbleibenden Noten liegen die richtige und die falsche Antwort so nah beieinander, dass der Schulleiter leicht einen Fehler macht.

2. Kernentdeckung: Warum reicht einfaches „Streichen" nicht aus?

Die Autoren führten eine mathematische Analyse durch und stellten fest, dass die Fehlerquote des Schulleiters von drei Faktoren abhängt:

Der Anteil der Schläue: Je mehr schlechte Schüler, desto schwieriger wird es.
Die Uneinigkeit unter den guten Schülern: Wenn sich die guten Schüler selbst heftig streiten (große Antwortunterschiede), kann der Schulleiter schwer entscheiden, wer recht hat.
Das „Fundament" der richtigen Antwort: Wenn die richtige Antwort deutlich stärker ist als andere (z. B. Wahrscheinlichkeit der richtigen Antwort 90 %, alle anderen nur 5 %), ist ein Fehler unwahrscheinlich; wenn die richtige Antwort nur minimal besser ist als die zweitbeste (z. B. 40 % vs. 39 %), reicht schon eine kleine Störung, um die falsche Antwort zu wählen.

Fazit: Es reicht nicht aus, die Schläue einfach zu entfernen (Trimmed Mean), da die Antworten der guten Schüler selbst bereits vage sein können oder die Schläue eine „Feinjustierungs"-Taktik anwenden.

3. Innovative Lösung: DeepSet + Adversarial Training (Dem Schulleiter ein „Superhirn" einbauen)

Um dieses Problem zu lösen, schlugen die Autoren eine „Kombination" vor, als würde man dem Schulleiter ein KI-Unterstützungssystem einbauen:

Schritt 1: Dem Schulleiter ein „Superhirn" einbauen (DeepSet-Modell)

Der Schulleiter führt nicht mehr nur einfache Additionen oder Multiplikationen durch, sondern nutzt ein Neuronales Netz (DeepSet).

Vergleich: Dieses Hirn ist sehr klug; es ist egal, in welcher Reihenfolge die Schüler antworten (egal, wen man zuerst oder zuletzt fragt, das Ergebnis ist gleich). Es lernt Muster aus komplexen Antwortmustern.
Schwierigkeit: Wie trainiert man dieses Hirn? Wenn bei jedem Training die Identität der Schläue variiert (heute vielleicht Zhang San, morgen Li Si), wäre der Trainingsaufwand zu groß und nicht berechenbar.
Kluge Lösung: Die Autoren stellten fest, dass das Hirn lernt, die „Merkmale der Schläue" zu erkennen, indem es nur zufällig ausgewählte Teilmengen von Schläue-Kombinationen zum Training verwendet, ohne alle Möglichkeiten durchgehen zu müssen. Dies entspricht dem Prinzip „Mit Beständigkeit auf Wandel reagieren".

Schritt 2: Doppelte Sicherheit (Adversarial Training + Streichen während der Inferenz)

Die Autoren kombinierten zwei Techniken:

Adversarial Training: Beim Training des Schulleiterhirns werden absichtlich verschiedene „Schläue" erzeugt, um es anzugreifen, damit es lernt, auch im Chaos klar zu bleiben. Dies ist vergleichbar mit „Leveln in Simulationsschlachten".
Streichen während der Inferenz (Robuster Durchschnitt): Wenn die eigentliche Prüfung (Inferenz) stattfindet, filtert das Hirn des Schulleiters vor der Ausgabe der endgültigen Antwort noch einmal durch ein „Trimmed-Mean"-Filter, um die allerabsurdesten Ausreißer erneut herauszufiltern.

Vergleich: Dies ist wie ein „Schiedsrichter, der eine Spezialausbildung bei einer Spezialeinheit erhalten hat" (Adversarial Training), der vor dem Pfiff noch „einige offensichtlich betrügende Teilnehmer ausschließt" (Trimmed Mean).

4. Wie waren die Ergebnisse? (Ein durchschlagender Erfolg)

Die Autoren testeten diese Methode bei verschiedenen Prüfungen (Datensätze: CIFAR-10, CIFAR-100, AG-News):

Gegner: Traditioneller „Trimmed Mean", einfacher „Median-Voting" und andere bisherige Verteidigungsmethoden.
Angreifer: Verschiedene hochintelligente Schläue (einschließlich einer neu erfundenen „stärksten Gegenangriffsmethode SIA").
Ergebnis: Die Kombination aus „Superhirn + Doppelte Sicherheit" der Autoren schnitt bei allen Tests am besten ab.
- In extrem schwierigen Fällen lag die Genauigkeit um 4,7 % bis 22,2 % höher als bei dem zweitbesten Verfahren.
- Es ist so, als ob in einem lauten Raum voller Störungen nur dieser Schulleiter die richtige Antwort hören kann, während alle anderen raten.

5. Zusammenfassung: Was sagt diese Arbeit genau?

Kurz gesagt sagt uns diese Arbeit:
In Szenarien der Zusammenarbeit vieler Parteien (Föderiertes Lernen/Inferenz) reichen einfaches „Minderheit muss der Mehrheit folgen" oder „Extremwerte entfernen" nicht mehr aus. Gegenüber schlauen Störungen benötigen wir:

Intelligentere Aggregatoren (Neuronale Netze statt einfacher mathematischer Durchschnitte).
Strengeres Training (Simulation verschiedener Angriffe während des Trainings, um das Modell zu stärken).
Doppelte Verteidigung (Leveln während des Trainings, Filtern während der Anwendung).

Ein einziger Vergleich:
Früher glaubten wir, wenn wir die Störer entfernen und die verbleibenden Guten im Durchschnitt zusammenfassen, erhalten wir eine hohe Punktzahl; nun sagen uns die Autoren, dass auch die Guten uneinig sein können und die Störer sehr schlau sind. Daher benötigen wir einen durch „Teufels-Training" geformten Super-Schiedsrichter, der sowohl die komplexen Meinungen der Guten verstehen als auch die Tarnung der Störer auf einen Blick durchschauen kann, um inmitten des Chaos die genaueste Entscheidung zu treffen.

Technische Zusammenfassung: Robuste Federated Inference

Problemformulierung

Der Artikel adressiert die kritische Lücke in der Robustheit innerhalb der Federated Inference, einem Paradigma, bei dem ein zentraler Server Vorhersagen aus mehreren clientgehaltenen Modellen aggregiert (z. B. via One-Shot Federated Learning, Edge-Ensembles oder Federated Ensembles), ohne auf lokale Daten oder Modellgewichte zugreifen zu können. Während die bestehende Literatur sich auf die Genauigkeit solcher Ensembles konzentriert, vernachlässigt sie weitgehend deren Anfälligkeit für byzantinische Fehler und vergiftete Ausgaben.

Die Autoren formalisieren das Problem der Robusten Federated Inference wie folgt:

Setup: Ein System aus $n$ Clients, wobei jeder einen lokalen, probit-wertigen Klassifikator $h_i$ besitzt, der Eingaben auf ein Wahrscheinlichkeitssimplex $\Delta_K$ abbildet.
Bedrohungsmodell: Bis zu $f < n/2$ Clients (mit verborgenen Identitäten) können zur Inferenzzeit willkürlich korrumpierte Probit-Vektoren zurückgeben.
Ziel: Entwurf eines Aggregationsschemas $\psi$ , das das Risiko der robusten Federated Inference ( $R_{adv}$ ) minimiert, definiert als der Worst-Case-Vorhersagefehler über alle möglichen Korrumpierungsmuster der Größe $f$ , während gleichzeitig die Genauigkeit auf der globalen Datenverteilung erhalten bleibt.

Der Artikel unterscheidet zwischen zwei Arten von Aggregatoren:

Linear (Durchschnittsbasiert): Der Server berechnet einen robusten Durchschnitt der Client-Probits (z. B. Coordinate-wise Trimmed Mean – CWTM), bevor er den Argmax bestimmt.
Nicht-linear (Gelernt): Der Server verwendet einen trainierten neuronalen Netzwerk-Aggregator, um Client-Probits zu kombinieren, der in unkorrumpierten Umgebungen überlegene Leistung gezeigt hat, jedoch keine Robustheitsgarantien bietet.

Methodik

1. Analyse durchschnittsbasierter Aggregatoren

Die Autoren analysieren zunächst robuste Durchschnittsschemata (wie CWTM) als Basislinie. Sie zeigen, dass zwar ein robuster Durchschnitt sicherstellt, dass die Ausgabe im $\ell_2$ -Norm-Sinn nahe am Durchschnitt der ehrlichen Probits liegt, diese Nähe jedoch aufgrund der Nicht-Kontinuität des argmax-Operators keine korrekte Klassifizierung garantiert.

Theoretische Einsicht: Sie leiten ein Robustheitszertifikat her, das zeigt, dass der Fehler des Aggregators von drei Faktoren abhängt:
1. Der Anteil der Korrumpierungen ( $f/n$ ).
2. Der Dissimilarität zwischen den Ausgaben ehrlicher Clients ( $\sigma_x$ ).
3. Der Margin zwischen den beiden vorhergesagten Top-Klassen.
Fazit: Robuster Durchschnitt ist unzureichend, wenn der Margin klein ist oder Client-Modelle stark dissimilar sind, selbst wenn die Aggregation im statistischen Sinne robust ist.

2. Robuste Inferenz als Problem des Adversarial Machine Learning

Für nicht-lineare Aggregatoren formulieren die Autoren das Problem als adversariales Lernproblem im Raum der Probit-Vektoren.

Herausforderung: Standard-Adversarial-Training ist rechnerisch unlösbar, da die Menge der möglichen adversarialen Teilmengen (Wahl von $f$ bösartigen Clients aus $n$ ) eine hohe Kardinalität aufweist ( $\binom{n}{f} \times f!$ ).
Lösung (DeepSet): Die Autoren schlagen die Verwendung einer DeepSet-Architektur (Zaheer et al., 2017) vor, die permutationsinvariant ist. Diese Eigenschaft ermöglicht es, den Suchraum von Permutationen auf Kombinationen zu reduzieren ( $\binom{n}{f}$ ), wodurch das Problem lösbarer wird.
Approximation: Anstatt alle adversarialen Teilmengen aufzulisten, sampeln sie während des Trainings eine kleine Anzahl $N$ zufälliger Adversary-Konfigurationen ( $N \ll \binom{n}{f}$ ) und wenden eine mehrstufige Fast-Gradient-Sign-Methode (FGSM) an, um die Probits der ausgewählten Adversaries zu perturbieren.

3. Die DeepSet-TM-Komposition

Um die Robustheit weiter zu erhöhen, führen die Autoren eine neuartige Komposition aus Adversarial Training und Robustem Durchschnitt zur Inferenzzeit ein:

Architektur: Ein DeepSet-Modell, bei dem die Eingabe-Probits zunächst durch einen robusten Durchschnittsoperator (CWTM) verarbeitet werden, bevor sie in den neuronalen Netzwerk-Aggregator eingespeist werden.
Trainingsstrategie: Das Modell wird adversarial auf den rohen Probits (ohne CWTM) trainiert, um robuste Merkmale zu erlernen.
Inferenzstrategie: Zum Testzeitpunkt wird der robuste Durchschnitt (CWTM) auf die Client-Eingaben angewendet, bevor die DeepSet-Inferenz erfolgt. Dies entkoppelt die Trainingskosten vom Robustheitsmechanismus zur Inferenzzeit und verhindert, dass der Trainingsprozess prohibitiv teuer wird.

Hauptbeiträge

Formalisierung: Die erste formale Definition und Robustheitsanalyse des Problems der Federated Inference unter byzantinischen Korrumpierungen.
Theoretische Schranken: Herleitung formaler Robustheitszertifikate für sowohl lineare (Durchschnitt) als auch nicht-lineare (DeepSet) Aggregatoren, die Fehlerraten mit Korrumpierungsanteilen, Modelldissimilarität und Vorhersagemargins verknüpfen.
Algorithmische Innovation: Der Vorschlag von DeepSet-TM, einer Methode, die permutationsinvariante neuronale Netze mit Adversarial Training und robuster Durchschnittsbildung zur Inferenzzeit kombiniert. Dieser Ansatz adressiert die rechnerische Unlösbarkeit des Trainings gegen beliebige Teilmengen von Adversaries.
Neuer Angriff: Einführung des Strongest Inverted Attack (SIA), eines neuen White-Box- und Black-Box-Angriffs, der die zweithöchste Wahrscheinlichkeitsklasse ausnutzt, um Aggregationsentscheidungen zu kippen, und zur rigorosen Evaluierung von Verteidigungen verwendet wird.

Experimentelle Ergebnisse

Die Autoren evaluieren ihren Ansatz auf CIFAR-10, CIFAR-100 und AG-News unter Verwendung verschiedener Modellfamilien (ResNet-8, ViT-B/32, DistilBERT) und variierender Grade an Datenheterogenität ( $\alpha \in \{0.3, 0.5, 0.8\}$ ).

Leistung: DeepSet-TM übertrifft konsistent bestehende robuste Aggregations-Baselines (CWTM, CWMed, Geometric Median) und State-of-the-Art-Verteidigungen (COPUR, Manifold Projection).
Verbesserung: Die Methode erzielt eine Verbesserung der Worst-Case-Genauigkeit um 4,7 % bis 22,2 % über diverse Benchmarks und Angriffstypen hinweg.
Robustheit gegenüber starken Angriffen: Unter den vorgeschlagenen SIA- und PGD-cw-Angriffen erleiden Baseline-Methoden oft Genauigkeitsverluste von 35–40 Punkten, während DeepSet-TM die Verluste auf 20–30 Punkte begrenzt. Auf AG-News behält DeepSet-TM unter PGD-cw eine Genauigkeit von 83,2 %, verglichen mit ca. 53 % für Baselines.
Skalierbarkeit: Der Ansatz skaliert effektiv mit der Anzahl der Clients ( $n=10, 17, 25$ ) und Adversaries ( $f=3, 4, 5$ ) und behält eine überlegene Leistung bei, während das System wächst.
Effizienz: Obwohl Adversarial Training einmalige Kosten verursacht (ca. 1,5 Stunden), bleibt die Inferenz-Latenz gering (ca. 0,3 ms pro Batch), was ihn für Cross-Silo-Szenarien geeignet macht.

Bedeutung und Behauptungen

Der Artikel behauptet, dass Robuste Federated Inference ein distinktes und kritisches Problem ist, das nicht durch einfache Anwendung bestehender byzantinisch-robuster Trainingstechniken oder Reinigungsmethoden (wie COPUR) gelöst werden kann, die im Probit-Raum oder unter starken Angriffen oft versagen.

Die Bedeutung der Arbeit liegt in:

Überbrückung der Lücke: Sie bietet den ersten umfassenden Rahmen zur Absicherung der Federated Inference, einem wachsenden Paradigma zur Nutzung proprietärer Modelle (einschließlich LLMs) ohne Zentralisierung von Daten.
Neuartige Komposition: Durch die Kombination von Adversarial Training (aus der Literatur zum adversarialen Machine Learning) mit robustem Durchschnitt (aus der Literatur zu robuster Statistik/byzantinischem ML) zeigen die Autoren, dass diese beiden Felder synergistisch kombiniert werden können, um State-of-the-Art-Robustheit zu erreichen.
Praktikabilität: Der vorgeschlagene DeepSet-TM bietet eine praktische Lösung, die hohe Robustheit gegen ausgefeilte Angriffe mit akzeptablem Rechenaufwand ausbalanciert, speziell zugeschnitten auf Cross-Silo-Szenarien, in denen Clients statisch sind, aber Inferenzanfragen dynamisch sind.

Die Autoren schließen, dass ihre Methode einen neuen State-of-the-Art für Federated Inference setzt und technologische Vorteile effektiv verhindert, dass sie in Gegenwart böswilliger Akteure zu signifikanten Schwachstellen werden.