🤖 machine learning

Private and Robust Contribution Evaluation in Federated Learning

Diese Arbeit stellt zwei neue, mit sicherer Aggregation kompatible Beiträge zur Bewertung von Client-Beiträgen im Cross-Silo-Federated-Learning vor, die Fairness, Privatsphäre und Robustheit gegen Manipulationen gewährleisten und dabei bestehende Methoden in Bezug auf Genauigkeit und Modellleistung übertreffen.

Ursprüngliche Autoren: Delio Jaramillo Velez, Gergely Biczok, Alexandre Graell i Amat, Johan Ostman, Balazs Pejo

Veröffentlicht 2026-02-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Delio Jaramillo Velez, Gergely Biczok, Alexandre Graell i Amat, Johan Ostman, Balazs Pejo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, eine Gruppe von Krankenhäusern möchte gemeinsam eine KI trainieren, die Krebsfrüherkennung verbessert. Das Problem: Niemand möchte seine sensiblen Patientendaten an die anderen oder an einen zentralen Server senden. Das ist wie ein geheimes Kochwettbewerb, bei dem jeder nur seine eigenen Zutaten hat, aber das fertige Gericht gemeinsam verbessern will.

Das ist Federated Learning (Föderiertes Lernen). Jeder Teilnehmer trainiert das Modell lokal und schickt nur die „Gedanken" (die Updates) zurück, nicht die Daten selbst.

Aber hier gibt es ein großes Dilemma, das diese Forscher lösen: Wie belohnt man fair, wer wie viel zum Erfolg beigetragen hat, ohne dass jemand lügen kann oder die Privatsphäre verletzt wird?

Hier ist die einfache Erklärung der Lösung, basierend auf dem Papier:

1. Das Problem: Das „Versteck-Spiel" und die faulen Köche

Normalerweise würde man fragen: „Was passiert, wenn wir Person X weglassen?" (Das nennt man Leave-One-Out). Wenn das Ergebnis schlechter ist, hat Person X viel beigetragen.

Aber in diesem Szenario gibt es eine Sicherheitsvorkehrung namens Secure Aggregation (Sichere Aggregation). Stell dir vor, alle schicken ihre Zutaten in einen undurchsichtigen, verschlossenen Topf. Der Chefkoch (der Server) sieht nur den Inhalt des Topfes, aber er kann nicht sehen, wer genau was reingeworfen hat.

Das Problem: Da der Server die einzelnen Beiträge nicht sehen kann, kann er nicht einfach prüfen, was passiert, wenn er einen Teilnehmer weglässt.
Die alte Lösung (LOO): Bisher mussten die Teilnehmer selbst sagen: „Hey, wenn ich weg wäre, wäre das Ergebnis schlechter." Das ist wie ein Schüler, der selbst seine Note schreibt. Ein fauler Schüler könnte einfach lügen und sagen: „Ich bin super wichtig!", um mehr Belohnung zu bekommen.

2. Die neue Lösung: Zwei neue Regeln für den Topf

Die Autoren haben zwei neue Methoden entwickelt, die mit dem verschlossenen Topf funktionieren und trotzdem fair sind.

Methode A: „Fair-Private" (FP) – Der ehrliche Selbstbericht

Diese Methode ist wie eine verbesserte Version des alten Systems. Jeder Teilnehmer schaut sich an:

Wie gut ist das Ergebnis mit mir?
Wie gut wäre es ohne mich?
Wie gut wäre es, wenn ich der einzige wäre?

Sie kombinieren diese Zahlen zu einem fairen Score.

Vorteil: Es ist sehr fair und erfüllt alle mathematischen Regeln für Gerechtigkeit.
Nachteil: Es basiert immer noch darauf, dass der Teilnehmer über sich selbst urteilt. Ein sehr cleverer, böser Teilnehmer könnte trotzdem ein wenig manipulieren.

Methode B: „Everybody-Else" (EE) – Die „Andere bewerten dich"-Methode

Das ist die geniale, kreative Lösung. Hier bewertet niemand sich selbst. Stattdessen bewerten sich die Teilnehmer gegenseitig.

Die Analogie: Stell dir vor, du bist in einer Jury. Du darfst nicht über dich selbst urteilen. Aber du darfst sagen: „Wenn Person B nicht dabei wäre, wie würde sich das auf Person A auswirken?"

Jeder Teilnehmer berechnet, wie wichtig die anderen für das Gesamtergebnis sind.
Da du selbst in keiner deiner eigenen Berechnungen vorkommst, kannst du deinen eigenen Score nicht direkt manipulieren.
Wenn alle anderen sagen: „Oh, ohne dich (Person A) wäre das Ergebnis schlecht", dann bekommst du einen hohen Score.
Der Clou: Selbst wenn du versuchst, die Scores der anderen zu drücken, um dich selbst besser dastehen zu lassen, funktioniert das nicht gut, weil deine eigene Bewertung von allen anderen abhängt, die auch ihre eigenen Berechnungen machen. Es ist ein System, das Betrug extrem erschwert.

3. Warum ist das wichtig? (Die Ergebnisse)

Die Forscher haben das an echten medizinischen Daten getestet (z. B. Röntgenbilder) und mit dem Standard-Modell verglichen.

Fairness: Die neuen Methoden finden fast genau die gleichen „Top-Performer" wie die theoretisch perfekte, aber extrem rechenintensive Methode (Shapley-Wert).
Sicherheit: Sie funktionieren perfekt mit dem verschlossenen Topf (Secure Aggregation). Niemand sieht die Rohdaten.
Robustheit: Die Methode „Everybody-Else" ist besonders stark gegen Betrug. Ein fauler Teilnehmer kann sich nicht einfach selbst hochjubeln.
Qualität: Wenn man die KI basierend auf diesen Scores belohnt (wer mehr beiträgt, bekommt mehr), wird das Endergebnis der KI deutlich besser als bei herkömmlichen Methoden.

Zusammenfassung in einem Satz

Die Autoren haben zwei neue Regeln für ein geheimes Gruppenprojekt erfunden: Eine, die fair ist, und eine, bei der sich niemand selbst bewerten darf, sondern nur die anderen – was sicherstellt, dass die faulen Köche nicht durch Lügen die besten Belohnungen stehlen, während die Privatsphäre aller gewahrt bleibt.

1. Problemstellung

Im Bereich des Cross-Silo Federated Learning (FL) arbeiten mehrere Organisationen zusammen, um ein maschinelles Lernmodell zu trainieren, ohne ihre Rohdaten auszutauschen. Ein zentrales Problem ist die Bewertung des Beitrags (Contribution Evaluation, CE) der einzelnen Teilnehmer (Clients). Eine faire Bewertung ist essenziell für:

Die gerechte Verteilung von Belohnungen (Rewards).
Die Anreize für ehrliche Teilnahme.
Die Erkennung von minderwertigen oder bösartigen Teilnehmern.

Das Hauptdilemma besteht in der Spannung zwischen Privatsphäre und Bewertung:

Secure Aggregation (SA): Um Angriffe wie „Deep Leakage from Gradients" zu verhindern, wird SA eingesetzt. Dabei werden die individuellen Client-Updates (Gradienten) vor dem Server verschleiert; der Server sieht nur das aggregierte globale Modell.
Inkompatibilität: Klassische Methoden zur Beitragsbewertung, wie der Shapley-Wert (SV) oder dessen Approximationen (z. B. Leave-One-Out / LOO), benötigen Zugriff auf individuelle Updates, um marginale Beiträge zu berechnen. Unter SA sind diese Updates für den Server nicht sichtbar.
Schwächen bestehender Lösungen: Die einzige SA-kompatible Methode, Leave-One-Out (LOO), ist eine grobe Approximation des Shapley-Werts. Sie erfordert zudem eine Selbstbewertung (Self-Evaluation), bei der jeder Client seinen eigenen Score berechnet und meldet. Dies macht das System anfällig für Manipulation durch eigennützige (selfish) Clients, die ihre Scores künstlich aufblähen können.

2. Methodik

Die Autoren stellen zwei neue Beitrags-Scores vor, die mit Secure Aggregation kompatibel sind und die Lücke zwischen Privatsphäre, Fairness und Robustheit schließen. Beide Methoden basieren auf marginalen Differenzen (Vergleich von Modellleistungen mit und ohne bestimmte Updates), nutzen jedoch nur die Modelle, die unter SA verfügbar sind: das globale Modell ( $M$ ), das initiale Modell ( $M_0$ ), und die vom Client selbst rekonstruierbaren Modelle ( $M + U_i$ und $M - U_i$ ).

A. Fair-Private (FP)

Konzept: FP kombiniert zwei marginale Differenzen:
1. Leave-One-Out (LOO): Leistung des globalen Modells minus Leistung ohne den Client ( $v(M) - v(M - U_i)$ ).
2. Include-One-In (IOI): Leistung des Modells mit dem Client (vom leeren Set startend) minus Leistung des leeren Sets ( $v(M_0 + U_i) - v(M_0)$ ).
Berechnung: Der Score wird als gewichteter Durchschnitt dieser beiden Terme berechnet und normiert, um die Effizienz-Eigenschaft (die Summe aller Scores entspricht dem Gesamtwert) zu gewährleisten.
Eigenschaften: FP erfüllt alle klassischen Fairness-Axiome (Effizienz, Null-Spieler, Symmetrie) und ist SA-kompatibel.
Schwäche: Wie LOO erfordert FP eine Selbstbewertung, da der Client $i$ die Terme $v(M - U_i)$ und $v(M_0 + U_i)$ selbst berechnen muss. Dies lässt Raum für Manipulation.

B. Everybody-Else (EE)

Konzept: Um das Problem der Selbstbewertung zu lösen, führt EE das Prinzip der gegenseitigen Bewertung ein. Ein Client $i$ erhält einen Score, der von den Bewertungen der anderen Clients ( $j \neq i$ ) abgeleitet wird.
Mechanismus:
- Jeder andere Client $j$ berechnet marginale Differenzen, die $j$ selbst betreffen (z. B. $v(M) - v(M - U_j)$ ).
- Da Client $i$ in fast allen Koalitionen enthalten ist, die von den anderen Clients betrachtet werden, spiegelt die Aggregation dieser Bewertungen indirekt den Beitrag von $i$ wider.
- Formel: Der Score von $i$ ist ein normalisiertes Mittel der marginalen Beiträge, die von allen $j \neq i$ berechnet werden.
Eigenschaften:
- Manipulationsresistenz (Property 5): Ein Client kann seinen eigenen Score nicht direkt beeinflussen, da er nicht für sich selbst rechnet.
- Kompromiss: EE verzichtet auf das Null-Spieler-Axiom (ein Client, der keinen Beitrag leistet, erhält dennoch einen positiven Score), um die Robustheit gegen Manipulation zu gewährleisten. Die Autoren argumentieren, dass dies in FL akzeptabel ist, da „Freerider" oft aktiv Rauschen injizieren statt nur Null-Gradienten zu senden.

3. Wichtige Beiträge

Neue Algorithmen: Einführung von Fair-Private (FP) und Everybody-Else (EE) als erste SA-kompatible Methoden, die über LOO hinausgehen.
Theoretische Garantien:
- Nachweis der Kompatibilität mit Secure Aggregation (nur benötigte Modelle werden verwendet).
- Beweis der Fairness-Eigenschaften (FP erfüllt alle, EE erfüllt alle außer Null-Spieler).
- Beweis der Manipulationsresistenz für EE.
- Komplexität: Beide Methoden haben eine lineare Zeitkomplexität $O(N)$ , im Gegensatz zur exponentiellen Komplexität des exakten Shapley-Werts.
Umfassende Evaluation: Experimente auf vier Datensätzen (ISIC2019, PatchChameleon, Brain-MRI, CIFAR10) unter verschiedenen Bedingungen (nicht-IID Daten, verschiedene Client-Anzahlen).

4. Ergebnisse

Die experimentellen Ergebnisse zeigen, dass die vorgeschlagenen Methoden LOO und andere Baselines (wie Cosine Similarity) deutlich übertreffen:

Korrelation mit dem Shapley-Wert:
- Sowohl FP als auch EE erreichen eine sehr hohe Spearman-Korrelation ( $\phi > 0.9$ ) mit dem Ground-Truth-Shapley-Wert (approximiert durch Multi-Round-SV).
- LOO zeigt eine deutlich schwächere Korrelation ( $\phi \approx 0.5 - 0.8$ ).
- Cosine Similarity (COS) liefert kaum korrelierte Ergebnisse ( $\phi \approx 0$ ).
Robustheit:
- Die Scores bleiben stabil über verschiedene Trainingsrunden, Client-Anzahlen und Datenverteilungen hinweg.
- Missbrauchs-Erkennung: In Szenarien mit einem Byzantine-Client (der Labels flippt) erkennen FP und EE den Angreifer fast so zuverlässig wie der teure Shapley-Wert, während LOO und COS versagen.
Downstream-Leistung:
- Wenn das globale Modell gewichtet nach den CE-Scores aggregiert wird (Gewichtung nach Qualität), erreichen FP und EE eine Modellleistung, die nahe an der des Shapley-Werts liegt und deutlich besser als FedAvg (uniforme Aggregation) ist.
Manipulationsschutz:
- EE eliminiert die Möglichkeit für Clients, ihren eigenen Score direkt zu manipulieren (im Gegensatz zu LOO und FP).

5. Bedeutung und Fazit

Dieses Paper löst ein fundamentales Problem im Cross-Silo Federated Learning: Wie man faire und robuste Beitragsbewertungen durchführt, ohne die Privatsphäre durch Secure Aggregation zu opfern.

Praktische Relevanz: Die Methoden sind ohne kostspielige Architekturänderungen in bestehenden FL-Frameworks einsetzbar.
Paradigmenwechsel: Der Übergang von „Selbstbewertung" (anfällig für Betrug) zu „gegenseitiger Bewertung" (EE) bietet einen neuen Weg zur Sicherung von Anreizsystemen in dezentralen Umgebungen.
Zukunftsperspektive: Die Arbeit legt den Grundstein für vertrauenswürdige, datenschutzkonforme Ökosysteme, in denen Organisationen bereitwillig Daten teilen können, da sie auf eine faire und manipulationssichere Bewertung ihrer Beiträge vertrauen können.

Zusammenfassend demonstrieren die Autoren, dass Fairness, Privatsphäre und Robustheit in der Beitragsbewertung von Federated Learning nicht als gegenseitig ausschließende Ziele betrachtet werden müssen, sondern gemeinsam erreicht werden können.