🤖 machine learning

CRAFT: Conflict-Resolved Aggregation for Federated Training

Dieser Beitrag stellt CRAFT vor, ein neuartiges Framework für die Aggregation im federierten Lernen, das Client-Aktualisierungskonflikte durch eine geschlossene geometrische Korrektur und eine schichtweise Anpassung auflöst und dadurch die Genauigkeit des globalen Modells verbessert sowie die Leistungsunterschiede zwischen heterogenen Clients verringert.

Ursprüngliche Autoren: Ziqi Wang, Qiang Liu, Nils Thuerey

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ziqi Wang, Qiang Liu, Nils Thuerey

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von Schülern (die „Klienten") vor, die versuchen, gemeinsam ein Fach zu lernen, sich jedoch alle in verschiedenen Klassenzimmern mit unterschiedlichen Lehrbüchern und Lehrstilen befinden. Sie können ihre tatsächlichen Hefte (private Daten) aufgrund von Datenschutzbestimmungen nicht teilen. Stattdessen senden sie ihre Hausaufgabenantworten (Modell-Updates) einmal pro Woche an einen Lehrer (den „Server"). Die Aufgabe des Lehrers besteht darin, alle diese Antworten zu einem „Master-Leitfaden" zu kombinieren, den alle nächste Woche nutzen können.

Dies ist Federated Learning. Das Problem? Da die Schüler so unterschiedliche Lehrbücher haben, widersprechen sich ihre Hausaufgabenantworten oft. Nimmt der Lehrer einfach einen Durchschnitt aller Antworten, könnte der resultierende „Master-Leitfaden" einigen Schülern helfen, andere jedoch verwirren oder schädigen. Es ist, als würde man ein Rezept für ein scharfes Curry mit einem Rezept für einen süßen Kuchen mitteln; das Ergebnis ist ein seltsames, ungenießbares Durcheinander, das niemanden zufriedenstellt.

Dieser Artikel stellt eine neue Methode namens CRAFT (Conflict-Resolved Aggregation for Federated Training) vor, um dieses Durcheinander zu beheben. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Die „Durchschnitt"-Falle

Bei herkömmlichen Methoden (wie FedAvg) addiert der Lehrer einfach alle Hausaufgaben und teilt durch die Anzahl der Schüler.

Das Problem: Wenn Schüler A nach links und Schüler B nach rechts gehen will, ist der Durchschnitt, geradeaus zu gehen. Doch geradeaus zu gehen könnte Schüler A von einer Klippe führen und Schüler B in einen Sumpf. Die „durchschnittliche" Richtung steht oft im Konflikt mit den spezifischen Bedürfnissen einzelner Schüler, was dazu führt, dass einige bei der Aufgabe schlechter werden.

2. Die Lösung: CRAFT als „geometrische Korrektur"

Anstatt einfach zu mitteln, betrachtet CRAFT die Aufgabe des Lehrers als geometrisches Puzzle.

Die Referenzrichtung: Stellen Sie sich vor, der Lehrer hat einen Kompass, der in die Richtung zeigt, in die er letzte Woche unterwegs war. Dies ist die „Referenzrichtung". Sie repräsentiert den Impuls des bisherigen Fortschritts der Gruppe.
Die konfliktfreie Regel: Der Lehrer muss eine neue Richtung für diese Woche finden, die:
1. So nah wie möglich an der Kompassrichtung von letzte Woche bleibt (damit wir unseren Impuls nicht verlieren).
2. Entscheidend: In eine Richtung zeigt, die mit der Hausaufgabe jedes einzelnen Schülers übereinstimmt. Wenn ein Schüler sagt „Ich muss nach Norden", darf die neue Richtung nicht nach Süden zeigen. Sie muss mit der Anfrage aller einen positiven Winkel haben.

3. Wie CRAFT es löst (Die „Moore-Penrose"-Magie)

Der Artikel beschreibt einen mathematischen Trick (unter Verwendung einer sogenannten „Moore-Penrose-Korrektur"), der dieses Puzzle sofort löst.

Die Analogie: Stellen Sie sich vor, der Lehrer steht auf einem Seil (der Referenzrichtung). Die Schüler ziehen an Seilen, die am Lehrer befestigt sind, und jeder möchte in eine andere Richtung.
Der alte Weg: Der Lehrer lässt einfach los und fällt an den durchschnittlichen Ort.
Der CRAFT-Weg: Der Lehrer berechnet den kleinstmöglichen Schritt, der nötig ist, um vom Seil zu einem Punkt zu gelangen, an dem alle Seile in eine hilfreiche Richtung ziehen, nicht in eine konfliktreiche. Es ist, als würde man die kleinste Anpassung am eigenen Weg vornehmen, um eine Wand zu vermeiden, anstatt anzuhalten und von vorne zu beginnen.
Geschwindigkeit: Der Artikel behauptet, diese Berechnung sei sehr schnell und erfordere nicht, dass der Lehrer eine langsame, wiederholte Schleife durchläuft, um die Antwort zu finden. Es ist eine „One-Shot"-Berechnung.

4. Der „Schicht-für-Schicht"-Ansatz

Tiefe neuronale Netze (die KI-Gehirne, die trainiert werden) sind wie mehrstöckige Gebäude.

Das Problem: Manchmal muss das Erdgeschoss (grundlegende Merkmale) in eine Richtung, während das oberste Stockwerk (komplexe Merkmale) in eine andere muss. Das gesamte Gebäude als einen Block zu behandeln, kann Probleme verursachen.
CRAFTs Lösung: Es löst das Puzzle separat für jede „Etage" (Schicht) des Gebäudes. Dies stellt sicher, dass ein Konflikt im obersten Stockwerk das Fundament nicht ruiniert und umgekehrt.

5. Die Ergebnisse: Fairness und Genauigkeit

Der Artikel testete CRAFT in vielen verschiedenen Szenarien mit stark ungleich verteilten Daten (einige Schüler haben 100 Seiten Notizen, andere 5).

Bessere Durchschnittspunktzahl: Die Gruppe als Ganzes wurde schneller schlauer.
Fairness: Die „Lücke" zwischen dem bestperformierenden und dem am schlechtesten performierenden Schüler verringerte sich erheblich. In der Vergangenheit half die „Durchschnitt"-Methode oft den Top-Schülern, während sie die kämpfenden zurückließ. CRAFT stellt sicher, dass der „Master-Leitfaden" den kämpfenden Schülern hilft, aufzuholen, ohne die Top-Schüler abzubremsen.
Plug-and-Play: Die Autoren zeigen, dass CRAFT in bestehende Systeme ausgetauscht werden kann (selbst solche, die versuchen, das Lernen für jeden Schüler zu personalisieren), indem einfach der „Mittelwert"-Schritt ersetzt wird, und es verbessert die Ergebnisse sofort.

Zusammenfassung

CRAFT ist eine intelligentere Art für einen Lehrer, Schüler-Hausaufgaben zu kombinieren. Anstatt widersprüchliche Antworten blind zu mitteln, findet es einen neuen Weg, der den Impuls der Gruppe respektiert und gleichzeitig sicherstellt, dass kein einzelner Schüler in die falsche Richtung gedrückt wird. Es nutzt Mathematik, um die kleinstmögliche Anpassung vorzunehmen, damit alle gemeinsam vorankommen, was zu einem intelligenteren, faireren KI-Modell für alle führt.

Technische Zusammenfassung: CRAFT (Conflict-Resolved Aggregation for Federated Training)

1. Problemstellung

Federated Learning (FL) ermöglicht das kollaborative Trainieren von Modellen über dezentrale Clients hinweg, ohne Rohdaten auszutauschen. Ein fundamentales Engpassproblem entsteht jedoch durch Datenheterogenität (nicht-IID-Verteilungen), die zu divergierenden lokalen Updates führt. Herkömmliche Aggregationsmethoden, wie FedAvg, berechnen gewichtete Durchschnitte dieser Updates. Die Arbeit argumentiert, dass naives Mitteln eine globale Update-Richtung erzeugen kann, die zwar das globale Ziel verbessert, aber mit spezifischen Clients konfliktiert (d. h. das Skalarprodukt zwischen dem globalen Update und dem lokalen Update eines Clients negativ ist). Dieser Konflikt führt zu einer Leistungsverschlechterung für diese spezifischen Clients, was zu hohen Unterschieden in der Client-spezifischen Genauigkeit und schlechter Fairness führt, selbst wenn die mittlere globale Genauigkeit hoch ist.

Bestehende Ansätze versuchen, dies durch Regularisierung (FedProx), Normalisierung (FedNova), fairheitsbewusste Zielvorgaben (AFL, q-FedAvg) oder personalisierte Modelle zu mildern. Konfliktbewusste Methoden (FedFV, FedLF, ConFIG) sind entstanden, um die Update-Geometrie direkt zu manipulieren, verlassen sich jedoch oft auf heuristische Regeln oder fehlt die Integration zeitlicher Informationen zur Steuerung der Auflösung.

2. Methodik: Das CRAFT-Framework

CRAFT stellt das Aggregationsproblem nicht als gewichteten Durchschnitt, sondern als ein geometrisches Korrekturproblem neu dar. Das Kernziel ist es, einen globalen Update-Vektor $g$ zu finden, der so nah wie möglich an einer stabilen Referenzrichtung liegt und gleichzeitig strikte konfliktfreie Ausrichtungsbedingungen erfüllt.

2.1 Kernformulierung

Anstatt ein Update von Grund auf neu zu rekonstruieren (wie bei Zero-Prior-Methoden) oder einfach zu glätten (wie bei Momentum-Methoden), löst CRAFT ein referenzverankertes, eingeschränktes Kleinste-Quadrate-Problem:

$\min_{g \in \mathbb{R}^d} \frac{1}{2} \|g - \hat{g}_t\|^2 \quad \text{s.t.} \quad U_t g = \rho_t$

Wobei:

$\hat{g}_t$ die Referenzrichtung ist, definiert als das normalisierte globale Update aus der vorherigen Runde ( $\hat{g}_t = U(g_{t-1})$ ). Für die erste Runde gilt $\hat{g}_0 = 0$ .
$U_t$ die Matrix der normalisierten lokalen Updates von aktiven Clients ist ( $u_i = g_i / (\|g_i\| + \epsilon)$ ).
$\rho_t$ der Vektor der positiven Ausrichtungsziele ist, typischerweise abgeleitet aus den Datenanteilen der Clients ( $\rho_i = |D_i| / \sum |D_j|$ ).
Die Bedingung $U_t g = \rho_t$ sicherstellt, dass das globale Update $g$ ein positives Skalarprodukt mit dem normalisierten Update jedes teilnehmenden Clients hat, wodurch eine konfliktfreie Richtung garantiert wird.

2.2 Geschlossene Lösung

Das Problem ist unterbestimmt (Modell-Dimension $d \gg$ Anzahl der Clients $m$ ). CRAFT leitet eine geschlossene Lösung unter Verwendung der Moore-Penrose-Pseudoinversen ab und vermeidet so den Rechenaufwand iterativer Löser oder quadratischer Programmierung. Das Update wird als Korrektur $\Delta_t$ zur Referenz berechnet:

$g_t = \hat{g}_t + \Delta_t, \quad \text{wobei} \quad \Delta_t = U_t^\dagger (\rho_t - U_t \hat{g}_t)$

Diese Formulierung stellt sicher, dass, wenn die Referenzrichtung die Bedingungen bereits erfüllt, keine Korrektur angewendet wird. Andernfalls wird die kleinste euklidische Korrektur hinzugefügt, um die Ausrichtung zu erzwingen.

2.3 Schichtweise Anpassung

In Anerkennung dessen, dass tiefe neuronale Netze schichtspezifische Optimierungsdynamiken aufweisen (z. B. können flache Schichten unter Verschiebungen der Eingangsverteilung leiden, während tiefere Schichten unter Label-Skew leiden), implementiert CRAFT eine schichtweise Anpassung. Das Optimierungsproblem wird in $Q$ unabhängige Teilprobleme für jede Schicht $q$ zerlegt, wobei die Korrektur separat gelöst wird:
$g^q_t = \hat{g}^q_t + (U^q_t)^\dagger (\rho_t - U^q_t \hat{g}^q_t)$
Dies verhindert, dass schwere Konflikte in einer Schicht nützliche Komponenten in anderen unterdrücken.

2.4 Theoretische Eigenschaften

Die Arbeit liefert eine theoretische Analyse, die zeigt, dass CRAFT eine gemeinsame-Abwärts-Struktur fördert. Durch die Erzwingung einer nicht-negativen Ausrichtung mit allen Client-Updates werden Konflikte gemildert. Die Autoren etablieren Konvergenzgarantien für endliche Zeit bei nicht-konvexen Zielen unter Standardannahmen zur Glattheit und beschränkten Gradienten und zeigen eine Konvergenzrate von $O(1/\sqrt{T})$ , die mit der Standard-Optimierung nicht-konvexer Funktionen vergleichbar ist, sofern die lokale Lernrate angemessen abnimmt.

3. Hauptbeiträge

Problemreformulierung: Die Autoren schlagen vor, die federierte Aggregation als ein referenzverankertes, eingeschränktes Kleinste-Quadrate-Problem neu zu formulieren, anstatt als gewichtete Mittelungsregel. Dies erzwingt direkt eine positive Ausrichtung zwischen dem globalen Update und jedem Client.
Effiziente geschlossene Lösung: Im Gegensatz zu iterativen Konfliktlösungsmethoden leitet CRAFT eine explizite Lösung unter Verwendung der Moore-Penrose-Korrektur ab und hält die Server-seitige Berechnung leichtgewichtig ( $O(dm^2 + Qm^3)$ ).
Momentum-ähnliche Referenz: Die Verwendung des globalen Updates der vorherigen Runde als Referenzrichtung ermöglicht es CRAFT, zeitliche Konsistenz zu bewahren und Updates gegen Stichprobenrauschen zu stabilisieren, was es von Methoden unterscheidet, die auf einen Nullvektor projizieren.
Schichtweise Granularität: Das Framework adressiert Konflikte auf der Granularität der Modellschichten, was es für tiefe neuronale Netze geeignet macht, bei denen globale Vektorbedingungen zu grob sein könnten.
Plug-in-Erweiterbarkeit: CRAFT ist als generischer Aggregationsoperator konzipiert, der die gewichtete Mittelung in bestehenden personalisierten FL-Pipelines (z. B. Ditto) ersetzen kann, ohne lokale Anpassungsmechanismen zu modifizieren.

4. Experimentelle Ergebnisse

Umfangreiche Experimente wurden auf heterogenen Benchmarks (FEMNIST, CIFAR-10, CIFAR-100) mit verschiedenen Modellen (MLP, CNN, ResNet-20/56/110) und Client-Populationen (bis zu 1000 Clients) durchgeführt.

Globale Leistung: CRAFT übertraf State-of-the-Art-Baselines in der mittleren Genauigkeit konsistent. Auf CIFAR-10 mit ResNet-20 erreichte es eine relative Verbesserung von 53,5 % gegenüber ConFIG und eine Verbesserung von 7,8 % gegenüber FedAvgM auf FEMNIST.
Fairness und Disparität: CRAFT reduzierte die Standardabweichung der Client-spezifischen Genauigkeit signifikant. Es verbesserte die Leistung von „Tail"-Clients (schlechteste 10 %) ohne Opferung von „Head"-Clients. Zum Beispiel verbesserte es auf CIFAR-10 die Genauigkeit der schlechtesten 10 % um 221,5 % gegenüber FedLF.
Konvergenz: CRAFT zeigte eine schnellere Konvergenz und höhere finale Genauigkeit, insbesondere auf tieferen Netzen, bei denen andere Methoden oft früh gesättigt waren oder unter Client-Drift litten.
Integration personalisierten FL: Bei der Integration in das Ditto-Framework verbesserte CRAFT die mittlere Testgenauigkeit um 19,7 % auf CIFAR-10 und um 98,8 % auf CIFAR-100 im Vergleich zum reinen Ditto, was seine Fähigkeit demonstriert, personalisierte Pipelines zu verbessern.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass CRAFT eine neue Perspektive auf das Aggregationsdesign bietet und von einer heuristischen Konfliktlösung zu einem geometrisch fundierten, constraints-basierten Ansatz übergeht. Ihre Bedeutung liegt in:

Milderung der Heterogenität: Sie adressiert direkt die Ursache von Fairnessproblemen in FL (konfliktierende Updates) und passt nicht nur Ziele an oder regularisiert lokales Training.
Ausgleich von Genauigkeit und Fairness: Sie erreicht eine hohe mittlere Genauigkeit und reduziert gleichzeitig die Leistungsdisparität, ein doppeltes Ziel, das mit bestehenden Methoden oft schwer zu erfüllen ist.
Praktikabilität: Die Methode ist recheneffizient, erfordert keine zusätzliche Kommunikation und lässt sich leicht auf bestehende personalisierte FL-Frameworks erweitern.

Die Autoren erkennen Einschränkungen an und stellen fest, dass die aktuelle Referenzrichtung ein einfacher momentum-ähnlicher Prior ist und die Ausrichtungsziele auf Datenanteilen basieren. Sie schlagen vor, dass zukünftige Arbeiten adaptive Referenzen oder Ziele erforschen könnten, die auf Trainingsfortschritt und Fairheitsanforderungen basieren. Dennoch etabliert die aktuelle Arbeit CRAFT als einen robusten, konfliktfreien Aggregationsmechanismus für heterogenes federiertes Training.