🤖 machine learning

Federated Learning with Uncertainty and Personalization via Efficient Second-order Optimization

Dieses Paper schlägt eine neuartige, recheneffiziente Optimierungsmethode zweiter Ordnung für das Federated Learning vor, welche die Vorteile der Unsicherheitsquantifizierung und Personalisierung bayesianischer Ansätze erzielt und gleichzeitig bestehende State-of-the-Art-Methoden in Bezug auf Genauigkeit und Effizienz signifikant übertrifft.

Ursprüngliche Autoren: Shivam Pal, Aishwarya Gupta, Saqib Sarwar, Piyush Rai

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shivam Pal, Aishwarya Gupta, Saqib Sarwar, Piyush Rai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von Schülern (die Clients) vor, die alle in verschiedenen Häusern leben und ihre eigenen, einzigartigen Hausaufgabenaufgaben haben. Sie wollen ein Fach gemeinsam lernen, aber es gibt eine strikte Regel: Niemand darf sein Haus verlassen oder seine tatsächlichen Hausaufgabenblätter teilen. Sie können lediglich ihre Antworten an einen Lehrer (den Server) senden, der in der Mitte sitzt.

Dies ist Federated Learning. Der Lehrer sammelt die Antworten, berechnet deren Durchschnitt, um einen „Master-Leitfaden“ zu erstellen, und schickt diesen zurück an die Schüler.

Das Problem mit der alten Methode

Normalerweise nimmt der Lehrer einfach einen einfachen Durchschnitt der Antworten (wie FedAvg). Das funktioniert großartig, wenn alle ähnliche Hausaufgaben haben. Aber was ist, wenn Schüler A nur Matheaufgaben hat, Schüler B nur Geschichte und Schüler C eine Mischung aus beidem? Ein einzelner „Master-Leitfaden“ würde niemandem viel helfen, da er eine verschwommene Mischung aus allem ist.

Zudem sagen die alten Methoden nicht aus, wie sicher sie sich bei einer Antwort sind. Wenn ein Schüler rät, weiß der Lehrer nicht, ob es ein glücklicher Tipp oder eine sichere Berechnung war.

Einige Forscher versuchten dies mithilfe von Bayesianischem Lernen zu lösen. Anstatt nur eine Antwort zu senden, würden die Schüler eine ganze „Wolke von Möglichkeiten“ (eine Wahrscheinlichkeitsverteilung) senden, um zu zeigen, wie sicher sie sind. Dies ist hervorragend für Personalisierung und das Erkennen von Unsicherheit. Aber, das Berechnen und Senden dieser „Wolken“ ist so aufwendig wie der Versuch, eine ganze Bibliothek an Büchern statt einer einzelnen Postkarte zu verschicken. Es ist zu schwer, zu langsam und zu teuer für Schüler mit schwachem Internet oder alten Computern.

Die neue Lösung: FedIvon

Die Autoren dieser Arbeit haben eine neue Methode namens FedIvon entwickelt. Stellen Sie sich FedIvon als eine clevere Art vor, eine „intelligente Zusammenfassung“ zu versenden, die sich wie eine schwere Bibliothek anfühlt, aber so wenig wiegt wie eine Postkarte.

So funktioniert es, unter Verwendung einer einfachen Analogie:

1. Die „Second-Order“-Abkürzung (Die intelligente Karte)

Stellen Sie sich vor, Sie wandern einen Berg hinunter, um das tiefste Tal (die beste Antwort) zu finden.

Alte Methoden (wie Adam) sind wie ein Wanderer, der nur den Hang direkt unter seinen Füßen betrachtet. Er macht kleine Schritte basierend darauf, wie steil der Boden gerade ist. Das funktioniert, kann aber langsam sein und man kann in kleinen Senken stecken bleiben.
Traditionelle Bayes-Methoden versuchen, die gesamte Gebirgslandschaft zu kartieren, um die Form des Tals perfekt zu verstehen. Das ist präzise, dauert aber ewig, um die Karte zu zeichnen.
FedIvon ist wie ein Wanderer, der einen intelligenten Kompass benutzt. Er kartiert nicht den ganzen Berg, aber er schätzt die Krümmung des Geländes (ist es eine steile Klippe oder ein sanfter Hang?) schnell mithilfe eines Tricks namens IVON. Dies ermöglicht es ihm, größere, intelligentere Schritte zu machen, ohne die gesamte Karte zeichnen zu müssen. Er erhält die Vorteile der „vollständigen Karte“ (Unsicherheit und Präzision), ohne den hohen Arbeitsaufwand.

2. Der „personalisierte“ Prior (Der Hinweis des Lehrers)

In diesem neuen System schickt der Lehrer einen „Hinweis“ (eine Prior-Verteilung) zurück, der auf dem basiert, was die ganze Klasse weiß.

Wenn ein Schüler lernt, beginnt er mit dem Hinweis des Lehrers, passt diesen dann aber stark basierend auf seinen eigenen spezifischen Hausaufgaben an.
Wenn ein Schüler sehr wenige Hausaufgaben (Daten) hat, verlässt er sich stärker auf den Hinweis des Lehrers.
Wenn ein Schüler viele einzigartige Hausaufgaben hat, vertraut er eher seinen eigenen Daten.
Dies schafft ein personalisiertes Modell für jeden Schüler, das dennoch mit der Gruppe verbunden bleibt.

3. Der effiziente Austausch

Anstatt eine schwere „Wolke“ an Daten zu senden, versendet FedIvon nur zwei kleine Zahlen für jeden Teil des Modells:

Die beste Vermutung (den Durchschnitt).
Das Konfidenzniveau (wie stark die Antwort variieren kann).

Da die Mathematik hinter FedIvon so effizient ist (sie berechnet diese Zahlen implizit während des Lernens, anstatt eine separate, teure Berechnung durchzuführen), läuft es fast so schnell wie die einfachen, nicht-Bayesianischen Methoden.

Was haben sie herausgefunden?

Die Autoren testeten dies an drei verschiedenen „Hausaufgaben-Sets“ (Datensätzen):

EMNIST (handgeschriebene Buchstaben/Zahlen).
SVHN (Hausnummern von Straßenschildern).
CIFAR-10 (Bilder von Objekten wie Katzen, Autos usw.).

Sie simulierten ein Szenario, in dem 200 Schüler jeweils sehr wenige Beispiele (weniger als 100) und sehr unterschiedliche Arten von Daten hatten.

Die Ergebnisse:

Bessere Genauigkeit: FedIvon erzielte bei Tests höhere Punktzahlen als die alten „Durchschnitts“-Methoden und war sogar besser als andere komplexe Bayes-Methoden.
Bessere Konfidenz: Es war viel besser darin, zu wissen, wann es unsicher war. In einem Test, bei dem versucht wurde, „seltsame“ Bilder (Out-of-Distribution) zu erkennen, war FedIvon am besten darin, zu sagen: „Ich weiß nicht, was das ist“, anstatt selbstbewusst falsch zu raten.
Geschwindigkeit: Trotz all dieser ausgeklügelten Mathematik hat es den Prozess nicht verlangsamt. Es war so schnell wie die einfachen Methoden.

Das Fazit

FedIvon ist eine neue Art für Computer, gemeinsam zu lernen, ohne private Daten zu teilen. Es gelingt ihm, intelligent zu sein (zu wissen, wie sicher es sich ist), persönlich zu sein (sich an die einzigartigen Daten jedes Nutzers anzupassen) und schnell zu sein (das Netzwerk nicht zu verlangsamen). Es löst das Problem „Bayesianisches Lernen ist zu schwer“, indem es einen cleveren mathematischen Shortcut nutzt, der die schwere Arbeit leicht wirken lässt.

Technisches Resümee: Föderiertes Lernen mit Unsicherheit und Personalisierung mittels effizienter zweiter Ordnung

Problemstellung

Föderiertes Lernen (FL) ermöglicht das kollaborative Training von Modellen über dezentrale Clients hinweg, ohne dass Rohdaten geteilt werden müssen. Herkömmliche FL-Ansätze stehen jedoch vor zwei primären Herausforderungen:

Datenheterogenität: Wenn die Client-Daten nicht-IID (nicht unabhängig und identisch verteilt) sind, versagt ein einzelnes globales Modell oft dabei, die individuellen Client-Verteilungen effektiv zu repräsentieren, was zu suboptimaler Leistung führt.
Mangelnde Unsicherheitsquantifizierung: Standardmäßige FL-Methoden lernen typischerweise Punktschätzungen der Modellparameter. Dies macht sie anfällig für Überanpassung in Szenarien mit geringer Datenmenge und verhindert die Bereitstellung von prädiktiver Unsicherheit, was für Aufgaben wie die Erkennung von Out-of-Distribution (OOD)-Daten entscheidend ist.

Obwohl Bayesianisches FL eine fundierte Lösung bietet, indem es Posterior-Verteilungen lernt, um Unsicherheit zu erfassen und Personalisierung (über hierarchische Frameworks) zu ermöglichen, leiden bestehende Methoden unter erheblichen Engpässen. Aktuelle Bayesianische FL-Ansätze verlassen sich oft auf rechenintensive Routinen (z. B. MCMC-Sampling, Laplace-Approximation, die eine explizite Hesse-Berechnung erfordert, oder Deep Ensembles) und verursachen hohe Kommunikationskosten durch die Übertragung vollständiger Posterior-Verteilungen. Diese Faktoren begrenzen die Skalierbarkeit, insbesondere für ressourcenbeschränkte Clients.

Methodik: FedIvon

Die Autoren schlagen FedIvon vor, einen neuartigen Bayesianischen FL-Algorithmus, der Improved Variational Online Newton (IVON) nutzt, um eine effiziente Variational Inference zweiter Ordnung durchzuführen. Die Methode balanciert die Vorteile der Bayesianischen Inferenz mit einer Rechen- und Kommunikationseffizienz, die mit First-Order-Optimierern wie Adam vergleichbar ist.

Kernkomponenten

Client-seitige Variational Inference (IVON):
- Anstatt eine Punktschätzung zu lernen, approximiert jeder Client seine lokale Posterior-Verteilung $q_k(\theta)$ mithilfe einer Gaußverteilung mit einer diagonalen Kovarianzmatrix: $N(\theta | m_k, \text{diag}(\sigma_k^2))$ .
- Effizienz zweiter Ordnung: Im Gegensatz zu Adam, das Lernraten basierend auf quadrierten Gradienten anpasst, verwendet IVON eine Reparametrisierung, um die diagonale Hesse-Matrix ( $h$ ) implizit zu schätzen, ohne eine explizite Berechnung durchzuführen. Die Varianz wird als $\sigma^2 = 1/(h + \delta)$ abgeleitet.
- Optimierung: Der Algorithmus aktualisiert sowohl den Mittelwertvektor ( $m$ ) als auch die Varianzen ( $\sigma^2$ ) mittels natürlicher Gradienten. Dies liefert natürlich Unsicherheitsschätzungen und erfasst die Geometrie der Verlustfunktion für eine schnellere Konvergenz, während die Rechenkosten ähnlich wie bei Adam bleiben.
Server-seitige Posterior-Aggregation:
- Der Server aggregiert die lokalen Client-Posteriors, um einen globalen Posterior zu berechnen. Da das Produkt von Gaußverteilungen ebenfalls eine Gaußverteilung ist, wird der globale Posterior als Gaußverteilung $N(\theta | \mu, \Lambda^{-1})$ approximiert.
- Aggregationsstrategie: Der globale Mittelwert ( $\mu$ ) und die Präzisionsmatrix ( $\Lambda$ ) werden als gewichtete Summen der lokalen Mittelwerte und Präzisionen berechnet, wobei die Gewichte proportional zur Datensatzgröße der Clients ( $N_k$ ) sind. Diese Strategie ist recheneffizient, da sie nur den Mittelwert und die diagonale Varianz (oder Hesse) erfordert, anstatt vollständiger Modellgewichte oder komplexer Verteilungen.
Personalisierung via hierarchischem Bayesianischem Framework:
- FedIvon unterstützt nativ die personalisierte FL. Der globale Posterior vom Server dient als Prior ( $p_k(\theta)$ ) für die lokale Optimierung des Clients.
- Der Client minimiert eine personalisierte Verlustfunktion: $L_k(q) = \mathbb{E}_{q_k}[\bar{\ell}_k(\theta)] + \beta D_{KL}(q_k(\theta) \| p_k(\theta))$ .
- Der Hyperparameter $\beta$ steuert den Trade-off zwischen lokaler Anpassung und globalem Wissen. Wenn $\beta=0$ , ist das Modell vollständig personalisiert; höhere Werte beziehen mehr globales Wissen ein.

Wichtigste Beiträge

Effizientes Bayesianisches FL zweiter Ordnung: Einführung von FedIvon, das IVON nutzt, um eine Variational Inference mit Rechenkosten durchzuführen, die denen von First-Order-Methoden (wie Adam) ähneln, aber gleichzeitig Informationen zweiter Ordnung (Hesse-Schätzungen) implizit bereitstellt.
Verbesserte Leistung und Unsicherheit: Nachweis, dass FedIvon im Vergleich zu State-of-the-Art (SOTA) Bayesianischen und nicht-Bayesianischen FL-Methoden eine überlegene prädiktive Genauigkeit und bessere Unsicherheitsschätzungen erreicht.
Native Personalisierung: Ein Framework, das eine client-spezifische Modellpersonalisierung nativ ermöglicht, indem der Posterior des Servers als Prior genutzt wird, wodurch ein effektiver Ausgleich zwischen lokalen Dateneigenschaften und globalem gemeinsamem Wissen geschaffen wird.

Experimentelle Ergebnisse

Die Autoren evaluierten FedIton auf drei Datensätzen (EMNIST, SVHN, CIFAR-10) unter Non-IID-Einstellungen mit 200 Clients, die jeweils über begrenzte Daten verfügen (<100 Beispiele).

Standard-FL-Ergebnisse

Genauigkeit & Kalibrierung: FedIvon übertraf die Baselines (FedAvg, FedLaplace) in Bezug auf Testgenauigkeit, Expected Calibration Error (ECE), Negative Log Likelihood (NLL) und Brier Score über alle Datensätze hinweg.
OOD-Erkennung: Bei Aufgaben zur Out-of-Distribution-Erkennung erzielte FedIvon kompetitive oder überlegene AUROC-Werte im Vergleich zu den Baselines, was die Fähigkeit validiert, die prädiktive Unsicherheit effektiv zu quantifizieren.
Konvergenz: Obwohl FedIvon aufgrund des stochastischen Samplings von Gewichten zur Gradientenschätzung eine etwas langsamere initiale Konvergenz zeigte, übertraf es andere Methoden im Verlauf des Trainings aufgrund der verbesserten Hesse-Approximation.

Personalisierte FL-Ergebnisse

Experimente auf CIFAR-10 (Klassenverteilungsschiefe) und CIFAR-100 (Klassenkonzeptdrift) verglichen FedIvon mit pFedME, pFedBayes und pFedVEM.

CIFAR-10: FedIvon erreichte eine Client-Genauigkeit vergleichbar mit pFedVEM, zeigte jedoch signifikante Verbesserungen bei der globalen Server-Genauigkeit, was auf eine bessere Aggregation heterogener Daten hindeutet.
CIFAR-100: FedIvon zeigte signifikante Verbesserungen gegenüber allen Baselines sowohl in der personalisierten Client-Genauigkeit als auch in der globalen Server-Genauigkeit, was seine Robustheit gegenüber Konzeptdrift unterstreicht.

Bedeutung und Ansprüche

Das Paper behauptet, dass FedIvon die Lücke zwischen den theoretischen Vorteilen des Bayesianischen FL (Unsicherheitsquantifizierung, Personalisierung) und den praktischen Beschränkungen föderierter Systeme (Rechenaufwand, Kommunikation) schließt. Durch die Nutzung eines effizienten Optimierungsansatzes zweiter Ordnung vermeidet die Methode den hohen Rechenaufwand von MCMC oder expliziten Hesse-Berechnungen, wie sie in früheren Arbeiten zu finden sind.

Die Autoren stellen fest, dass FedIvon die erste Methode ist, die Folgendes bietet:

Eine Recheneffizienz, die mit First-Order-Optimierern (wie Adam) vergleichbar ist.
Volle Bayesianische Vorteile (Unsicherheit und Personalisierung) ohne die Skalierbarkeitsprobleme bestehender Bayesianischer FL-Methoden.
Überlegene Leistung sowohl in Standard- als auch in personalisierten FL-Szenarien, insbesondere in Situationen mit hoher Datenheterogenität und begrenzten Client-Daten.

Die Arbeit positioniert FedIvon als skalierbare, praktische Lösung für den Einsatz robuster, unsicherheitsbewusster und personalisierter Machine-Learning-Modelle in realen föderierten Umgebungen.