Personalized Additive Modeling for Multi-level Federated Learning

Technische Zusammenfassung: Personalisierte additive Modellierung für mehrstufiges föderiertes Lernen

Problemstellung
Das zeitgenössische föderierte Lernen (Federated Learning, FL) steht vor einer kritischen Herausforderung: der Balance zwischen der Notwendigkeit der Generalisierung und der nutzerspezifischen Personalisierung angesichts hochgradig heterogener Client-Daten. Die Standard-FL-Annahmen von unabhängig und identisch verteilten (IID) Daten versagen oft dabei, die komplexen, strukturierten Non-IID-Muster abzubilden, die in realen Szenarien vorkommen. Bestehende Methoden, einschließlich Clustered FL und Personalized FL (PFL), sind typischerweise für eingeschränkte Heterogenitätsszenarien konzipiert, wie etwa eine feste Anzahl von Clustern oder eine starre Global-plus-Lokal-Struktur. Diese Ansätze haben Schwierigkeiten, wenn Client-Beziehungen multi-granulare, implizite Strukturen aufweisen (z. B. grobe Ähnlichkeiten auf OS-Ebene, Subgruppen-Anwendungsmuster und feingranulare Aktivitätsmerkmale), da sie entweder Vorwissen über Aufgaben-Grenzen erfordern oder sich auf eine feste Hierarchie festlegen müssen, die möglicherweise nicht mit der zugrunde liegenden Datenverteilung übereinstimmt.

Methodik: Federated Multi-level Additive Modeling (FeMAM)
Die Autoren schlagen FeMAM vor, ein flexibles Framework, das FL aus einer mehrstufigen Non-IID-Perspektive modelliert. Anstatt einer festen Hierarchie lernt FeMAM eine Hierarchie von teilbaren Modellen über mehrere Granularitäten hinweg (von global bis client-spezifisch) und konstruiert personalisierte Prädiktoren mittels additiver Komposition.

• Mehrstufige additive Architektur: Das System organisiert Wissen in $L$ Ebenen. Auf jeder Ebene $l$ unterhält der Server $K_l$ Modelle, die das Wissen auf dieser Granularität repräsentieren. Ein personalisierter Prädiktor eines Clients wird durch die additive Komposition eines ausgewählten Modells aus jeder Ebene gebildet:
  $$f_i(X_i) = \sum_{l=1}^{L} \sum_{k=1}^{K_l} r_{i,k}^{(l)} f(X_i; \Theta_{k}^{(l)})$$
  wobei $r_{i,k}^{(l)}$ ein Zuordnungsindikator ist. Diese Struktur ermöglicht eine Verfeinerung von grob nach fein, wobei höhere Ebenen die gemeinsame Struktur bereitstellen und untere Ebenen als Residuen-Korrekturen fungieren.

• Boosting-ähnliche Optimierung: Um die Kosten einer gemeinsamen Optimierung aller Ebenen und die Notwendigkeit einer vordefinierten Hierarchietiefe zu vermeiden, verwendet FeMAM eine sequentielle, Boosting-ähnliche Trainingsstrategie. Es lernt die Ebenen nacheinander, indem es zuvor gelernte Ebenen einfriert und nur die aktuelle Ebene optimiert, um den Residuenfehler zu minimieren. Dies gewährleistet die Trainingsstabilität und ermöglicht es der Methode, sich an die Daten anzupassen, ohne vorab eine feste Struktur festzulegen.

• Client-seitige Struktur-Pruning: Um die Kosteneffizienz zu gewährleisten und Overfitting zu verhindern, implementiert FeMAM einen Pruning-Mechanismus. Nach dem Training einer neuen Ebene akzeptiert ein Client diese nur dann, wenn sie den Validierungsfehler reduziert. Dies führt zu einer „On-Demand“-Personalisierungstiefe, bei der Clients mit einfacheren Datenverteilungen möglicherweise in früheren Ebenen stoppen, während jene mit komplexer Heterogenität tiefere Hierarchien nutzen.

• Kostenadaptive Gestaltung: Trotz der Pflege mehrerer Modelle bleibt FeMAM kommunikationseffizient. Während des Trainings wird pro Client und Runde nur das Modell der aktuellen Ebene kommuniziert, wodurch die Kommunikationskosten mit denen eines Single-Modell-FL vergleichbar bleiben. Bei der Inferenz speichern die Clients nur die Modelle, die sie akzeptiert haben, was typischerweise weniger als die maximale Hierarchietiefe umfasst, bedingt durch das Pruning.

Zentrale Beiträge

1. Formulierung: Die Arbeit formuliert die föderierte Personalisierung unter Berücksichtigung multi-stufiger Non-IID-Heterogenität und adressiert die strukturelle Komplexität, die durch moderne KI-Personalisierungsbedürfnisse induziert wird.
2. Mechanismus: Sie führt einen mehrstufigen additiven Personalisierungsmechanismus ein, der client-spezifische Prädiktoren über Ebenen hinweg mittels einer Residuen-ähnlichen Komposition konstruiert und so die Notwendigkeit expliziter Aufgaben-Grenzen eliminiert.
3. Algorithmus: Die Autoren schlagen eine „Grow-and-Prune“-Trainingspipeline vor, die die Hierarchie progressiv erweitert und gleichzeitig unnötige Ebenen pro Client wegprült, wodurch Adaptivität ohne feste Struktur erreicht wird.
4. Theorie: Eine Konvergenzanalyse wird bereitgestellt, die zeigt, dass die Sequenz der Zielobjektive monoton nicht-steigend ist, ähnlich wie beim Gradient Boosting.
5. Empirische Validierung: Umfangreiche Experimente zeigen, dass FeMAM konsistent die repräsentativen Clustered- und Personalized-FL-Baselines über diverse Non-IID-Settings hinweg übertrifft.

Experimentelle Ergebnisse
Die Autoren evaluierten FeMAM auf Bildklassifizierungs-Datensätzen (Tiny ImageNet, CIFAR-100) und einem groß angelegten Foundation-Model-Szenario (Qwen3-4B mit LoRA auf FLAN-T5 Aufgaben).

• Performance: FeMAM erreichte konsistent die höchsten Testgenauigkeiten und Macro-F1-Scores über drei Non-IID-Partitionstypen hinweg: Cluster-wise, Client-wise und Multi-level. Es übertraf starke Baselines wie FedAvg, Ditto, FeSEM, FedCAM und pFedMoE.
• Adaptivität: In Multi-level- und Client-wise Non-IID-Settings nutzte FeMAM automatisch tiefere Hierarchien (bis zu 5 Ebenen), während es in Cluster-wise Settings auf weniger Ebenen zurückprülte, was seine Fähigkeit demonstriert, die zugrunde liegende Datenstruktur abzubilden.
• Foundation Models: Im groß angelegten Experiment erzielte FeMAM den niedrigsten durchschnittlichen Loss und den höchsten ROUGE-1 Score und übertraf damit Methoden, die auf einfachen Global-Local-Designs basieren.
• Effizienz: Die Methode zeigte kompetitive Wall-Clock-Laufzeiten (schneller als Ditto) und Kommunikationseffizienz. Das Pruning stellte sicher, dass die durchschnittliche Anzahl der gespeicherten Modelle pro Client niedrig blieb (z. B. ~2,4 in Cluster-wise Settings), was die Speicherkosten im Vergleich zu Methoden wie FedEM reduziert.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass FeMAM eine robuste Lösung für das „Spannungsverhältnis zwischen Generalisierung und Personalisierung“ im modernen FL bietet. Seine primäre Bedeutung liegt in der Fähigkeit, diverse, komplexe Non-IID-Strukturen zu approximieren, ohne Vorwissen über die Anzahl der Cluster oder die Tiefe der Hierarchie zu benötigen. Indem es die Personalisierungstiefe als client-abhängig behandelt und einen additiven, Boosting-ähnlichen Ansatz nutzt, passt sich FeMAM an die Daten an, anstatt die Daten in eine vordefinierte Modellstruktur zu zwingen. Die Autoren positionieren dies als einen Schritt hin zum Umgang mit der strukturierten Heterogenität, die in groß angelegten, multi-kapazitiven KI-Systemen wie Foundation Models mit client-seitiger Adaption inhärent ist.

Limitierungen und zukünftige Arbeiten
Die Autoren merken bescheiden an, dass ihre aktuelle Evaluierung der ebenspezifischen Komponenten auf einer repräsentativen Instanziierung (FedAvg, K-Means Clustering und lokales Fine-Tuning) beschränkt ist. Sie räumen ein, dass eine systematische Untersuchung alternativer ebenspezifischer Methoden (z. B. IFCA, FedPer) und deren Wechselwirkungen zwischen den Ebenen eine offene Forschungsrichtung bleibt. Zudem wurden zwar Foundation-Model-Experimente durchgeführt, die Skalierung war jedoch kleiner als bei realen Einsätzen, was darauf hindeutet, dass zukünftige Arbeiten FeMAM auf wesentlich größeren und vielfältigeren Aufgaben-Sets evaluieren sollten.