Personalized Additive Modeling for Multi-level Federated Learning

Technische Samenvatting: Gepersonaliseerde Additieve Modellering voor Multi-level Federated Learning

Probleemstelling
Hedendaags Federated Learning (FL) staat voor een kritieke uitdaging: het balanceren van de behoefte aan generalisatie met gebruikersspecifieke personalisatie in de aanwezigheid van zeer heterogene cliëntgegevens. De standaard FL-aannames van Independent and Identically Distributed (IID) data falen vaak bij het vatten van de complexe, gestructureerde non-IID patronen die in realistische scenario's voorkomen. Bestaande methoden, inclusief Clustered FL en Personalized FL (PFL), zijn doorgaans ontworpen voor beperkte heterogeniteitsinstellingen, zoals een vast aantal clusters of een rigide globaal-plus-lokaal structuur. Deze benaderingen hebben moeite wanneer de relaties tussen cliënten multi-granulaire, impliciete structuren vertonen (bijv. grove overeenkomsten op OS-niveau, subgroep-applicatiepatronen en fijnmazige activiteitskenmerken), omdat ze vooraf kennis vereisen van taakgrenzen of zich vastleggen op een vaste hiërarchie die mogelijk niet overeenkomt met de onderliggende datadistributie.

Methodologie: Federated Multi-level Additive Modeling (FeMAM)
De auteurs stellen FeMAM voor, een flexibel framework dat FL modelleert vanuit een multi-level non-IID perspectief. In plaats van een vaste hiërarchie, leert FeMAM een hiërarchie van deelbare modellen over meerdere granulariteiten (van globaal tot cliënt-specifiek) en construeert gepersonaliseerde voorspellers via additieve compositie.

• Multi-level Additieve Architectuur: Het systeem organiseert kennis in $L$ niveaus. Op elk niveau $l$ onderhoudt de server $K_l$ modellen die de kennis op die granulariteit vertegenwoordigen. De gepersonaliseerde voorspeller van een cliënt wordt gevormd door additief één geselecteerd model uit elk niveau te componeren:
  $$f_i(X_i) = \sum_{l=1}^{L} \sum_{k=1}^{K_l} r_{i,k}^{(l)} f(X_i; \Theta_{k}^{(l)})$$
  waarbij $r_{i,k}^{(l)}$ een toewijzingsindicator is. Deze structuur maakt van grof naar fijn verfijning mogelijk, waarbij hogere niveaus gedeelde structuren bieden en lagere niveaus fungeren als residuele correcties.

• Boosting-achtige Optimalisatie: Om de kosten van het gezamenlijk optimaliseren van alle niveaus en de noodzaak om de hiërarchie-diepte vooraf te specificeren te vermijden, hanteert FeMAM een sequentiële, boosting-achtige trainingsstrategie. Het leert niveaus één voor één, waarbij eerder geleerde niveaus worden bevroren en alleen het huidige niveau wordt geoptimaliseerd om de residuele fout te minimaleniseren. Dit waarborgt de trainingsstabiliteit en stelt de methode in staat om zich aan te passen aan de data zonder vooraf een vaste structuur te committeren.

• Cliënt-zijde Structuur Pruning: Om kostenefficiëntie te garanderen en overfitting te voorkomen, implementeert FeMAM een pruning-mechanisme. Na het trainen van een nieuw niveau accepteert een cliënt dit alleen als het de validatiefout vermindert. Dit resulteert in een "on-demand" personalisatiediepte waarbij cliënten met eenvoudigere datadistributies kunnen stoppen bij eerdere niveaus, terwijl die met complexe heterogeniteit diepere hiërarchieën gebruiken.

• Kostenadaptief Ontwerp: Ondanks het onderhouden van meerdere modellen, blijft FeMAM communicatie-efficiënt. Tijdens de training wordt alleen het model van het huidige niveau per cliënt per ronde gecommuniceerd, waardoor de communicatiekosten vergelijkbaar blijven met single-model FL. Tijdens de inferentie slaan cliënten alleen de modellen op die zij hebben geaccepteerd, wat door pruning doorgaans minder is dan de maximale hiërarchie-diepte.

Belangrijkste Bijdragen

1. Formulering: Het artikel formuleert federated personalisatie onder multi-level non-IID heterogeniteit, waarbij de structurele complexiteit wordt geadresseerd die wordt veroorzaakt door moderne AI-personalisatiebehoeften.
2. Mechanisme: Het introduceert een multi-level additieve personalisatiemechanisme dat cliënt-voorspellers construeert via een residu-stijl compositie over niveaus, waardoor de noodzaak voor expliciete taakgrenzen vervalt.
3. Algoritme: De auteurs stellen een "grow-and-prune" trainingspipeline voor die de hiërarchie progressief uitbreidt terwijl onnodige niveaus per cliënt worden weggefilterd (pruning), wat adaptiviteit bereikt zonder een vaste structuur.
4. Theorie: Er wordt een convergentieanalyse geleverd die aantoont dat de sequentie van doelstellingen monotoon niet-toenemend is, vergelijkbaar met gradient boosting.
5. Empirische Validatie: Uitgebreide experimenten tonen aan dat FeMAM consequent de representatieve geclusterde en gepersonaliseerde FL-baselines overtreft in diverse non-IID settings.

Experimentele Resultaten
De auteurs evalueerden FeMAM op beeldclassificatie-datasets (Tiny ImageNet, CIFAR-100) en een grootschalig foundation model scenario (Qwen3-4B met LoRA op FLAN-T5 taken).

• Prestaties: FeMAM behaalde consistent de hoogste testnauwkeurigheid en Macro-F1 scores over drie non-IID partitie-typen: Cluster-wise, Client-wise en Multi-level. Het presteerde beter dan sterke baselines zoals FedAvg, Ditto, FeSEM, FedCAM en pFedMoE.
• Adaptiviteit: In multi-level en client-wise non-IID settings gebruikte FeMAM automatisch diepere hiërarchieën (tot 5 niveaus), terwijl het in Cluster-wise settings terugging naar minder niveaus via pruning, wat zijn vermogen demonstreert om de onderliggende datastructuur te matchen.
• Foundation Models: In het grootschalige experiment behaalde FeMAM de laagste gemiddelde loss en de hoogste ROUGE-1 score, waarmee het methoden overtrof die vertrouwen op eenvoudige global-local designs.
• Efficiëntie: De methode toonde een competitieve wall-clock runtime (sneller dan Ditto) en communicatie-efficiëntie. Pruning zorgde ervoor dat het gemiddelde aantal opgeslagen modellen per cliënt laag bleef (bijv. ~2.4 in Cluster-wise settings), wat de opslagkosten vermindert vergeleken met methoden zoals FedEM.

Betekenis en Claims
Het artikel claimt dat FeMAM een robuuste oplossing biedt voor de "spanning tussen generalisatie en personalisatie" in modern FL. De primaire betekenis ligt in het vermogen om diverse, complexe non-IID structuren te benaderen zonder vooraf kennis te vereisen van het aantal clusters of de diepte van de hiërarchie. Door personalisatiediepte als cliënt-afhankelijk te behandelen en een additieve, boosting-stijl aanpak te gebruiken, past FeMAM zich aan de data aan in plaats de data in een vooraf gedefinieerde modelstructuur te dwingen. De auteurs positioneren dit als een stap richting het hanteren van de gestructureerde heterogeniteit die inherent is aan grootschalige, multi-capability AI-systemen, zoals foundation models met cliënt-zijde adaptatie.

Beperkingen en Toekomstig Werk
De auteurs merken bescheiden op dat hun huidige evaluatie van level-wise componenten beperkt is tot een representatieve instantiatie (FedAvg, K-means clustering en lokale fine-tuning). Zij erkennen dat een systematische studie van alternatieve level-wise methoden (bijv. IFCA, FedPer) en hun interacties tussen niveaus een openstaande onderzoeksvraag is. Daarnaast, hoewel er foundation model experimenten zijn uitgevoerd, was de schaal kleiner dan realistische implementaties, wat suggereert dat toekomstig werk FeMAM op substantieel grotere en diversere taken moet evalueren.