Federated ADMM from Bayesian Duality

De auteurs stellen een nieuwe Bayesiaanse methode voor die de federale ADMM generaliseert door variatie-Bayesiaanse doelen te koppelen aan een dualiteitsstructuur, waardoor nieuwe varianten zoals Newton- en Adam-achtige updates ontstaan die de nauwkeurigheid in diepe heterogene scenario's verbeteren.

De kern

Hier is een uitleg van het paper "Federated ADMM from Bayesian Duality" in eenvoudig Nederlands, met behulp van creatieve vergelijkingen.

De Grote Droom: Samenwerken zonder te delen

Stel je voor dat er een groep vrienden is (de clients) die allemaal een raadsel willen oplossen. Ze hebben allemaal stukjes van de puzzel, maar ze willen hun stukjes niet aan elkaar laten zien vanwege privacy (bijvoorbeeld: hun foto's of medische gegevens). In het midden staat een leider (de server) die het complete plaatje wil maken.

Hoe doen ze dit? Ze sturen elkaar niet hun puzzelstukjes, maar alleen hun advies over hoe het plaatje eruit zou moeten zien. Dit noemen we Federated Learning.

Het Oude Manier: ADMM (De Strakke Regels)

Sinds de jaren '70 gebruiken wetenschappers een methode genaamd ADMM om dit soort samenwerking te regelen.

• Hoe het werkt: De leider stuurt een globaal idee naar de vrienden. De vrienden passen dit idee aan op basis van hun eigen stukjes en sturen het terug, samen met een "krachtmeting" (een gradiënt) van hoe goed het lukt.
• Het probleem: ADMM werkt als een strakke, robotachtige dans. Iedereen doet precies hetzelfde. Als één vriend een rare, rare puzzelstukjes heeft (bijvoorbeeld een foto met een rare vlek of een heel moeilijk voorbeeld), kan die ene vriend de hele groep vertragen of zelfs in de war brengen. Het is alsof je een groep mensen laat lopen, maar als iemand struikelt, moet iedereen wachten tot diegene weer overeind is, zonder rekening te houden met waarom die persoon struikelde.

De Nieuwe Manier: Bayesian-ADMM (De Slimme Verstandhouding)

De auteurs van dit paper zeggen: "Laten we ADMM niet alleen als een rekenmachine zien, maar als een denker." Ze introduceren een nieuwe manier om te denken, gebaseerd op Bayesiaanse statistiek.

In plaats van alleen te kijken naar wat het antwoord is, kijken ze ook naar hoe zeker ze zijn van dat antwoord.

De Creatieve Analogie: De Weerbericht-App

Stel je voor dat de vrienden niet alleen zeggen: "Ik denk dat het morgen regent" (een vast antwoord), maar:

• Oude ADMM: "Ik denk dat het morgen regent." (Puntje op de i).
• Nieuwe Bayesian-ADMM: "Ik denk dat het morgen regent, maar ik ben er niet 100% zeker van omdat mijn raam vies is."

Door die "onzekerheid" (de waarschijnlijkheid) mee te nemen, kan de leider veel slimmer beslissingen nemen.

De Twee Grote Verbeteringen

De paper introduceert twee nieuwe "superkrachten" voor deze samenwerking:

1. De Newton-variant (De "Snelle Denker")

Stel je voor dat je een bal de berg af rolt.

• ADMM kijkt alleen naar de helling onder zijn voeten en maakt een klein stapje. Als de berg hobbelig is, duurt het lang voordat hij beneden is.
• De nieuwe Newton-variant kijkt naar de vorm van de hele berg. Hij ziet dat het een perfecte parabool is en zegt: "Ah, als ik nu precies hier spring, land ik direct op de bodem!"
• Het resultaat: Voor bepaalde simpele problemen (kwadratische doelen) haalt deze nieuwe methode het antwoord in één enkele ronde. ADMM heeft er tientallen nodig. Het is alsof je van de ene kant van de stad naar de andere loopt, maar in plaats van te lopen, vlieg je er direct naartoe.

2. De Adam-variant (De "Slimme Loper" - IVON-ADMM)

Dit is de methode die ze in de praktijk hebben getest met complexe neurale netwerken (zoals die in je telefoon voor gezichtsherkenning).

• Het probleem: Soms hebben vrienden heel verschillende puzzelstukjes (bijvoorbeeld: de ene vriend heeft alleen foto's van katten, de andere alleen van honden). Dit heet "heterogeniteit". De oude ADMM raakt dan in de war en leert langzaam.
• De oplossing: De nieuwe methode (IVON-ADMM) past zich aan, net zoals Adam (een populaire optimizer) dat doet, maar dan met een extra laag van slimme statistiek. Het houdt rekening met de "ruis" in de data.
• Het resultaat: In de tests (op datasets zoals CIFAR-100) was deze nieuwe methode tot 7% beter dan de beste bestaande methoden. Dat is enorm in de wereld van AI. En het beste? Het kostte niet meer tijd of rekenkracht. Het was alsof ze dezelfde auto gebruikten, maar met een betere navigatie die de kortste weg vond.

Waarom is dit belangrijk? (De "Bayesiaanse Dualiteit")

De auteurs hebben ontdekt dat er een diep, verborgen verband is tussen hoe we waarschijnlijkheid berekenen (Bayes) en hoe we optimalisatieproblemen oplossen (ADMM). Ze noemen dit Bayesian Duality.

• Vroeger: We zagen ADMM en Bayes als twee verschillende talen die nauwelijks met elkaar spraken.
• Nu: Ze hebben een vertaler gevonden. Ze laten zien dat ADMM eigenlijk een heel specifiek, simpel geval is van deze nieuwe, bredere Bayesiaanse theorie.
• De belofte: Omdat ze nu deze "moedertaal" spreken, kunnen ze in de toekomst nog veel slimmere algoritmes bedenken die niet vastzitten in de oude, starre regels van ADMM.

Samenvatting in één zin

De auteurs hebben een oude, robuuste methode voor samenwerken (ADMM) opgefrist door er een "zekerheidsgevoel" (Bayes) aan toe te voegen, waardoor de groep niet alleen sneller leert, maar ook veel slimmer omgaat met rare of moeilijke data, zonder dat het duurder wordt.

Kortom: Ze hebben de "robotdans" veranderd in een "slimme dans", waarbij de dansers weten wanneer ze voorzichtig moeten zijn en wanneer ze een grote sprong kunnen maken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Federated ADMM from Bayesian Duality" in het Nederlands.

Titel: Federated ADMM uit Bayesiaanse Dualiteit

Auteurs: Thomas Möllenhoff, Siddharth Swaroop, Finale Doshi-Velez, Mohammad Emtiyaz Khan
Publicatie: ICLR 2026

---

1. Het Probleem

Federated Learning (FL) traint een globaal model op een server zonder toegang tot de lokale data van de clients. De Alternating Direction Method of Multipliers (ADMM) is een fundamenteel algoritme voor FL dat distributie van berekeningen mogelijk maakt via communicatie tussen server en clients.

Echter, de huidige ADMM-varianten hebben beperkingen:

• Ze zijn grotendeels ongewijzigd sinds de jaren 70 en gebruiken vaste structuren (primal-dual updates met gradiënten).
• Ze worstelen met client-heterogeniteit (verschillende data-distributies) en ruis.
• Bestaande pogingen om ADMM te verbinden met Bayesiaanse methoden (zoals Partitioned Variational Inference of PVI) hebben geen exacte theoretische link gevonden en missen de mogelijkheid om ADMM als een speciaal geval af te leiden.
• Er is behoefte aan generalisaties die sneller convergeren (bijv. Newton-achtig gedrag) of robuuster zijn in diepe, heterogene netwerken.

2. Methodologie: Bayesiaanse Dualiteit

De auteurs introduceren een nieuw raamwerk dat ADMM generaliseert door gebruik te maken van Variational Bayes (VB) en de structuur van Exponentiële Families (EF).

Kernconcepten:

1. Bayesiaanse Dualiteit:

   • In plaats van te optimaliseren over parameters $\theta$, optimaliseert men over kansverdelingen $q(\theta)$.
   • De auteurs tonen aan dat de oplossingen van VB-objectieven een dualiteitsstructuur hebben die sterk lijkt op de vaste-puntvergelijkingen van ADMM, maar deze generaliseert.
   • Ze definiëren een nieuwe structuur waarin primal-variabelen de verwachtingsparameters ($\mu$) zijn en dual-variabelen de natuurlijke gradiënten ($\eta$) zijn.

2. Van Gradiënten naar Natuurlijke Gradiënten:

   • Klassiek ADMM gebruikt gewone gradiënten ($\nabla \ell$).
   • Het nieuwe algoritme, Bayesian-ADMM, vervangt deze door natuurlijke gradiënten ($\tilde{\nabla}$), die geschaald worden met de inverse Fisher-informatiematrix. Dit is cruciaal om de dualiteit tussen de natuurlijke parameters ($\lambda$) en verwachtingsparameters ($\mu$) correct te handhaven.

3. Het Bayesian-ADMM Algoritme:
   Het algoritme volgt de flow van ADMM maar met twee belangrijke wijzigingen:

   • KL-divergentie: De kwadratische proximaal-termen in ADMM worden vervangen door KL-divergentie (geschikter voor verdelingen).
   • Dual Update: De update van de dual-variabelen gebeurt via het verschil in natuurlijke parameters ($\lambda_k - \lambda_g$) in plaats van het verschil in parameters ($\mu_k - \mu_g$). Dit garandeert dat de dual-variabelen gelijk blijven aan de lokale natuurlijke gradiënten na elke update.

3. Belangrijkste Bijdragen

A. Theoretische Generalisatie

De auteurs bewijzen dat klassiek Federated ADMM een speciaal geval is van Bayesian-ADMM wanneer men kiest voor isotrope Gaussische verdelingen (met vaste variantie). Hiermee wordt de kloof tussen ADMM en VB overbrugd.

B. Nieuwe Algoritme-varianten

Door andere exponentiële families te kiezen, ontstaan er nieuwe, niet-triviale generalisaties:

1. Newton-achtige Variant (Volledige Covariantie):

   • Door verdelingen met een volle covariantiematrix te gebruiken, ontstaat een variant die Newton's methode nabootst.
   • Voordeel: Convergeert in één communicatie-rondje voor kwadratische doelstellingen (zoals Ridge-regressie). Dit is een significant voordeel ten opzichte van standaard ADMM.
   • Het algoritme is zeer robuust tegen uitbijters (outliers) omdat het onzekerheid (variatie) meeneemt in de updates.

2. IVON-ADMM (Adam-achtige Variant):

   • Een schaalbare variant die diagonale covariantiematrices gebruikt.
   • Implementatie: Gebruikt de IVON (Improved Variational Online Newton) optimizer van Shen et al. (2024) om de client-subproblemen op te lossen.
   • Voordeel: Combineert de stabiliteit van Bayesiaanse methoden met de efficiëntie van Adam-achtige optimizers. Het kost weinig extra rekentijd vergeleken met standaard ADMM, maar levert betere prestaties op.

4. Resultaten

De auteurs evalueren hun methoden op diverse benchmarks, waaronder MNIST, FashionMNIST, CIFAR-10 en CIFAR-100, met zowel homogene als sterk heterogene data-splits.

• Convergentie:

  • De Newton-achtige variant convergeert in één stap voor kwadratische problemen, terwijl andere methoden (zoals PVI of Bregman-ADMM) veel rondes nodig hebben of zelfs divergeren.
  • IVON-ADMM convergeert sneller dan PVI in de vroege rondes.

• Prestaties in Deep Learning:

  • IVON-ADMM presteert over het algemeen beter dan bestaande state-of-the-art methoden (FedAvg, FedProx, FedDyn, FedLap, FedLap-Cov).
  • Op heterogene CIFAR-100 data (ResNet-20) boekte IVON-ADMM een accuraciesverbetering van tot 7% ten opzichte van de beste baselines.
  • Het levert ook een lagere Test NLL (Negative Log-Likelihood) op, wat wijst op betere onzekerheidskalibratie.

• Efficiëntie:

  • IVON-ADMM heeft een vergelijkbare rekentijd en communicatiekosten als FedDyn en FedLap.
  • In tegenstelling tot FedLap-Cov (dat een dure Laplace-approximatie vereist), is IVON-ADMM computatieel zeer efficiënt en schaalbaar.

5. Significatie en Impact

• Nieuw Perspectief: Het paper opent een nieuwe "Bayesiaanse weg" om primal-dual methoden zoals ADMM te generaliseren. Het toont aan dat ADMM niet statisch is, maar een speciaal geval van een breder Bayesiaans raamwerk.
• Robuustheid: Door onzekerheid (via covarianties) expliciet te modelleren, zijn de nieuwe methoden veel robuuster tegen heterogene data en uitbijters dan traditionele ADMM-varianten.
• Praktische Toepasbaarheid: De IVON-ADMM variant biedt een praktische, goedkope manier om de voordelen van Bayesiaanse Federated Learning (zoals betere generalisatie en onzekerheidsschatting) toe te passen in diepe neurale netwerken zonder de rekenkosten exponentieel te laten stijgen.

Conclusie:
Dit werk verbindt de wiskundige elegantie van variational Bayes met de praktische kracht van ADMM. Het levert niet alleen een theoretisch inzicht (Bayesiaanse Dualiteit), maar ook concrete, superieure algoritmen (Newton-variant en IVON-ADMM) die de staat der techniek voor Federated Learning verbeteren, vooral in uitdagende, heterogene scenario's.