Split Federated Learning Architectures for High-Accuracy and Low-Delay Model Training

Deze paper introduceert een nieuwe optimalisatiebenadering voor Split Federated Learning die de modelverdelingslagen en toewijzingen van clients aan aggregators gezamenlijk optimaliseert om de trainingsnauwkeurigheid te verhogen en de vertraging en communicatie-overhead aanzienlijk te verlagen.

De kern

Stel je voor dat je een gigantisch, complex puzzelstuk wilt oplossen, maar je hebt geen enkele persoon die het alleen kan doen. Je hebt een hele groep vrienden nodig. Dit is precies wat Federated Learning (een manier om kunstmatige intelligentie te trainen) doet: het laat duizenden telefoons en apparaten samenwerken om een slim model te bouwen, zonder dat ze hun eigen privé-data hoeven te delen.

Maar er is een probleem: sommige vrienden zijn snel (zoals een krachtige smartphone), terwijl anderen traag zijn (zoals een oud apparaatje). In de huidige systemen moet de snelste vriend wachten tot de traagste klaar is. Het is alsof een rennende marathonloper stopt en wacht tot iemand die op een rolstoel zit de finish haalt. Dit kost veel tijd en energie.

De auteurs van dit papier hebben een slimme oplossing bedacht, genaamd AA HSFL-ll. Laten we dit uitleggen met een paar creatieve vergelijkingen.

1. Het Probleem: De "Verkeersopstopping"

In de oude manier van werken (Split Federated Learning) wordt het puzzelstuk in tweeën gehakt:

• Deel A wordt op de telefoons gedaan.
• Deel B wordt op een centrale computer (de server) gedaan.

Het probleem is dat de telefoons wachten tot de server klaar is, en de server wacht tot de telefoons klaar zijn. Het is alsof je een koerier hebt die een pakketje moet bezorgen, maar die moet wachten tot de ontvanger het huis heeft opendoen, en de ontvanger moet wachten tot de koerier aankomt. Niemand doet iets zolang de ander niet klaar is.

2. De Oplossing: De "Super-Helper" en de "Slimme Splitsing"

De auteurs introduceren een nieuw systeem met drie lagen, alsof je een bouwproject organiseert:

• De Werkers (De Cliënten): Dit zijn de gewone telefoons. Ze doen het eerste deel van het werk.
• De Super-Helpers (De Aggregators): Dit zijn de krachtigere telefoons in de groep. Ze fungeren als een tussenstation. Ze nemen het werk over van de zwakkere telefoons en sturen het pas door naar de hoofdkantoor.
• De Hoofdkantoor (De Server): Dit is de krachtige computer die het laatste, zwaarste deel van het werk doet.

De Creatieve Analogie: Het Restaurant
Stel je een druk restaurant voor waar je een complexe maaltijd wilt bestellen:

• Oude methode: De kok (server) wacht tot de ober (telefoon) de bestelling heeft opgehaald, en de ober wacht tot de kok de maaltijd heeft gemaakt. Als de ober traag is, staat de hele keuken stil.
• Nieuwe methode (AA HSFL-ll): Je hebt een Chef (Server), Obers (Cliënten) en Sous-chefs (Aggregators).
  • De Sous-chefs zijn de sterkste ober. Ze helpen de langzamere ober door het eerste deel van de maaltijd (het snijden van groenten) voor hen te doen.
  • De Sous-chef geeft het dan door aan de Chef.
  • De Chef maakt het af.
  • Het slimme deel: De Sous-chef hoeft niet te wachten tot de Chef terugkomt om te zeggen "het is klaar". De Sous-chef kan alvast de volgende stap doen op basis van een schatting, zodat niemand inactief staat.

3. De Twee Grote Uitdagingen (En hoe ze ze oplossen)

De auteurs stelden twee vragen:

1. Waar moeten we het werk opsplitsen? (Op welk punt in het recept stoppen de ober en de sous-chef?)
2. Wie helpt wie? (Welke sterke telefoon helpt welke zwakke telefoon?)

Het Geheim: De "Splitsingslijn" is cruciaal
Vroeger dachten mensen: "Het maakt niet uit waar we het werk opsplitsen, zolang het maar snel gaat."
De auteurs zeggen: "Nee, dat is fout!"
Als je het werk op het verkeerde moment opsplitsen (bijvoorbeeld te vroeg in het recept), wordt het eindresultaat (de smaak van de maaltijd, oftewel de nauwkeurigheid van de AI) slecht.

• Vergelijking: Als je een taart bakt en je stopt met bakken voordat de eieren goed gemengd zijn, is de taart niet lekker, ook al was het snel klaar.

Deze paper is de eerste die zegt: "Laten we eerst kijken waar de taart het lekkerst wordt, en daarna pas kijken hoe we het snelst kunnen bakken."

4. Het Resultaat: Sneller, Slimmer en Goedkoper

Door een slim algoritme te gebruiken dat automatisch de beste "Sous-chefs" kiest en de beste "opsplitsingspunten" bepaalt, bereiken ze drie dingen:

1. Hogere Nauwkeurigheid (+3%): De taart smaakt beter omdat ze de juiste splitsing kiezen.
2. Minder Wachtijd (-20%): Niemand staat stil. De sterke telefoons helpen de zwakke, en niemand hoeft te wachten op de server.
3. Minder Dataverkeer (-50%): Omdat de tussenstation (Sous-chef) veel werk lokaal regelt, hoeft er minder data heen en weer te reizen naar de hoofdkantoor.

Samenvatting in één zin

Dit papier bedacht een slimme manier om een groep telefoons te organiseren waarbij de sterkste apparaten de zwakke helpen, zodat niemand hoeft te wachten, de resultaten beter zijn, en er minder internetverkeer nodig is – allemaal door slim te beslissen waar en aan wie je het werk uitdeelt.

Het is alsof je van een chaotische file een goed georganiseerde file maakt met een extra rij voor snelle auto's die de langzame auto's voorbij kunnen laten, zodat iedereen sneller op zijn bestemming is.

Technische samenvatting

Hieronder volgt een gedetailleerde technische samenvatting van het artikel "Split Federated Learning Architectures for High-Accuracy and Low-Delay Model Training" in het Nederlands.

1. Probleemstelling

Het artikel adresseert de uitdagingen binnen Split Federated Learning (SFL), een paradigma dat de voordelen van Federated Learning (privacy) en Split Learning (resource-efficiëntie) combineert. Bestaande SFL-architecturen, en zelfs de nieuwere Hiërarchische SFL (HSFL) varianten, kampen met twee fundamentele problemen:

• Backward Locking: Clients moeten wachten op de server om gradients te ontvangen voordat ze backpropagation kunnen uitvoeren, wat leidt tot idle-tijd.
• Straggler Effect: Sterke clients moeten wachten op langzamere (zwakkere) clients, wat de totale trainingsvertraging verhoogt.

Hoewel bestaande oplossingen (zoals lokale-verlies learning en asynchrone updates) deze vertragingen proberen te verminderen, negeren ze een cruciaal aspect: de impact van de modelverdeling (partitioning) op de modelnauwkeurigheid. Bestaande werken gaan er vaak ten onrechte van uit dat de keuze van de "cut layer" (waar het model wordt opgesplitst) alleen invloed heeft op vertraging en overhead, en niet op de uiteindelijke nauwkeurigheid. Het artikel toont aan dat een suboptimale keuze van de cut layer de nauwkeurigheid aanzienlijk kan verminderen.

Het kernprobleem is dus het gezamenlijk optimaliseren van:

1. De keuze van de aggregator layer en de cut layer (waar het model wordt opgesplitst in drie sub-modellen).
2. De toewijzing van clients aan lokale aggregators (sterke clients die als tussenlaag fungeren).

Dit moet gebeuren met als doel de trainingsvertraging en communicatie-overhead te minimaliseren, terwijl de nauwkeurigheidsgaranties worden gehandhaafd.

2. Methodologie

De auteurs stellen een Hiërarchische SFL met Lokale Verlies (HSFL-ll) architectuur voor en ontwikkelen een nieuwe, nauwkeurigheidsbewuste heuristiek genaamd AA HSFL-ll.

A. Systeemarchitectuur

Het systeem bestaat uit drie lagen:

1. Clients: Trainen het eerste deel van het model (tot de aggregator layer).
2. Lokale Aggregators: Een subset van sterke clients die het middelste deel van het model trainen (tussen aggregator en cut layer) en aggregatie uitvoeren.
3. Server: Traine het laatste deel van het model (na de cut layer).

Het model wordt opgesplitst in drie sub-modellen door twee lagen: de aggregator layer ($h$) en de cut layer ($v$).

B. Het Optimalisatieprobleem

De auteurs formuleren een gezamenlijk optimalisatieprobleem om de ronde-vertraging ($T_{round}$) te minimaliseren onder nauwkeurigheidsbeperkingen.

• Het probleem is bewezen NP-hard. Een exhaustieve zoektocht naar de optimale oplossing is onhaalbaar voor grote netwerken vanwege de exponentiële zoekruimte (combinaties van lagen en client-toewijzingen).
• De nauwkeurigheidsbeperking wordt gedefinieerd als het selecteren van een cut layer waarvan de nauwkeurigheid binnen een bepaalde tolerantie ($thr$) ligt van de maximale mogelijke nauwkeurigheid.

C. Het AA HSFL-ll Algoritme

Het voorgestelde algoritme werkt in twee fasen:

1. Fase 1: Identificatie van kandidaat-cut layers (Offline).
   • Er wordt een korte offline training uitgevoerd op een subset van clients om de nauwkeurigheid te meten voor verschillende mogelijke cut layers.
   • Een set $V^*$ van kandidaat-cut layers wordt geselecteerd die voldoen aan de nauwkeurigheidsdrempel.
2. Fase 2: Gezamenlijke selectie van lagen en toewijzingen (Online/Heuristisch).
   • Voor elke kandidaat-cut layer uit $V^*$ wordt gezocht naar de optimale aggregator layer ($h$) en het percentage aggregators ($\lambda$).
   • Het algoritme gebruikt een binair zoekproces over de mogelijke aggregator layers om een balans te vinden tussen de vertraging aan de client-kant en de aggregator-kant.
   • Clients worden toegewezen aan de lokale aggregator die de minimale maximale vertraging oplevert (greedy benadering).
   • Het algoritme past zich dynamisch aan bij systeemveranderingen (zoals variaties in rekenkracht of netwerkbandbreedte) door de beslissingen voor de volgende ronde opnieuw te berekenen.

3. Belangrijkste Bijdragen

• Nieuw Inzicht: Het is het eerste werk dat aantoont dat de keuze van de partitioneringslagen en client-toewijzingen direct invloed heeft op de modelnauwkeurigheid, en niet alleen op de vertraging.
• Formulering en Complexiteit: Het probleem is formeel geformuleerd als een gezamenlijke optimalisatie en bewezen NP-hard te zijn.
• Nieuw Algoritme: Voorstel van AA HSFL-ll, het eerste nauwkeurigheidsbewuste algoritme dat de partitioneringslagen en client-toewijzingen gezamenlijk optimaliseert.
• Robuustheid: Het algoritme is ontworpen om snel te convergeren en zich aan te passen aan dynamische systeemveranderingen (bijv. achtergrondtaken op clients of variërende netwerksnelheden).

4. Resultaten

De prestaties zijn geëvalueerd op openbare datasets (MNIST, CIFAR-10, CINIC-10) met verschillende modellen (AlexNet, VGG-11/19, ResNet-101) en vergeleken met state-of-the-art SFL en HSFL schema's (zoals DTFL, LocSFL, Multihop SFL).

Kernresultaten:

• Nauwkeurigheid: Het voorstel verbetert de nauwkeurigheid met ongeveer 3% ten opzichte van de beste bestaande methoden.
• Vertraging: Er is een reductie in trainingsvertraging van ongeveer 20%.
• Overhead: De communicatie-overhead wordt met 50% verlaagd.
• Efficiëntie: Het algoritme bereikt oplossingen die zeer dicht bij de optimale oplossing liggen (sub-optimaliteit < 12% zelfs bij grote schaal), maar met een rekenkundige snelheid die 10x tot 40x sneller is dan een exhaustieve zoektocht.
• Aanpassingsvermogen: Bij systeemveranderingen (bijv. 30% extra rekenlast op clients) verkleint het adaptieve algoritme de vertragingstoename aanzienlijk vergeleken met statische oplossingen.

5. Significantie

Deze studie is significant omdat het een fundamentele beperking in bestaande SFL-architecturen oplost: de verwaarlozing van de relatie tussen modelarchitectuur en nauwkeurigheid. Door een nauwkeurigheidsbewuste aanpak te combineren met een hiërarchische structuur, biedt AA HSFL-ll een praktische oplossing voor heterogene omgevingen (zoals IoT-netwerken met mix van krachtige en zwakke apparaten).

Het werk bewijst dat het niet alleen gaat om het versnellen van training door parallelisme, maar dat de strategie van hoe het model wordt opgesplitst en wie wat doet, cruciaal is voor zowel de kwaliteit van het eindmodel als de efficiëntie van het proces. Dit maakt de technologie beter toepasbaar in real-world scenario's waar zowel privacy, snelheid als hoge nauwkeurigheid vereist zijn.