Technische Samenvatting: Adaptieve Datapartitiering voor Energie-efficiënt Federated en Gedistribueerd Leren op Heterogene Systemen

1. Probleemstelling

Gedistribueerde modeltraining op heterogene systemen wordt aanzienlijk gehinderd door variaties in verwerkingsdoorvoer, geheugengedrag en operationele omstandigheden tussen deelnemende apparaten. Wanneer een vaste, gelijke verdeling van trainingsdata wordt toegepast, voltooien snellere apparaten hun werk vroegtijdig en blijven ze inactief terwijl ze wachten op tragere "straggler"-apparaten bij synchronisatiepunten. Dit straggler-effect verhoogt niet alleen de totale trainingsmakespan, maar verhoogt ook het energieverbruik van apparaten, aangezien gesynchroniseerde deelnemers actief moeten blijven totdat collectieve voortgang kan worden voortgezet.

Bestaande benaderingen om dit probleem te verzachten, vertrouwen vaak op deelnemersselectie (het uitsluiten van trage apparaten), asynchrone aggregatie, wijzigingen in optimalisatiemethoden of modeladaptatie. Hoewel recente systemen de herverdeling van trainingsdata hebben verkend, zijn veel afhankelijk van geleerde controllers, voorafgaande zoekopdrachten, specifieke hardware-instellingen of wijzigingen in de synchronisatie-semantiek en de verzameling deelnemers. Er blijft een tekort aan een gemeenschappelijk, closed-loop mechanisme dat kan opereren over verschillende synchronisatie- en data-eigendomsgrenzen (zoals Federated Learning en Distributed Data Parallelism) terwijl de oorspronkelijke leerconfiguratie, het model en de synchronisatieregels behouden blijven.

2. Methodologie

De auteurs stellen een lichtgewicht, op metingen gebaseerde allocatiecontroller voor die een vast steekproefbudget heralloceert op de grenzen van rondes op basis van geobserveerde trainingstijd en gemeten energie per steekproef. De controller werkt zonder het model, de verliesfunctie, de optimizer of de verzameling deelnemende apparaten te wijzigen.

Executie-regimes

De studie evalueert de controller over drie verschillende executie-regimes:

1. Periodic Model Averaging (PMA): Workers trainen onafhankelijke modelreplica's op gedeelde data binnen een vertrouwde domein en synchroniseren alleen op de grenzen van rondes.
2. Distributed Data Parallelism (DDP): Ranks synchroniseren gradiënten na elke optimizer-stap. Dit regime vereist een specifieke batch-sizing strategie om ongelijke per-rank workloads te verwerken zonder padding of dummy batches te introduceren.
3. Hierarchical Federated Learning met intra-silo DDP (HFL-DDP): Apparaten zijn gegroepeerd in vaste "silo's" (data-eigendomsdomeinen). Ranks binnen een silo gebruiken DDP, terwijl silo-modellen worden geaggregeerd op de federated ronde-grens. Herallocatie is beperkt tot ranks binnen dezelfde silo om data-eigendom te respecteren.

De Adaptieve Controller

De controller functioneert als volgt:

• Meting: Aan het einde van elke ronde $r$ rapporteert elke deelnemer zijn verwerkingstijd ($t_i^{(r)}$), energieverbruik ($e_i^{(r)}$) en aantal steekproeven ($n_i^{(r)}$).
• Kostenberekening: Per-steekproef kosten worden afgeleid als $\tau_i^{(r)} = t_i^{(r)} / n_i^{(r)}$ en $\epsilon_i^{(r)} = e_i^{(r)} / n_i^{(r)}$. Deze worden gladgestreken met een Exponential Moving Average (EMA) om ruis te verminderen.
• Gewogen Proportionele Splitsing: De controller berekent een dimensieloze gecombineerde kostenwaarde $c_i^{(r)}$ met behulp van door de gebruiker gekozen gewichten $w_t$ (tijd) en $w_e$ (energie).
  • $c_i^{(r)} = w_t \frac{\hat{\tau}_i^{(r)}}{\text{median}(\hat{\tau})} + w_e \frac{\hat{\epsilon}_i^{(r)}}{\text{median}(\hat{\epsilon})}$
• Allocatie: Deelnemers krijgen steekproeven toegewezen die omgekeerd evenredig zijn aan hun kosten. Een "deadband"-mechanisme voorkomt onnodige herallocatie als de verschillen in kosten verwaarloosbaar zijn.
• DDP-specifieke details: Voor DDP zorgt de controller ervoor dat alle ranks hetzelfde aantal optimizer-stappen per ronde uitvoeren door per-stap batch-grootte schema's te construeren die lokale steekproeven herverdelen, waarbij het steekproefgemiddelde gradiëntdoel behouden blijft.

Experimentele Opstelling

De evaluatie werd uitgevoerd op een elf-apparaats heterogeen System-on-Chip (SoC) testbed met Arm, RISC-V en x86 architecturen. Drie supervised learning taken werden gebruikt: MNIST (beeldclassificatie), ERA5 (tijdreeksregressie) en IMDB (tekstsentimentclassificatie). De studie vergeleek de adaptieve policies tegenover:

• Gelijke allocatie: Uniforme verdeling van steekproeven.
• Statisch geprofileerd: Een eenmalige meting gevolgd door een vaste allocatie.
• Oort-achtige selectie: Een baseline die trage deelnemers uitsluit.
• FedAsync: Asynchrone PMA.
• EMA batch sizing: Een step-level throughput baseline voor DDP.

3. Belangrijkste Bijdragen

Het artikel presenteert vier primaire bijdragen:

1. Een op Meting Gebaseerde Controller: Een lichtgewicht mechanisme dat een vast steekproefbudget heralloceert op basis van geobserveerde tijd en energie per steekproef, waarbij de volledige verzameling deelnemers en de synchronisatie-semantiek behouden blijven.
2. Uniform Ontwerp: Een gemeenschappelijk allocatieontwerp toepasbaar op PMA, DDP en HFL-DDP, met specifieke beperkingen voor data-eigendomsgrenzen in hiërarchische settings.
3. Energie-bewust Doel: Een doelfunctie met instelbare gewichten die de interactie tussen per-steekproef energie, training makespan en gesynchroniseerd apparaatsenergie blootlegt, wat de aanname uitdaagt dat het maximaliseren van het energiegewicht altijd het totale energieverbruik minimaliseert.
4. Uitgebreide Evaluatie: Een gerepliceerde studie over drie leer-taken en drie synchronisatie-regimes op een heterogeen testbed, waarbij de link tussen allocatieveranderingen, compute-imbalans, synchronisatie-blootstelling, makespan en gemeten energie wordt gelegd.

4. Resultaten

Experimenten op het heterogene testbed leverden de volgende bevindingen op:

• Reductie in Makespan en Energie: Adaptieve partitiering (met name de "Time only" en "Low energy" policies) verminderde de training makespan en het gemeten apparaatsenergie consistent vergeleken met de "Equal allocation". In PMA verminderde "Time only" de mediane makespan met ongeveer 71–80% en de energie met 28–40% over de taken heen.
• Mitigatie van Stragglers: De controller verminderde de compute-imbalans aanzienlijk. In DDP daalde de coëfficiënt van variatie voor de forward-pass tijd van ~0,8–1,1 (Equal) naar ~0,02–0,18 (adaptief), wat direct correleerde met de verminderde synchronisatie-wachttijd.
• Convergentie: Adaptieve policies bereikten lage-objectieve regio's (held-out loss/MSE) sneller dan de "Equal allocation", en bereikten vaak een vergelijkbare uiteindelijke kwaliteit in aanzienlijk minder tijd.
• Niet-monotone Energie Respons: Het verhogen van het energiegewicht ($w_e$) leidde niet altijd tot een reductie van de totale energie. Het toewijzen van meer werk aan energie-efficiënte maar tragere apparaten kon de gesynchroniseerde executieperiode verlengen, waardoor de geaccumuleerde energie van alle deelnemers toenam. Een klein energiegewicht ($w_e = 0,25$) bood vaak een betere afweging dan "Energy only" ($w_e = 1$).
• Overhead: De berekening van de scheduling zelf was verwaarloosbaar en verbruikte minder dan 0,02% van de ronde-duur.

5. Betekenis en Claims

Het artikel beweert dat meting-gebaseerde datapartitiering een praktische methode biedt om stragglers te mitigeren in gedistribueerde training-regimes zonder de leerconfiguratie of de synchronisatieregels te wijzigen.

• Practicaliteit: De methode vereist geen voorafgaande profilering, geleerde policies of wijzigingen in de optimizer of modelarchitectuur. Het werkt als een closed-loop controller met behulp van runtime telemetrie.
• Context-afhankelijke Optimalisatie: De auteurs benadrukken dat de optimale balans tussen tijd en energie afhangt van de specifieke taak en het executie-regime. Hoewel "Time only" de meest betrouwbare standaard is voor het minimaliseren van de makespan, kan een klein energiegewicht nuttig zijn in specifieke contexten (bijv. HFL-DDP op bepaalde taken).
• Onderscheid van Voorgaand Werk: In tegen tegenstelling tot deelnemersselectiemethoden (zoals Oort) die apparaten uitsluiten, behoudt deze aanpak alle voorziene deelnemers. In tegenstelling tot asynchrone methoden behoudt het de synchronisatie-semantiek van het doelregime.
• Beperkingen: De auteurs merken bescheiden op dat de resultaten specifiek zijn voor het geëvalueerde elf-apparaats testbed en de vaste netwerkcondities. Ze beweren niet universele superioriteit over alle bestaande methoden, maar demonstreren dat een eenvoudige, op metingen gebaseerde herallocatie van een vast budget beter kan presteren dan statische gelijke splitsingen of eenmalige profilering in heterogene omgevingen.