💻 computer science

Adaptive Data Partitioning for Energy-Efficient Federated and Distributed Learning on Heterogeneous Systems

Dieses Papier schlägt einen messungsgesteuerten adaptiven Datenpartitionierungs-Controller vor, der Stichprobenbudgets basierend auf Echtzeit-Trainingszeit- und Energiemetriken dynamisch neu verteilt, um Stragglers zu mildern, den Energieverbrauch zu senken und die Trainingseffizienz über heterogene verteilte und föderierte Lernsysteme hinweg zu verbessern.

Ursprüngliche Autoren: Daniel Suárez Labena, Vicente José Blanco Pérez, Pedro Antonio Toledo Delgado, Francisco Carmelo Almeida Rodríguez

Veröffentlicht 2026-08-10

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Daniel Suárez Labena, Vicente José Blanco Pérez, Pedro Antonio Toledo Delgado, Francisco Carmelo Almeida Rodríguez

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Klassenzimmer vor, in dem eine Gruppe von Schülern versucht, gemeinsam ein riesiges, komplexes Puzzle zu lösen. In einer perfekten Welt würden alle im exakt gleichen Tempo arbeiten, ihr Teil zur gleichen Zeit fertigstellen und es gleichzeitig dem Lehrer übergeben. Aber in der realen Welt haben einige Schüler super-schnelle Gehirne, andere langsamere Prozessoren, manche sind müde und andere abgelenkt. Dies ist die tägliche Realität des verteilten Lernens (distributed learning), einem Bereich, in dem Computer (oder Geräte) Teams bilden, um Modelle der künstlichen Intelligenz zu trainieren. Anstatt dass ein einziger riesiger Supercomputer die gesamte Arbeit erledigt, nutzen wir viele kleinere Geräte – wie Smartphones, Tablets oder spezialisierte Chips –, die parallel arbeiten.

Es gibt jedoch einen Haken: Die gesamte Gruppe muss auf den langsamsten Schüler warten, bevor sie zum nächsten Schritt übergehen kann. Wenn ein Schüler langsam ist, sitzen die Schnellen untätig herum und verschwenden Zeit und Akkukapazität. Dies wird als „Straggler-Effekt“ (Nachzügler-Effekt) bezeichnet. Es ist wie bei einem Staffellauf, bei dem die schnellsten Läufer gezwungen sind, an der Ziellinie stehen zu bleiben und zu warten, bis der langsamste Läufer aufgeschlossen hat. Das Ziel der Forscher in diesem Bereich ist es, herauszufinden, wie man alle beschäftigt hält, das Rennen schneller beendet und Energie spart, selbst wenn das Team aus sehr unterschiedlichen Arten von Läufern besteht.

Das Problem: Die „Einheitsgröße“-Falle

Die Forscher der Universität La Laguna stellten fest, dass die meisten Systeme alle Geräte gleich behandeln. Sie sagen: „Okay, wir haben 1.000 Puzzleteile; geben wir jedem der 10 Schüler 100 Stück.“ Das scheint fair zu sein, ist aber tatsächlich ineffizient. Wenn Schüler A einen superschnellen Computer hat, wird er seine 100 Teile in einer Minute fertig haben und dann 10 Minuten lang auf Schüler B warten müssen, der ein langsameres Gerät besitzt. Während dieser 10 Minuten läuft der Computer von Schüler A immer noch vor sich hin und verbraucht Strom, während er nur wartet.

Die Arbeit stellt eine einfache Frage: Was wäre, wenn wir nicht jedem die gleiche Menge an Arbeit geben würden? Was wäre, wenn wir den schnellen Schülern mehr Teile und den langsamen Schülern weniger Teile gaben, damit alle etwa zur gleichen Zeit fertig werden? Und noch besser: Was wäre, wenn wir auch berücksichtigen würden, welche Schüler pro Teil am wenigsten Akku verbrauchen?

Die Lösung: Der kluge Coach

Die Autoren entwickelten einen „Smart Coach“ (einen messungsgesteuerten Controller), der die Schüler bei der Arbeit beobachtet. Er rät nicht, wer schnell oder langsam ist; er misst sie tatsächlich.

So arbeitet der Coach:

Runde 1: Jeder erhält einen gleichen Anteil am Puzzle.
Der Check-in: Am Ende der Runde fragt der Coach: „Wie lange hat es gedauert?“ und „Wie viel Akku hast du verbraucht?“
Die Anpassung: Für die nächste Runde verteilt der Coach die Arbeit neu. Wenn ein Gerät schnell und effizient war, sagt der Coach: „Gute Arbeit! Hier ist mehr Arbeit für dich.“ Wenn ein Gerät langsam war oder seinen Akku schnell entleert hat, sagt der Coach: „Mach es ruhig angehen, hier ist weniger Arbeit.“

Dies geschieht an der Grenze jeder „Runde“ des Trainings. Der Coach ist klug genug, die Regeln des Spiels zu kennen. In einigen Spielen (wie dem Federated Learning) gehören die Daten bestimmten Personen und können nicht verschoben werden. In diesen Fällen kann der Coach die Arbeit nur zwischen den Geräten innerhalb der Gruppe dieser Person umverteilen. In anderen Spielen, in denen alle die Daten teilen, kann der Coach die Arbeit frei zwischen allen Geräten bewegen.

Die Ergebnisse: Geschwindigkeit und Ersparnis

Die Forscher testeten diesen „Smart Coach“ auf einem Spielfeld von 11 verschiedenen Geräten, die von leistungsstarken Computerchips bis hin zu winzigen, stromsparenden Boards reichten. Sie verglichen ihre Methode mit der alten „Gleichverteilungsmethode“ (Equal Split) und einer „statischen Profilmethode“ (bei der der Coach dich einmal zu Beginn misst und den Plan nie wieder ändert).

Das haben sie herausgefunden:

Schnellere Fertigstellung: Indem sie den schnen Geräten mehr Arbeit und den langsamen weniger Arbeit gaben, schloss die gesamte Gruppe das Training viel schneller ab. In einigen Tests wurde die Zeit bis zum Abschluss im Vergleich zur Gleichverteilung um über 70 % reduziert.
Energieeinsparungen: Da die schnellen Geräte nicht einfach nur herumsaßen und warteten, sank der Gesamtenergieverbrauch der Gruppe signifikant. In einigen Fällen sank der Energieverbrauch um mehr als 40 %.
Die Überraschung beim „Energiegewicht“: Der Coach hatte eine spezielle Einstellung namens „Energiegewicht“. Die Forscher dachten: „Wenn wir dem Coach sagen, er solle die Energieeinsparung priorisieren, wird es noch besser.“ Aber sie fanden etwas Kniffliges heraus. Wenn der Coach einem Gerät, das zwar energieeffizient, aber sehr langsam war, zu viel Arbeit gab, musste die gesamte Gruppe länger warten, und der Gesamtenergieverbrauch stieg tatsächlich an. Es stellt sich heraus, dass die beste Balance von der spezifischen Aufgabe abhängt. Manchmal ist es tatsächlich am besten, sich rein auf die Geschwindigkeit zu konzentrieren (Time Only), da dies die Arbeit so schnell erledigt, dass die Geräte früher ausgeschaltet werden können.

Was sie nicht getan haben (und warum das wichtig ist)

Es ist wichtig anzumerken, was diese Arbeit nicht getan hat. Die Forscher haben nicht das KI-Modell selbst geändert, sie haben nicht die Mathematik geändert, die die KI zum Lernen nutzt, und sie haben langsame Geräte nicht aus dem Spiel geworfen. Sie haben jeden im Raum behalten. Sie haben auch keine „magische“ Vorhersage verwendet, die die Zukunft errät; sie haben nur das verwendet, was sie im Moment messen konnten.

Sie zeigten auch, dass es nicht immer die Lösung ist, einfach nur die „schnellsten“ Geräte auszuwählen und die langsamen zu ignorieren (eine gängige Strategie in einigen Systemen), wenn man alle verfügbare Hardware nutzen möchte. Ihre Methode hält jeden teilhaben, passt aber die Arbeitslast so an, dass niemand in der Kälte zurückbleibt.

Das Fazit

Diese Arbeit beweist, dass man seine Hardware nicht aufrüsten muss, um sein KI-Training schneller und grüner zu machen. Man braucht nur eine intelligentere Art, die Arbeit zu verteilen. Indem man beobachtet, wie schnell und effizient jedes Gerät in Echtzeit arbeitet und die Arbeitslast entsprechend anpasst, kann man verhindern, dass die „Nachzügler“ das Rennen aufhalten. Es ist ein bisschen so, als würde ein Coach erkennen, dass die Sprinter mehr Runden laufen sollten, während die Jogger weniger laufen, damit alle gemeinsam die Ziellinie überqueren – erschöpft, aber glücklich, ohne dass jemand Energie verschwendet, während er nur herumsteht.

Technisches Resümee: Adaptive Datenpartitionierung für energieeffizientes föderiertes und verteiltes Lernen auf heterogenen Systemen

1. Problemstellung

Das verteilte Modelltraining auf heterogenen Systemen wird erheblich durch Variationen in der Verarbeitungsdurchsatz, dem Speicherverhalten und den Betriebsbedingungen der teilnehmenden Geräte behindert. Wenn eine feste, gleiche Aufteilung der Trainingsdaten angewendet wird, beenden schnellere Geräte ihre Arbeit frühzeitig und verharren im Leerlauf, während sie auf langsamere „Straggler“ (Nachzügler) an Synchronisationspunkten warten. Dieser Straggler-Effekt erhöht nicht nur die gesamte Trainingsdauer (Makespan), sondern steigert auch den Energieverbrauch der Geräte, da die synchronisierten Teilnehmer aktiv bleiben müssen, bis der kollektive Fortschritt fortgesetzt werden kann.

Bestehende Ansätze zur Milderung dieses Problems stützen sich oft auf die Auswahl der Teilnehmer (Ausschluss langsamer Geräte), asynchrone Aggregation, Änderungen an Optimierungsmethoden oder Modelladaptation. Während jüngste Systeme die Umverteilung von Trainingsdaten untersucht haben, hängen viele von gelernten Controllern, vorheriger Suche, spezifischen Hardware-Einstellungen oder Änderungen der Synchronisationssemantik und der Teilnehmergruppen ab. Es besteht eine Lücke für einen gemeinsamen Closed-Loop-Mechanismus, der über verschiedene Synchronisations- und Datenbesitzgrenzen hinweg (wie Federated Learning und Distributed Data Parallelism) operieren kann, während die ursprüngliche Lernkonfiguration, das Modell und die Synchronisationsregeln beibehalten werden.

2. Methodik

Die Autoren schlagen einen leichtgewichtigen, messungsgesteuerten Allokationscontroller vor, der ein festes Stichprobenbudget an den Runden-Grenzen basierend auf der beobachteten Trainingszeit und der gemessenen Energie pro Stichprobe neu verteilt. Der Controller arbeitet, ohne das Modell, die Verlustfunktion, den Optimierer oder die Menge der teilnehmenden Geräte zu modifizieren.

Ausführungsregime

Die Studie evaluiert den Controller über drei verschiedene Ausführungsregime hinweg:

Periodic Model Averaging (PMA): Worker trainieren unabhängige Modellrepliken auf geteilten Daten innerhalb einer vertrauenswürdigen Domäne und synchronisieren nur an den Runden-Grenzen.
Distributed Data Parallelism (DDP): Ranks synchronisieren Gradienten nach jedem Optimierschritt. Dieses Regime erfordert eine spezifische Batch-Größen-Strategie, um ungleiche pro-Rank-Workloads zu handhaben, ohne Padding oder Dummy-Batches einzuführen.
Hierarchical Federated Learning mit intra-Silo DDP (HFL-DDP): Geräte sind in feste „Silos“ (datenbesitzende Domänen) gruppiert. Ranks innerhalb eines Silos nutzen DDP, während Silo-Modelle an der föderierten Runden-Grenze aggregiert werden. Die Neuzuweisung ist auf Ranks innerhalb desselben Silos beschränkt, um den Datenbesitz zu respektieren.

Der adaptive Controller

Der Controller funktioniert wie folgt:

Messung: Am Ende jeder Runde $r$ meldet jeder Teilnehmer $i$ seine Verarbeitungszeit ( $t_i^{(r)}$ ), seinen Energieverbrauch ( $e_i^{(r)}$ ) und seine Stichprobenanzahl ( $n_i^{(r)}$ ).
Kostenberechnung: Pro-Stichproben-Kosten werden als $\tau_i^{(r)} = t_i^{(r)} / n_i^{(r)}$ und $\epsilon_i^{(r)} = e_i^{(r)} / n_i^{(r)}$ berechnet. Diese werden mittels eines exponentiell gleitenden Durchschnitts (EMA) geglättet, um Rauschen zu reduzieren.
Gewichtete proportionale Aufteilung: Der Controller berechnet eine dimensionslose kombinierte Kostenfunktion $c_i^{(r)}$ $c_{i}^{(r)}$ unter Verwendung benutzergewählter Gewichte $w_t$ $w_{t}$ (Zeit) und $w_e$ $w_{e}$ (Energie).
- $c_i^{(r)} = w_t \frac{\hat{\tau}_i^{(r)}}{\text{median}(\hat{\tau})} + w_e \frac{\hat{\epsilon}_i^{(r)}}{\text{median}(\hat{\epsilon})}$
Allokation: Teilnehmer werden umgekehrt proportional zu ihren Kosten zugewiesen. Ein „Deadband“-Mechanismus verhindert unnötige Neuallokationen, wenn die Kostendifferenzen vernachlässigbar sind.
DDP-Spezifika: Für DDP stellt der Controller sicher, dass alle Ranks die gleiche Anzahl an Optimierschritten pro Runde ausführen, indem er pro-Schritt-Batch-Größen-Zeitpläne erstellt, die lokale Stichproben umverteilen und so das Stichprobenmittel-Gradientenobjektiv bewahren.

Experimenteller Aufbau

Die Evaluierung wurde auf einem heterogenen Eleven-Device System-on-Chip (SoC) Testbed durchgeführt, das Arm-, RISC-V- und x86-Architekturen umfasst. Drei überwachte Lernaufgaben wurden verwendet: MNIST (Bildklassifizierung), ERA5 (Zeitreihenregression) und IMDB (Text-Sentiment-Klassifizierung). Die Studie verglich die adaptiven Policies gegen:

Gleiche Allokation (Equal allocation): Einheitliche Stichprobenaufteilung.
Statisch profiliert (Static profiled): Eine einmalige Messung gefolgt von fester Allokation.
Oort-ähnliche Selektion: Eine Baseline, die langsame Teilnehmer ausschließt.
FedAsync: Asynchrones PMA.
EMA Batch Sizing: Eine Schritt-Ebene-Durchsatz-Baseline für DDP.

3. Hauptbeiträge

Das Paper präsentiert vier primäre Beiträge:

Ein messungsgesteuerter Controller: Ein leichtgewichtiger Mechanismus, der ein festes Stichprobenbudget basierend auf beobachteter Zeit und Energie pro Stichprobe neu alloziert und dabei die vollständige Teilnehmergruppe sowie die Synchronisationssemantik bewahrt.
Vereinheitlichtes Design: Ein gemeinsames Allokationsdesign, das für PMA, DDP und HFL-DDP anwendbar ist, mit spezifischen Beschränkungen für Datenbesitzgrenzen in hierarchischen Settings.
Energiebewusstes Ziel: Eine Zielfunktion mit abstimmbaren Gewichten, die die Interaktion zwischen Energie pro Stichprobe, Trainings-Makespan und synchronisierter Geräteenergie aufzeigt und die Annahme herausfordert, dass die Maximierung des Energiegewichts immer den Gesamtenergieverbrauch minimiert.
Umfassende Evaluierung: Eine replizierte Studie über drei Lernaufgaben und drei Synchronisationsregime auf einem heterogenen Testbed, welche die Verbindung zwischen Allokationsänderungen, Rechenimbalance, Synchronisations-Exposition, Makespan und gemessener Energie herstellt.

4. Ergebnisse

Experimente auf dem heterogenen Testbed ergaben folgende Erkenntnisse:

Reduktion von Makespan und Energie: Adaptive Partitionierung (insbesondere „Time only“ und „Low energy“ Policies) reduzierte die Trainings-Makespan und die gemessene Geräteenergie konsistent im Vergleich zur gleichen Allokation. In PMA reduzierte „Time only“ die mediane Makespan um etwa 71–80 % und die Energie um 28–40 % über alle Aufgaben hinweg.
Milderung von Straggler-Effekten: Der Controller reduzierte die Rechenimbalance signifikant. In DDP sank der Variationskoeffizient der Forward-Pass-Zeit von ~0,8–1,1 (Equal) auf ~0,02–0,18 (adaptiv), was direkt mit der reduzierten Synchronisationswartezeit korrelierte.
Konvergenz: Adaptive Policies erreichten Regionen mit niedrigerem Objektivwert (Held-out Loss/MSE) schneller als die gleiche Allokation und erreichten oft in deutlich kürzerer Zeit eine vergleichbare Endqualität.
Nicht-monotoner Energieantwort: Eine Erhöhung des Energiegewichts ( $w_e$ ) reduzierte nicht immer die Gesamtenergie. Die Zuweisung von mehr Arbeit an energieeffiziente, aber langsamere Geräte konnte das synchronisierte Ausführungsfenster verlängern, was die kumulierte Energie aller Teilnehmer erhöhte. Ein kleiner Energiegewicht ( $w_e = 0,25$ ) bot oft einen besseren Kompromiss als „Energy only“ ( $w_e = 1$ ).
Overhead: Die Berechnung des Schedulings selbst war vernachlässigbar und verbrauchte weniger als 0,02 % der Runden-Dauer.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass die messungsbasierte Datenpartitionierung eine praktische Methode zur Milderung von Stragglern über verschiedene verteilte Trainingsregime hinweg bietet, ohne die Lernkonfiguration oder die Synchronisationsregeln zu ändern.

Praktikabilität: Die Methode erfordert kein vorheriges Profiling, keine gelernten Policies oder Änderungen an der Optimierer- oder Modellarchitektur. Sie operiert als Closed-Loop-Controller unter Verwendung von Laufzeit-Telemetrie.
Kontextabhängige Optimierung: Die Autoren betonen, dass das optimale Gleichgewicht zwischen Zeit und Energie von der spezifischen Aufgabe und dem Ausführungsregime abhängt. Während „Time only“ die zuverlässigste Standardmethode zur Minimierung der Makespan ist, kann ein kleiner Energiegewicht in bestimmten Kontexten (z. B. HFL-DDP bei bestimmten Aufgaben) vorteilhaft sein.
Abgrenzung zu Vorarbeiten: Im Gegensatz zu Teilnehmer-Selektionsmethoden (z. B. Oort), die Geräte ausschließen, behält dieser Ansatz alle bereitgestellten Teilnehmer bei. Im Gegensatz zu asynchronen Methoden bewahrt er die Synchronisationssemantik des Zielregimes.
Einschränkungen: Die Autoren merken bescheiden an, dass die Ergebnisse spezifisch für das evaluierte elf-Device Testbed und feste Netzwerkbedingungen sind. Sie beanspruchen keine universelle Überlegenheit gegenüber allen existierenden Methoden, zeigen aber auf, dass eine einfache, messungsgesteuerte Neuallokation eines festen Budgets eine gleichmäßige statische Aufteilung oder einmaliges Profiling in heterogenen Umgebungen übertreffen kann.