🤖 machine learning

Model Parallelism With Subnetwork Data Parallelism

Dieses Paper stellt Subnetwork Data Parallelism (SDP) vor, ein Framework für verteiltes Training, das Modelle in strukturierte Subnetzwerke partitioniert, die über Worker hinweg trainiert werden, ohne Aktivierungen auszutauschen, wodurch signifikante Speicherreduzierungen (28 %–60 %) bei gleichbleibender oder verbesserter Performance über verschiedene Architekturen und Skalen hinweg erreicht werden.

Ursprüngliche Autoren: Vaibhav Singh, Zafir Khalid, Pietro Cagnasso, Edouard Oyallon, Eugene Belilovsky

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Vaibhav Singh, Zafir Khalid, Pietro Cagnasso, Edouard Oyallon, Eugene Belilovsky

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem riesigen, brillanten, aber unglaublich hungrigen Roboter (einem großen KI-Modell) das Sprechen oder das Erkennen von Bildern beizubringen. Das Problem ist, dass dieser Roboter eine Küche benötigt, die so groß und teuer ist, dass nur wenige Menschen sie sich leisten können. In der Welt der KI ist diese „Küche“ der Computerspeicher (RAM) auf leistungsstarken Grafikkarten (GPUs).

Das Paper stellt eine neue Methode vor, um diese riesigen Roboter zu trainieren, genannt Subnetwork Data Parallelism (SDP). Hier ist die Funktionsweise, erklärt durch einfache Analogien.

Der alte Weg: Das „Vollständige Replikat“-Problem

Traditionell nutzen Forscher zur Ausbildung einer großen KI eine Methode namens Data Parallelism (DDP).

Die Analogie: Stellen Sie sich vor, Sie haben ein Team von 8 Köchen (GPUs), die versuchen, ein riesiges Bankett zu kochen. Bei der alten Methode erhält jeder einzelne Koch ein vollständiges, komplechtes Exemplar des gesamten Rezeptbuchs und jede einzelne Zutat. Alle kochen das gesamte Gericht, probieren es und rufen sich dann ihre Notizen zu, um sich darauf zu einigen, wie man das Rezept für die nächste Runde verbessern kann.
Das Problem: Dies ist unglaublich verschwenderisch. Jeder Koch benötigt eine riesige Küche, nur um sein eigenes Exemplar des Rezepts und der Zutaten bereitzuhalten. Wenn das Rezept zu groß ist, explodiert die Küche (Speicherplatzmangel) und die Köche können gar nicht erst kochen.

Der neue Weg: Das „Spezialisierte Team“ (SDP)

Die Autoren schlagen Subnetwork Data Parallelism (SDP) vor. Anstatt jedem Koch das gesamte Rezept zu geben, wird das Rezept in spezifische Abschnitte unterteilt und verschiedenen Köchen unterschiedliche Abschnitte zugewiesen.

Die Analogie: Nun ist Koch A nur für die Vorspeisen verantwortlich, Koch B für die Suppen und Koch C für die Hauptgerichte.
- Kein Teilen des gesamten Gerichts: Entscheidend ist, dass sie nicht das gesamte Gericht hin und her reichen müssen. Sie sprechen nur über die spezifischen Zutaten, an denen sie gerade arbeiten.
- Die Küche schrumpft: Da Koch A nur das Rezept für die Vorspeise halten muss, kann seine Küche viel kleiner sein. Dies ermöglicht es Ihnen, ein massives Bankett in eine viel kleinere, günstigere Küche zu passen.
- Das Ergebnis: Sie können einen viel größeren Roboter trainieren (oder ihn schneller trainieren), ohne eine super-teure Küche zu benötigen.

Zwei Wege, die Arbeit aufzuteilen

Forward Masking (Der „Zutaten-Schneide“-Ansatz):
- Wie es funktioniert: Der Koch wirft die Zutaten, die er nicht verwenden soll, buchstäblich weg, bevor er mit dem Kochen beginnt. Er kocht nur den Teil des Gerichts, für den er zuständig ist.
- Der Vorteil: Dies spart am meisten Platz, da er die nicht verwendeten Zutaten gar nicht erst speichern muss. Es ist, als würde man eine Suppe kochen, aber nur die Karotten und Zwiebeln kaufen, die man wirklich braucht, und die restliche Einkaufsliste komplett ignorieren.
- Der Haken: Da er Teile des Rezepts ignoriert, muss er ein paar mehr Durchgänge machen, um sicherzustellen, dass er das Gesamtbild lernt.
Backward Masking (Der „Das ganze Buch lesen, nur eigene Notizen schreiben“-Ansatz):
- Wie es funktioniert: Der Koch liest das gesamte Rezeptbuch (das vollständige Modell), um den Kontext zu verstehen, aber wenn er seine Notizen darüber schreibt, wie das Gericht zu verbessern ist, schreibt er nur über den Abschnitt, für den er verantwortlich ist.
- Der Vorteil: Dies ist mathematisch etwas „ehrlicher“, da der Koch das gesamte Mahl immer noch versteht, aber er spart Platz bei den Notizen, die er schreibt. Es ist eine sicherere, stabilere Art zu lernen.

Was haben sie herausgefunden?

Die Forscher haben dies an zwei sehr unterschiedlichen Arten von KI getestet:

Sprachmodelle (LLMs): Wie die „LLaMA“-Modelle, die Texte schreiben. Sie haben versucht, Modelle mit 500 Millionen und 1 Milliarde „Neuronen“ (Parametern) zu trainieren.
- Ergebnis: Sie reduzierten den benötigten Speicher um 28 % bis 60 %. In einigen Fällen konnten sie ein Modell, das zuvor eine riesige Küche erforderte, in eine viel kleinere Küche passen, ohne dass es Einbußen bei der Sprachqualität gab.
- Bonus: Sie fanden heraus, dass SDP perfekt mit anderen speicherschonenden Tricks (wie „Activation Checkpointing“ und „FSDP“) harmoniert. Es ist wie das Stapeln von Lego-Steinen; man kann SDP mit anderen Methoden kombinieren, um den Speicherverbrauch massiv um 85 % zu senken.
Bildklassifizierer: Modelle, die Bilder erkennen (wie ResNet und Swin Transformer).
- Ergebnis: Sie trainierten diese Modelle auf Standard-Bilddatensätzen (CIFAR). Selbst mit deutlich weniger Speicher (manchmal nur 40 % des Originals) war die KI beim Erkennen von Bildern genauso gut wie die Vollversion. In einigen Fällen half der „spezialisierte Team“-Ansatz der KI sogar dabei, besser zu lernen, indem er als eine Form der „Regularisierung“ (eine Methode, um Überdenken/Overfitting zu verhindern) fungierte.

Das Fazit

Dieses Paper behauptet nicht, eine neue Art von KI oder eine neue Art der Nutzung von KI in Krankenhäusern oder selbstfahrenden Autos erfunden zu haben. Stattdessen löst es ein Logistikproblem.

Betrachten Sie es als eine neue Art, eine Baustelle zu organisieren. Anstatt jedem Arbeiter einen vollständigen Bauplan für einen Wolkenkratzer zu geben (der zu viel Platz in der Tasche einnimmt), geben Sie jedem Arbeiter nur die Baupläne für seinen spezifischen Stockwerk. Sie bauen immer noch denselben Wolkenkratzer, aber sie brauchen weniger Platz in der Tasche und können mit den gleichen Ressourcen höhere Gebäude bauen.

Wichtige Erkenntnisse:

SDP teilt ein großes KI-Modell in kleinere Stücke auf, die über verschiedene Computer verteilt sind.
Es macht die Notwendigkeit überflüssig, dass jeder Computer das gesamte Modell hält, was 28 % – 60 % Speicher spart.
Es funktioniert mit bestehenden KI-Modellen (wie LLaMA und ResNet), ohne deren Anwendung zu verändern.
Es kann mit anderen speicherschonenden Tricks kombiniert werden, um noch mehr Platz zu sparen (bis zu 85 %).
Die KI performt genauso gut (oder manchmal sogar besser) als die traditionelle Methode, obwohl sie weniger Speicher benötigt.

Technisches Resümee: Subnetwork Data Parallelism (SDP)

Problemstellung

Die rasante Skalierung tiefer neuronaler Netze hat eine beispiellose Speicheranforderung auf Beschleunigern geschaffen, was häufig verteilte Trainingsstrategien erforderlich macht. Während Data Parallelism (DDP) weit verbreitet ist, repliziert es das vollständige Modell auf jeder GPU, was zu einem hohen Speicher-Overhead und einem teuren Gradientenabgleich führt. Im Gegensatz dazu spaltet Model Parallelism (z. B. Pipeline Parallelism, Tensor Parallelism) das Modell über Geräte hinweg auf, um größere Architekturen unterzubringen, führt jedoch erhebliche Kommunikationskosten für Aktivierungen mit sich und leidet oft unter Pipeline-Bubbles sowie Lastimbalancen.

Aktuelle Lösungen wie Fully Sharded Data Parallelism (FSDP) und ZeRO reduzieren den Speicher pro Gerät durch das Sharding von Parametern, Gradienten und Optimizer-Zuständen, verursachen jedoch dennoch einen erheblichen Kommunikationsaufwand, insbesondere während der Gradientensynchronisation. Es bleibt eine offene Herausforderung, die Aktivierungsbandbreite und den Speicherbedarf pro Knoten zu reduzieren, ohne die Konvergenzqualität zu beeinträchtigen oder Hochbreitband-Interconnects zu benötigen.

Methodik: Subnetwork Data Parallelism (SDP)

Die Autoren schlagen Subnetwork Data Parallelism (SDP) vor, ein verteiltes Trainingsframework, das ein Modell in strukturierte Subnetzwerke partitioniert, die über Worker trainiert werden, ohne Aktivierungen auszutauschen. Im Gegensatz zu Pipeline-Ansätzen, die die Berechnung sequenziell aufteilen, weist SDP jedem Worker einen strukturell vollständigen Teil des Modells (ein Subnetzwerk) zu, der einen vollständigen Pfad vom Input zum Loss bewahrt und somit eine unabhängige Gradientenberechnung ermöglicht.

Kernmechanismen

Subnetzwerk-Konstruktion:
- Block-Level (B-SDP): Entfernt ganze architektonische Blöcke (z. B. Transformer-Blöcke oder ResNet-Basic-Blöcke).
- Neuron/Channel-Level (N-SDP): Entfernt spezifische Neuronen in Fully Connected Layers oder Kanäle in Convolutional Layers, wobei die Konsistenz zwischen benachbarten Schichten gewährleistet wird.
- Worker synchronisieren überlappende Parameter durch schrittweise Mittelung.
Maskierungsregime:
Die Arbeit untersucht zwei komplementäre Maskierungsstrategien, um zu definieren, wie Subnetzwerke während des Trainings genutzt werden:
- Forward-Masking: Das Modell wird unter Verwendung maskierter Parameter evaluiert ( $m_{fwd} = m$ ). Dies entfernt Parameter, Aktivierungen und Gradienten für die maskierten Komponenten, was erhebliche Speicher- und Rechenersparnisse liefert. Die Gradienten spiegeln jedoch den maskierten Forward-Pass wider.
- Backward-Masking: Der Forward-Pass nutzt das vollständige Modell ( $m_{fwd} = m_{uni}$ ), während die Sparsity erst während der Backpropagation und Aggregation angewendet wird ( $m_{bwd} = m$ ). Dies bewahrt unverzerrte Gradientenschätzungen (theoretisch fundiert) und bietet eine fundierte Baseline, spart jedoch primär Speicher bei Gradienten und Optimizer-Zuständen statt bei Aktivierungen.
Theoretische Basis:
Die Autoren liefern eine Konvergenzanalyse für das Backward-Masking-Regime in $L$ -glatten Settings. Sie zeigen, dass die Konvergenzrate durch den „Maskierungsfehler“ bestimmt wird, der als Distanz zwischen der uniformen Maskierung und der spezifischen Maskenverteilung definiert ist. Die Analyse verknüpft die Konvergenzqualität mit der Spektrallücke des Maskengraphen und zeigt, dass überlappende Parameterzuweisungen mit periodischer Mittelung eine partielle Synchronisation aufrechterhalten.

Zentrale Beiträge

Neuartiges Paradigma: Einführung von SDP als speichereffizientes verteiltes Trainingsparadigma, das das Training von Subnetzwerken über Knoten hinweg verteilt, wodurch den Speicher pro Gerät um 28 %–60 % reduziert wird, während die Performance beibehalten oder verbessert wird.
Theoretische Garantien: Eine theoretische Basis, die die Konvergenz von Backward-Masked SDP mit einer Spektrallücken-Bedingung auf dem Maskengraphen verknüpft und beweist, dass unverzerrte Gradienten unter spezifischen Maskierungsbedingungen aufrechterhalten werden.
Komponierbarkeit: Nachweis, dass SDP orthogonal zu bestehenden Speicherreparations-Techniken ist. Es entfernt physisch Modellkomponenten und schrumpft dadurch gleichzeitig Parameter, Gradienten, Optimizer-Zustände und Aktivierungen. Dies ermöglicht es SDP, sauber mit FSDP (ZeRO-3) und Activation Checkpointing (AC) zu komponieren.
Generalisierbarkeit: Validierung von SDP über diverse Architekturen hinweg, einschließlich großer Sprachmodelle (LLaMA) und Bildklassifikationsmodelle (ResNet, Swin Transformer), was zeigt, dass es eine „Drop-in“-Alternative zum Standard-Data-Parallelism ist.

Experimentelle Ergebnisse

Large Language Models (LLaMA)

Experimente wurden auf FineWeb mit 134M, 500M und 1B Parameter umfassenden LLaMA-Modellen durchgeführt.

Speichereffizienz: Im 1B-Maßstab reduzierte B-SDP mit 69 % aktiven Komponenten ( $C=0,69$ ) den Peak-GPU-Speicher um 28 % im Vergleich zu DDP, während es eine gleiche oder geringere Validierungslos erreichte. Im 500M-Maßstab reduzierte B-SDP mit 50 % aktiven Komponenten den Speicher um 40 %.
Downstream-Performance: In fünf Downstream-Benchmarks (ARC-E, BoolQ, HellaSwag, OBQA, SciQ) erreichten alle SDP-Varianten eine DDP-Performance innerhalb von ~1 Punkt auf den Makro-Durchschnitten, wobei einige Varianten (B-SDP) leichte Verbesserungen bei spezifischen Aufgaben zeigten.
Komponierbarkeit: Die Kombination von B-SDP mit FSDP und Activation Checkpointing erreichte einen Peak-Speicherverbrauch von 9,7 GB pro Gerät für das 1B-Modell, was eine 85 %ige Reduktion gegenüber DDP (70,9 GB) darstellt und strikt niedriger ist als FSDP+AC allein (11,0 GB).
Kommunikation: SDP reduzierte das Kommunikationsvolumen pro Schritt um ~28 % (Bewegung von 2.253 MB gegenüber 3.143 MB bei DDP). In Inter-Node-Settings reduzierte die Kombination aus B-SDP und FSDP die Wall-Clock-Trainingszeit um 19,9 % im Vergleich zu DDP.

Bildklassifikation

Experimente wurden auf CIFAR-10 und CIFAR-100 unter Verwendung von ResNet-18, WideResNet-18 und Swin-Tiny durchgeführt.

ResNet-18: SDP-Konfigurationen erreichten eine vergleichbare oder höhere Genauigkeit als DDP unter Nutzung von nur 40 % des DDP-Speicherbudgets. N-SDP (Neuron-Level) zeigte einen starken Regularisierungseffekt und übertraf DDP bei 64 % Speichernutzung.
Swin Transformer: B-SDP erreichte die DDP-Genauigkeit auf CIFAR-10 mit 68 % des Speichers und verbesserte die Genauigkeit auf CIFAR-100 bei einer Reduktion des Speichers um 32 %.
Sparsity-Limits: Während Forward-Masking (B-SDP/N-SDP) bei moderater Sparsity gut performte, erwies sich Backward-Masking (Bb-SDP) bei extremer Sparsity (z. B. $C=3/8$ ) als überlegen, da es einen Modellkollaps verhinderte, bei dem andere Varianten versagten.

Bedeutung und Ansprüche

Das Paper behauptet, dass SDP eine praktische „dritte Achse“ der Parallelität bietet, die komplementär zu Data- und Model-Parallelism ist. Seine primäre Bedeutung liegt in der Fähigkeit:

Speicher von Bandbreite zu entkoppeln: Durch das Eliminieren des Austauschs von Aktivierungen zwischen den Workern mildert SDP die Bandbreitenengpässe ab, die oft Pipeline- und Tensor-Parallelism begrenzen.
FLOP-Matched Scaling zu ermöglichen: SDP erlaubt das Training größerer Modelle oder längerer Sequenzen unter demselben Hardware-Budget. Die leichte Reduktion der Konvergenzrate pro Iteration wird durch die Fähigkeit kompensiert, die Anzahl der Iterationen (FLOP-matched) aufgrund reduzierter Compute- und Kommunikationskosten pro Schritt zu erhöhen.
Eine Drop-in-Lösung zu bieten: SDP fungiert als Drop-in-Ersatz für Standard-Data-Parallelism und erfordert keine Änderungen an der zugrunde liegenden verteilten Infrastruktur außer der Maskierungslogik.

Die Autoren betonen, dass SDP besonders wertvoll in Szenarien ist, in denen Speicher und Bandbreite die primären Einschränkungen darstellen, und bietet einen skalierbaren Weg für das Training großer Modelle auf speicherbegrenzten Beschleunigern ohne die Komplexität komplexer Pipeline-Scheduling-Verfahren oder den Kommunikationsaufwand von vollem Sharding.