⚡ electrical engineering

SPARe: Stacked Parallelism with Adaptive Reordering for Fault-Tolerant LLM Pretraining Systems with 100k+ GPUs

SPARe is een fault-tolerant framework voor het pretrainen van grote taalmodellen op schalen van 100.000 tot 600.000 GPU's dat uitvalmaskeert door redundante data-shards te stacken en uitvoering dynamisch te herschikken, waardoor de trainingsduur met 40-50% wordt verkort ten opzichte van traditionele replicatie.

Oorspronkelijke auteurs: Jin Lee, Zhonghao Chen, Xuhang He, Robert Underwood, Bogdan Nicolae, Franck Cappello, Xiaoyi Lu, Sheng Di, Zheng Zhang

Gepubliceerd 2026-03-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jin Lee, Zhonghao Chen, Xuhang He, Robert Underwood, Bogdan Nicolae, Franck Cappello, Xiaoyi Lu, Sheng Di, Zheng Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische puzzel probeert op te lossen met 100.000 vrienden tegelijk. Iedereen heeft een stukje van de puzzel en jullie moeten constant overleggen om te zien of het plaatje klopt. Dit is wat er gebeurt bij het trainen van super-intelligente AI-modellen (zoals de grote taalmodellen die we nu zien) op enorme computerclusters.

Het probleem? Met zo'n veel mensen (of in dit geval: computerschijven genaamd 'GPUs') is het normaal dat er iemand uitvalt. Een scherm gaat kapot, een kabel zit los, of een computer crasht.

In het verleden, als er één persoon uitviel, moest iedereen stoppen, de puzzel opnieuw sorteren en van voren af aan beginnen. Dat kostte dagen. Bij 100.000 computers gebeurde dit zo vaak dat de computer meer tijd stopte in het 'opstarten' dan in het daadwerkelijke 'puzzelen'.

Hier komt SPARe in het spel. Het is een slimme manier om dit probleem op te lossen.

De Oude Manier: "Doe alles dubbel"

Stel je voor dat je wilt voorkomen dat de puzzel stilvalt als iemand weggaat. De oude manier was: "Laat iedereen zijn stukje van de puzzel drie keer maken."

Voordeel: Als iemand wegvalt, heb je nog twee kopieën over. Geen onderbreking!
Nadeel: Je doet nu drie keer zoveel werk. Je hebt drie keer zoveel tijd en energie nodig. Bij een hoge redundantie (veel kopieën) zou dit onbetaalbaar worden. Het is alsof je drie keer zo hard moet werken om dezelfde taak te klaren.

De Nieuwe Manier: SPARe (De Slimme Uitwisseling)

SPARe is slimmer. In plaats van dat iedereen drie keer hetzelfde stukje maakt, verdelen ze de puzzelstukken op een slimme manier en houden ze een reserve bij elkaar.

Hier is hoe het werkt, met een analogie:

1. De "Stapel" (Stacked Parallelism)

Stel je voor dat elke computer niet alleen zijn eigen puzzelstukje doet, maar een stapel van verschillende puzzelstukjes heeft.

In de oude wereld moest je de hele stapel afwerken voordat je kon praten.
Bij SPARe zeggen ze: "Wacht even, we hoeven niet de hele stapel te doen. Zodra we genoeg verschillende stukjes hebben om het plaatje te maken, stoppen we en praten we."

2. De "Wisseltruc" (Adaptive Reordering)

Dit is de magische truc. Stel je voor dat je een groep vrienden hebt die een liedje zingen. Iedereen heeft een liedje in zijn hoofd.

Als iemand uitvalt (bijvoorbeeld de zanger van de 'hoofd' noot), zou het liedje normaal gezien stoppen.
Bij SPARe kijken de anderen direct: "Wie heeft er nog een kopie van die noot?"
Ze schuiven dan direct hun rol om. Iemand die normaal de 'tweede noot' zong, springt nu in om de 'hoofd noot' te zingen.
Ze hoeven niet alles opnieuw te doen; ze schuiven gewoon hun taken een beetje op. Dit noemen ze Adaptive Reordering.

Waarom is dit zo geweldig?

Je doet bijna niet meer werk:
In de oude manier (dubbel doen) moest je 20 keer zo hard werken als je 20 keer zo veilig wilde zijn. Bij SPARe moet je, zelfs als je 20 keer zo veilig wilt zijn, maar 2 tot 3 keer zo hard werken. Het is alsof je met een fiets in plaats van een vrachtwagen een zware last kunt dragen.
Geen "Start-en-Stop" meer:
Omdat ze zo snel kunnen schuiven (reorderen), hoeven ze nooit de hele groep te laten stoppen en opnieuw te starten. Ze lossen het lokaal op, alsof een voetbalspeler die valt direct wordt vervangen door een invaller, terwijl het spel doorgaat.
De "Wiskundige" Voorspelling:
De auteurs hebben bewezen met wiskunde dat dit systeem tot wel 40% tot 50% sneller is dan de oude methoden bij clusters van 600.000 computers.

Samenvattend in één zin:

SPARe is als een slimme orkestleider die, als een muzikant uitvalt, direct de anderen laat schuiven in hun posities zodat het concert doorgaat, zonder dat het hele orkest hoeft te stoppen en opnieuw te beginnen, en zonder dat iedereen drie keer hetzelfde stuk moet spelen.

Dit maakt het mogelijk om de volgende generatie super-AI's te trainen op enorme schaal, zonder dat de kosten en de tijd het onmogelijk maken.

Probleemstelling

In grote schaal LLM-pretraining-systemen met meer dan 100.000 GPU's is uitval (failures) de regel en niet de uitzondering. De gemiddelde tijd tussen uitval (MTBF) neemt af naarmate het aantal GPU's toeneemt ( $O(1/\#GPU)$ ).

De "Restart-Dominante" Regime: Bij systemen met 600.000 GPU's kan een uitval elke 5 minuten optreden. De tijd die nodig is om een systeem te herstarten (global restart), inclusief initialisatie en synchronisatie van collectieve communicatie (zoals NCCL), groeit lineair met het aantal GPU's. Dit leidt tot een situatie waarin de tijd die verloren gaat door herstarts groter is dan de nuttige rekentijd.
Beperkingen van Bestaande Oplossingen:
- Checkpointing: Minimaliseert de hoeveelheid werk die verloren gaat, maar lost het probleem van de lange herstarttijd niet op.
- Replicatie: Traditionele replicatie (bijv. $r$ -voudige replicatie) maskeert uitval door redundantie, maar vereist een lineaire toename van de rekentijd ( $r \times$ overhead), wat bij hoge redundantie onpraktisch wordt.

Methodologie: SPARe

De auteurs stellen SPARe (Stacked Parallelism with Adaptive Reordering) voor, een fouttolerant raamwerk dat uitval maskeert met een bijna constante rekentijd-overhead, zelfs bij hoge redundantie.

Kernprincipes:

Gestapelde Parallelisme (Stacked Parallelism): In plaats van volledige replicatie van elke groep, worden data-shards (delen van de dataset) gerepliceerd en "gestapeld" over de parallelle groepen heen. Elke groep berekent een reeks van deze gestapelde shards.
Adaptieve Herordening (Adaptive Reordering):
- Normaal gesproken zou een groep alle $r$ gestapelde shards moeten berekenen om alle gradiënten te verzamelen.
- SPARe gebruikt echter een slimme scheduling: zodra alle nodige shard-types (die nodig zijn voor de all-reduce operatie) berekend zijn door de overlevende groepen, wordt de synchronisatie direct geactiveerd.
- Bij een uitval van een node wordt een controller (RECTLR) geactiveerd. Deze controller bepaalt welke shards nog ontbreken en herordent de stack van de overlevende groepen zodat de benodigde gradiënten zo snel mogelijk (met minimale extra berekening) beschikbaar zijn.
RECTLR Algorithm:
- Fase 0 (HK-FIXED): Controleert of de huidige stack volstaat zonder herordening (gebruikmakend van het Hopcroft-Karp-algoritme voor bipartiete matching).
- Fase 1 (HK-FREE): Zoekt de minimale diepte van de stack die nodig is om alle gradiënten te verzamelen, waarbij vrij herordenen binnen groepen is toegestaan.
- Fase 2 (MCMF): Voert een "Min-Cost Max-Flow" berekening uit om de herordening te bepalen met de minste beweging (minimale extra berekening).

Theoretische Analyse:

De auteurs leiden gesloten formules af voor het gemiddelde aantal uitval dat het systeem kan doorstaan voordat een "wipe-out" (systeemherstart noodzakelijk) optreedt.
Ze bewijzen dat de rekenoverhead van SPARe asymptotisch constant blijft (ongeveer $2 \sim 3\times$ ), zelfs bij hoge redundantie ( $r \approx 20$ ), in tegenstelling tot de lineaire $r\times$ overhead van traditionele replicatie.

Belangrijkste Bijdragen

SPARe Framework: Een nieuw mechanisme dat uitval maskeert met een bijna constante overhead, waardoor het haalbaar wordt om hoge redundantie toe te passen zonder de rekentijd te laten exploderen.
Wiskundige Afleiding: Gesloten formules voor de verwachte uitvaltolerantie en de rekenoverhead, gevalideerd door simulaties.
Geoptimaliseerde Combinatie: Een gezamenlijke optimalisatie van SPARe en checkpointing (SPARe+CKPT) om de optimale redundantie ( $r^*$ ) te vinden die de totale trainingsduur minimaliseert.
Simulatie op Extreme Schaal: Gedetailleerde discrete-event simulaties (met SimGrid) voor een cluster van 600.000 H100 GPU's, wat experimenteel onmogelijk is om fysiek te testen.

Resultaten

De simulaties zijn uitgevoerd voor een 600k GPU-cluster met een MTBF van 5 minuten en een herstarttijd van 60 minuten.

Tijd tot Training (Time-to-Train):
- SPARe+CKPT reduceert de totale trainingsduur met 40% tot 50% vergeleken met de beste traditionele replicatie met checkpointing (Rep+CKPT).
- Ter vergelijking: Bij traditionele replicatie met $r=20$ zou de overhead 20x zijn, terwijl SPARe slechts een overhead van ongeveer 2,8x heeft voor dezelfde beschikbaarheid.
Beschikbaarheid: SPARe+CKPT bereikt een systeembeschikbaarheid van >90% (bijv. 93,9% voor N=600), terwijl traditionele methoden bij hoge redundantie door de lineaire overhead juist slechter presteren.
Overhead: De empirische rekenoverhead van SPARe blijft stabiel rond de 2-3x, wat overeenkomt met de theoretische voorspellingen.
Optimale Redundantie: De theorie voorspelt dat de optimale redundantie $r^* \approx \log_2 N + 0.833$ is. Voor N=600 is dit ongeveer 8, wat in de simulaties bevestigd werd.

Significantie

SPARe positioneert zich als een cruciale oplossing voor de komende "restart-dominante" regime in HPC en AI-pretraining.

Kostenbesparing: Door de trainingsduur met bijna de helft te verkorten, worden de enorme kosten van frontier foundation model training (energie, hardware) aanzienlijk verlaagd.
Schalbaarheid: Het maakt het mogelijk om LLM's te trainen op clusters met honderdduizenden GPU's, waar traditionele methoden zouden falen door te veel tijd te verliezen aan herstarts.
Duurzaamheid: Snellere training leidt tot minder energieverbruik en een duurzamere benutting van extreme schaal HPC-clusters.

Kortom, SPARe lost het fundamentele dilemma op tussen hoge beschikbaarheid (door redundantie) en lage overhead, waardoor het mogelijk wordt om LLM's te pretrainen op schalen die tot nu toe als onhaalbaar werden beschouwd.