⚡ electrical engineering

SPARe: Stacked Parallelism with Adaptive Reordering for Fault-Tolerant LLM Pretraining Systems with 100k+ GPUs

O artigo apresenta o SPARe, um framework de tolerância a falhas para pré-treinamento de LLMs em escala extrema que utiliza empilhamento de paralelismo e reordenação adaptativa para reduzir significativamente o tempo de treinamento em sistemas com mais de 100 mil GPUs, mantendo uma sobrecarga computacional próxima de 2 a 3 vezes mesmo sob alta redundância.

Autores originais: Jin Lee, Zhonghao Chen, Xuhang He, Robert Underwood, Bogdan Nicolae, Franck Cappello, Xiaoyi Lu, Sheng Di, Zheng Zhang

Publicado 2026-03-03

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jin Lee, Zhonghao Chen, Xuhang He, Robert Underwood, Bogdan Nicolae, Franck Cappello, Xiaoyi Lu, Sheng Di, Zheng Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está organizando a construção de um arranha-céu gigantesco, mas em vez de tijolos, você está usando 100.000 trabalhadores (GPUs) simultaneamente. O objetivo é treinar uma Inteligência Artificial superinteligente.

O problema é que, com tanta gente trabalhando ao mesmo tempo, é inevitável que alguém fique doente, quebre uma ferramenta ou precise sair de repente. Em sistemas antigos, se uma pessoa parasse, todo o projeto parava. Todos tinham que voltar para casa, organizar as ferramentas, reunir a equipe de novo e começar do zero. Com 100.000 trabalhadores, isso acontecia tão frequentemente que o projeto passava mais tempo "reorganizando a equipe" do que construindo o prédio.

Aqui entra o SPARe, a nova solução proposta neste artigo. Vamos entender como funciona com uma analogia simples:

1. O Problema: A "Reunião Global" que Nunca Acaba

No treinamento de IA, todos os trabalhadores precisam se comunicar constantemente para combinar seus resultados (como uma "reunião global" de gradientes).

O cenário antigo: Se um trabalhador falha, o sistema precisa reiniciar toda a comunicação. Em um grupo de 100.000 pessoas, essa "reunião de reinício" demora horas.
A consequência: O tempo gasto reiniciando o sistema é maior que o tempo gasto trabalhando. É como se você passasse 50 minutos organizando a mesa antes de conseguir escrever uma única linha de texto.

2. A Solução Antiga (e cara): "Ter um Duplo de Cada um"

Para evitar paradas, a solução tradicional era contratar réplicas de cada trabalhador. Se você tinha 100 pessoas, contratava 200 (duas cópias de cada).

Vantagem: Se uma pessoa falha, a cópia assume e ninguém percebe.
Desvantagem: Custa o dobro (ou o triplo) de dinheiro e energia. É como ter um exército de 200.000 pessoas apenas para construir um prédio, o que é um desperdício enorme.

3. A Solução SPARe: "A Pilha de Tarefas Inteligente"

O SPARe (Stacked Parallelism with Adaptive Reordering) é como uma nova forma de organizar o trabalho que é tão segura quanto ter duplos, mas custa quase o mesmo que ter apenas uma equipe.

A Analogia da "Pilha de Pratos":
Imagine que o trabalho é dividido em pedaços (como pratos).

O Truque: Em vez de cada trabalhador fazer todos os pratos, eles fazem uma pilha de pratos.
A Regra de Ouro: O sistema organiza essas pilhas de forma que, em qualquer momento, todos os tipos de pratos estejam espalhados entre os trabalhadores restantes.
O "Reordenamento Adaptativo": Se um trabalhador cai, o sistema não para. Ele olha para as pilhas restantes e diz: "Ok, o Prato Tipo A ficou sem ninguém? Vamos mover o Prato Tipo A da pilha do Trabalhador X para a frente da pilha do Trabalhador Y, que ainda está de pé."

É como se você tivesse uma caixa de ferramentas onde, se uma chave de fenda quebrar, você rapidamente pega outra chave de fenda que estava guardada no fundo da caixa de um colega e a coloca na mão de quem está trabalhando agora, sem precisar parar a obra.

4. Por que é Mágico?

Segurança: O sistema aguenta muitas falhas (como se tivesse 20 cópias de cada peça) sem precisar realmente ter 20 cópias físicas.
Custo Baixo: A "reorganização" das pilhas é tão rápida e eficiente que o custo extra de trabalho é de apenas 2 a 3 vezes o normal, em vez de 20 vezes (como seria na cópia tradicional).
Velocidade: Em simulações com 600.000 GPUs, o SPARe reduziu o tempo total de treinamento em 40% a 50% comparado aos métodos antigos.

Resumo em uma Frase

O SPARe é como ter um time de futebol onde, se um jogador se machuca, o técnico não precisa chamar um substituto do banco (que demora para entrar e entender o jogo); em vez disso, ele rapidamente rearranja a formação dos jogadores que já estão em campo para cobrir o buraco, mantendo o jogo fluindo sem interrupções e sem precisar de jogadores extras.

O Impacto: Isso permite treinar as IAs do futuro (que exigem computadores gigantescos) de forma mais barata, mais rápida e sem desperdício de energia, tornando a inteligência artificial mais acessível e sustentável.

Título: SPARe: Paralelismo Empilhado com Reordenamento Adaptativo para Sistemas de Pré-treinamento de LLM Tolerantes a Falhas com 100k+ GPUs

1. O Problema

O pré-treinamento de Grandes Modelos de Linguagem (LLMs) em escala industrial está migrando para clusters com mais de 100.000 GPUs. Neste cenário, as falhas de hardware tornam-se a norma, não a exceção.

Regime Dominado por Reinício: À medida que o número de GPUs aumenta, o tempo médio entre falhas (MTBF) diminui (escala como $O(1/\#GPU)$ ). Simultaneamente, o custo de reinício global (inicialização de coleções globais e sincronização) aumenta quadraticamente ou linearmente com o número de GPUs.
Ineficiência Atual: Em sistemas de 600k GPUs, as falhas podem ocorrer a cada 5 minutos, enquanto um reinício global pode levar mais de 60 minutos. O tempo gasto em reinícios supera o tempo de trabalho útil, degradando drasticamente a disponibilidade do sistema e aumentando o "tempo para treinamento" (time-to-train).
Limitações das Soluções Existentes:
- Checkpointing: Reduz o retrabalho, mas não evita o tempo de inatividade do reinício global.
- Replicação Tradicional: Mascara falhas mantendo cópias redundantes dos dados, mas impõe um custo computacional linear ( $r \times$ para redundância $r$ ), tornando-se proibitivo para altas redundâncias necessárias em escalas extremas.

2. Metodologia: O Framework SPARe

Os autores propõem o SPARe (Stacked Parallelism with Adaptive Reordering), um esquema de tolerância a falhas que combina redundância de dados com reordenação dinâmica para mascarar falhas sem o custo linear da replicação tradicional.

Conceitos Chave:

Empilhamento de Dados (Stacked Parallelism):
- Em vez de replicar grupos inteiros de Data Parallelism (DP), o SPARe replica os shards (fragmentos) de dados e os empilha em $r$ camadas (stacks) através dos grupos de paralelismo.
- Cada grupo computa uma pilha de dados. O objetivo é coletar todos os tipos de gradientes parciais necessários para a sincronização (all-reduce) o mais cedo possível, sem precisar computar todas as $r$ pilhas.
Reordenamento Adaptativo (Adaptive Reordering):
- Quando uma falha de nó ocorre, o sistema não reinicia globalmente imediatamente.
- Um controlador chamado RECTLR (Reordering Controller) analisa quais tipos de shards foram perdidos.
- O algoritmo reordena as pilhas de dados restantes nos grupos sobreviventes para garantir que todos os tipos de gradientes ainda estejam disponíveis computando o mínimo número possível de pilhas adicionais.
- Se a perda for irreparável (wipe-out de um tipo de shard), o sistema realiza um reinício global.
Algoritmos de Decisão (RECTLR):
- Fase 0 (HK-FIXED): Verifica se a pilha atual já permite coletar todos os gradientes usando o algoritmo de Hopcroft-Karp em um grafo bipartido fixo.
- Fase 1 (HK-FREE): Se necessário, busca a profundidade mínima de pilhas ( $S^*$ ) permitindo permutações livres dentro dos grupos sobreviventes para encontrar uma solução viável.
- Fase 2 (MCMF): Usa o algoritmo de Fluxo Máximo de Custo Mínimo (Min-Cost Max-Flow) para reordenar os shards com o menor movimento possível, minimizando o overhead de computação.
Integração com Checkpointing:
- O SPARe é projetado para ser ortogonal a esquemas de checkpointing. Ele reduz a frequência de reinícios globais, permitindo que o checkpointing lide apenas com falhas catastróficas (wipe-out), otimizando o ciclo de vida do treinamento.

3. Contribuições Principais

Novo Paradigma de Tolerância a Falhas: Introdução do SPARe, que oferece disponibilidade comparável à replicação tradicional (mascarando falhas frequentes) com um custo computacional quase constante ( $2 \sim 3\times$ ), mesmo para redundâncias altas ( $r \sim 20$ ).
Análise Teórica Rigorosa:
- Derivação de expressões de forma fechada para o número esperado de falhas toleráveis ( $\mu(N, r)$ ) e o overhead de computação ( $S(N, r)$ ).
- Prova de que o SPARe pode suportar assintoticamente o mesmo número de falhas que a replicação tradicional.
- Derivação da redundância ótima ( $r^*$ ) para minimizar o tempo total de treinamento quando combinado com checkpointing: $r^* \approx \lfloor \log_2 N + 0.833 \rfloor$ .
Validação em Escala Extrema: Simulações baseadas em SimGrid para um cluster de 600k GPUs H100, validando as fórmulas teóricas e comparando com baselines reais.

4. Resultados

As simulações foram realizadas em um cenário hostil de "regime dominado por reinício" (MTBF de 5 minutos, reinício de 60 minutos).

Redução no Tempo de Treinamento: O SPARe+CKPT reduziu o time-to-train em 40% a 50% em comparação com a replicação tradicional com checkpointing (Rep+CKPT) e significativamente mais do que apenas checkpointing (CKPT-only), que falhou em completar o treinamento em tempo útil.
Overhead Computacional: Enquanto a replicação tradicional exigiria um overhead de $20\times$ para redundância $r=20$ , o SPARe manteve um overhead médio de apenas 2,8x.
Disponibilidade: O sistema alcançou disponibilidade superior a 90% em configurações de alta redundância, mantendo o tempo de inatividade mínimo.
Precisão Teórica: As fórmulas teóricas para contagem de falhas e overhead de computação apresentaram erros absolutos médios de apenas 1,13% e 0,60%, respectivamente, em comparação com as simulações de Monte Carlo.

5. Significado e Impacto

Viabilidade de Escala: O SPARe torna viável o pré-treinamento de modelos de foundation em clusters com 100k a 600k+ GPUs, onde as falhas frequentes tornariam o treinamento tradicional economicamente e temporalmente inviável.
Eficiência de Recursos: Ao reduzir drasticamente o tempo de treinamento e o desperdício de energia associado a reinícios frequentes, o método contribui para uma computação de alto desempenho (HPC) mais sustentável.
Aceleração Científica: Ao diminuir a barreira de custo e tempo para treinar modelos de IA de última geração, o SPARe acelera a pesquisa e o desenvolvimento em ciência e engenharia que dependem desses modelos.

Em resumo, o SPARe representa um avanço crucial na arquitetura de sistemas distribuídos, transformando a gestão de falhas de um problema de "reinício e espera" para um processo contínuo e adaptativo, essencial para a próxima geração de inteligência artificial.