Beyond Exascale: Dataflow Domain Translation on a Cerebras Cluster

Este artigo apresenta o algoritmo inovador de Tradução de Domínio, que, ao ser executado em um cluster de 64 sistemas Cerebras CS-3, supera as limitações dos métodos tradicionais de decomposição de domínio para alcançar desempenho sem precedentes, incluindo 1,6 milhão de passos de tempo por segundo e 88% da eficiência de pico, ao simular a equação de águas rasas para modelar um tsunami global.

O essencial

Imagine que você precisa prever o tempo, simular um tsunami ou entender como o calor se espalha em uma sala. Para fazer isso, os cientistas usam supercomputadores que dividem o mundo em milhões de pequenos quadrados (como um tabuleiro de xadrez gigante) e calculam o que acontece em cada quadrado, passo a passo, no tempo.

O problema é que, nos supercomputadores tradicionais, esses quadrados são divididos entre várias máquinas. Quando uma máquina precisa de uma informação do vizinho (o quadrado ao lado), ela tem que "ligar" para ele. Se a linha telefônica estiver lenta, todo o sistema tem que esperar. É como se você estivesse cozinhando um jantar com 64 amigos, mas cada vez que alguém precisasse de um ingrediente do outro lado da cozinha, todos tivessem que parar e esperar o ingrediente chegar. Isso deixa o sistema muito lento e desperdiça muita energia.

A Grande Ideia: "Domain Translation" (Tradução de Domínio)

Os autores deste artigo, da Cerebras e do Laboratório Nacional de Sandia, criaram uma solução genial chamada "Domain Translation" (Tradução de Domínio).

Para entender como funciona, vamos usar uma analogia:

A Analogia da Esteira Rolante vs. A Esteira que Anda

1. O Método Antigo (Decomposição Estática): Imagine que você tem uma esteira rolante com 64 pessoas. Cada pessoa é responsável por pintar uma faixa específica da esteira. Para pintar a borda da sua faixa, você precisa de tinta que vem da pessoa ao seu lado. Mas a tinta demora para chegar. Então, você pinta, espera a tinta chegar, pinta de novo, espera... O tempo de espera (latência) faz com que a esteira ande muito devagar.
2. O Método Novo (Tradução de Domínio): Agora, imagine que, em vez de você ficar parado pintando uma faixa fixa, você e a esteira inteira estão se movendo.
   • A cada passo de tempo, a "responsabilidade" de pintar a faixa desliza um pouquinho para o lado.
   • Você pinta o que está na sua frente, e quando precisa da informação do vizinho, o vizinho já está lá, porque a "responsabilidade" se moveu em direção a ele.
   • É como se você estivesse em um trem e, em vez de esperar alguém te passar um jornal da estação seguinte, você simplesmente mudasse de vagão a cada segundo para pegar o jornal que já está na sua mão.
   • O resultado: A comunicação entre as máquinas acontece apenas uma vez por "ciclo longo", e não a cada segundo. O tempo de espera da rede é completamente "escondido" pela velocidade do movimento.

O "Cérebro" Gigante: O Cerebras WSE

Para fazer isso funcionar, eles não usaram computadores normais. Eles usaram uma tecnologia chamada Wafer Scale Engine (WSE).

• Analogia: Imagine que os computadores normais são como uma cidade com muitos prédios (chips) separados por ruas (fios). Enviar dados entre prédios demora.
• O Cerebras é como uma única cidade inteira feita em um único bloco de concreto. Não há ruas entre os prédios; tudo está conectado por túneis ultra-rápidos dentro do próprio bloco. É o maior chip do mundo, feito em uma única fatia de silício. Isso permite que os dados viajem na velocidade da luz dentro do próprio computador, sem sair para "fora".

O Que Eles Conseguiram?

Com essa combinação de "esteira móvel" (o algoritmo) e "cidade única" (o hardware), eles conseguiram feitos impressionantes:

1. Velocidade Insana: Eles conseguiram simular 1,6 milhão de passos de tempo por segundo. É como se o universo fosse calculado em tempo real, mas em câmera super-rápida.
2. Eficiência Perfeita: Eles usaram 64 desses supercomputadores gigantes e todos trabalharam juntos sem ninguém ficar parado esperando. Eles atingiram 88% da velocidade máxima teórica do sistema. Em supercomputadores normais, raramente se passa de 5% a 10% de eficiência em tarefas assim.
3. Simulação Realista: Eles usaram isso para simular um tsunami causado por um asteroide caindo no oceano. Eles conseguiram modelar ondas em todo o planeta com uma precisão incrível, mostrando como a água se moveria por horas após o impacto.

Por Que Isso Importa?

Pense nas consequências disso:

• Previsão do Tempo: Poderíamos prever furacões e tempestades com dias de antecedência e precisão milimétrica.
• Segurança: Poderíamos simular desastres naturais (como tsunamis ou terremotos) para saber exatamente como evacuar cidades antes que aconteçam.
• Economia de Energia: Eles mostraram que esse método é extremamente eficiente energeticamente. Eles conseguiram fazer o mesmo trabalho gastando muito menos energia do que os supercomputadores atuais.

Em resumo:
Os autores inventaram uma nova maneira de organizar o trabalho em supercomputadores, onde o "atraso" da comunicação entre as máquinas deixa de existir. Eles usaram um hardware revolucionário (um chip gigante) para fazer isso, permitindo simular o mundo físico com uma velocidade e eficiência que antes eram consideradas impossíveis. É como se eles tivessem descoberto como fazer o tempo "andar" mais rápido para os cientistas, permitindo que eles vejam o futuro do nosso planeta com clareza.

Resumo técnico

Título: Além do Exaescala: Tradução de Domínio de Fluxo de Dados em um Cluster Cerebras

1. O Problema

A simulação de sistemas físicos (como fluidos, ondas e difusão) baseada em Equações Diferenciais Parciais (EDPs) é fundamental para a ciência e engenharia. No entanto, as arquiteturas de computação tradicionais (Von Neumann) enfrentam limitações severas ao tentar escalar essas simulações em clusters distribuídos:

• Parede de Memória e Latência: Métodos tradicionais de decomposição de domínio exigem comunicação constante entre nós para trocar dados nas fronteiras (pontos fantasma/ghost points). Em redes de alta latência, essa comunicação torna-se o gargalo, impedindo o strong scaling (aumento da velocidade com mais processadores para o mesmo problema).
• Baixa Eficiência: Sistemas de Exaescala atuais frequentemente operam com menos de 5% de seu desempenho de pico em cargas de trabalho de simulação de sistemas terrestres. A latência da rede impõe um limite de taxa de iteração, independentemente da potência de cálculo disponível.
• Ineficiência Energética: Técnicas de ocultação de latência, como a replicação de pontos fantasma, exigem redundância computacional, reduzindo a eficiência energética e o uso do hardware.

2. Metodologia: O Algoritmo de Tradução de Domínio

Os autores propõem um novo algoritmo chamado Tradução de Domínio (Domain Translation), projetado especificamente para arquiteturas espaciais de fluxo de dados (Dataflow), como o Wafer Scale Engine (WSE) da Cerebras.

• Princípio de Funcionamento:

  • Ao contrário da decomposição estática, onde os dados são fixos em nós específicos, o algoritmo "traduz" o mapeamento dos pontos da grade para os processadores a cada passo de tempo.
  • O mapeamento é deslocado em $p$ pontos (o raio do estêncil) a cada iteração.
  • Isso transforma o tráfego de rede bidirecional (típico em decomposição estática) em um fluxo unidirecional.
  • Ocultação de Latência: Um nó processa seus dados internos e gera pacotes para o nó vizinho a montante (upstream) antes de receber dados do nó a jusante (downstream). Como o deslocamento ocorre a cada passo, a latência da rede é amortizada sobre a largura do subdomínio. O nó só precisa esperar pelos dados externos após processar toda a sua "pirâmide espaço-temporal" interna.
  • Se o tamanho do subdomínio for suficientemente grande, a latência da rede torna-se irrelevante, permitindo que o sistema opere no limite de desempenho computacional (compute-bound).

• Arquitetura de Hardware (Cerebras WSE):

  • O algoritmo é implementado no WSE, um chip de escala de wafer com milhares de Processadores Elementares (PEs) interconectados por uma rede em chip (NoC) de baixa latência.
  • A topologia espacial do hardware (memória distribuída e processadores locais) alinha-se perfeitamente com o princípio de localidade física das EDPs, permitindo que os dados e as instruções estejam sempre localizados no processador que os executa.
  • A implementação utiliza uma linguagem de fluxo de dados (Tungsten) que permite a execução assíncrona e descentralizada, sem necessidade de sincronização global rígida.

3. Contribuições Principais

1. Novo Algoritmo de Escalonamento: Introdução da "Tradução de Domínio", que elimina o impacto da latência de rede em simulações de estêncil, permitindo weak scaling perfeito e strong scaling eficiente.
2. Primeiro Solucionador Distribuído em Cluster WSE: Demonstração da primeira aplicação de um solucionador de EDPs distribuído em um cluster de 64 nós WSE.
3. Desempenho sem Precedentes: Achieved taxas de simulação superiores a 1,6 milhão de passos de tempo por segundo em um cluster.
4. Eficiência Energética e de Pico:
   • Alcançou 88% do desempenho de pico do sistema em um ambiente sem restrição de energia.
   • Alcançou 57 GFLOP/J em um ambiente limitado por potência, superando significativamente os líderes atuais em eficiência para cargas de trabalho esparsas.
5. Aplicação em Escala Planetária: Validação do método simulando um tsunami global causado por um impacto de asteroide usando as Equações de Água Rasa (SWE) com resolução de 460m.

4. Resultados Experimentais

Os testes foram realizados em um cluster de 64 sistemas CS-3 da Cerebras, cobrindo três cargas de trabalho: Equação do Calor (estêncil de 5 e 9 pontos) e Equações de Água Rasa (SWE).

• Escalabilidade:
  • Weak Scaling: Eficiência de escalabilidade quase perfeita (98,8% a 99,9998%) ao aumentar o número de nós de 4 para 64, mantendo o tamanho do problema por nó constante.
  • Strong Scaling: O sistema manteve alta eficiência mesmo com poucos pontos de grade por núcleo (256 pontos), desde que o subdomínio fosse grande o suficiente para amortizar a latência.
• Desempenho de Pico:
  • Em um nó com fornecimento de energia aprimorado (sem throttling), o código de 9 pontos atingiu 2,1 GFLOPS por núcleo, correspondendo a 88% do desempenho de pico.
  • Projetado para 64 nós, isso resultaria em 112 PFLOP/s.
• Eficiência Energética:
  • Com 64 nós operando em 1,2 GHz (limitado por potência), o cluster atingiu 84,7 PFLOP/s com uma eficiência de 57 GFLOP/J.
• Aplicação Real (SWE):
  • Simulação de um tsunami gerado por um impacto de asteroide (energia equivalente a 2,4 milhões de toneladas de TNT) em escala global.
  • O modelo demonstrou a capacidade de resolver equações hiperbólicas complexas com alta fidelidade e velocidade, superando as limitações de tempo de simulação de modelos tradicionais.

5. Significado e Impacto

Este trabalho representa um avanço fundamental na computação de alto desempenho (HPC) para simulações físicas:

• Superação do Limite de Latência: Demonstra que a latência de rede não precisa ser um fator limitante para simulações de grande escala, desde que se utilize a combinação correta de algoritmo (Tradução de Domínio) e arquitetura (Espacial/Fluxo de Dados).
• Viabilidade de Simulações em Tempo Real: A capacidade de executar milhões de passos de tempo por segundo abre portas para "gêmeos digitais" em tempo real, previsão meteorológica de alta resolução e simulações de desastres naturais com antecedência.
• Escalabilidade Geográfica: O artigo sugere que, devido à capacidade de ocultar latências quadráticas em relação à memória, clusters distribuídos em diferentes cidades poderiam ser interconectados para formar "superclusters" virtuais, superando barreiras de latência de milissegundos.
• Futuro da Modelagem Terrestre: A aplicação bem-sucedida nas Equações de Água Rasa (base para modelos atmosféricos e oceânicos 3D) indica que esta arquitetura pode revolucionar a modelagem do sistema terrestre, oferecendo um aumento de ordem de magnitude no throughput e na eficiência energética.

Em resumo, o artigo prova que a combinação de uma arquitetura de processamento espacial massivamente paralela com um algoritmo de tradução de domínio inovador permite superar as barreiras de desempenho e eficiência que limitam a computação de Exaescala atual.