An efficient multi-GPU implementation for the Discontinuous Galerkin ocean model SLIM

Este artigo apresenta uma implementação altamente eficiente do modelo oceânico de Galerkin Descontínua SLIM, acelerada por múltiplas GPUs, que alcança acelerações massivas em relação a sistemas baseados em CPU e permite simulações costeiras de ultra-alta resolução, como uma melhoria de cinco vezes na resolução para a Grande Barreira de Corais.

O essencial

A Visão Geral: Tornar os Modelos Oceânicos "Super-Rápidos"

Imagine tentar simular o oceano. Por muito tempo, os cientistas usaram uma "grade" como um tabuleiro de xadrez para mapear a água. Mas o oceano não é um tabuleiro de xadrez; ele tem linhas costeiras irregulares, fossas profundas e recifes rasos. Para fazer o tabuleiro de xadrez se encaixar, você ou tem que fazer os quadrados minúsculos em todos os lugares (o que leva uma eternidade para calcular) ou aceitar que as bordas pareçam blocadas e erradas.

O modelo SLIM descrito neste artigo usa uma abordagem diferente: uma malha não estruturada. Pense nisso como um mosaico feito de ladrilhos de formas irregulares. Você pode usar ladrilhos minúsculos e intrincados bem ao lado de um recife rochoso e ladrilhos enormes e simples no oceano profundo e aberto. Isso é perfeito para áreas costeiras, mas é computacionalmente caro. É como tentar pintar uma obra-prima com um pincel minúsculo; leva muito tempo e esforço.

Os autores deste artigo perguntaram: "Como podemos fazer este modelo oceânico detalhado, estilo mosaico, rodar rápido o suficiente para ser útil?" Sua resposta foi construir uma versão especificamente projetada para GPUs (os chips gráficos poderosos encontrados em computadores de jogos e supercomputadores).

A Inovação Central: O Oceano "Pronto para GPU"

O artigo foca em um método matemático específico chamado Galerkin Descontínuo (DG).

• A Analogia: Imagine uma sala de aula.
  • Métodos antigos (Contínuos): Os alunos estão de mãos dadas em um círculo gigante. Se um aluno se move, ele tem que avisar todos os outros no círculo. Está conectado, mas é lento para coordenar.
  • Método DG: Cada aluno senta em sua própria mesa. Eles trabalham independentemente em seus próprios problemas de matemática. Eles só conversam com seus vizinhos imediatos quando precisam passar um bilhete.
• Por que isso ajuda: Como os alunos (pontos de dados) trabalham independentemente, você pode contratar 1.000 professores (núcleos de GPU) para ajudá-los a todos ao mesmo tempo, sem que eles se atrapalhem. Isso é exatamente o que as GPUs adoram fazer: trabalho paralelo massivo.

Como Eles Tornaram Isso Rápido (O "Segredo")

Os autores não apenas colocaram o código em uma GPU; eles redesenharam completamente como os dados são armazenados e movidos, usando três truques principais:

1. A Organização da "Biblioteca" (Layout de Memória)
As GPUs são como bibliotecários super-rápidos. Se os livros estiverem espalhados aleatoriamente, o bibliotecário perde tempo correndo por aí. Se estiverem organizados perfeitamente, ele pode pegá-los instantaneamente.

• A equipe reorganizou os dados para que informações relacionadas ficassem logo ao lado umas das outras na memória. Eles até usaram uma "curva de Hilbert" (um caminho específico e sinuoso) para arranjar os ladrilhos irregulares de modo que os vizinhos estejam fisicamente próximos na memória do computador. Isso mantém o "bibliotecário" da GPU rodando na velocidade máxima.

2. A Linha de Montagem de "Células"
O modelo oceânico é 3D, feito de colunas verticais de água. Alguns cálculos precisam resolver um quebra-cabeça para toda a coluna de uma vez.

• O Problema: Geralmente, resolver esses quebra-cabeças um por um é lento.
• A Solução: Eles criaram um layout especial de "Célula". Imagine uma linha de montagem de fábrica onde 128 trabalhadores (threads) são designados para 128 colunas. Em vez de passar peças de um lado para o outro, eles organizam as peças em uma grade organizada (uma matriz) para que todos os 128 trabalhadores possam pegar o que precisam simultaneamente. Isso transforma um processo lento e sequencial em um processo rápido e paralelo.

3. O Solver "Sem Planta Baixa" (Matriz-Livre)
Em muitos problemas matemáticos, você precisa construir uma planta baixa gigante (uma matriz) antes de poder resolver o problema. Construir a planta baixa leva tempo.

• O Truque: Para certas partes do modelo oceânico (como pressão e movimento vertical), os autores perceberam que a planta baixa sempre segue um padrão previsível. Em vez de construir a planta baixa, eles escreveram uma receita que calcula a resposta diretamente na hora. É como saber a resposta de um problema de matemática sem precisar escrever os passos longos da divisão.

Os Resultados: Uma Revolução de Velocidade

O artigo apresenta resultados de benchmark que mostram quão eficaz isso é:

• Uma GPU vs. Um Salão de Computadores: Uma única GPU de alto desempenho (como uma NVIDIA A100) pode fazer o trabalho de cerca de 1.500 processadores de computador padrão.
• O Salto de "50x": Se você substituir um servidor massivo com 128 núcleos de CPU por um único servidor contendo apenas 4 dessas GPUs, a simulação roda 50 vezes mais rápido.
• Escalabilidade: Eles testaram isso em supercomputadores com até 1.024 GPUs. O sistema escalou lindamente, o que significa que adicionar mais GPUs mantinha a simulação rodando eficientemente, desde que a área oceânica sendo simulada fosse grande o suficiente para manter todas essas GPUs ocupadas.

O Teste do Mundo Real: A Grande Barreira de Corais

Para provar que isso não era apenas um teste de velocidade teórico, eles rodaram uma simulação da Grande Barreira de Corais.

• O Desafio: O recife tem formas incrivelmente complexas. Modelos anteriores tinham que usar uma resolução "embaçada" (cerca de 1,5 km a 4 km por ladrilho) para rodar em um tempo razoável.
• O Novo Resultado: Usando seu novo modelo acelerado por GPU, eles simularam todo o recife com uma resolução cinco vezes mais fina (descendo a 200 metros).
• O Resultado: Eles puderam ver detalhes minúsculos como "jatos de maré" (correntes rápidas de água) e pequenos redemoinhos que antes eram invisíveis. Eles alcançaram uma velocidade onde o computador simulava 100 dias de tempo oceânico para cada 1 dia de tempo real.

Resumo

Este artigo demonstra que, ao repensar como os dados são organizados e aproveitando o poder único dos chips gráficos modernos, os cientistas finalmente podem rodar modelos oceânicos 3D altamente detalhados de linhas costeiras complexas. Eles transformaram um processo que antes era lento demais e caro em uma ferramenta rápida e eficiente, abrindo a porta para simulações de ultra-alta resolução de lugares como a Grande Barreira de Corais.

Resumo técnico

Resumo Técnico: Uma Implementação Eficiente Multi-GPU para o Modelo Oceânico de Galerkin Descontínuo SLIM

Declaração do Problema
Modelos oceânicos de malha não estruturada são cada vez mais vitais para aplicações costeiras devido à sua capacidade de representar geometrias complexas e aplicar refinamento local de grade. No entanto, sua adoção mais ampla, particularmente para modelos baseados no método de Elementos Finitos de Galerkin Descontínuo (DG-FE), tem sido impedida por altos custos computacionais. A abordagem DG-FE envolve inerentemente mais graus de liberdade e cálculos por elemento do que os métodos tradicionais de volumes finitos ou elementos finitos contínuos. Além disso, a conectividade irregular das malhas não estruturadas exige armazenamento e gerenciamento explícitos de relações de vizinhança, levando a requisitos sofisticados de manipulação de dados e aumento da sobrecarga computacional. Embora estratégias como refinamento local de malha e divisão de modos tenham sido empregadas, elas frequentemente são insuficientes para simulações de alta resolução ou de longa duração. O rápido surgimento de arquiteturas de computação de alto desempenho (HPC) baseadas em GPU oferece uma solução potencial, pois formulações DG-FE são bem adequadas para computações massivamente paralelas, elemento a elemento; contudo, aproveitar plenamente essas arquiteturas exige um redesenho completo dos códigos computacionais.

Metodologia
Os autores apresentam uma implementação completa de um modelo oceânico 3D DG-FE do SLIM, otimizada para sistemas de GPU única e múltiplas GPUs, com suporte para arquiteturas NVIDIA e AMD. A implementação depende de uma camada de abstração leve para alternar entre backends de CPU, CUDA e HIP.

• Layout de Memória e Atribuição de Threads: O modelo emprega uma estratégia de "uma thread por elemento" em vez de por nó, para aumentar a carga de trabalho computacional por thread. Para otimizar a coalescência de memória, a malha 2D é reordenada usando uma curva de Hilbert. Um layout de dados híbrido é introduzido: um formato Estrutura-de-Vetores (SoA) para computações gerais e um "layout de célula" especializado para resolver sistemas lineares. O layout de célula agrupa conjuntos de colunas prismáticas (tipicamente 128) em uma estrutura de matriz (Vetor-de-Estrutura-de-Vetores), permitindo acesso perfeitamente coalescido à memória durante a solução de sistemas lineares bandados associados a colunas verticais.
• Esquemas Numéricos: O modelo utiliza um esquema Runge-Kutta dividido IMEX. O modo externo (barotrópico) usa um método Runge-Kutta explícito de três passos na malha 2D, enquanto o modo interno (baroclínico) avança as equações 3D. O modo interno separa processos horizontais e verticais; a advecção e a viscosidade horizontais são explícitas, enquanto os processos verticais podem ser implícitos para mitigar condições CFL estritas.
• Resolvedores:
  • Resolvedores Livres de Matriz: Para o gradiente de pressão horizontal e a velocidade vertical, os sistemas lineares possuem uma estrutura previsível que permite a solução sem montagem explícita de matrizes. Um resolvedor de uma única passagem com olhar para cima codifica a estrutura da matriz em uma fórmula de recursão.
  • Resolvedores de Coluna Totalmente Montados: Para o fechamento de turbulência e fluxos verticais implícitos, o modelo monta matrizes esparsas que acoplam nós dentro de uma coluna. Estas são resolvidas in loco usando eliminação de Gauss com uma thread por sistema, utilizando buffers locais para evitar transbordamento de registradores.
• Estratégia Multi-GPU: O domínio é decomposto horizontalmente usando MPI, com uma GPU por rank. Para sobrepor computação e comunicação, o código divide cada partição em elementos de fronteira/ghost e elementos interiores. Computações de fronteira e trocas de halo são lançadas em um stream de comunicação de alta prioridade, enquanto computações interiores prosseguem em um stream de computação. Essa sobreposição é crítica, particularmente para o modo externo 2D, onde a latência de lançamento de kernel e os custos de comunicação podem se tornar gargalos.

Principais Resultados

• Desempenho de GPU Única: Benchmarks em uma GPU NVIDIA A100 demonstram desempenho equivalente a aproximadamente 1500 núcleos de CPU. Substituir um nó de CPU de 128 núcleos por um nó de GPU 4×A100 resulta em um aumento de velocidade de aproximadamente 50×. A implementação sustenta até 80% da largura de banda de memória de pico para kernels limitados por memória e 60% do throughput de ponto flutuante de pico para kernels limitados por computação, com uma média sustentada de ~30% para ambos ao longo de um passo de tempo completo.
• Escalabilidade: A eficiência de escalabilidade fraca é mantida até 1024 GPUs (512 GCDs AMD MI250X) no supercomputador LUMI. A escalabilidade forte segue a lei de Amdahl, onde o componente baroclínico 3D escala quase idealmente, mas o modo barotrópico 2D atua como uma fração sequencial devido à sua alta frequência de kernels curtos e trocas de halo.
• Aplicação à Grande Barreira de Coral (GBR): O modelo foi aplicado a uma simulação realista da GBR com uma malha de 3,3 milhões de triângulos (34 milhões de elementos 3D), apresentando resoluções de 200 m perto dos recifes a 10 km em alto mar. Executando em 32 GPUs AMD MI250X (64 GCDs) em precisão dupla, a simulação alcançou um throughput de aproximadamente 100 dias simulados por dia de relógio. Esta configuração resolveu estruturas de fluxo de até algumas centenas de metros, capturando jatos de maré e vórtices anteriormente irresolúveis em modelos de resolução uniforme.

Significado e Alegações
O artigo afirma que métodos DG-FE acelerados por GPU podem avançar dramaticamente as capacidades da modelagem oceânica de malha não estruturada. Ao explorar efetivamente arquiteturas de GPU através de layouts de dados específicos, resolvedores livres de matriz e estratégias de sobreposição de comunicação, os autores demonstram que o custo computacional de simulações não estruturadas de alta resolução pode ser alinhado com modelos de grade estruturada em resoluções mais grosseiras. Isso remove uma restrição histórica na aplicação prática de modelos de malha não estruturada para domínios regionais e costeiros.

Os autores enfatizam que este trabalho permite simulações costeiras de ultra-alta resolução que eram anteriormente inviáveis, permitindo a resolução de processos multi-escala ao longo do continuum terra-mar. Embora a aplicação da GBR sirva como uma demonstração de capacidades de escalabilidade e resolução, em vez de um estudo científico totalmente validado, ela destaca o potencial para aplicações operacionais na gestão ambiental. O artigo conclui que as vantagens inerentes das malhas não estruturadas — flexibilidade geométrica, refinamento local e resolução multi-escala — podem agora ser aproveitadas sem a sobrecarga computacional tradicional, posicionando modelos DG acelerados por GPU como uma ferramenta promissora para a próxima geração de simulações oceânicas costeiras.