Accelerating High-Order Finite Element Simulations at Extreme Scale with FP64 Tensor Cores

Este artigo demonstra que a integração de núcleos tensoriais FP64 com otimizações de fusão de kernels no MFEM acelera significativamente simulações de elementos finitos de alta ordem em GPUs NVIDIA, alcançando ganhos de desempenho e eficiência energética em escala exascale, com aplicação direta em códigos de produção como o vencedor do Prêmio Gordon Bell de 2025 para previsão de tsunamis.

O essencial

Imagine que você é um engenheiro tentando prever um tsunami com precisão milimétrica. Para fazer isso, você precisa simular como a água se move, como o som viaja pelo oceano e como o fundo do mar se deforma. O problema é que o mundo real é complexo e cheio de detalhes. Se você tentar simular tudo isso de forma simples, o resultado pode estar errado. Se você tentar simular com toda a precisão possível, o cálculo fica tão pesado que levaria anos para terminar, mesmo nos supercomputadores mais rápidos do mundo.

Este artigo é sobre como os pesquisadores deram um "turbo" nesses cálculos, usando uma tecnologia especial das placas gráficas (GPUs) da NVIDIA, para que essas simulações sejam feitas em segundos, não em anos.

Aqui está a explicação passo a passo, usando analogias do dia a dia:

1. O Problema: A Fábrica de Cálculos Lenta

Pense no supercomputador como uma fábrica gigante. Dentro dela, há milhões de operários (os núcleos de processamento) trabalhando para resolver equações matemáticas complexas (as simulações de elementos finitos).

• O gargalo: Antigamente, esses operários eram muito cuidadosos. Eles pegavam os dados (números) de uma prateleira (memória), faziam o cálculo e devolviam. Mas eles faziam isso um por um, e a prateleira estava longe. O tempo que eles gastavam indo buscar os dados era muito maior do que o tempo que gastavam trabalhando. Era como se um carpinteiro passasse 90% do tempo andando até a caixa de ferramentas e apenas 10% cortando a madeira.
• A necessidade de precisão: Para prever tsunamis, não podemos usar "aproximações" (como números simples). Precisamos de números duplos (FP64), que são como medições feitas com uma régua de precisão de laboratório, em vez de uma régua de plástico. Isso é mais difícil de calcular e mais lento.

2. A Solução: Os "Super-Estagiários" (Tensor Cores)

A NVIDIA criou uma tecnologia chamada Tensor Cores. Pense neles como uma equipe de estagiários super-rápidos e especializados.

• O que eles fazem: Eles são feitos para pegar blocos de dados e multiplicá-los todos de uma vez, em vez de um por um.
• O desafio: Até agora, esses estagiários só sabiam trabalhar com "rascunhos" (precisão baixa). Para os problemas de tsunami, precisávamos de "rascunhos perfeitos" (precisão dupla/FP64).
• A inovação: Os autores deste artigo foram os primeiros a ensinar esses estagiários a trabalhar com precisão dupla (FP64) diretamente, sem depender de métodos lentos e tradicionais.

3. A Técnica Mágica: "Fusion" (Fusão de Tarefas)

Além de usar os estagiários, os pesquisadores mudaram a organização da fábrica.

• Antes (Sem Fusão): Imagine que você precisa fazer um bolo. Primeiro, você mistura a farinha. Depois, para outra pessoa, você leva a mistura para a geladeira. Depois, alguém pega a geladeira, leva para a mesa, e só então você adiciona o ovo. Muito tempo perdido andando de um lado para o outro.
• Depois (Com Fusão): Eles criaram uma "linha de montagem contínua". O operário pega a farinha, mistura, adiciona o ovo e coloca na forma, tudo em um único movimento, sem soltar os ingredientes.
• Resultado: Isso economizou uma quantidade enorme de tempo de "caminhada" (movimento de dados na memória).

4. O Resultado: Tsunamis em Tempo Real

Com essa nova organização e os novos estagiários (Tensor Cores FP64):

• Velocidade: As simulações ficaram até 2 vezes mais rápidas.
• Energia: O computador gastou até 83% menos energia para fazer o mesmo trabalho. É como se a fábrica produzisse o dobro de bolo usando menos da metade da eletricidade.
• Escala: Eles testaram isso em um dos maiores supercomputadores do mundo (o sistema Alps, na Suíça), usando quase 10.000 GPUs ao mesmo tempo. O sistema funcionou perfeitamente, sem travar, como se fosse um único computador gigante.

Por que isso importa?

O exemplo prático usado no artigo é um Gêmeo Digital para Alerta de Tsunamis.
Imagine que um terremoto acontece no fundo do mar. Antes, os cientistas precisavam de horas para calcular para onde a onda iria e quão alta ela seria. Com essa nova tecnologia, eles conseguem fazer esse cálculo em menos de um segundo.

Isso significa que, em caso de desastre, as autoridades podem enviar alertas de evacuação quase instantaneamente, salvando vidas.

Em resumo: Os pesquisadores pegaram uma tecnologia de hardware nova (Tensor Cores de precisão dupla), ensinaram a usá-la de forma inteligente (programação direta) e organizaram o trabalho para eliminar desperdícios (fusão de kernels). O resultado foi uma aceleração massiva que permite prever desastres naturais em tempo real, economizando energia e tempo valiosos.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Accelerating High-Order Finite Element Simulations at Extreme Scale with FP64 Tensor Cores", apresentado em português:

1. O Problema

As simulações de elementos finitos (EF) de alta ordem são fundamentais para aplicações críticas, como modelagem de tsunamis, design automotivo e eletromagnetismo computacional. No entanto, atingir resoluções necessárias para insights científicos e aplicações práticas exige supercomputação em grande escala.

• Desafio de Precisão: Muitas aplicações científicas, especialmente problemas inversos mal-postos (como a inferência de campos de parâmetros a partir de dados ruidosos), exigem precisão de ponto flutuante duplo (FP64) para garantir estabilidade e evitar erros numéricos.
• Limitação de Hardware: Embora os Tensor Cores da NVIDIA tenham revolucionado o desempenho em operações de baixa precisão (FP16/FP32), seu uso em FP64 (DMMA - Double Precision Matrix-Multiply-Accumulate) em aplicações de elementos finitos complexas e de grande escala ainda era subutilizado.
• Gargalo de Desempenho: Em códigos de elementos finitos, os kernels de montagem de operadores (especialmente em abordagens matrix-free e partial assembly) são frequentemente limitados pela largura de banda da memória compartilhada (shared memory) e não pela capacidade de computação bruta, devido à baixa razão de operações de ponto flutuante por byte transferido (flop/byte).

2. Metodologia

Os autores desenvolveram otimizações de baixo nível para o kernel de elementos finitos na biblioteca de código aberto MFEM, focando em acelerar a aplicação de operadores em GPUs NVIDIA de última geração (Grace Hopper GH200 e Grace Blackwell GB200).

• Programação Direta de Tensor Cores (FP64): Em vez de depender de bibliotecas de álgebra linear de alto nível (como cuBLAS) que são otimizadas para matrizes grandes, os autores programaram diretamente os Tensor Cores FP64 em kernels CUDA. Eles decomporam as contrações tensoriais em pequenas matrizes (ordem O(10)) e mapearam essas operações para instruções DMMA.
• Otimização de Conflitos de Banco de Memória: Um desafio crítico ao usar Tensor Cores é evitar conflitos de banco na memória compartilhada. Os autores desenvolveram mapeamentos específicos de índices (reordenação de índices tensoriais e mapeamento de linhas/colunas para lanes de warps) para garantir que os acessos à memória fossem seriais e sem conflitos, maximizando a largura de banda.
• Fusão de Kernels (Kernel Fusion): Combinaram as operações de montagem parcial (PA) e montagem matrix-free (MF) em kernels únicos. Isso reduziu drasticamente o movimento de dados, eliminando a necessidade de armazenar e reescrever vetores temporários na memória global ou compartilhada entre etapas intermediárias.
• Caso de Uso: As otimizações foram validadas em um "gêmeo digital" para alerta precoce de tsunamis (vencedor do Prêmio Gordon Bell de 2025), que resolve um sistema de equações diferenciais parciais (ondas acústico-gravitacionais) acopladas.

3. Contribuições Principais

• Primeira Aplicação em Escala: Este é, segundo os autores, o primeiro exemplo de uso de Tensor Cores FP64 programados diretamente para acelerar uma aplicação científica de elementos finitos de grande escala e baseada em PDEs complexas.
• Análise de Otimização Detalhada: Fornecem um guia completo sobre como mapear multiplicações de matrizes irregulares para instruções DMMA, incluindo estratégias para evitar conflitos de banco de memória em diferentes formatos de matriz.
• Análise de Eficiência Energética: Apresentam uma comparação de desempenho e eficiência energética entre as arquiteturas GH200 e GB200, algo raramente reportado para operações de matrizes pequenas em Tensor Cores.
• Escalabilidade Exascale: Demonstram a escalabilidade completa do código otimizado em um dos maiores supercomputadores do mundo (sistema Alps, CSCS), utilizando quase 10.000 GPUs.

4. Resultados

Os experimentos foram realizados no sistema Alps (CSCS), utilizando até 9.216 GPUs GH200.

• Aceleração de Desempenho:
  • O uso de Tensor Cores FP64 (DMMA) isoladamente resultou em ganhos de desempenho de 35% a 59% nos kernels principais em comparação com os kernels CUDA tradicionais.
  • A combinação de Tensor Cores com fusão de kernels ("DMMA Fused PA") alcançou um ganho de desempenho de 2x em relação ao kernel PA original.
• Eficiência Energética:
  • Houve um aumento de 27% na eficiência energética (desempenho por Watt) no chip GH200 e 18% no GB200 apenas com o uso de DMMA.
  • Com a fusão de kernels, a eficiência energética melhorou em 83% no GH200 e 72% no GB200.
• Escalabilidade:
  • Escalabilidade Forte: O código manteve uma eficiência de 86% a 91% ao escalar de 144 para 9.216 GPUs (aumento de 64x no número de nós).
  • Escalabilidade Fraca: Foi alcançada uma eficiência quase perfeita (~100%) ao aumentar o tamanho do problema proporcionalmente ao número de GPUs, resolvendo problemas com até ~9,28 trilhões de graus de liberdade (DOF).
• Redução de Acesso à Memória: A abordagem reduziu as leituras da memória compartilhada em 4,6x, aliviando o gargalo de largura de banda que limitava os kernels anteriores.

5. Significado e Impacto

Este trabalho é significativo por várias razões:

1. Viabilidade de FP64 em Tensor Cores: Demonstra que os Tensor Cores de precisão dupla não são apenas teóricos, mas podem ser programados diretamente para acelerar aplicações científicas que exigem alta precisão, superando as limitações das bibliotecas padrão.
2. Aceleração de Aplicações Críticas: As otimizações beneficiam diretamente códigos de produção complexos, como o modelo de previsão de tsunamis em tempo real, permitindo simulações mais rápidas e energeticamente eficientes.
3. Padrão para Exascale: A demonstração de escalabilidade quase linear em quase 10.000 GPUs estabelece um novo padrão para o desenvolvimento de kernels de elementos finitos em arquiteturas exascale.
4. Acesso à Comunidade: As melhorias estão sendo integradas na biblioteca MFEM, permitindo que a comunidade científica global aproveite esses avanços em suas próprias simulações.

Em resumo, o artigo prova que a programação direta de Tensor Cores FP64, combinada com fusão de kernels e otimizações de memória, é uma estratégia essencial para extrair o máximo desempenho e eficiência energética em simulações de elementos finitos de alta ordem em supercomputadores modernos.