Multi-GPU Hybrid Particle-in-Cell Monte Carlo Simulations for Exascale Computing Systems

Este trabalho apresenta uma implementação híbrida portátil e escalável (MPI+OpenMP) do código BIT1 para simulações híbridas de partículas em células e Monte Carlo, otimizada para sistemas exascale heterogêneos com múltiplas GPUs (Nvidia e AMD) através de técnicas avançadas de gerenciamento de memória e I/O, demonstrando ganhos significativos de desempenho e escalabilidade em até 16.000 GPUs no sistema Frontier.

O essencial

Imagine que você está tentando prever o clima, mas em vez de nuvens e vento, você está tentando prever o comportamento de partículas de plasma (o estado da matéria que faz o Sol brilhar e que poderíamos usar para criar energia limpa no futuro).

Fazer isso no computador é como tentar organizar uma festa com bilhões de convidados, onde cada um se move, bate nos outros e muda de direção a cada milésimo de segundo. O programa que faz essa simulação se chama BIT1.

O problema é que os computadores de hoje são como cidades gigantescas com muitos "bairros" (chips e placas de vídeo). Antigamente, o BIT1 era como um carteiro que tinha que correr de um bairro a outro, entregando cartas (dados) manualmente. Isso deixava o sistema lento e cansado, especialmente quando tentávamos usar muitos computadores ao mesmo tempo para resolver problemas gigantes (o que chamamos de "computação exascale").

Aqui está o que os autores deste artigo fizeram para resolver isso, explicado de forma simples:

1. O Problema: O Trânsito de Dados

Antes, o computador gastava mais tempo movendo os dados de um lugar para outro do que realmente pensando neles. Era como ter uma equipe de chefs em uma cozinha gigante, mas eles passavam 90% do tempo correndo até a despensa para pegar ingredientes e apenas 10% do tempo cozinhando. Além disso, eles usavam um sistema de endereçamento confuso (dados em 3D) que fazia os chefs se esbarrarem nos corredores.

2. A Solução: A Cozinha "Híbrida" e Inteligente

Os pesquisadores criaram uma nova versão do BIT1 que funciona como uma cozinha de alta eficiência com várias regras novas:

• Móveis Fixos na Cozinha (Memória Persistente): Em vez de os chefs correrem para a despensa toda hora, eles deixaram todos os ingredientes principais dentro da própria cozinha (na memória da placa de vídeo/GPU). Assim, eles nunca precisam sair para buscar nada. Isso economiza um tempo enorme.
• Organização em Linha Única (Layout 1D): Antigamente, os ingredientes estavam guardados em prateleiras complexas e bagunçadas. Agora, eles foram organizados em uma única linha longa e contínua. É como transformar um labirinto em um corredor reto: os chefs podem pegar tudo muito mais rápido.
• Trabalho em Equipe Sincronizado (Híbrido MPI + OpenMP): Eles ensinaram os computadores a trabalharem juntos de forma mais inteligente. Imagine que você tem 16.000 chefs (GPUs). Em vez de todos pararem para esperar o último chegar, eles trabalham em turnos sobrepostos: enquanto um grupo cozinha, o outro já está preparando o próximo prato, e o terceiro está limpando a louça. Nada fica parado.
• Portas Diretas (GPU Direct): Eles criaram uma "porta dos fundos" direta entre os computadores, permitindo que os dados passem de um chip para outro sem precisar passar pela "sala de espera" (a memória do computador principal), o que acelera tudo.

3. O Resultado: Velocidade e Eficiência

Eles testaram essa nova versão nos computadores mais potentes do mundo (como o Frontier, nos EUA, e o LUMI, na Europa).

• O Antes: Simular uma pequena parte do plasma levava muito tempo e usava apenas uma fração da potência dos computadores.
• O Depois: Com as novas regras, a simulação ficou 17 vezes mais rápida em testes menores e conseguiu rodar em 16.000 placas de vídeo ao mesmo tempo sem travar.

4. A Analogia Final: O Show de Fogos de Artifício

Pense na simulação antiga como um show de fogos de artifício onde o operador tinha que correr até cada foguete, acendê-lo, correr de volta para o computador, anotar o resultado, e só então acender o próximo. Era lento e caótico.

A nova versão do BIT1 é como ter um sistema de controle remoto automático onde:

1. Todos os fogos já estão carregados e prontos no lugar certo.
2. O operador aperta um botão e todos os fogos explodem ao mesmo tempo, sincronizados perfeitamente.
3. O sistema registra o show em tempo real sem precisar parar o show para salvar os dados.

Por que isso importa?

Essa tecnologia permite que cientistas simulem reatores de fusão nuclear (como o futuro reator ITER) com muito mais precisão e rapidez. Isso é crucial para desenvolvermos energia limpa e infinita, como a do Sol, para o futuro da humanidade. O artigo mostra que, ao organizar melhor os dados e deixar os computadores trabalharem juntos de forma mais inteligente, podemos resolver problemas que antes pareciam impossíveis.

Resumo técnico

Título: Simulações Híbridas Multi-GPU de Partículas em Célula (PIC) Monte Carlo para Sistemas de Computação Exascale

1. O Problema

As simulações de Partículas em Célula (PIC) com Monte Carlo (MC) são fundamentais para a física de plasmas, mas enfrentam desafios críticos em sistemas de Computação de Alto Desempenho (HPC) heterogêneos modernos, especialmente na transição para a era exascale. Os principais gargalos identificados são:

• Movimentação Excessiva de Dados: A transferência constante de dados entre a memória do host (CPU) e dos aceleradores (GPU) consome tempo e largura de banda.
• Sobrecarga de Sincronização: A necessidade de sincronizar processos entre múltiplos GPUs e nós de CPU limita a escalabilidade.
• Utilização Ineficiente de Aceleradores: Versões anteriores do código BIT1 (baseadas apenas em MPI ou com offloading limitado) não conseguiam explorar plenamente a capacidade de múltiplos GPUs por nó, especialmente em arquiteturas heterogêneas (Nvidia e AMD).
• Limitações de I/O: A entrada e saída de dados (I/O) e a análise in-situ tornam-se gargalos em simulações de grande escala, interrompendo a execução e sobrecarregando o sistema de arquivos.

2. Metodologia

Os autores apresentaram uma implementação portátil e híbrida (MPI + OpenMP) do código BIT1, otimizada para execução em milhares de GPUs. As estratégias metodológicas centrais incluem:

• Modelo de Programação Híbrido: Uso de MPI para decomposição de domínio entre nós e OpenMP para paralelismo dentro do nó (shared-memory), utilizando tasks do OpenMP para gerenciar a execução assíncrona.
• Persistência de Memória no Dispositivo (GPU): Em vez de transferir dados a cada passo de tempo, os arrays de partículas são alocados e mantidos persistentemente na memória da GPU. Isso é feito através de regiões #pragma omp target enter/exit data.
• Layout de Dados Otimizado: Reestruturação de arrays tridimensionais (3D) não contíguos para layouts unidimensionais (1D) contíguos. Isso melhora a localidade de memória e a eficiência de acesso nas GPUs.
• Gerenciamento de Memória (Unified vs. Pinned): Transição de memória unificada (UM) para memória de host pinned (travada/PinM).
  • Em Nvidia: Uso de memória pinned definida em tempo de compilação.
  • Em AMD: Uso de allocators do OpenMP para gerenciar explicitamente a alocação pinned, garantindo portabilidade e transferências assíncronas de alta largura de banda (DMA).
• Interoperabilidade em Tempo de Execução: Uso de cláusulas use_device_ptr e is_device_ptr do OpenMP para permitir que os kernels acessem diretamente ponteiros de dispositivo sem mapeamento adicional, facilitando a integração entre CUDA, HIP e OpenMP.
• I/O de Alto Desempenho: Integração com os padrões openPMD e ADIOS2 (usando os backends BP4 para I/O de arquivo e SST para streaming em memória). Isso permite análise e visualização in-situ sem interromper a execução da simulação.

3. Principais Contribuições

• Portabilidade Multi-Arquitetura: Uma implementação única que funciona eficientemente em GPUs Nvidia e AMD através do uso de target tasks do OpenMP com dependências explícitas (depend) e cláusulas de não-espera (nowait).
• Redução drástica de Sobrecarga de Dados: A combinação de memória persistente na GPU e layout 1D contíguo eliminou a necessidade de transferências de dados redundantes a cada passo de tempo.
• Execução Assíncrona Multi-GPU: Coordenação de kernels e transferências de dados de forma assíncrona, permitindo que a computação e a comunicação ocorram simultaneamente, maximizando a utilização dos recursos.
• Escalabilidade em Sistemas Exascale: Validação do código em sistemas de pré-exascale e exascale reais, incluindo o Frontier (OLCF-5), escalando para até 16.000 GPUs.

4. Resultados de Desempenho

Os testes foram realizados em quatro sistemas HPC (Dardel, MareNostrum5, LUMI e Frontier) com dois casos de uso: ionização de partículas neutras e formação de sheath de alta densidade.

• Aceleração em Nó Único (MN5):
  • A versão totalmente otimizada (memória persistente, layout 1D, PinM, paralelismo OpenMP no arranger e execução assíncrona) alcançou um speedup de 17,04x em comparação com a versão original do BIT1 (layout 3D + memória unificada).
  • O tempo total de simulação caiu de ~1919s para ~113s.
• Escalabilidade Forte (Strong Scaling) - Até 800 GPUs:
  • No sistema Frontier, a versão otimizada reduziu o tempo de execução de ~283s (5 nós) para ~12,96s (100 nós), um speedup de 12,80x.
  • A inclusão de I/O via openPMD/ADIOS2 (backends BP4 e SST) introduziu apenas uma sobrecarga marginal, mantendo speeds ups superiores a 13x.
• Escalabilidade Fraca (Weak Scaling) - Até 16.000 GPUs:
  • Em testes de weak scaling no Frontier (até 2.000 nós / 16.000 GPUs) com carga pesada de I/O e diagnósticos:
    • A eficiência paralela (PE) manteve-se alta: 97,0% - 98,0% para carga leve e 72,0% - 73,6% para carga pesada de I/O.
    • O backend SST (streaming) demonstrou a melhor eficiência de escalabilidade para cargas pesadas de I/O.
• Análise de Perfil: A função de ordenação de partículas (arrj), que dominava o tempo de execução (75,5% na versão original), foi reduzida para 35,5% com o uso de SST, demonstrando a eficácia na redistribuição de carga e otimização de I/O.

5. Significado e Conclusão

Este trabalho demonstra que é possível realizar simulações de plasma de grande escala em arquiteturas heterogêneas exascale sem depender de bibliotecas proprietárias específicas de cada fabricante.

• Viabilidade Exascale: O código BIT1 provou ser capaz de escalar eficientemente em 16.000 GPUs, validando a abordagem híbrida MPI+OpenMP com OpenMP target como uma estratégia viável para o futuro da computação científica.
• Eficiência de Recursos: Ao minimizar a movimentação de dados e permitir a sobreposição de computação e comunicação, o sistema maximiza a utilização dos aceleradores, reduzindo o tempo de resolução de problemas complexos de física de plasmas.
• Futuro: Os autores planejam expandir o suporte para GPUs Intel (Aurora e JUPITER) e integrar métodos baseados em IA para análise em tempo real e controle adaptativo, consolidando o papel do BIT1 como uma ferramenta essencial para a modelagem de borda de plasma e reatores de fusão (como ITER e DEMO).