Streami: An MPI Data-Parallel Library to Compute Field Lines on GPUs

Este artigo apresenta o Streami, uma biblioteca de código aberto, extensível e acelerada por GPU que se interfaceia com aplicações MPI para computar eficientemente linhas de campo em fluxos de fluidos tanto para análise post-hoc quanto in-situ.

O essencial

Imagine que você está tentando visualizar as correntes invisíveis de uma tempestade massiva e giratória dentro de um supercomputador. No mundo da dinâmica de fluidos, os cientistas usam "linhas de campo" (como linhas de corrente) para desenhar os caminhos que pequenas partículas percorreriam ao serem carregadas por essas correntes. É como jogar um milhão de folhas em um rio para ver para onde a água está fluindo.

O problema é que essas simulações são enormes. Elas rodam em supercomputadores que possuem dezenas de placas de vídeo (GPUs) poderosas trabalhando juntas, divididas entre muitas máquinas diferentes. Normalmente, para desenhar essas linhas, você teria que interromper a simulação, copiar todos esses dados massivos para um computador separado e então tentar desenhá-los. Mas mover essa quantidade de dados é como tentar despejar o oceano inteiro em uma xícara de chá; é lento, caro e cria um gargalo que interrompe tudo.

Apresentamos o "Streami".

Pense no Streami como um serviço de entrega especializado e de alta velocidade que vive dentro do próprio supercomputador. Em vez de mover os dados para fora, o Streami move as "folhas" (as partículas) diretamente entre as diferentes placas de vídeo que já estão segurando os dados.

Veja como ele funciona, dividido em conceitos simples:

1. O Serviço de Entrega "In-Situ"

A maioria das ferramentas de visualização é como um serviço de entrega que retira um pacote, dirige até um armazém, faz a triagem e depois o envia. O Streami é diferente. É como uma rede de teletransporte construída diretamente no chão da fábrica.

• A Configuração: O supercomputador é dividido em bairros (partições de dados), com cada bairro sendo gerenciado por uma GPU específica.
• O Trabalho: O Streami permite que uma partícula comece no Bairro A, mova-se através do fluxo e, se cruzar a fronteira para o Bairro B, ela se "teletransporta" instantaneamente (via uma conexão direta e rápida) para a GPU que gerencia o Bairro B.
• O Benefício: Nenhum dado sai do supercomputador. A simulação e a visualização acontecem ao mesmo tempo, nas mesmas máquinas, sem a lenta "viagem de caminhão" de copiar dados.

2. As Duas Camadas da Biblioteca

O artigo descreve o Streami como tendo duas "linguagens" ou camadas:

• A Camada de Baixo Nível (O Motor): Esta é a maquinaria pesada escrita em uma linguagem técnica e muito rápida (CUDA/C++). É a parte que realmente calcula a matemática de cada partícula, verifica em qual bairro ela está e lida com o teletransporte instantâneo entre os computadores. Ela foi projetada para ser o mais rápida possível, usando "templates" para que possa se adaptar a diferentes tipos de grades de dados sem perder velocidade.
• A Camada de Alto Nível (O Painel de Controle): Esta é a interface amigável ao usuário (escrita em C++). É como o volante e o painel de um carro. Os cientistas não precisam saber como o motor funciona; eles apenas dizem ao painel: "Desenhe para mim um fluxo de partículas começando aqui", e o painel cuida de toda a matemática complexa e da comunicação nos bastidores.

3. Lidando com Diferentes Terrenos

Simulações de fluidos podem ser bagunçadas. Às vezes, os dados são uma grade uniforme e organizada (como um tabuleiro de xadrez). Outras vezes, são uma malha caótica e desordenada de formas (como uma pilha de pedras).

• O Streami é extensível. Ele possui um "tradutor universal" que pode entender tanto as grades organizadas de tabuleiro quanto as pilhas de pedras desordenadas.
• Se um cientista tiver um novo tipo de dado estranho, ele pode conectá-lo ao motor de baixo nível do Streami sem precisar reconstruir todo o sistema. A biblioteca descobre como navegar no terreno específico desses dados.

4. Testes do Mundo Real

Os autores testaram o Streami em um cluster com 16 GPUs poderosas. Eles rastrearam 100.000 partículas movendo-se através de uma galáxia simulada.

• O Resultado: O sistema foi incrivelmente rápido, levando apenas cerca de 1 a 2 milissegundos para mover todas as partículas um passo à frente.
• O Gargalo: A única coisa que o atrasou ligeiramente foi a "chamada telefônica" entre os diferentes computadores (comunicação MPI) para dizer: "Ei, esta partícula agora está no seu bairro". Mesmo assim, foi muito eficiente.

Resumo

Em suma, o Streami é uma ferramenta que permite aos cientistas desenhar linhas de fluxo (como correntes de vento ou água) diretamente dentro de um supercomputador massivo enquanto a simulação está rodando. Ele evita o processo lento e doloroso de copiar enormes quantidades de dados. Em vez disso, ele atua como uma ponte contínua, permitindo que as partículas saltem instantaneamente entre diferentes placas de vídeo, tornando possível visualizar fluxos de fluidos complexos e massivos em tempo real ou quase tempo real.

Os autores disponibilizaram esta ferramenta como código aberto (open-source), o que significa que qualquer pessoa pode usá-la para construir seus próprios aplicativos de "posicionamento interativo de pontos de semente" (onde você pode clicar e soltar folhas virtuais em uma simulação para ver para onde elas vão) ou integrá-la em seus próprios fluxos de trabalho científicos.

Resumo técnico

Resumo Técnico: Streami – Uma Biblioteca de Dados Paralelos MPI para Computação de Linhas de Campo Acelerada por GPU

Declaração do Problema

Linhas de campo (ex: linhas de corrente, linhas de traço) são primitivas essenciais para analisar fluxos de fluidos, particularmente em Dinâmica de Fluidos Computacional (CFD). Essas simulações normalmente rodam em sistemas de Computação de Alto Desempenho (HPC) utilizando memória distribuída e nós multi-GPU. Embora as computações individuais de GPU sejam aceleradas via APIs como CUDA ou HIP, a comunicação entre nós depende de MPI.

Os fluxos de trabalho de visualização atuais enfrentam gargalos significativos:

1. Movimentação de Dados: Copiar conjuntos de dados massivos e distribuídos para uma estação de trabalho separada para pós-processamento é frequentemente inviável devido ao volume e à latência.
2. Falta de Abstração: Embora existam bibliotecas para visualização de campos escalares (ex: OSPRay, ANARI) ou orquestração in-situ (ex: Catalyst, Ascent), não há uma abstração de alto desempenho e paralela aos dados especificamente para a computação de linhas de campo que se integre perfeitamente às decomposições de domínio MPI existentes.
3. Inflexibilidade: As ferramentas existentes muitas vezes exigem o reamostragem ou o mapeamento de campos de fluxo customizados para se ajustarem a estruturas de dados específicas (ex: grades de voxels), o que leva à perda de qualidade ou ao uso excessivo de memória. Além disso, lidar com desequilíbrios de carga e migração de partículas entre ranks MPI (o efeito "ping-pong") é frequentemente fortemente acoplado a ecossistemas específicos como o VTK, limitando a portabilidade.

Metodologia

Os autores apresentam o Streami, uma biblioteca extensível e de código aberto projetada para computar linhas de campo diretamente em clusters multi-GPU usando uma abordagem de dados paralelos. O Streami atua como uma camada fina entre as simulações de CFD e a renderização de baixo nível, suportando tanto visualização in-situ quanto in-transit.

Arquitetura de Software

O Streami é dividido em duas interfaces principais:

1. Interface de Baixo Nível (CUDA/C++)
Esta camada fornece os blocos de construção críticos para o desempenho, utilizando polimorfismo em tempo de compilação para evitar sobrecarga (overhead) em tempo de execução.

• Abstração de Campo Vetorial: A abstração central é uma classe VecField com componentes tanto para host quanto para device. A classe de device implementa duas funções intrínsecas críticas:
  • sample(position): Reconstrói o valor do campo vetorial em uma posição 3D específica.
  • destinationID(position): Determina o rank MPI (GPU) que detém os dados para uma determinada posição. Isso permite que a biblioteca lide com partições espaciais arbitrárias (ex: grades uniformes, estruturas de árvore) sem impor um layout de dados específico.
• Advecção de Partículas: Implementada via kernels CUDA (ex: usando integração de Runge-Kutta). O kernel amostra o campo, atualiza as posições das partículas e determina o rank alvo.
• Comunicação Inter-GPU: A troca de partículas entre ranks é tratada pelo RaFI, uma biblioteca otimizada originalmente projetada para traçado de raios (ray tracing). O RaFI trata as partículas como raios, realizando o buffering e executando transferências coletivas all-to-all usando MPI compatível com CUDA (CUDA-aware MPI). Isso abstrai a complexidade de consultas de vizinhança e regiões de halo do usuário.

2. Interface de Alto Nível (C++ Orientado a Objetos)
Esta camada fornece uma classe Tracer que orquestra os algoritmos de visualização:

• Suporte a Algoritmos: Suporta Linhas de Corrente (fluxo estacionário) e Linhas de Traço (fluxo não estacionário).
• Fluxo de Trabalho: O Tracer gerencia o passo de tempo da simulação, a geração de partículas (semeadura) e a chamada iterativa do kernel de baixo nível update().
• Flexibilidade: A API permite que aplicações passem seus dados em seus formatos nativos (estruturados ou não estruturados) sem reamostragem, desde que exista uma implementação de tipo de campo compatível.

Extensões de Campo

O Streami suporta diferentes representações de campo através de templates C++. Atualmente, ele suporta:

• Campos Estruturados: Grades de voxels uniformes armazenadas em memória global.
• Campos Não Estruturados: Grades contendo tetraedros, pirâmides, prismas e hexaedros, utilizando uma Hierarquia de Volumes Envolventes (BVH) acelerada por GPU via cuBQL para consultas espaciais.

Principais Contribuições

1. Uma Biblioteca Pronta para Uso (Drop-in Library): O Streami oferece uma API simples para integrar a computação de linhas de campo em pipelines de HPC existentes sem a necessidade de cópias de dados ou trocas de contexto.
2. Eficiência de Dados Paralelos: Ao aproveitar a decomposição de domínio existente da aplicação de CFD, o Streami evita os problemas de balanceamento de carga e custos de transferência de dados associados ao pós-processamento tradicional.
3. Extensibilidade: A biblioteca permite que os usuários definam tipos de campos vetoriais customizados e esquemas de partição espacial (ex: travessias de árvore) via templates de compilação, eliminando a necessidade de reamostragem.
4. Lançamento de Código Aberto: O Streami é lançado sob a licença Apache 2.0, fornecendo uma implementação de referência para visualização de fluxo multi-GPU baseada em MPI.

Resultados e Desempenho

Os autores avaliaram o Streami usando um conjunto de dados de astrofísica (1K³ voxels) em até 16 GPUs A100 (dois nós).

• Desempenho: Passos únicos de advecção para 100.000 partículas levaram, em média, de 1 a 2 ms.
• Gargalos: Os resultados indicam que o desempenho é limitado primariamente pela sobrecarga de comunicação MPI, em vez da computação local da GPU.
• Escalabilidade: A biblioteca rastreou partículas com sucesso através de ranks distribuídos, com a biblioteca RaFI lidando eficientemente com a troca de partículas.
• Dados Não Estruturados: A biblioteca adaptou com sucesso o conjunto de dados estruturado para um formato hexaédrico não estruturado, embora restrições de memória tenham impedido a execução em contagens muito pequenas de GPUs (1–4 GPUs) para a variante não estruturada devido à sobrecarga da estrutura BVH.

Significância e Alegações

O artigo posiciona o Streami como uma abstração necessária para preencher uma lacuna no estado da arte para visualização de fluxo multi-nó e multi-GPU. Sua principal significância reside na sua capacidade de:

• Interoperar com aplicações de simulação de HPC existentes, reutilizando sua decomposição de domínio.
• Minimizar a Sobrecarga ao evitar cópias de dados e trocas de contexto, tornando-o adequado tanto para pós-processamento interativo quanto para análise in-situ.
• Fornecer uma Base para extensões futuras para outros tipos de linhas de campo (ex: linhas de trajetória/pathlines) e topologias de campo complexas sem sacrificar o desempenho de "velocidade da luz" exigido pela visualização em larga escala de HPC.

Os autores concluem que, embora a biblioteca seja modesta em seu conjunto atual de recursos (focando em linhas de corrente e linhas de traço), sua filosofia de design — separando a amostragem de campo de baixo nível da lógica de algoritmo de alto nível — fornece um framework robusto para a computação eficiente de linhas de campo em paralelo de dados.