Towards heterogeneous parallelism for SPHinXsys

Título do Artigo:

Heterogeneous Parallelism for SPHinXsys (Paralelismo Heterogêneo para SPHinXsys)
Autores: Xiangyu Hu e Alberto Guarnieri (TUM, Alemanha)

---

1. O Problema

O artigo aborda dois desafios principais na simulação de fluidos baseada em partículas (SPH - Smoothed Particle Hydrodynamics):

• Desafio Computacional: Métodos SPH tradicionais sofrem com altos custos computacionais devido às intensas interações entre partículas. Embora as CPUs multi-core sejam versáteis, os dispositivos muitos-núcleos (como GPUs) oferecem uma relação desempenho/custo muito superior para simulações de escala industrial (milhões de partículas). No entanto, muitas bibliotecas SPH existentes que suportam GPU exigem a definição de kernels de baixo nível com diretivas específicas do fornecedor (ex: CUDA), o que torna o código difícil de programar, manter e portar.
• Desafio Físico (Turbulência): Existe uma inconsistência fundamental entre a natureza Lagrangiana do SPH e os modelos RANS (Reynolds-Averaged Navier-Stokes) para escoamentos turbulentos com paredes. Essa incompatibilidade é agravada por cisalhamento intenso e descontinuidades próximas à parede, levando a problemas de dissipação, perturbação na energia cinética turbulenta e superestimação de resultados.

2. Metodologia

Os autores propõem uma abordagem dupla, combinando avanços físicos no modelo de turbulência com uma reestruturação arquitetural para computação heterogênea.

A. Avanços no Modelo Físico (WCSPH + RANS)

Foi desenvolvido um método de Hidrodinâmica de Partículas Suavizadas Compressível Fracamente (WCSPH) para resolver o modelo RANS de duas equações. Para resolver as inconsistências:

• Tratamento de Corrente Livre (Mainstream): Implementação de Adaptive Riemann-eddy Dissipation (ARD) e uma formulação de velocidade de transporte desruidada para lidar com incompatibilidade de dissipação e perturbações na energia cinética turbulenta.
• Tratamento de Parede (Near-wall): Uso de um modelo de parede baseado em partículas, um esquema de compensação ponderada e uma estratégia de espaçamento constante normal à parede. Partículas "fictícias" (dummy particles) são mantidas para futura acoplagem com dinâmica de estruturas sólidas.
• Técnica de Verificação: Desenvolvimento de uma Técnica de Deslocamento de Fronteira baseada em Level-Set (BOT) para garantir distâncias normais à parede consistentes em diferentes resoluções, permitindo testes rigorosos de convergência.

B. Implementação de Paralelismo Heterogêneo (SPHinXsys + SYCL)

A biblioteca de código aberto SPHinXsys (C++) foi adaptada para suportar computação heterogênea (CPU e GPU) utilizando o padrão SYCL (especificamente a implementação DPC++ da Intel).

• Abstração de Código Único: Diferente de outras bibliotecas que separam o código da CPU e da GPU, o SPHinXsys utiliza uma única base de código. O objetivo é que o mesmo código fonte execute sequencialmente na CPU ou paralelamente no dispositivo (GPU).
• Arquitetura de Três Camadas: Para contornar limitações do SYCL (como o uso de referências, funções virtuais e alocação dinâmica de memória padrão C++ que não funcionam em dispositivos), foi criado um padrão estendido:
  1. Camada Externa: Define o problema físico e variáveis globais.
  2. Camada Kernel-Shell: Define o método SPH e transfere dados para o kernel usando estruturas de dados discretas.
  3. Camada Kernel: Contém a lógica de computação pura, acessando dados via ponteiros brutos (USM - Unified Shared Memory), compatíveis com host e dispositivo.
• Otimizações Específicas:
  • Substituição de concurrent_vector por operações atômicas para construção de listas de células (cell linked-list).
  • Uso de busca direta (direct search) para valores de kernel, evitando a necessidade de listas de vizinhos completas na memória da GPU.
  • Uso de radix_sort em vez de quick_sort para ordenação de partículas, devido ao melhor desempenho em GPUs.

3. Principais Contribuições

1. Primeira Convergência Satisfatória em SPH-RANS: O método alcança, pela primeira vez (segundo os autores), convergência satisfatória tanto para velocidade quanto para energia cinética turbulenta em simulações SPH-RANS, superando limitações anteriores de inconsistência Lagrangiana-Euleriana.
2. Paralelismo Heterogêneo Nativo e Portátil: A implementação baseada em SYCL permite que a biblioteca seja programada e testada em ambientes sem GPU (usando compiladores padrão como GNU no Linux) e, posteriormente, executada em GPUs sem alterações no código fonte do método numérico.
3. Facilidade para Desenvolvedores: Engenheiros mecânicos podem focar na discretização numérica sem precisar entender os detalhes de paralelização de baixo nível ou diretivas específicas de hardware.
4. Validação em Casos Complexos: O método foi testado em casos de referência com paredes turbulentas, incluindo canais retos, levemente e fortemente curvados, canais convergentes-divergentes (HCD) e uma passagem para peixes.

4. Resultados

• Desempenho (Aceleração): Em uma estação de trabalho com CPU Intel Xeon e GPU NVIDIA RTX 2080 Ti, a versão em precisão simples na GPU mostrou uma melhoria de desempenho de até 27 vezes em comparação com a execução apenas em CPU.
• Comparação com DualSPHysics: O SPHinXsys foi comparado com o DualSPHysics (solucionador CUDA).
  • Para um caso de 56 milhões de partículas, o SPHinXsys simulou 2 segundos de física em 18 horas, enquanto o DualSPHysics levou 32 horas (redução de tempo de quase 50%).
  • A métrica de Giga Particle Interactions Per Second (GPIPS) do SPHinXsys foi duas vezes maior que a do DualSPHysics, confirmando a eficiência superior.
• Precisão: Os resultados mostraram-se suaves e razoavelmente precisos, com boa concordância com a literatura para casos de ruptura de barragem (dam-break) e obstáculos.

5. Significado e Impacto

Este trabalho representa um marco significativo para a comunidade de dinâmica de fluidos computacional (CFD) baseada em partículas:

• Ponte entre Modelos: Conecta modelos baseados em partículas e baseados em malha (RANS), abrindo caminho para a aplicação de outros modelos de turbulência e simulações complexas de interação fluido-estrutura (FSI) turbulenta.
• Sustentabilidade do Código Aberto: Demonstra que é possível modernizar bibliotecas de código aberto para hardware moderno (GPUs) sem sacrificar a manutenibilidade ou a facilidade de desenvolvimento. A abordagem de "código único" reduz a barreira de entrada para novos pesquisadores e engenheiros.
• Futuro da Computação Científica: A adoção do padrão SYCL posiciona o SPHinXsys como uma ferramenta preparada para o futuro da computação heterogênea, permitindo escalabilidade em diferentes arquiteturas de hardware sem a necessidade de reescrever algoritmos físicos complexos.