Electron-phonon physics at the exascale: A hybrid MPI-GPU-OpenMP framework for scalable Wannier interpolation

Este artigo apresenta uma implementação híbrida altamente eficiente de MPI-GPU-OpenMP no código EPW para interpolação de Wannier de elementos de matriz elétron-fônon, que alcança acelerações de até 29 vezes e escalabilidade quase ideal em supercomputadores exascale, permitindo cálculos anteriormente inviáveis em sistemas complexos como nanofitas de staneno.

O essencial

Imagine que você está tentando prever o clima de uma cidade inteira, mas em vez de medir o vento e a chuva em apenas alguns pontos, você precisa saber exatamente o que está acontecendo em cada centímetro quadrado da cidade, a cada segundo. Isso é o que os cientistas fazem quando estudam como os elétrons (as partículas de eletricidade) interagem com os fônons (as vibrações dos átomos que formam o material).

Essa interação é a chave para entender por que o silício esquenta, como funcionam supercondutores ou como criar chips de computador mais rápidos. O problema? Fazer esses cálculos é como tentar contar cada grão de areia de uma praia usando apenas uma colher de chá: é possível, mas levaria uma eternidade.

Aqui está o que os autores deste artigo fizeram, traduzido para uma linguagem simples:

1. O Problema: O "Trânsito" de Dados

Antes, os cientistas usavam um programa chamado EPW para fazer esses cálculos. Eles funcionavam como um exército de trabalhadores (processadores de computador) tentando organizar uma festa gigante.

• O jeito antigo (EPW 5.9): Todos os trabalhadores recebiam uma lista de tarefas e tinham que se comunicar o tempo todo para saber quem estava fazendo o quê. Isso criava um "engarrafamento" (comunicação lenta) e muitos trabalhadores ficavam parados esperando os outros.
• O gargalo: Para materiais complexos, como nanofitas de estanho (um material futurista), a lista de tarefas era tão grande que os computadores comuns simplesmente "travavam" ou levavam anos para terminar.

2. A Solução: O "Exército Híbrido" com Super-Computadores

Os autores criaram uma nova versão do programa (EPW 6.1) que funciona como um exército de elite com uma estratégia muito inteligente, combinando três tipos de força:

• MPI (Os Gerentes): Eles dividem o trabalho em grandes grupos. Imagine que, em vez de todos conversarem de uma vez, eles formam equipes menores que trabalham independentemente e só se reúnem no final. Isso reduz o "trânsito" de informações.
• OpenMP (Os Assistentes Rápidos): Dentro de cada equipe, eles usam múltiplos braços (núcleos de processador) para fazer várias tarefas ao mesmo tempo, como um chef de cozinha com vários ajudantes cortando legumes simultaneamente.
• GPUs (Os Super-Heróis): Aqui está a mágica. Eles usaram placas gráficas (aquelas usadas para jogos de vídeo de alta performance) para fazer os cálculos mais pesados.
  • A Analogia: Se o processador comum (CPU) é um caminhão de entrega que leva uma caixa por vez, a placa gráfica (GPU) é um trem de carga que leva milhares de caixas de uma só vez. O programa foi reescrito para jogar as tarefas pesadas para o trem, deixando o caminhão apenas para o que é necessário.

3. O Resultado: De Anos para Minutos

Com essa nova estratégia, o programa ficou entre 19 a 29 vezes mais rápido do que a versão antiga.

• O Teste Real: Eles aplicaram isso a um material chamado Staneno (estanho em formato de fita). Imagine tentar calcular o tráfego de elétrons em uma fita de estanho com 20 nanômetros de largura (muito fina, mas com muitos átomos).
• O Antigo: Era impossível. Os computadores não tinham memória suficiente para guardar todos os dados necessários.
• O Novo: O programa conseguiu fazer o cálculo em menos de 5 minutos em supercomputadores modernos, usando milhares de "super-heróis" (GPUs) trabalhando juntos sem se atrapalhar.

4. Por que isso importa?

Essa descoberta é como dar um "superpoder" aos cientistas de materiais.

• Antes: Eles só podiam estudar materiais simples ou pequenos.
• Agora: Eles podem projetar materiais complexos para a próxima geração de eletrônicos, computadores quânticos e dispositivos de energia limpa.
• O Futuro: Com essa ferramenta, podemos simular e criar novos materiais muito mais rápido, acelerando a inovação tecnológica.

Em resumo: Os autores pegaram um processo que era lento e desorganizado, organizaram-no em equipes eficientes e deram a cada equipe um "super-herói" (GPU) para fazer o trabalho pesado. O resultado é que o que antes era impossível de calcular, agora é feito em um piscar de olhos, abrindo portas para a próxima revolução tecnológica.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo, apresentado em português:

Título: Física elétron-fônon na escala exascale: Um framework híbrido MPI-GPU-OpenMP para interpolação Wannier escalável

1. O Problema

A interação elétron-fônon (e-f) é fundamental para entender propriedades físicas de materiais, como condutividade elétrica, supercondutividade e transporte térmico. O código EPW (Electron-Phonon Wannier) é amplamente utilizado para calcular essas interações a partir de primeiros princípios, utilizando a técnica de interpolação Wannier para obter matrizes de acoplamento elétron-fônon em grades de vetores de onda (k e q) extremamente densas, necessárias para precisão preditiva.

No entanto, os cálculos tradicionais tornam-se proibitivamente caros computacionalmente para sistemas complexos ou grandes (como nanofitas de materiais topológicos com centenas de átomos). As limitações principais incluem:

• Custo Computacional: A interpolação requer operações intensivas em memória e processamento, especialmente em grades finas (ex: 100x100x100 pontos).
• Escalabilidade em Supercomputadores: As versões anteriores do EPW (v5.9) utilizavam um esquema de paralelização MPI de nível único. Isso levava a uma saturação precoce da aceleração (speedup) devido a sobrecargas de comunicação MPI e operações de entrada/saída (I/O), especialmente em supercomputadores modernos de classe leadership que dependem fortemente de aceleradores GPU.
• Restrições de Memória: A interpolação de sistemas grandes exige buffers de dados que frequentemente excedem a memória de um único nó de CPU ou GPU, tornando cálculos de larga escala inviáveis.

2. Metodologia e Abordagem

Os autores desenvolveram uma implementação altamente eficiente e portátil para GPUs do código EPW (versão 6.1), integrando-a a um esquema de paralelização híbrido. A metodologia baseia-se nos seguintes pilares:

• Análise de Complexidade Computacional:

  • Foi realizada uma análise detalhada do algoritmo de interpolação. O algoritmo tradicional de "loop único" foi substituído por um algoritmo de loops aninhados (hierárquico).
  • O algoritmo de loops aninhados divide o cálculo em duas partes: uma Transformada de Fourier (FT) sobre os vetores de Wigner-Seitz dos fônons (Rp) e outra sobre os vetores dos elétrons (Re). Isso reduz drasticamente a complexidade computacional, especialmente quando o número de pontos k finos ($N_k$) é muito maior que o número de vetores de fônons ($N_p$).

• Estratégia de Paralelização Híbrida (MPI-GPU-OpenMP):

  • Dois Níveis de MPI: Introduziu-se a paralelização por "imagens" (q-loop, loop externo) além da paralelização por "pools" (k-loop, loop interno). Isso permite distribuir o trabalho de forma mais eficiente, reduzindo a dependência de comunicação MPI+I/O.
  • Aceleração GPU: A parte mais custosa da interpolação (a FT sobre Rp, Eq. 9) foi descarregada para as GPUs. Em vez de loops explícitos, utiliza-se a rotina de produto matriz-vetor (GEMV) de bibliotecas otimizadas pelo fabricante (cuBLAS para NVIDIA, oneMKL para Intel, rocBLAS para AMD).
  • Multithreading OpenMP: Para superar a limitação de um MPI por GPU (que restringe o uso de núcleos de CPU), o código utiliza OpenMP para paralelizar o loop interno (k) dentro de cada rank MPI, permitindo o uso total dos núcleos de CPU disponíveis no nó.

• Portabilidade e Precisão:

  • O código utiliza diretivas OpenACC e OpenMP para garantir a portabilidade entre arquiteturas de GPU (NVIDIA, Intel, AMD) sem reescrever o código fonte.
  • Mantém-se a precisão de ponto duplo (double-precision) em todo o código, garantindo equivalência numérica exata com a versão baseada apenas em CPU.

3. Contribuições Principais

• Porting bem-sucedido do EPW para GPUs: Primeira implementação completa e escalável do módulo de interpolação Wannier do EPW em GPUs, suportando múltiplos fornecedores de hardware.
• Otimização de Algoritmo e Arquitetura: A combinação de loops aninhados, paralelização de dois níveis de MPI e offloading de GEMV para GPUs resolveu os gargalos de memória e comunicação que limitavam cálculos anteriores.
• Framework de Produção: O código (EPW v6.1) está pronto para uso pela comunidade científica, permitindo cálculos de transporte limitado por fônons em sistemas que antes eram considerados intratáveis.

4. Resultados e Benchmarks

Os testes foram realizados em três supercomputadores de classe leadership: Perlmutter (NVIDIA), Vista (NVIDIA) e Aurora (Intel).

• Aceleração (Speedup):

  • Comparado ao esquema de MPI único do EPW v5.9, o novo esquema híbrido (v6.1) alcançou um speedup de 19 a 29 vezes em supercomputadores de ponta.
  • A transição do v5.9 para o v6.0 (apenas MPI de dois níveis) trouxe ganhos de 3,1x a 4,7x.
  • A adição de GPU e OpenMP (v6.1) trouxe ganhos adicionais de 5,3x a 6,3x.
  • O tempo de parede para cálculos de mobilidade em silício caiu para menos de 5 minutos (e abaixo de 2 minutos em sistemas mais novos).

• Escalabilidade:

  • O código demonstrou escalabilidade quase ideal (linear) em até 1.024 nós de GPU (6.144 GPUs) no supercomputador Aurora.
  • A eliminação de comunicação inter-nós durante a interpolação (devido à natureza "embaraçosamente paralela" do loop q) foi crucial para essa eficiência.

• Aplicação em Grande Escala (Nanofitas de Staneno):

  • Foi realizado um estudo de transporte limitado por fônons em nanofitas de staneno topológico (ZSNRs) com larguras de até 19,4 nm (contendo 98 átomos por célula unitária).
  • O tamanho da matriz e-f de grade grossa para o sistema mais amplo era de 458 GB, excedendo a memória de qualquer nó individual. A estratégia de distribuição de dados permitiu realizar esse cálculo, que era impossível com implementações anteriores.
  • O speedup para este caso específico variou de 7x a 30x, dependendo do tamanho do sistema e da plataforma.

5. Significado e Impacto

Este trabalho representa um marco na física computacional de materiais:

• Habilitação de Cálculos Exascale: Torna viáveis cálculos de acoplamento elétron-fônon em sistemas complexos e grandes (centenas de átomos) que eram anteriormente impossíveis devido a restrições de tempo e memória.
• Avanço na Ciência de Materiais: Permite o estudo detalhado de propriedades de transporte em materiais topológicos, semicondutores e metais com precisão preditiva, abrindo caminho para a triagem de alto rendimento de novos materiais para eletrônica, optoeletrônica e tecnologias quânticas.
• Referência para HPC: Serve como um modelo de referência para a portabilidade de códigos de estrutura eletrônica para arquiteturas heterogêneas (CPU+GPU) em supercomputadores exascale, demonstrando como otimizar algoritmos para explorar a largura de banda de memória das GPUs.

Em resumo, os autores transformaram o EPW em uma ferramenta escalável para a era exascale, resolvendo desafios de complexidade algorítmica e de hardware para permitir simulações de física de materiais de última geração.