High-Performance Simulations of Higher Representations of Wilson Fermions

Resumo Técnico: Simulações de Alto Desempenho de Representações Superiores de Férmions de Wilson (HiRep v2)

Definição do Problema
A Teoria de Campo em Rede (Lattice Field Theory) é essencial para a compreensão não perturbativa de teorias de campos fortemente acoplados, particularmente para testes de precisão do Modelo Padrão (QCD). Embora existam bibliotecas de simulação robustas para grupos de gauge $SU(3)$, a busca direta por física além do Modelo Padrão (BSM) requer software capaz de simular grupos de gauge gerais $SU(N_g)$ e férmions em representações superiores (por exemplo, adjunta, simétrica, antissimétrica). As bibliotecas de código aberto existentes frequentemente carecem da flexibilidade para suportar $N_g$ geral com representações superiores, ou carecem da combinação específica de recursos de alto desempenho (como aceleração por GPU e algoritmos avançados) necessários para simulações de grande escala de modelos de Higgs composto e tecnicolor. Há uma necessidade específica de uma biblioteca que implemente férmions de Wilson em representações superiores com números gerais de cores, otimizada para arquiteturas heterogêneas modernas de CPU-GPU.

Metodologia
O artigo apresenta o HiRep v2, um conjunto de software de código aberto (escrito em C, CUDA C e C++) projetado para abordar essas limitações. A metodologia central envolve uma reengenharia abrangente do pipeline de simulação de teoria de campo em rede com foco no operador de Dirac, que é o principal gargalo computacional.

• Operador de Dirac e Álgebra Linear: A implementação generaliza o operador Wilson-Dirac para representações arbitrárias $R$ e grupos de gauge $SU(N_g)$. Para otimizar o desempenho, o código emprega templates de macros genéricos para operações de álgebra linear e utiliza kernels "fundidos" (por exemplo, combinações lineares) para reduzir o movimento de memória.
• Aceleração por GPU e Layout de Memória: Uma parte significativa do trabalho envolve a portabilidade do código para GPUs NVIDIA e AMD. Os autores introduzem um layout de "geometria otimizada para computação" onde a rede local é armazenada como um bloco contíguo único, separado dos buffers de envio/recebimento. Isso contrasta com o layout anterior "otimizado para memória". Essa mudança facilita o coalescimento de memória eficiente e padrões de acesso com saltos (strided access) em GPUs, onde as threads acessam componentes de campo em blocos (por exemplo, 32 sítios) em vez de sítio por sítio.
• Paralelização e Afinidade: O código suporta paralelização híbrida usando MPI, OpenMP e threads de GPU. Ele implementa comunicadores conscientes de topologia para remodelar as associações de processos MPI com subblocos da rede, otimizando a comunicação intra-nó. Também aborda a afinidade NUMA (Non-Uniform Memory Access) ao fixar processos a domínios específicos de CPU/GPU e usar políticas de "primeiro toque" (first touch) para garantir que as páginas de memória sejam alocadas no nó NUMA correto.
• Algoritmos: O HiRep v2 suporta os algoritmos Hybrid Monte Carlo (HMC) e Rational HMC (RHMC). Inclui recursos avançados como aceleração de Hasenbusch, pré-condicionamento par-ímpar (even-odd preconditioning) e inversores de gradiente conjugado de múltiplos deslocamentos (multi-shift). O conjunto suporta várias ações, incluindo ações de gauge melhoradas por Symanzik (Lüscher-Weisz), melhorias Clover e Clover exponencial, e ações de Massa Torcida (Twisted Mass).
• Observáveis: A biblioteca inclui ferramentas para espectroscopia (contribuições conectadas e desconectadas), métodos de espalhamento (método de Lüscher), renormalização não perturbativa (RI'-MOM) e suavização de gauge (APE, Stout, HYP, Wilson Flow).

Principais Contribuições

1. Portabilidade e Otimização para GPU: A principal contribuição é o suporte total para aceleração por GPU (NVIDIA e AMD) para simulações envolvendo representações superiores de férmions de Wilson. Os autores demonstram que sua implementação do operador de Dirac atinge um excelente desempenho, alcançando 80–90% da largura de banda teórica de pico em GPUs modernas.
2. Escalabilidade: O software exibe excelentes propriedades de escalonamento forte e fraco através de múltiplas GPUs e nós. Testes de benchmark no supercomputador LUMI-G mostram escalonamento até 1024 GPUs com perda mínima de eficiência, atingindo uma largura de banda de pico de 908 TB/s.
3. Generalização para $N_g$: O código suporta números gerais de cores ($N_g$) e várias representações (Fundamental, Adjunta, Simétrica, Antissimétrica). Os autores introduzem um "kernel melhorado para Large-$N_g$" que paraleliza sobre a dimensão do férmion ($D_R$) além dos sítios da rede. Esta abordagem mitiga o vazamento de registradores (register spilling) e a degradação de desempenho que ocorre em kernels padrão paralelizados por sítio conforme $N_g$ aumenta.
4. Robustez Algorítmica: O conjunto integra técnicas numéricas avançadas, incluindo aritmética double-double para reduções de alta precisão (para mitigar o acúmulo de erro em grandes volumes) e vários integradores (Leapfrog, Omelyan) com estruturas hierárquicas.

Resultos

• Benchmarks de Desempenho: Em GPUs únicas (V100, A100, H100, MI250x), as rotinas de álgebra linear atingem até 90% da largura de banda de pico. O operador Wilson-Dirac mostra que, para grandes $N_g$, o kernel paralelizado em $D_R$-sítio supera significativamente o kernel padrão paralelizado por sítio, evitando a queda de largura de banda causada pelo vazamento de registradores.
• Escalonamento: Testes de escalonamento fraco no LUMI-G e JUWELS demonstram escalonamento quase perfeito até 1024 GPUs. O escalonamento forte mostra perdas de eficiência esperadas para redes locais muito pequenas, onde o overhead de comunicação não pode ser mascarado pela computação.
• Testes Algorítmicos: O código passa em testes algorítmicos padrão, incluindo a igualdade de Creutz ($\langle e^{-\Delta H} \rangle = 1$) e o escalonamento das violações do Hamiltoniano com o tamanho do passo ($\langle \Delta H \rangle \propto \delta\tau^4$). Testes de reversibilidade confirmam que o algoritmo é reversível até a precisão do inversor.
• Validação de Física: Os autores validam o código de espectroscopia comparando resultados de CPU e GPU para uma teoria de gauge $SU(2)$ com férmions adjuntos. As massas efetivas e as funções de correlação coincidem, confirmando a correção do tratamento de representação de números reais e a implementação geral.

Significância
O artigo afirma que o HiRep v2 é atualmente o conjunto de software de alto desempenho mais flexível de código aberto que suporta simulações de representações superiores de férmions de Wilson com grupos de gauge gerais. Sua significância reside em permitir estudos quantitativos de física BSM, como modelos de Higgs composto e o limite de grande $N_g$, que eram anteriormente dificultados pela falta de software otimizado. Ao fornecer uma ferramenta robusta, escalável e acelerada por GPU, o HiRep v2 facilita simulações de grande escala de massas fermiônicas leves em redes grandes, essenciais para testes de precisão de teorias além do Modelo Padrão. Os autores observam que o software é adequado para implantação em supercomputadores de última geração e representa um passo significativo à frente nas capacidades computacionais disponíveis para a teoria de campos em rede.