Memory-Scalable and Hardware-Adaptive Matrix-Free Quantum Simulation

Resumo Técnico: Simulação Quântica Livre de Matriz, Escalável em Memória e Adaptável ao Hardware

Definição do Problema
O principal gargalo computacional nas simulações numéricas quânticas exatas e quase exatas é a aplicação de um grande operador Hamiltoniano $\hat{H}$ a um vetor de estado $\psi$ (ou seja, $\phi = \hat{H}\psi$). Em implementações padrão, isso requer o armazenamento da matriz Hamiltoniana densa completa de $D \times D$, onde $D$ é a dimensão do espaço de Hilbert. Isso impõe um custo de memória quadrático ($O(D^2)$), que rapidamente excede a capacidade de aceleradores individuais (GPUs) à medida que os tamanhos dos sistemas aumentam. Embora o próprio vetor de estado escale linearmente ($O(D)$), a materialização explícita da matriz densa cria uma barreira de memória fixa que impede a simulação de sistemas maiores, mesmo quando a ação matemática do operador pode ser definida sem armazenar cada elemento da matriz.

Metodologia
Os autores propõem uma estrutura livre de matriz, escalável em memória e adaptável ao hardware que desacopla a definição matemática do Hamiltoniano de seu armazenamento físico. A metodologia é construída sobre três pilares:

1. Representação Bloco-Procedural:
   O Hamiltoniano é particionado em $N_{blk}$ blocos computacionais. A matriz global nunca é montada. Em vez disso, ela é representada por uma interface que pode gerar, carregar, fazer cache ou aplicar blocos específicos $\hat{H}[n,m]$ sob demanda. A interface suporta múltiplas fontes de dados:

   • Geração por Semente (Seeded Generation): Blocos aleatórios reproduzíveis gerados a partir de sementes.
   • Geração Analítica: Blocos computados via fórmulas quando necessários.
   • Armazenamento Externo: Blocos recuperados da memória do host, bancos de dados ou arquivos.
   • Ação Fundida (Fused Action): Computação direta do produto $\hat{H}[n,m]\psi[m]$ sem jamais formar o array de blocos densos.
   • Cache: Cache total ou parcial de blocos na GPU para evitar a regeneração.

   O produto matriz-vetor é computado como um loop sobre blocos de saída: $\phi[n] = \sum_m \hat{H}[n,m]\psi[m]$, acumulando contribuições sem nunca manter a matriz $D \times D$ completa na memória.

2. Planejamento de Execução Adaptável ao Hardware:
   Reconhecendo que a estratégia ideal depende de restrições específicas de hardware (memória da GPU, largura de banda, throughput de computação) e características da carga de trabalho, a estrutura emprega um planejador adaptável. Este planejador seleciona o tamanho do bloco, o modo de armazenamento, o orçamento de cache e a estratégia de paralelização. Ele utiliza três camadas distintas de otimização:

   • Planejador Analítico: Um modelo de custo baseado em restrições de memória e intensidade aritmética para filtrar planos inviáveis.
   • Autotuner Medido: Uma etapa de microbenchmarking que executa candidatos a planos no hardware real para medir o tempo de execução real, contabilizando os custos de overhead de lançamento de kernel, largura de banda de memória e custos de movimentação de dados.
   • Surrogato Neural: Um modelo aprendido, treinado em dados de benchmark acumulados, para prever tempos de execução para novas configurações de problema/hardware, reduzindo o espaço de busca para execuções futuras.

3. Estratégias de Paralelização:
   A estrutura suporta paralelismo de parâmetros (distribuindo tarefas independentes, como forças de acoplamento, entre grupos de GPUs) e paralelismo de linhas (dividindo linhas de blocos de saída entre GPUs dentro de um grupo). Para matrizes densas que não cabem em uma única GPU, o cache total distribuído por linhas permite que a matriz seja armazenada entre um grupo de GPUs, com cada GPU detendo uma fatia contígua de linhas, permitindo kernels do tipo GEMM de grande escala.

Resultados Principais
O artigo valida a estrutura usando uma simulação de propagação em tempo real de um sistema de 18 qubits (2 qubits de sistema, 16 qubits de banho, $D=2^{18} \approx 262.144$) em um cluster de oito GPUs NVIDIA L40S.

• Viabilidade de Memória: O Hamiltoniano denso explícito para este sistema requer aproximadamente 512 GiB (precisão simples) a 1 TiB (precisão dupla), excedendo amplamente os ~44 GiB disponíveis por GPU. A estrutura executou com sucesso a simulação ao distribuir as linhas da matriz e utilizar uma estratégia híbrida de cache total, exigindo apenas ~32 GiB de armazenamento de operador por GPU.
• Eficácia do Autotuning: O autotuner medido selecionou um plano de "cache total híbrido" com um tamanho de grupo de linhas de 2. Os resultados demonstraram que planos com tempos de kernel único quase idênticos poderiam diferir significativamente no tempo total de execução do job devido ao número de "ondas de tarefas" necessárias. O autotuner priorizou corretamente o plano que minimizava o trabalho agendado total (5 ondas) sobre aqueles que exigiam mais ondas (10 ondas), apesar de velocidades por aplicação semelhantes.
• Escalabilidade: O tempo de execução de ponta a ponta para a produção de resultados completos foi medido através de tamanhos de sistema, mostrando que, embora o cálculo se torne viável, o tempo de execução ainda escala rapidamente com o tamanho do espaço de Hilbert, consistente com o custo aritmético subjacente $O(D^2)$ de operações densas.

Significância e Alegações
O artigo afirma que esta estrutura desloca a limitação de simulações quânticas de grande escala de uma barreira de memória fixa para um equilíbrio ajustável entre geração de blocos, reutilização de cache, movimentação de dados e agendamento paralelo.

• Aplicabilidade Geral: Embora estruturado em torno da simulação quântica, os autores enfatizam que o método aborda um primitivo geral: a aplicação de grandes operadores lineares a vetores. É aplicável a qualquer cenário onde a matriz é grande demais para ser armazenada explicitamente, mas sua ação pode ser avaliada proceduralmente ou via blocos (ex: filtros, projeções, super-operadores).
• Sem Aproximação Matemática: O método não aproxima o Hamiltoniano; ele permanece um operador denso matematicamente exato. A natureza "livre de matriz" é puramente uma estratégia de armazenamento e agendamento.
• Adaptabilidade ao Hardware: A significância reside na capacidade de selecionar automaticamente a estratégia de execução ideal (geração procedural vs. cache, distribuição de linhas vs. GPU única) com base no ambiente de hardware específico, garantindo que as simulações não sejam bloqueadas por restrições de memória que poderiam ser contornadas por um layout de dados diferente.
• Fluxo de Trabalho da Comunidade: Os autores sugerem que os dados de benchmark gerados pelo autotuner podem formar um recurso para a comunidade, permitindo que surrogatos neurais melhorem as previsões de desempenho em diferentes máquinas e famílias de problemas sem revelar entradas de matrizes proprietárias.

Em conclusão, a estrutura permite simulações quânticas exatas em hardware onde o armazenamento explícito do Hamiltoniano é impossível, transformando o problema de uma restrição rígida de armazenamento em uma otimização gerenciável de movimentação de dados e agendamento.