Microbenchmark-Driven Analytical Performance Modeling Across Modern GPU Architectures

Este artigo apresenta modelos analíticos de desempenho altamente precisos para as arquiteturas modernas de GPU NVIDIA Blackwell e AMD CDNA3, fundamentados em caracterização sistemática de microbenchmarks que supera significativamente as linhas de base roofline ingênuas, ao mesmo tempo em que demonstra portabilidade para gerações anteriores.

O essencial

Imagine que você está tentando prever quanto tempo levará um caminhão de entrega super-rápido para entregar um pacote.

O Jeito Antigo (O "Teto Ingênuo"):
Por anos, engenheiros usaram uma regra simples: "Se o caminhão pode dirigir a 160 km/h e o pacote pesa 4,5 kg, levará X minutos." Eles olhavam para a velocidade máxima do caminhão (o "pico teórico") e para as condições da estrada (largura de banda de memória) e faziam um cálculo rápido.

O Problema:
Essa regra antiga falha miseravelmente em caminhões modernos (GPUs). Por quê? Porque a vida real é bagunçada.

• O caminhão não apenas dirige; ele tem que parar em uma doca de carregamento, esperar por um elevador específico, carregar o pacote em um container especial e só então dirigir.
• Às vezes, o caminhão tem que esperar por um segundo caminhão para ajudar.
• Às vezes, a estrada tem um "túnel secreto" (uma cache) que torna a viagem mais rápida que a rodovia principal, mas a regra antiga não sabe sobre o túnel.
• A "velocidade máxima" listada no folheto do caminhão é frequentemente um número fantástico que o caminhão nunca consegue sustentar no trânsito real.

O artigo diz que usar essa regra antiga leva a erros de 95% a 99%. É como prever que uma viagem de 10 minutos levará 10 horas, ou vice-versa.

A Nova Solução (O "Modelo Orientado a Microbenchmarks"):
Os autores (Aaron Jarmusch e Sunita Chandrasekaran) construíram um novo sistema de previsão superpreciso para os dois "caminhões" mais avançados do mercado hoje:

1. NVIDIA Blackwell (B200): O caminhão high-tech mais recente.
2. AMD CDNA3 (MI300A): O caminhão concorrente mais recente.

Em vez de chutar com base em folhetos, eles saíram e mediram exatamente como esses caminhões se comportam na vida real. Eles executaram testes minúsculos e específicos (microbenchmarks) para cronometrar cada etapa do processo de entrega.

Como Eles Fizeram (A Analogia):

• Para o Caminhão NVIDIA (Blackwell):
  Eles perceberam que este caminhão tem um estilo muito específico, de linha de montagem. Ele tem uma "doca de carregamento" especial (chamada TMEM) e um "carregador em massa" (chamado TMA) que move as coisas automaticamente.

  • O Modelo: Eles construíram um cronômetro passo a passo. "Etapa 1: Carregar dados (leva 420 nanossegundos). Etapa 2: Mover para a doca especial. Etapa 3: Processar a matemática. Etapa 4: Sincronizar com o outro caminhão."
  • Resultado: Eles previram o tempo com 1,3% de erro. É como prever uma viagem de 10 minutos e errar apenas 8 segundos.

• Para o Caminhão AMD (MI300A):
  Este caminhão é diferente. Ele tem um "armazém" massivo logo ao lado do motorista (chamado Infinity Cache) e o motorista precisa gerenciar seu próprio espaço de assento (registradores).

  • O Modelo: Eles criaram uma fórmula que pergunta: "O pacote é pequeno o suficiente para caber no armazém? Se sim, é super rápido. Se não, tem que ir para a rodovia lenta." Eles também verificaram o quão lotado está o assento do motorista (ocupação).
  • Resultado: Eles previram o tempo com 0,09% de erro. Isso é incrivelmente preciso — quase perfeito.

Por Que Isso Importa:
Os autores testaram seus novos modelos em trabalhos do mundo real (como problemas matemáticos complexos usados em ciência e IA).

• O antigo método "Roofline" estava errado quase todas as vezes (errando em quase 100%).
• Seu novo método estava certo quase todas as vezes.

O Recurso "Plug-and-Play":
A parte mais legal é que eles não tiveram que inventar um sistema totalmente novo para caminhões mais antigos (como o NVIDIA H200 ou AMD MI250X). Eles apenas pegaram seu modelo existente, trocaram os números de "limite de velocidade" e "tamanho do armazém", e funcionou novamente. É como ter um aplicativo de GPS que funciona para um Ford, um Toyota e um Tesla apenas alterando o modelo do carro nas configurações, sem precisar reescrever o mapa.

O Problema (Limitações):
O modelo funciona muito bem quando a "entrega" é suave e previsível (como mover um grande bloco de dados). Se a entrega envolve fazer zig-zag por um labirinto (dados irregulares) ou parar para tarefas minúsculas de fração de segundo, o modelo fica um pouco menos preciso. Além disso, o modelo depende de alguém dizer exatamente quanto dados estão sendo movidos; se essa entrada estiver errada, a previsão estará errada.

Em Resumo:
Os autores construíram um "GPS inteligente" para supercomputadores modernos. Em vez de chutar com base em folhetos de marketing, eles mediram o comportamento real do hardware. Isso permite que os engenheiros saibam exatamente quanto tempo uma tarefa levará nessas novas máquinas com precisão quase perfeita, algo que os métodos antigos não conseguiam fazer. Eles prometem compartilhar todas as suas ferramentas e medições com o público para que todos possam usá-las.

Resumo técnico

Resumo Técnico: Modelagem Analítica de Desempenho Orientada por Microbenchmarks em Arquiteturas de GPU Modernas

Declaração do Problema
Sistemas modernos de Computação de Alto Desempenho (HPC) e Inteligência Artificial dependem de arquiteturas de GPU em rápida evolução (por exemplo, NVIDIA Blackwell B200 e AMD CDNA3 MI300A) que apresentam hierarquias de memória complexas, unidades de matriz especializadas e formatos de precisão variados. Existe uma lacuna significativa entre o desempenho de pico teórico e a eficiência alcançável. A modelagem de desempenho tradicional, especificamente o modelo "roofline ingênuo", falha em prever com precisão os tempos de execução nesses aceleradores modernos. Os autores argumentam que a abordagem roofline ingênua, que depende de uma única função máxima de limites de computação e memória usando picos de fichas técnicas, ignora realidades arquitetônicas críticas: estágios de pipeline serializados, caminhos de matriz dedicados, residência na Memória Tensor (TMEM) e restrições impulsionadas pela ocupação. Consequentemente, as linhas de base do roofline ingênuo exibem erros superiores a 95% em kernels modernos, tornando-as ineficazes para engenharia de desempenho e otimização.

Metodologia
O artigo propõe uma abordagem sistemática, orientada por microbenchmarks, para construir modelos analíticos de desempenho para duas arquiteturas de geração atual: NVIDIA Blackwell (B200) e AMD CDNA3 (MI300A).

1. Caracterização por Microbenchmarks: Os autores caracterizam primeiro o hardware usando microbenchmarks de baixo nível direcionados. Essas medições derivam parâmetros do modelo diretamente do hardware, incluindo larguras de banda sustentadas (HBM, TMEM, Infinity Cache), latências de instrução (TMA, núcleos tensor, barreiras) e limites de ocupação. Isso contrasta com depender exclusivamente de picos de fichas técnicas de fornecedores, que frequentemente superestimam a taxa de transferência alcançável.
2. Modelagem Centrada em Estágio e Centrada em Wavefront:
   • NVIDIA Blackwell (B200): O modelo adota uma estrutura centrada em estágio, modelando explicitamente os estágios do pipeline: Acelerador de Memória Tensor (TMA) $\rightarrow$ Memória Tensor (TMEM) $\rightarrow$ Núcleos Tensor de 5ª geração $\rightarrow$ Sincronização. Ele considera cópia assíncrona em bloco, restrições de capacidade da TMEM (256 KB/SM), engines de descompressão e execução cooperativa de 2-SM.
   • AMD CDNA3 (MI300A): O modelo utiliza uma estrutura centrada em wavefront, focando na sobreposição implícita impulsionada pela ocupação. Incorpora a hierarquia Infinity Cache (256 MB), restrições de Registrador Geral de Propósito Vetorial (VGPR) e o trade-off entre tamanho de tile e ocupação. Modela a hierarquia de memória L1/L2/Infinity Cache/HBM e o impacto do tamanho do conjunto de trabalho nas taxas de acerto do cache.
3. Estratégia de Validação: Os modelos são validados contra uma suíte de 21 microbenchmarks para B200 e 27 para MI300A. Além disso, são testados em benchmarks de aplicação completos do Rodinia 3.1 e SPEChpc 2021 Tiny. Os autores também demonstram portabilidade aplicando as mesmas estruturas de modelo à geração anterior de cada fornecedor (NVIDIA H200 e AMD MI250X) simplesmente atualizando parâmetros de hardware, sem rederivar as fórmulas do modelo.

Principais Contribuições

• Primeiros Modelos de Tempo de Execução Validados: O artigo apresenta, segundo o conhecimento dos autores, os primeiros modelos analíticos de tempo de execução validados especificamente para as arquiteturas NVIDIA Blackwell (B200) e AMD CDNA3 (MI300A).
• Termos Arquitetônicos Novos: Os modelos introduzem termos específicos para capturar recursos modernos anteriormente ignorados por modelos analíticos, incluindo interações TMEM/TMA no Blackwell e hierarquia Infinity Cache/pressão de VGPR no CDNA3.
• Validação Cross-Fornecedor: O trabalho fornece um protocolo de validação unificado entre fornecedores concorrentes, relatando o Erro Absoluto Médio (MAE) sob condições compartilhadas.
• Demonstração de Portabilidade: Os autores demonstram que as estruturas de modelo são extensíveis. Ao atualizar parâmetros (por exemplo, largura de banda, tamanho de cache) derivados de microbenchmarks, os modelos preveem com sucesso o desempenho no H200 e MI250X sem alterações estruturais.

Resultados

• Precisão em Microbenchmarks: Os modelos propostos alcançam alta precisão em microbenchmarks.
  • Blackwell (B200): 1,31% de MAE em 21 kernels.
  • CDNA3 (MI300A): ~0,09% de MAE em 27 kernels (alcançado com multiplicadores de calibração medidos no host; modelos não calibrados yield ~5–8% de MAE).
  • Comparação: Em contraste, linhas de base de roofline ingênuas usando apenas picos de fichas técnicas excedem 95% de erro nos mesmos kernels (por exemplo, 96,1% no B200, 99,6% no MI300A).
• Benchmarks de Aplicação:
  • Rodinia 3.1: No MI300A, o modelo alcança 12,5% de MAE no geral, com erro próximo de zero em cargas de trabalho regulares (por exemplo, pathfinder, srad) e erro maior em padrões de acesso irregulares (por exemplo, bfs, hotspot).
  • SPEChpc 2021 Tiny: No MI300A, o modelo alcança 1,3% de MAE ao usar contagens FLOP/byte derivadas de perfiladores. No entanto, ao usar análise de primeiros princípios (código-fonte), o erro sobe para ~92,5%, destacando uma discrepância entre kernels gerados pelo compilador e análise algorítmica em nível de fonte, em vez de uma falha do próprio modelo de desempenho.
• Portabilidade: Quando aplicados ao H200 e MI250X sem re-caracterização dos segmentos de carga de trabalho, o MAE em nível de aplicação aumenta (por exemplo, H200 Rodinia 43,6%), confirmando que, embora a estrutura do modelo seja portátil, a caracterização precisa da carga de trabalho permanece específica da plataforma.

Significado e Alegações
O artigo afirma que a modelagem analítica específica da arquitetura é necessária para fechar a lacuna entre picos teóricos e desempenho real em GPUs modernas. Os autores enfatizam que o "roofline ingênuo" é insuficiente porque não pode representar estágios de pipeline serializados (Blackwell) ou hierarquias de cache impulsionadas pela ocupação (CDNA3).

O significado deste trabalho reside em sua capacidade de fornecer modelos parametrizados e interpretáveis que preveem com precisão o tempo de execução dentro de 1–5% de MAE para microbenchmarks e aplicações regulares. Os autores afirmam que sua abordagem desloca o gargalo da formulação do modelo para a caracterização da carga de trabalho. Eles observam que, embora os modelos sejam altamente precisos para cargas de trabalho regulares e paralelas em dados, enfrentam limitações com padrões de acesso irregulares (por exemplo, matrizes esparsas, perseguição de ponteiros) e kernels muito curtos onde a sobrecarga de lançamento domina.

O artigo conclui que esses modelos permitem aplicações práticas, como comparações de compra entre fornecedores sem acesso físico, orientação de autotuning para tamanhos de tile e precisão, e estimativa rápida de desempenho em novo hardware executando simplesmente microbenchmarks para atualizar parâmetros. Os autores também destacam que suites de benchmark existentes (como Rodinia) podem não exercitar completamente primitivas modernas como TMA ou TMEM, sugerindo a necessidade de novos benchmarks que visem diretamente esses recursos.