Resumo Técnico: FP8 é Tudo o que Você Precisa (Parte 1)

1. Definição do Problema

O artigo aborda uma divergência crítica na arquitetura de hardware de Computação de Alto Desempenho (HPC). Enquanto simulações científicas (ex: Cromodinâmica Quântica, CFD, modelagem climática) dependem de aritmética de precisão dupla IEEE 754 (fp64) para estabilidade numérica, as GPUs modernas de data centers estão convergindo para cargas de trabalho de IA de baixa precisão.

As arquiteturas NVIDIA Blackwell Ultra (B300) e a futura Rubin (R200) exemplificam essa mudança. A B300 entrega um throughput massivo em formatos de baixa precisão (10–15 PFLOPS em NVFP4/fp8), mas colapsou o desempenho nativo de tensores fp64 para aproximadamente 1,3 TFLOPS — uma regressão de 30× em relação à B200. Isso cria duas patologias específicas:

1. Kernels Limitados por Memória Tornam-se Limitados por Computação: O "ponto de crista" (onde os limites de computação e memória se interceptam) na B300 cai para 0,16 FLOPS/Byte. Consequentemente, kernels padrão limitados por memória como multiplicação matriz-vetor esparsa (SpMV), estênceis e batched GEMV, que anteriormente rodavam no limite da largura de banda de memória, agora são artificialmente limitados pelas unidades de aritmética fp64 nativas fracas.
2. Silício Adormecido: Os massivos núcleos de tensor de baixa precisão (fp8/NVFP4) permanecem ociosos durante cargas de trabalho de HPC puramente fp64, representando uma ineficiência de "Silício Escuro" (Dark Silicon).

A questão central é se o silício fp64 nativo permanece o "santo graal" do HPC, ou se o abundante throughput de fp8 combinado com a emulação algorítmica pode restaurar a precisão e o desempenho totais de fp64.

2. Metodologia e Modelo Analítico

O Modelo de Equilíbrio Tensor–Memória (TME)

Os autores introduzem o modelo Equilíbrio Tensor–Memória (TME), uma extensão do clássico modelo Roofline, para analisar o desempenho de fp64 emulado em hardware de baixa precisão. O modelo introduz três parâmetros específicos de emulação:

• $\alpha$ (Multiplicador de Computação): O número de operações de tensor-core de baixa precisão necessárias por operação de alta precisão (ex: o número de módulos $r$ na abordagem do Teorema do Resto Chinês).
• $\beta$ (Multiplicador de Largura de Banda): A razão de movimentação de dados no kernel emulado versus o kernel nativo. Crucialmente, o artigo argumenta que se a decomposição e a reconstrução forem fundidas ao nível de registrador, $\beta$ pode se aproximar de 1, significando que a emulação não adiciona overhead de tráfego de memória global.
• $\gamma$ (Latência de Reconstrução): O custo de latência para reconstruir o resultado final (ex: via algoritmo de Garner).

O Esquema Ozaki II

O artigo utiliza o Esquema Ozaki II, um método baseado no Teorema do Resto Chinês (CRT). Diferente do "Ozaki I" original (fatiamento de mantissa), que escala quadraticamente com o número de fatias, o Ozaki II decompõe a multiplicação de matrizes em aritmética modular sobre módulos coprimos em pares.

• Fase 1: Escalar matrizes para inteiros.
• Fase 2: Realizar GEMMs de baixa precisão (fp8) módulo $m_i$.
• Fase 3: Reconstruir o produto inteiro usando o algoritmo de Garner e reescalar para fp64.

O artigo adapta especificamente isso para núcleos de tensor fp8 (E4M3), utilizando um truque de quantização para emular aritmética modular em unidades de ponto flutuante, já que o throughput nativo de int8 foi despriorizado na B300/Rubin.

Estratégia de Implementação para Kernels Limitados por Memória

Uma contribuição central é a identificação da fusão ao nível de registrador como o mecanismo para levar $\beta \to 1$. A estratégia de implementação proposta envolve:

1. Carregar operandos fp64 para a memória compartilhada (shared memory).
2. Decompor operandos em planos de resíduos dentro dos registradores.
3. Executar $r$ MAs de tensor-core de baixa precisão nesses planos de resíduos.
4. Reconstruir o resultado via algoritmo de Garner nos registradores antes de escrever de volta para a memória global.
   Isso garante que os planos de resíduos nunca toquem a HBM, preservando a largura de banda de memória.

3. Principais Contribuições

1. Modelo de Desempenho Unificado: A derivação do modelo TME, que prevê o cruzamento de intensidade aritmética onde a emulação supera o fp64 nativo, contabilizando explicitamente os parâmetros $\alpha, \beta, \gamma$.
2. Disciplina de Design de Kernel: A identificação da fusão ao nível de registrador como um requisito de correção para kernels limitados por memória. Sem isso, a inflação de largura de banda ($\beta > 1$) anula os benefícios da emulação.
3. Projeções Geracionais: Projeções de desempenho para B300 e Rubin R200 mostrando que Ozaki II + fp8 pode alcançar:
   • Regime Limitado por Memória: Throughput correspondendo ao teto de memória (ex: 4 TFLOPS para estênceis na B300), efetivamente restaurando o desempenho aos níveis pré-colapso.
   • Regime Limitado por Computação: Tetos de throughput de ~500 TFLOPS (B300) e ~400 TFLOPS (Rubin), excedendo o teto nativo de fp64 da geração anterior (B200, 40 TFLOPS) em uma ordem de magnitude.
4. Comparação com Baseline H100: Uma re-parametrização contra a H100 (a última GPU equilibrada para HPC). O artigo demonstra que o Ozaki II na B300/Rubin iguala ou excede o desempenho da H100 em todas as cargas de trabalho, enquanto o fp64 nativo da B300 regride em até 50× em tarefas sensíveis à computação.
5. Cobertura de Kernels End-to-End: Uma auditoria abrangente combinando os resultados deste artigo com uma análise de FFT complementar [19] e estratégias de redução BLAS-1 (FP32 + Kahan). A auditoria conclui que cada classe principal de kernel de HPC (GEMM, SpMV, Estênceis, FFT, reduções) admite um caminho para o teto de memória com precisão total de fp64 na B300.

4. Resultados

• Fatores de Aceleração (Speedup): Na B300, o Ozaki II/fp8 fornece:
  • ~380× de aceleração para Dense GEMM (limitado por computação).
  • ~24× de aceleração para Batched GEMV (B=8).
  • ~3,1× de aceleração para Estênceis de 7 pontos.
  • ~1,2× de aceleração para SpMV (profundamente limitado por memória).
• Vantagem da Rubin: Na Rubin R200, o salto na largura de banda HBM (para 22 TB/s) combinado com o Ozaki II gera uma melhoria de 2,75× sobre a B300 no regime limitado por memória e uma melhoria de 6,6× sobre a H100 em todo o espectro.
• Escolha do Substrato: O artigo confirma que o fp8 é o substrato superior para o Ozaki II na B300/Rubin devido ao colapso do throughput de int8, ofereando uma vantagem de teto de emulação de 30× sobre o int8 na B300.
• Precisão: A emulação mantém limites de erro componente a componente comprováveis comparáveis ao fp64 nativo, desde que o número de módulos $r$ seja escolhido corretamente (tipicamente $r \approx 10$ para fp8).

5. Significância e Alegações

O artigo argumenta que o "santo graal" do silício fp64 nativo não é mais um pré-requisito para computação científica credível. Em vez disso, a combinação de abundante throughput de tensor fp8 e emulação Ozaki Scheme II é suficiente para recuperar a execução no teto de memória com precisão total de fp64 em todo o espectro canônico de kernels de HPC.

Principais Alegações:

• Paridade em Regimes Limitados por Memória: A emulação não penaliza kernels limitados por memória; com fusão ao nível de registrador, ela alcança paridade com o teto de memória, tal como um chip fp64 nativo saudável faria.
• Superioridade em Regimes Limitados por Computação: A emulação supera vastamente as capacidades de fp64 nativo da geração anterior (B200) e das unidades de fp64 nativas da geração atual.
• Viabilidade Estratégica: O investimento de engenharia necessário para implementar esses kernels é agora tratável em uma escala de "meses, não anos", facilitado por assistentes de codificação de IA modernos e pela padronização do padrão algorítmico.
• Implicação Arquitetônica: Futuros designs de GPU devem garantir throughput de tensor fp8 suficiente e um caminho de fallback (como o sub-chão Kulisch INT32 para trabalho espectral) em vez de insistir em núcleos de tensor fp64 nativos. O artigo postula que "fp8 (com o andaime algorítmico correto) é tudo o que você precisa para HPC de produção".

O artigo conclui que a "era pós-fp64" não é uma regressão, mas um realinhamento estratégico onde a emulação definida por software converte as economias de silício da otimização de IA em throughput científico de alta precisão utilizável.