Resumo Técnico: FP8 is All You Need (Parte 2)

1. Definição do Problema

O artigo aborda a mudança arquitetural nas GPUs NVIDIA Blackwell Ultra (B300) e Rubin, onde o throughput vetorial FP64 foi drasticamente reduzido para priorizar cargas de trabalho de IA (tensor cores FP8/FP16). Especificamente, o throughput vetorial FP64 da B300 (~1,3 TFLOPS) é aproximadamente 30× menor que o da B200 e insuficiente para sustentar cargas de trabalho científicas limitadas por memória (memory-bound), como Transformadas Rápidas de Fourier (FFT) 3D, no teto de largura de banda de memória.

Embora o artigo complementar [1] tenha demonstrado que o framework de emulação Ozaki Scheme II (Ozaki-II) poderia recuperar o throughput equivalente a FP64 para operações de matriz densa (GEMM, GEMV, Stencils, SpMV) roteando os cálculos através de tensor cores FP8, uma lacuna crítica permanecia: a FFT 3D. A FFT apresenta um gargalo único onde o custo de reconstrução (reconstrução de Garner) escala de forma diferente em relação ao GEMM denso, potencialmente tornando a abordagem padrão Ozaki-II ineficiente ou inviável nessas arquiteturas com "colapso de FP64".

2. Metodologia

Os autores propõem o Ozaki-Bailey FFT, um framework de emulação que combina o sistema de número de resíduo Ozaki-II com a decomposição de seis etapas de Bailey para FFTs 3D. A metodologia envolve uma análise e reformulação em três partes:

A. A Análise do $\gamma$-Roof (Teto de $\gamma$)

Os autores analisam o modelo TME (Equilíbrio Tensor-Memória) para o kernel de FFT. Diferente do GEMM denso, onde os termos de computação ($\alpha$) e memória ($\beta$) dominam, o caso da FFT na dimensão interna de Bailey $k \approx \sqrt{N} = 32$ (para $N=1024$) faz com que a latência de reconstrução de Garner ($\gamma$) se torne a restrição limitante.

• Problema: A reconstrução recursiva de Garner padrão exige $O(r^2)$ operações de inteiros por elemento de saída. Na B300, isso resulta em um tempo de execução de ~260 ms, aproximadamente 20× mais lento que o teto de memória (12,9 ms).
• Reformulação: Os autores decompõem a reconstrução de Garner em duas fases:
  • Fase A: Produtos internos usando coeficientes fatiados por mantissa (CRT direto) mapeados para tensor cores FP8/INT8. Esta etapa é altamente eficiente (~0,5 ms).
  • Fase B: Uma redução por elemento de saída dos resultados da Fase A. Em uma implementação ingênua, isso roda no pipeline vetorial de FP64 colapsado, criando um novo gargalo (~163 ms).

B. A Rota de Escape de Kulisch (Reformulação da Fase B)

Para resolver o gargalo da Fase B sem depender do fraco pipeline vetorial FP64, os autores pesquisam esquemas clássicos de acumulação exata. Eles identificam o acumulador de aritmética completa de ponto fixo de Kulisch [16, 17] como a solução.

• Mecanismo: Em vez de soma de ponto flutuante, a redução é realizada usando um acumulador de ponto fixo largo (160 bits, implementado via cinco registros INT32) no pipeline SIMT de INT32.
• Precisão: A acumulação é exata (sem arredondamento intermediário). O único arredondamento ocorre uma única vez, na conversão final de INT160 para FP64. Isso mantém a precisão total de FP64 (melhor que a soma FP64 ingênua, que acumula ~11 ulps de erro).
• Desempenho: O throughput de INT32 da B300 (~75 TOPS) é ~58× maior que seu throughput de FP64. Roteando a Fase B para cá reduz o tempo de execução projetado para ~18 ms.

C. Regra de Co-design de Quatro Pisos (Four-Floor Codesign Rule)

O artigo deriva quatro "pisos de paridade de largura de banda" (requisitos mínimos de throughput relativos à largura de banda de memória, $BHBM$) necessários para atingir a paridade de teto de memória para FFTs:

1. Piso FP64 Nativo: $\eta_{FP64} \ge 1,56 \cdot BHBM$. (A B300 falha nisso por ~10×).
2. Piso da Fase B Ozaki Ingênua: $\eta_{FP64} \ge 2,06 \cdot BHBM$. (Informativo; estritamente mais difícil que o nativo).
3. Sub-piso Kulisch INT32: $\eta_{INT32} \ge 8,25 \cdot BHBM$. (A B300 atende a isso com uma margem de ~14%).
4. Piso de Tensor-Core FP8: $\eta_{FP8} \ge 170 \cdot BHBM$. (A B300 atende a isso com uma margem de ~3,7×).

3. Principais Contribuições

1. Identificação do $\gamma$-Roof: O artigo estabelece que, para FFTs 3D, o custo de reconstrução de Garner ($\gamma$) torna-se o gargalo dominante em tamanhos de problema específicos ($k \approx 32$), invalidando a suposição de que apenas os termos de computação/memória ditam o desempenho.
2. Reformulação de Garner via Tensor-Core: Os autores introduzem uma divisão da reconstrução de Garner em Fase A (Tensor Core) e Fase B (SIMT), permitindo o uso de hardware de alto throughput FP8/INT8 para o trabalho pesado.
3. Resgate de Fase B via Kulisch: O artigo propõe o uso do acumulador de ponto fixo de Kulisch no pipeline SIMT de INT32 para realizar a redução da Fase B. Isso é apresentado como uma "rota de escape de software" que permite que GPUs com FP64 colapsado alcancem precisão total de FP64 sem o hardware vetorial FP64 nativo.
4. Regra de Co-design de Quatro Pisos: Uma nova regra de design arquitetural é proposta. Para suportar FFTs FP64 completas em hardware pós-FP64, uma GPU deve satisfazer o piso FP64 nativo OU satisfazer tanto o piso de tensor-core FP8 quanto o sub-piso Kulisch INT32.
5. Projeções Quantitativas:
   • B300: FFT nativa é ~124 ms; Garner recursivo é ~260 ms; Fase B ingênua é ~163 ms. O caminho Kulisch projeta ~18 ms, aproximando-se do teto de memória de 12,9 ms.
   • Rubin: Situa-se dentro de 4% do piso FP64 nativo, tornando a emulação desnecessária para FFT.
   • H100/B200: Atendem ao piso nativo confortavelmente.

4. Resultados e Alegações

• Viabilidade: O artigo afirma que a B300, apesar de seu reduzido pipeline vetorial FP64, pode alcançar desempenho próximo ao teto de memória para FFTs 3D FP64 completas unicamente através de engenharia de software (Ozaki-Bailey + Kulisch).
• Precisão: O método Kulisch fornece uma precisão estritamente melhor que a soma FP64 ingênua (arredondamento único final vs. erro acumulado) enquanto roda inteiramente no pipeline INT32.
• Implicações Arquiteturais:
  • B300: É "salvável" para códigos espectrais se o kernel Kulisch for implementado eficientemente (assumindo 50–70% de eficiência de SIMT INT32).
  • Rubin: É equilibrada para códigos espectrais; a emulação não oferece ganho de velocidade.
  • Design Futuro: O artigo argumenta que o piso FP64 nativo ($\eta \ge 1,56 \cdot BHBM$) permanece o alvo de aquisição seguro. A rota Kulisch é um "resgate" para arquiteturas sub-piso existentes, mas não deve justificar novos cortes em silício FP64 ou INT32 em gerações futuras. Se ambos o FP64 e o INT32 forem cortados, a rota de escape se fecha.

5. Significância

O artigo conclui que a combinação da emulação Ozaki-II, a decomposição de Bailey e o acumulador de Kulisch fornece uma auditoria de cobertura de kernel end-to-end para a pilha pós-FP64. Demonstra que, mesmo com um pipeline vetorial FP64 "profundamente colapsado", a computação científica FP64 completa (especificamente FFTs) não está necessariamente morta, desde que a arquitetura retenha throughput SIMT INT32 e capacidade de tensor core FP8 suficientes.

O trabalho motiva a criação de uma biblioteca libKulisch para implementar essas primitivas de acumulador largo para FFTs, SpMV e outros kernels limitados por redução de baixa intensidade operacional. Os autores enfatem que, embora a projeção seja promissora (~18 ms), a medição empírica do kernel de Fase B de Kulisch é o próximo passo imediato para validar as suposições de eficiência.