Resumen Técnico: FP8 es Todo lo que Necesitas (Parte 2)

1. Planteamiento del Problema

El artículo aborda el cambio arquitectónico en las GPU NVIDIA Blackwell Ultra (B300) y Rubin, donde el rendimiento de vectores FP64 se ha reducido drásticamente para priorizar las cargas de trabajo de IA (tensor cores FP8/FP16). Específicamente, el rendimiento de vectores FP64 de la B300 (~1.3 TFLOPS) es aproximadamente 30 veces menor que el de la B200 e insuficiente para mantener las cargas de trabajo científicas limitadas por memoria, como las Transformadas Rápidas de Fourier (FFT) en 3D, en el techo de ancho de banda de memoria.

Si bien el artículo complementario [1] demostró que el marco de emulación Ozaki Scheme II (Ozaki-II) podría recuperar un rendimiento equivalente a FP64 para operaciones de matrices densas (GEMM, GEMV, Stencils, SpMV) mediante el enrutamiento de cálculos a través de tensor cores FP8, persistía una brecha crítica: la FFT 3D. La FFT presenta un cuello de botella único donde el costo de reconstrucción (reconstrucción de Garner) escala de forma distinta a la de una GEMM densa, lo que podría hacer que el enfoque estándar de Ozaki-II sea ineficiente o inviable en estas arquitecturas de "colapso de FP64".

2. Metodología

Los autores proponen Ozaki-Bailey FFT, un marco de emulación que combina el sistema de número de residuo Ozaki-II con la descomposición de seis pasos de Bailey para FFTs 3D. La metodología implica un análisis y una reformulación de tres partes:

A. El Análisis del Techo $\gamma$ ($\gamma$-Roof Analysis)

Los autores analizan el modelo TME (Equilibrio Tensor-Memoria) para el kernel de FFT. A diferencia de una GEMM densa, donde los términos de cómputo ($\alpha$) y memoria ($\beta$) dominan, el caso de la FFT con una dimensión interna de Bailey $k \approx \sqrt{N} = 32$ (para $N=1024$) provoca que la latencia de reconstrucción de Garner ($\gamma$) se convierta en la restricción vinculante.

• Problema: La reconstrucción recursiva estándar de Garner requiere $O(r^2)$ operaciones enteras por cada elemento de salida. En la B300, esto resulta en un tiempo de ejecución de ~260 ms, aproximadamente 20 veces más lento que el techo de memoria (12.9 ms).
• Reformulación: Los autores descomponen la reconstrucción de Garner en dos fases:
  • Fase A: Productos internos utilizando coeficientes segmentados por mantisa (CRT directo) mapeados a tensor cores FP8/INT8. Este paso es altamente eficiente (~0.5 ms).
  • Fase B: Una reducción por elemento de salida de los resultados de la Fase A. En una implementación ingenua, esto se ejecuta en el colapsado pipe de vectores FP64, creando un nuevo cuello de botella (~163 ms).

B. La Ruta de Escape de Kulisch (Reformulación de la Fase B)

Para resolver el cuello de botella de la Fase B sin depender del débil pipe de vectores FP64, los autores investigan esquemas clásicos de acumulación exacta. Identifican el acumulador de aritmética completa de punto fijo de Kulisch [16, 17] como la solución.

• Mecanismo: En lugar de una suma de punto flotante, la reducción se realiza utilizando un acumulador de punto fijo de gran ancho (160 bits, implementado mediante cinco registros INT32) en el pipe SIMT de INT32.
• Precisión: La acumulación es exacta (sin redondeo intermedio). El único redondeo ocurre una sola vez, en la conversión final de el entero de 160 bits a FP64. Esto mantiene la precisión total de FP64 (mejor que la suma ingenua de FP64, que acumula ~11 ulps de error).
• Rendimiento: El rendimiento de INT32 de la B300 (~75 TOPS) es ~58 veces mayor que su rendimiento de FP64. El enrutamiento de la Fase B aquí reduce el tiempo de ejecución proyectado a ~18 ms.

C. Regla de Co-diseño de Cuatro Pisos (Four-Floor Codesign Rule)

El artículo deriva cuatro "pisos de paridad de ancho de banda" (requisitos mínimos de rendimiento relativos al ancho de banda de memoria, $BHBM$) necesarios para lograr la paridad del techo de memoria para FFTs:

1. Piso FP64 Nativo: $\eta_{FP64} \ge 1.56 \cdot BHBM$. (La B300 falla en esto por ~10×).
2. Piso de Fase B de Ozaki Ingenuo: $\eta_{FP64} \ge 2.06 \cdot BHBM$. (Informativo; estrictamente más difícil que el nativo).
3. Sub-piso Kulisch INT32: $\eta_{INT32} \ge 8.25 \cdot BHBM$. (La B300 cumple esto con un margen del ~14%).
4. Piso de Tensor-Core FP8: $\eta_{FP8} \ge 170 \cdot BHBM$. (La B300 cumple esto con un margen de ~3.7×).

3. Contribuciones Clave

1. Identificación del Techo $\gamma$ ($\gamma$-Roof): El artículo establece que para FFTs 3D, el costo de reconstrucción de Garner ($\gamma$) se convierte en el cuello de botella dominante en tamaños de problema específicos ($k \approx 32$), invalidando la suposición de que los términos de cómputo/memoria dictan por sí solos el rendimiento.
2. Reformulación de Garner mediante Tensor-Core: Los autores introducen una división de la reconstrucción de Garner en Fase A (Tensor Core) y Fase B (SIMT), permitiendo el uso de hardware de alto rendimiento FP8/INT8 para el trabajo pesado.
3. Rescate de la Fase B mediante Kulisch: El artículo propone el uso del acumulador de punto fijo de Kulisch en el pipe SIMT de INT32 para realizar la reducción de la Fase B. Esto se presenta como una "ruta de escape de software" que permite a las GPU con FP64 colapsado alcanzar la precisión total de FP64 sin hardware de vector FP64 nativo.
4. Regla de Co-diseño de Cuatro Pisos: Se propone una nueva regla de diseño arquitectónico. Para soportar FFTs de FP64 completos en hardware post-FP64, una GPU debe satisfacer el piso nativo de FP64 O satisfacer tanto el piso de tensor-core FP8 como el sub-piso Kulisch INT32.
5. Proyecciones Cuantitativas:
   • B300: La FFT nativa es de ~124 ms; la reconstrucción de Garner recursiva es de ~260 ms; la Fase B ingenua es de ~163 ms. La ruta de Kulisch proyecta ~18 ms, acercándose al techo de memoria de 12.9 ms.
   • Rubin: Se sitúa dentro del 4% del piso FP64 nativo, lo que hace que la emulación sea innecesaria para FFT.
   • H100/B200: Cumplen con el piso nativo cómodamente.

4. Resultados y Reivindicaciones

• Viabilidad: El artículo afirma que la B300, a pesar de su reducido pipe de vectores FP64, puede alcanzar un rendimiento cercano al techo de memoria para FFTs 3D de FP64 completo únicamente mediante ingeniería de software (Ozaki-Bailey + Kulisch).
• Precisión: El método Kulisch proporciona una precisión estrictamente mejor que la suma ingenua de FP64 (un solo redondeo final frente al error acumulado) mientras se ejecuta enteramente en el pipe de INT32.
• Implicaciones Arquitectónicas:
  • B300: Es "salvable" para códigos espectrales si el kernel de Kulisch se implementa eficientemente (asumiendo una eficiencia de SIMT INT32 del 50–70%).
  • Rubin: Está equilibrada para códigos espectrales; la emulación no ofrece mejora de velocidad.
  • Diseño Futuro: El artículo argumenta que el piso FP64 nativo ($\eta \ge 1.56 \cdot BHBM$) sigue siendo el objetivo de compra seguro. La ruta de Kulisch es un "rescate" para arquitecturas con sub-pisos existentes, pero no debería justificar mayores recortes en el silicio de FP64 o INT32 en futuras generaciones. Si ambos, FP64 e INT32, son recortados, la ruta de escape se cierra.

5. Significado

El artículo concl dice que la combinación de la emulación Ozaki-II, la descomposición de Bailey y el acumulador de Kulisch proporciona una auditoría de cobertura de kernel de extremo a extremo para el stack post-FP64. Demuestra que incluso con un pipe de vectores FP64 "profundamente colapsado", la computación científica de FP64 completo (específicamente las FFTs) no está necesariamente muerta, siempre que la arquitectura mantenga un rendimiento de throughput SIMT de INT32 y una capacidad de tensor-core FP8 suficientes.

El trabajo motiva la creación de una biblioteca libKulisch para implementar estas primitivas de acumuladores anchos para FFTs, SpMV y otros kernels limitados por reducción de baja intensidad operacional. Los autores enfatizan que, aunque la proyección es prometedora (~18 ms), la medición empírica del kernel de Fase B de Kulisch es el siguiente paso inmediato para validar las suposiciones de eficiencia.