Hawkeye: Reproducing GPU-Level Non-Determinism

Resumen Técnico: Hawkeye

1. El Problema: La No-Determinismo en el Aprendizaje Automático (ML)

El aprendizaje automático moderno, especialmente en el entrenamiento e inferencia de grandes modelos, depende masivamente de hardware especializado como los Tensor Cores de NVIDIA. Sin embargo, estos componentes introducen un no-determinismo inherente que impide la verificación exacta de los cálculos:

• Causas del No-Determinismo: Surgen de detalles no especificados en la implementación de hardware, como:
  • Estrategias de redondeo (rounding).
  • Manejo de números subnormales (valores cercanos a cero).
  • Orden de acumulación (la aritmética de punto flotante no es asociativa; $(a+b)+c \neq a+(b+c)$).
• Consecuencia: La misma operación ejecutada en diferentes GPUs (o incluso en la misma GPU con diferentes horarios de ejecución) puede producir resultados numéricamente distintos.
• Desafío de Verificación: En el contexto de "ML Verificable", un auditor no puede simplemente comparar la salida de una GPU con una re-ejecución en CPU, ya que las discrepancias podrían deberse al no-determinismo del hardware y no a un error o fraude (como un proveedor de servicios que recorta pasos de entrenamiento). Las soluciones anteriores o bien introducen una sobrecarga computacional inaceptable, o sufren de degradación de calidad y falta de robustez.

2. Metodología: El Enfoque de Hawkeye

Hawkeye es un sistema diseñado para reproducir bit a bit las operaciones de multiplicación de matrices de los Tensor Cores de NVIDIA en una CPU, sin pérdida de precisión.

Estrategia Central:
En lugar de intentar simular el hardware de manera genérica, Hawkeye utiliza una metodología sistemática de pruebas dirigidas para "reverse-engineer" (ingeniería inversa) el comportamiento interno de los Tensor Cores.

Fases de la Metodología:

1. Caracterización mediante CUDA: Se implementan kernels personalizados de CUDA que invocan instrucciones de hardware MMA (Matrix-Multiply-Accumulate) directamente mediante ensamblador PTX inline.
2. Suite de Pruebas Dirigidas: Se ejecutan pruebas específicas sobre bloques de matrices de $16 \times 16$ para aislar y determinar:
   • Orden de Suma: ¿En qué secuencia se suman los productos parciales? (Ej. ¿Se agrupan en subconjuntos antes de la suma final?).
   • Precisión Interna: ¿Cuántos bits de mantisa utiliza el acumulador interno? (Ej. ¿Es FP32 completo o una variante extendida?).
   • Modo de Redondeo: ¿Cómo se manejan los bits descartados durante el alineamiento de exponentes? (Redondeo al par, hacia cero, hacia infinito, etc.).
   • Normalización: ¿Se normalizan los productos intermedios inmediatamente o se retrasa la normalización?
   • Comportamiento Subnormal: ¿Cómo se manejan los números subnormales en la cadena de acumulación?
3. Construcción del Simulador: Los resultados de estas pruebas se codifican en un simulador de software que replica exactamente la semántica de acumulación descubierta.

3. Contribuciones Clave y Descubrimientos Técnicos

El papel detalla hallazgos específicos para diferentes arquitecturas (Ampere, Hopper, Lovelace) y formatos de precisión (FP16, BF16, FP8):

• Estructura de Acumulación:
  • Ampere (FP16): Utiliza una estructura de dos etapas. Los primeros 8 productos se suman con el acumulador inicial, y luego ese resultado se suma con los últimos 8 productos.
  • Hopper (FP16): Utiliza una estructura de una sola etapa, donde los 16 productos se suman junto con el acumulador inicial en un solo paso.
• Precisión Interna:
  • Los Tensor Cores de Ampere (FP16) utilizan un acumulador interno de 24 bits (equivalente a FP32).
  • Los Tensor Cores de Hopper (FP16) utilizan un acumulador interno de 25 bits.
• Modo de Redondeo:
  • Se descubrió que tanto en el alineamiento de exponentes (shift) como en la conversión final al formato de salida, los Tensor Cores utilizan redondeo hacia cero (truncación), no "redondeo al par más cercano" (round-to-nearest-even) como sugiere el estándar IEEE 754 estándar para operaciones simples.
• Normalización Diferida:
  • Los productos intermedios no se normalizan inmediatamente después de la multiplicación. Se propagan los significados crudos (raw significands) al acumulador, permitiendo que los valores intermedios excedan temporalmente el rango normalizado antes de la suma final.
• Manejo de BF16 y Desbordamientos:
  • En BF16, el hardware permite que los valores intermedios excedan el rango de FP32 durante la acumulación interna, pero el resultado final se casta a FP32, saturando a infinito si es necesario.
  • Se identificó el umbral mínimo de contribución efectiva ($2^{-156}$ en Ampere) que puede afectar el resultado final debido a la precisión extendida interna.

4. Resultados Empíricos

• Reproducción Perfecta: Hawkeye logró una tasa de éxito del 100% en la replicación bit a bit de multiplicaciones de matrices grandes ($4096 \times 4096$) en CPU, comparadas con la ejecución nativa en GPU.
• Cobertura: Las pruebas se validaron en múltiples arquitecturas (Ampere, Hopper, Lovelace) y formatos (FP16, BF16, FP8).
• Rendimiento: Aunque la ejecución en CPU es más lenta que en GPU, el tiempo de ejecución es aceptable para un auditor que necesita verificar una ejecución una sola vez (no en tiempo real).
• Repositorio: El código fuente de los simuladores está disponible públicamente.

5. Significado e Impacto

• Auditoría Confiable: Hawkeye permite a terceros auditar el entrenamiento e inferencia de modelos de ML sin confiar ciegamente en el proveedor de servicios. Un auditor puede ejecutar el mismo cálculo en una CPU usando Hawkeye y obtener el resultado exacto que debería haber dado la GPU. Si hay discrepancias, indican un comportamiento incorrecto o malicioso, no un artefacto del hardware.
• Superación de Limitaciones Previas: A diferencia de enfoques anteriores que requerían deshabilitar características de hardware (lento) o almacenar decisiones de redondeo (costoso en almacenamiento), Hawkeye ofrece una solución precisa sin modificar los kernels originales de la GPU.
• Fundamento para ML Verificable: Este trabajo sienta las bases para sistemas de ML reproducibles y agnósticos al hardware, esenciales para la seguridad en la nube y la confianza en la IA generativa.

En conclusión, Hawkeye demuestra que, a pesar de la complejidad y el no-determinismo de los aceleradores modernos, es posible modelar matemáticamente su comportamiento interno con suficiente precisión para lograr una equivalencia exacta en software estándar, resolviendo uno de los mayores cuellos de botella en la verificación de sistemas de aprendizaje automático.