Unleashing Low-Bit Inference on Ascend NPUs: A Comprehensive Evaluation of HiFloat Formats

Este trabajo evalúa los formatos HiFloat (HiF8 y HiF4) en NPUs Ascend, demostrando que su diseño jerárquico y compatibilidad con marcos de cuantización existentes permiten una inferencia eficiente de LLMs al superar las limitaciones de precisión de los formatos enteros en datos de alta varianza.

Lo esencial

¡Hola! Imagina que tienes un gigante digital (una Inteligencia Artificial muy avanzada) que necesita viajar en un coche pequeño y económico para llegar a su destino. Ese "coche" es el chip de tu computadora (en este caso, un chip llamado Ascend NPU de Huawei), y el "gigante" es el modelo de lenguaje (como los que usan para escribir o chatear).

El problema es que el gigante es enorme y pesado. Si intenta viajar en su forma original, el coche se rompe o se queda sin gasolina (memoria y potencia). Para solucionarlo, necesitamos hacer al gigante más pequeño y ligero sin que pierda su inteligencia. A esto le llamamos cuantización.

Aquí es donde entra este paper, que es como un manual de pruebas de choques para ver qué tipo de "maletas" (formatos de datos) son mejores para transportar a este gigante.

🎒 El Problema: ¿Qué tipo de maleta usamos?

Antes, todos usaban maletas rígidas y cuadradas llamadas INT8 (números enteros). Son buenas para cosas que no cambian mucho, como las "recetas" fijas del gigante (sus pesos). Pero cuando el gigante empieza a hablar o pensar (activaciones), sus ideas son caóticas, con valores muy pequeños y otros gigantes de repente. Las maletas cuadradas no se adaptan bien a esto y la información se rompe.

Los investigadores probaron maletas flexibles llamadas HiFloat (HiF8 y HiF4), diseñadas específicamente para los coches de Huawei.

🔍 Las 3 Grandes Descubrimientos (Explicados con Analogías)

1. La Regla de Oro: "Cada cosa, su caja"

• Lo que dicen: Para las "recetas" fijas (pesos), las cajas cuadradas (INT8) son mejores. Para las ideas cambiantes (activaciones), las cajas flexibles (HiFloat) ganan.
• La analogía: Imagina que tienes que mover ladrillos (pesos). Son todos del mismo tamaño y forma. Una caja rígida perfecta (INT8) los apila sin desperdiciar espacio.
  Pero ahora imagina que tienes que mover globo aerostáticos (activaciones). Algunos son diminutos, otros son gigantes. Si usas la caja rígida, o los globos pequeños se pierden entre los huecos, o los gigantes explotan la caja. Necesitas una caja elástica (HiFloat) que se estire para los grandes y se contraiga para los pequeños.

2. El Truco del 4-Bit: La Torre de Bloques

• Lo que dicen: Cuando intentamos hacer las maletas muy pequeñas (4 bits), las cajas cuadradas (INT4) fallan estrepitosamente. Se rompen. Pero HiFloat usa una estructura de "tres niveles" (HiF4) que salva el día.
• La analogía: Imagina que tienes que empaquetar una ciudad entera en una caja de zapatos (4 bits).
  • INT4 (La caja rígida): Intenta poner todo en una sola fila. Si hay un edificio muy alto (un dato raro), la caja se rompe y todo se aplasta.
  • HiF4 (La torre de bloques): En lugar de una sola fila, construye una torre de tres pisos.
    • Piso 1: Un gran mapa general.
    • Piso 2: Un mapa de barrios.
    • Piso 3: Un mapa de calles.
      Si hay un edificio gigante en un barrio, solo ajustas ese piso, sin afectar al resto de la ciudad. ¡Así es como HiF4 evita que el gigante pierda su memoria!

3. El Efecto "Suavizado"

• Lo que dicen: HiFloat funciona increíblemente bien cuando se combina con técnicas de "suavizado" (como SmoothQuant).
• La analogía: Es como poner un colchón debajo de las maletas. Las técnicas de suavizado nivelan el suelo antes de que las maletas (HiFloat) se suban al coche. Juntos, hacen que el viaje sea tan suave que el gigante casi no nota que está viajando en una caja pequeña.

🏆 El Veredicto Final

El paper concluye que:

1. Para 8 bits (maletas medianas): Mezcla lo mejor de ambos mundos. Usa cajas cuadradas (INT8) para las recetas fijas y cajas elásticas (HiF8) para las ideas cambiantes.
2. Para 4 bits (maletas minúsculas): ¡Olvídate de las cajas cuadradas! Son un desastre. HiF4 es el héroe. Gracias a su estructura de "torre de bloques", puede comprimir al gigante a un tamaño increíblemente pequeño sin que pierda su inteligencia.

En resumen: Huawei ha encontrado la llave maestra (HiFloat) para que sus chips sean super rápidos y eficientes, permitiendo que modelos gigantes de IA viajen en coches pequeños sin sufrir daños. ¡Es como lograr que un elefante entre en un Mini Cooper sin aplastarse! 🐘🚗💨

Resumen técnico

Resumen Técnico: Evaluación de los Formatos HiFloat para Inferencia de LLM en Ascend NPUs

1. El Problema

El escalado exponencial de los Modelos de Lenguaje Grande (LLM) ha generado cuellos de botella críticos en el rendimiento computacional y el ancho de banda de la memoria. La cuantización se ha establecido como el paradigma principal para mitigar estos problemas, reduciendo la sobrecarga de memoria sin sacrificar significativamente el rendimiento.

Sin embargo, la literatura actual se ha centrado predominantemente en métodos basados en enteros (INT8, INT4). Aunque efectivos, estos métodos enfrentan desafíos fundamentales en escenarios de ultra-baja precisión (4 bits) y con datos de activación que presentan distribuciones de "cola pesada" (outliers). Por otro lado, los formatos de punto flotante de baja precisión (como MXFP y NVFP4) ofrecen un rango dinámico superior, pero su eficacia en la inferencia post-entrenamiento (PTQ) específica para las NPUs de Ascend de Huawei no había sido exhaustivamente evaluada hasta este trabajo.

2. Metodología

Los autores evalúan la familia de formatos HiFloat (HiF8 y HiF4), diseñados específicamente para las NPUs de Ascend, comparándolos con estándares de la industria como MXFP (Microscaling) y NVFP4, así como con formatos enteros (INT).

• HiF8 (8 bits): Utiliza una asignación dinámica de mantisa mediante un código de prefijo. Esto permite adaptar la división de bits entre exponente y mantisa según la magnitud del número, ofreciendo flexibilidad para cargas de trabajo diversas.
• HiF4 (4 bits): Emplea una estructura de escalado jerárquico de tres niveles:
  1. Un factor de escala compartido para bloques de 64 elementos (formato E6M2).
  2. Factores de escala refinados para sub-bloques de 8 elementos (E1M0).
  3. Factores de escala finales para micro-bloques de 4 elementos (E1M0).
  4. Los elementos individuales se representan en formato E1M2.
• Evaluación Experimental:
  • Modelos: Qwen3-8B y openPangu-7B.
  • Tareas: Cuantización de pesos, activaciones y caché KV (Key-Value).
  • Métricas: Perplejidad (PPL) en Wikitext-2 y C4, precisión en tareas de razonamiento (MMLU, ARC, GSM8K, etc.), y relación Señal-Ruido de Cuantización (SQNR).
  • Sinergias: Se analizó la compatibilidad con marcos de cuantización post-entrenamiento (PTQ) de vanguardia como SmoothQuant y SVDQuant.

3. Contribuciones Clave

1. Formulación Matemática: Se proporciona la lógica formal de cuantización y de-cuantización para la familia HiFloat.
2. Análisis Distribucional: Se demuestra que los formatos de punto flotante son superiores para datos de alta varianza (activaciones), mientras que los enteros son más eficientes para datos de rango estrecho (pesos estáticos).
3. Evaluación de Inferencia End-to-End: Primer estudio integral que evalúa HiFloat en todo el pipeline de inferencia, incluyendo la caché KV, un componente crítico a menudo ignorado en evaluaciones de formatos de baja precisión.
4. Análisis de Sinergia: Se caracteriza cómo HiFloat complementa las estrategias de mitigación de outliers (como SmoothQuant), logrando beneficios compuestos en la compresión del modelo.

4. Resultados Principales

A. Régimen de 8 bits (W8A8):

• Pesos: Los formatos enteros (INT8) superan a los de punto flotante (HiF8, MXFP8) en la cuantización de pesos. Esto se debe a que los pesos de modelos pre-entrenados tienen distribuciones estáticas y acotadas; el uso de bits para exponentes en formatos FP desperdicia capacidad de representación en rangos vacíos.
• Activaciones y Caché KV: Los formatos de punto flotante (HiF8 y MXFP8) muestran mayor estabilidad y fidelidad que INT8, gracias a su capacidad para manejar los outliers dinámicos sin colapsar la resolución cerca de cero.
• Conclusión: En 8 bits, una estrategia híbrida (INT8 para pesos, FP para activaciones) o el uso de HiF8 con escalado por canal es óptimo.

B. Régimen de 4 bits (W4A4) - El Hallazgo Crítico:

• Fallo de los Enteros: La cuantización INT4 sufre un colapso catastrófico de la precisión, perdiendo más del 60-70% de la capacidad del modelo, incluso con técnicas avanzadas de PTQ. La espaciado uniforme de los enteros es insuficiente para representar la varianza de los datos en 4 bits.
• Éxito de HiF4: El formato HiF4 demuestra una resiliencia excepcional.
  • En Qwen3-8B, HiF4 mantiene más del 96.5% del rendimiento de la línea base BF16.
  • En openPangu-7B, logra una recuperación casi completa, limitando la degradación a solo ~3% con RTN (Round-to-Nearest) y mejorando con SmoothQuant/SVDQuant.
• Caché KV: HiF4 supera consistentemente a NVFP4 y MXFP4 en la cuantización de la caché KV a 4 bits, lo cual es vital para la inferencia de contexto largo.

C. Sinergia con PTQ:
La integración de HiFloat con SmoothQuant y SVDQuant permite una recuperación casi total de la precisión perdida, validando que la estructura jerárquica de HiF4 es ideal para optimizaciones sensibles a outliers bajo restricciones estrictas de 4 bits.

5. Significado e Impacto

Este trabajo establece que la representación numérica es el determinante principal de la resiliencia del modelo en la cuantización de ultra-baja precisión.

• Cambio de Paradigma: Mientras que en 8 bits los enteros siguen siendo competitivos para los pesos, en 4 bits el espaciado uniforme se convierte en un cuello de botella insalvable. La estructura jerárquica de HiFloat (y NVFP4) es esencial para aislar outliers y mantener la precisión local.
• Viabilidad de Inferencia 4-bit: El estudio demuestra que es posible ejecutar inferencia de LLMs de alta calidad en NPUs de Ascend utilizando exclusivamente formatos de 4 bits (W4A4 + KV4) sin colapso de rendimiento, algo que los formatos enteros no pueden lograr.
• Relevancia para Ascend: HiFloat se posiciona como un estándar robusto y nativo para la inferencia de alta eficiencia en hardware de Huawei, ofreciendo una solución práctica para despliegues de modelos grandes con recursos limitados.

En resumen, el artículo valida que HiF4 es el formato más robusto para la inferencia de extremo a extremo en 4 bits, superando a los estándares actuales de la industria y habilitando nuevas posibilidades para la eficiencia en hardware especializado.