🤖 machine learning

Max-Window Scale Estimation for Near-Lossless HiF8 W8A8 Quantization-Aware Training

Este artículo identifica y resuelve dos modos de fallo distintos en el entrenamiento consciente de la cuantización HiF8 W8A8 —la saturación de amax y el olvido catastrófico— mediante la introducción de una estrategia de estimación de escala de ventana máxima y un programa de calentamiento BF16, logrando así un rendimiento casi sin pérdidas en el modelo OpenPangu-Embedded-1B.

Autores originales: Yingying Cheng, Jinquan Shi, Li Zhou, Zhiyang He, Zhaoyi Sun, Fan Zhang, Jie Sun

Publicado 2026-05-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yingying Cheng, Jinquan Shi, Li Zhou, Zhiyang He, Zhaoyi Sun, Fan Zhang, Jie Sun

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un bibliotecario brillante y bien leído (el modelo de IA) que ha pasado años memorizando una vasta biblioteca de libros. Ahora, quieres reducir esta enorme biblioteca para que quepa en una pequeña mochila portátil (un dispositivo de baja potencia) sin perder ninguna de las historias o hechos que contiene. Este proceso se llama Cuantización.

El artículo describe un experimento específico donde los investigadores intentaron reducir un modelo de IA de mil millones de parámetros utilizando un nuevo formato compacto llamado HiF8 (Flotante 8 de alta precisión). Piensa en HiF8 como una "compresión inteligente" que mantiene los detalles más importantes nítidos mientras comprime el resto.

Sin embargo, los investigadores descubrieron que simplemente reducir la biblioteca no era suficiente. Encontraron dos "trampas" ocultas que podían arruinar la memoria del modelo, incluso si el proceso de entrenamiento parecía perfecto sobre el papel.

Aquí está el desglose de su viaje, explicado de manera sencilla:

Las Dos Trampas Ocultas

1. La Trampa del "Punto Ciego" (Saturación Amax)
Imagina que el bibliotecario intenta organizar libros en un estante, pero está usando una regla que es ligeramente demasiado corta.

El Problema: La IA necesita conocer el número "más fuerte" o "más grande" que ve para establecer la escala de compresión. Los investigadores utilizaron un método llamado Escalado de Tensores Retardado (DTS). Esto es como si el bibliotecario mirara el libro anterior para adivinar el tamaño del libro actual.
El Fallo: Si el libro actual es repentinamente enorme (un "pico" en los datos), la suposición del bibliotecario (basada en el libro anterior) es demasiado pequeña. El libro queda "recortado" o cortado en el borde del estante.
La Astucia: La "puntuación" interna de la IA (la pérdida de entrenamiento) no mostró que esto estuviera sucediendo. Era como si el bibliotecario dijera: "¡Estoy organizando bien!", mientras secretamente arrancaba páginas de los libros. El daño solo se mostró más tarde cuando probaron el conocimiento del bibliotecario en cuestionarios específicos (como ARC o MMLU).

2. La Trampa del "Estudiante Demasiado Entusiasta" (Olvido Catastrófico)
Imagina que el bibliotecario está tan ansioso por aprender nuevas historias de un nuevo conjunto de libros que empieza a borrar los clásicos antiguos de su memoria para hacer espacio.

El Problema: Los investigadores estaban enseñando al modelo con una "tasa de aprendizaje" (la velocidad a la que aprende) demasiado agresiva.
El Fallo: El modelo estaba aprendiendo los nuevos datos tan rápido que olvidó completamente el sentido común y los hechos que aprendió durante su entrenamiento original.
La Astucia: Esto sucedió incluso sin la compresión. Si simplemente entrenaban el modelo normalmente a esta alta velocidad, aún olvidaba todo. Pero como también estaban comprimiendo el modelo, culparon a la compresión del fracaso, no a la velocidad.

La Solución: Una Reparación de Dos Partes

Los investigadores realizaron ocho experimentos diferentes para averiguar cómo solucionar estas trampas. Descubrieron que arreglar solo una no era suficiente; tenían que arreglar ambas simultáneamente.

Reparación #1: La "Red de Seguridad" (Estrategia de Ventana Máxima)
Para detener el "Punto Ciego", cambiaron cómo el bibliotecario adivina los tamaños de los libros.

En lugar de mirar solo el libro anterior, le dijeron al bibliotecario que mirara el libro más grande visto en los últimos 64 libros.
Este es un enfoque "conservador". Hace que el estante sea ligeramente más grande de lo estrictamente necesario (un poco excesivamente conservador), pero garantiza que ningún libro sea cortado nunca. Este pequeño "espacio extra" en realidad ayudó a que el modelo se mantuviera estable, actuando como un regularizador suave.

Reparación #2: El "Enfriamiento" (Calentamiento y Aprendizaje Más Lento)
Para detener al "Estudiante Demasiado Entusiasta", cambiaron el cronograma de entrenamiento.

El Calentamiento: Durante los primeros 500 pasos, no comprimirieron el modelo en absoluto. Le permitieron acostumbrarse a los nuevos datos en su formato completo y de alta calidad (BF16). Esto permitió que el modelo se asentara en un estado estable antes de aplicar la compresión de la "mochila".
El Enlentecimiento: Disminuyeron drásticamente la velocidad de aprendizaje (reduciendo la tasa de aprendizaje). Esto evitó que el modelo sobrescribiera frenéticamente su conocimiento antiguo y valioso con nuevos datos.

El Resultado

Cuando combinaron estas dos reparaciones, el resultado fue casi sin pérdida.

El modelo comprimido (HiF8) funcionó casi exactamente tan bien como el modelo completo sin comprimir.
La caída en el rendimiento en cuestionarios difíciles fue mínima (menos del 0,5 % en la mayoría de los casos).
Crucialmente, demostraron que si solo usaban la "Red de Seguridad" pero mantenían la velocidad "Demasiado Entusiasta", el modelo aún fallaba. Y si reducían la velocidad pero mantenían la regla del "Punto Ciego", también fallaba. Ambas reparaciones fueron necesarias.

Lo Que No Funcionó (Y Por Qué)

Mirar solo el último libro: Provocó que los libros se recortaran.
Suavizar la suposición: Intentaron promediar los libros pasados, pero fallaron cuando los datos cambiaban de manera impredecible.
Verificar el libro actual instantáneamente: Esto requería una segunda mirada a los datos, lo cual era demasiado lento y provocaba que el tamaño del estante saltara demasiado, confundiendo al modelo.
Entrenamiento de alta velocidad: Incluso sin compresión, esto hacía que el modelo olvidara todo.

La Conclusión

El artículo nos enseña que al reducir un modelo de IA inteligente, no puedes simplemente mirar la "puntuación de entrenamiento" para ver si está funcionando. Debes tener cuidado con cómo mides los datos (para evitar recortes) y qué tan rápido lo enseñas (para evitar el olvido). Al usar una "red de seguridad" para el tamaño de los datos y un ritmo de aprendizaje "lento y constante", puedes meter un cerebro gigante en una mochila diminuta sin perder la cabeza.

Resumen Técnico: Estimación de Escala Max-Window para Entrenamiento Consciente de Cuantización (QAT) HiF8 W8A8 Casi Sin Pérdidas

Enunciado del Problema

El despliegue de Modelos de Lenguaje Grande (LLM) en entornos con recursos limitados requiere una cuantización agresiva, particularmente utilizando formatos de punto flotante de 8 bits (FP8) como HiF8 (Float 8 de alta precisión). Aunque el Entrenamiento Consciente de Cuantización (QAT) busca adaptar modelos preentrenados a representaciones de pocos bits, introduce modos de fallo sutiles que son invisibles para las métricas de entrenamiento estándar como la pérdida de entropía cruzada.

Específicamente, aplicar QAT a modelos preentrenados implica un compromiso complejo: preservar el conocimiento preentrenado mientras se adaptan las representaciones internas al ruido de cuantización. Los autores identifican que la pérdida de entrenamiento estándar a menudo falla en señalar la degradación, lo que conduce a dos modos de fallo distintos y ortogonales en HiF8 W8A8 QAT:

Saturación de $A_{max}$ : Causada por el retraso temporal en la Escala de Tensores Retardada (DTS), donde el factor de escala estimado se basa en datos históricos. Si el máximo de activación real del paso actual excede la escala predicha, los valores se recortan, corrompiendo las activaciones hacia adelante, mientras que el Estimador Straight-Through (STE) pasa incorrectamente los gradientes como si no hubiera ocurrido ningún recorte.
Olvido Catastrófico: Causado por una tasa de aprendizaje demasiado agresiva durante el preentrenamiento continuo, que sobrescribe el conocimiento de sentido común preentrenado independientemente del esquema de cuantización.

Metodología

El estudio se centra en el modelo OpenPangu-Embedded-1B (1 mil millones de parámetros) utilizando el formato HiF8 W8A8. La metodología implica una investigación sistemática a través de ocho experimentos controlados para desentrañar las causas de la degradación del rendimiento.

Configuración de Cuantización

Formato: HiF8 utiliza precisión de mantisa escalonada basada en la magnitud del valor (3 bits para $|x| \le 8$ , 2 bits para $|x| \le 128$ , 1 bit para valores mayores).
Selección de Módulos: Para equilibrar eficiencia y estabilidad, solo se cuantizan las capas MLP (proyecciones de puerta, arriba y abajo) en los 21 bloques Transformer intermedios. Las proyecciones de atención, los embeddings, las normalizaciones de capa y los bloques fronterizos (los primeros 3 y los últimos 2) permanecen en BF16 para preservar el manejo de valores atípicos y la precisión de salida.
Protocolo de Entrenamiento: Los experimentos utilizan el conjunto de datos FineWeb con un tamaño de lote global de 1024 y una longitud de secuencia de 1024 durante 10.000 pasos.

Variables Experimentales

El núcleo de la investigación compara diferentes algoritmos de estimación de $A_{max}$ y tasas de aprendizaje:

Algoritmos de $A_{max}$ :
- Más Reciente (DTS): Utiliza el máximo del paso anterior.
- Suavizado Exponencial (DTS): Utiliza un promedio móvil.
- Max-Window (DTS): Utiliza el valor máximo sobre una ventana histórica de 64 pasos.
- Escala de Tensor Actual (CTS): Calcula el máximo del paso actual (requiere un segundo pase hacia adelante).
Tasas de Aprendizaje: Los experimentos probaron $10^{-4}$ (inicialmente considerada segura para líneas base BF16) y $10^{-5}$ .
Calentamiento: Se introdujo una fase de calentamiento BF16 de 500 pasos en experimentos posteriores para estabilizar los pesos y poblar el historial de $A_{max}$ antes de activar la cuantización.

Contribuciones Clave

El artículo hace cuatro contribuciones principales basadas en la desentrañación de los modos de fallo:

Identificación de Modos de Fallo Ortogonales: Los autores demuestran que la degradación de las pruebas en HiF8 QAT proviene de dos fuentes independientes: saturación de $A_{max}$ (un problema específico de cuantización) y olvido catastrófico (un problema de dinámica de entrenamiento). Crucialmente, ninguno es detectable solo mediante la pérdida de entrenamiento; ambos se manifiestan únicamente en la evaluación aguas abajo.
Estrategia Conservadora Max-Window: Para abordar la saturación de $A_{max}$ , el artículo propone reemplazar los algoritmos estándar con un algoritmo max sobre una ventana histórica de 64 pasos. Esto proporciona una garantía dura contra la saturación inducida por la escala para cualquier paso dentro de la ventana de observación. La ligera sobre-conservación actúa como una regularización beneficiosa.
Protocolo de Entrenamiento en Dos Fases: Para mitigar el olvido catastrófico, los autores introducen un protocolo que implica un calentamiento BF16 de 500 pasos seguido de QAT con una tasa de aprendizaje reducida de $10^{-5}$ . El calentamiento asegura que el modelo alcance un régimen de pesos estable y pobla el historial de $A_{max}$ con valores representativos, mientras que la tasa de aprendizaje más baja evita la sobrescritura del conocimiento preentrenado.
Análisis Exhaustivo de Fallos: El estudio documenta por qué los enfoques anteriores fallaron:
- Más Reciente sufre saturación por retraso de 1 paso.
- Suavizado Exponencial falla bajo dinámicas de activación no monótonas.
- CTS introduce fluctuaciones por paso que corrompen representaciones estables.
- Tasas de Aprendizaje Altas ( $10^{-4}$ ) causan olvido significativo independientemente de la cuantización.

Resultados

La configuración final (algoritmo Max-Window + calentamiento de 500 pasos + $lr=10^{-5}$ ) logra una cuantización casi sin pérdidas en comparación con una línea base BF16 coincidente entrenada a la misma tasa de aprendizaje:

MMLU: Caída del 0,43% (43,17% frente a 43,36% de la línea base).
HellaSwag: Caída del 0,58%.
ARC-Challenge: Caída del 0,22%.
Pérdida de Entrenamiento: El Porcentaje de Error Promedio (APE) entre el HiF8 QAT y la línea base BF16 es solo del 0,11% durante 10.000 pasos.

Cabe destacar que los experimentos mostraron que ninguna corrección por sí sola fue suficiente. Usar el algoritmo Max a $lr=10^{-4}$ aún resultó en caídas de ~3% en las tareas ARC debido al olvido. Por el contrario, usar $lr=10^{-5}$ con un algoritmo estándar más reciente aún sufriría saturación.

Significado y Afirmaciones

El artículo afirma que el QAT HiF8 exitoso para modelos preentrenados requiere abordar la interacción entre estabilidad de escala y dinámicas de aprendizaje simultáneamente. El significado del trabajo radica en:

Diagnosticar el Fallo "Invisible": Destacar que la pérdida de entrenamiento estándar es una métrica insuficiente para la calidad del QAT, ya que enmascara la saturación y el olvido que solo aparecen en las pruebas aguas abajo.
Proporcionar una Solución Robusta: Demostrar que una estrategia conservadora de estimación de $A_{max}$ combinada con una tasa de aprendizaje más baja y calentamiento puede lograr un rendimiento casi sin pérdidas (caída sub-1% en las principales pruebas) para modelos de 1B parámetros.
Clarificar Ejes de Diseño: Establecer que la elección del algoritmo de $A_{max}$ y la tasa de aprendizaje son ejes de diseño críticos e interdependientes, en lugar de hiperparámetros aislados.

Los autores concluyen que, aunque la configuración actual es efectiva para modelos de 1B, el trabajo futuro podría explorar tasas de aprendizaje por capa, calentamientos adaptativos y aumentar el número de capas de alta precisión para cerrar aún más las brechas restantes.