🤖 machine learning

Finer is Better (with the Right Scaling)

Este artículo resuelve la paradoja según la cual la reducción del tamaño de los bloques de cuantización degrada el rendimiento de los modelos de lenguaje grandes, demostrando que el problema se origina en la interacción deficiente entre distribuciones de cola pesada y los formatos FP4, y muestra que intervenciones algorítmicas dirigidas, como la escalación 4-over-6 y la prevención de desbordamiento hacia cero, permiten que los formatos compatibles con hardware estándar alcancen una calidad óptima con una granularidad más fina.

Autores originales: Clemens Schaefer, Gil Tabak

Publicado 2026-05-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Clemens Schaefer, Gil Tabak

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: La Paradoja de "Demasiado Fino"

Imagina que estás intentando hacer una maleta para un viaje. Tienes una pila enorme de ropa (datos) y una cantidad limitada de espacio (memoria). Para que todo quepa, decides cortar la ropa en paquetes cada vez más pequeños (llamados bloques) para poder organizarlos de manera más eficiente.

Intuitivamente, pensarías: "Cuanto más pequeños sean los paquetes, mejor podré meter todo, ¿verdad?"

En el mundo de la IA, esto se llama cuantización. Los científicos intentaron encoger estos paquetes para hacer los modelos de IA más pequeños y rápidos. Pero se toparon con una paradoja extraña: Cuando hacían los paquetes demasiado pequeños, la IA en realidad empeoraba en su trabajo. Era como intentar hacer una maleta con tanto cuidado que terminabas aplastando la ropa y volviéndola inútil.

¿Por Qué Sucedió Esto?

Los autores de este artículo investigaron por qué ocurría esta paradoja de "demasiado fino". Encontraron dos culpables principales:

1. El Error del "Cero" (La Caja Vacía)
Imagina que tienes una caja que solo puede contener números. Si un número es diminuto, la regla de la caja podría redondearlo hacia abajo hasta cero. Si tienes un paquete entero de números diminutos, la regla podría decir: "Bien, todo en este paquete es cero", y tirar todo el paquete.

La Solución: El artículo sugiere una regla simple: Nunca permitas que la regla diga cero. Si un número es demasiado pequeño, fuerza a la regla a usar el número positivo más pequeño posible en su lugar. Esto mantiene la información viva.

2. El Problema de la "Regla Tosca" (La Cuadrícula Gruesa)
Este es el problema más grande. La IA utiliza un tipo específico de "regla" (llamada E4M3) para medir estos paquetes. Esta regla tiene huecos muy grandes entre sus marcas, especialmente en el extremo superior.

La Analogía: Imagina que intentas medir una cadena de montañas con una regla que solo tiene marcas para 1 pie, 2 pies, 4 pies y 6 pies.
- Si tienes una colina pequeña (un bloque pequeño de datos), la regla podría obligarte a redondear una colina de 5.9 pies hacia arriba hasta 6 pies. ¡Eso es un error enorme!
- Cuando haces los paquetes más pequeños, terminas con más de estos números "altos" que se ven forzados a entrar en ese gran y torpe cubo de 6 pies. Cuanto más pequeño es el paquete, más a menudo ocurre este mal redondeo, y peor funciona la IA.

Las Soluciones: Cómo Lo Arreglaron

Los autores probaron tres formas principales de arreglar esto, demostrando que los bloques más finos sí son mejores, pero solo si usas las herramientas correctas.

1. La Regla de "No Ir a Cero"
Simplemente programaron el sistema para que nunca permitiera que un factor de escala se volviera cero.

Resultado: Esto solucionó el problema para los números muy diminutos, pero no arregló el problema para los números "altos" que se estaban redondeando hacia arriba hasta 6.

2. La Elección "4-o-6" (El Método 4-sobre-6)
Esta es la "salsa secreta" del artículo. En lugar de usar una regla fija, el sistema puede elegir entre dos configuraciones específicas para cada paquete: 4 o 6.

La Analogía: Imagina que estás empaquetando una caja. A veces tus objetos encajan mejor si usas una caja "Mediana" (4), y a veces encajan mejor en una caja "Grande" (6). En lugar de forzar todo a entrar en una caja "Grande" (lo que aplasta las cosas pequeñas), el sistema verifica: "¿Cuál de estas dos cajas encaja mejor con este paquete específico?"
Resultado: Esto permitió a la IA evitar los errores torpes de redondeo. Cuando usaron este método, la "paradoja" desapareció. Los paquetes más pequeños de repente se volvieron mucho mejores, tal como se suponía que debían ser.

3. La Verificación de "Fuerza Bruta"
Para probar su punto, ejecutaron una búsqueda por computadora que probó cada forma posible de medir los paquetes para encontrar la perfecta.

Resultado: Esto demostró que, teóricamente, los paquetes más pequeños siempre funcionan mejor si eliges la medición perfecta. El hecho de que la IA fallara antes no era porque los paquetes pequeños fueran malos; era simplemente porque estaban usando un método de medición deficiente.

La Prueba del Mundo Real: ¿Funciona en la IA Real?

Lo probaron en cuatro modelos de IA famosos (Granite, Llama, DeepSeek y Qwen).

El Problema: Dos de los modelos (Granite y Llama) estaban empeorando cuando los paquetes se hacían más pequeños, exactamente como predecía la paradoja.
La Solución: Cuando aplicaron la elección "4-o-6" y la regla de "No ir a cero", esos modelos dejaron de empeorar. De hecho, mejoraron a medida que los paquetes se hacían más pequeños.
La Comparación: También probaron usar una regla más sofisticada y costosa (llamada UE5M3) que tiene más marcas. Esto también funcionó bien, pero requiere más potencia de hardware. Su truco "4-o-6" les permitió usar la regla estándar y más barata y obtener los mismos excelentes resultados.

La Conclusión

El artículo concluye que hacer los modelos de IA más pequeños y eficientes (usando bloques diminutos) es una gran idea. La razón por la que fallaba antes no era un defecto en la idea en sí, sino un defecto en la "cinta métrica" que se estaba utilizando.

Al usar una forma más inteligente de elegir cómo medir los datos (específicamente el método "4-sobre-6"), podemos hacer que los modelos de IA sean más pequeños, rápidos y precisos sin necesidad de hardware nuevo y costoso. La paradoja está resuelta: Más fino es de hecho mejor, siempre que tengas la escala correcta.

Resumen Técnico: A mayor finura, mejor (con la escalabilidad adecuada)

Enunciado del Problema
El despliegue de Modelos de Lenguaje Grandes (LLM) en arquitecturas de centros de datos y de borde depende cada vez más de formatos de precisión ultra-baja (4 bits o menos) para mitigar los cuellos de botella de memoria y ancho de banda. La microescalabilidad, que aplica factores de escala individuales a pequeños bloques de datos (por ejemplo, de tamaño 16 o 32), es una técnica crítica para preservar la calidad del modelo en estos regímenes. Sin embargo, una paradoja reciente identificada en la literatura [1] contradice la expectativa intuitiva de que tamaños de bloque más finos producen un error de cuantificación menor. Específicamente, al utilizar la escalabilidad estándar de máximo absoluto (abs-max) con factores de escala E4M3, reducir los tamaños de bloque puede paradójicamente degradar la calidad del modelo, resultando en un Mayor Error Cuadrático Medio (MSE) y un aumento en la perplejidad aguas abajo. Este artículo investiga los mecanismos subyacentes de este fenómeno para determinar si es una limitación inherente de la granularidad fina o un problema algorítmico resoluble.

Metodología
Los autores llevan a cabo una investigación en dos fases que combina análisis numérico y evaluación de modelos completos:

Estudio Numérico: Los autores analizan el comportamiento de la cuantificación a través de varios tamaños de bloque (4, 8, 16, 32) utilizando FP4 (OCP E2M1) para los datos y E4M3 para los factores de escala. Muestrean distribuciones normales para aislar el comportamiento teórico del MSE.
Estrategias de Escalabilidad: El estudio evalúa varias metodologías de escalabilidad:
- Abs-Max Estándar: El método base donde la escala es el valor absoluto máximo en el bloque, redondeado al valor representable más cercano en el formato E4M3.
- Prevenir-Cero: Una modificación donde el factor de escala se limita al valor representable no cero más pequeño ( $\epsilon_{SF}$ ) para prevenir el desbordamiento hacia cero, lo que de otro modo colapsaría todos los valores en un bloque a cero.
- 4-sobre-6: Una intervención algorítmica [2] que selecciona el factor de escala entre los dos valores representables más grandes en el rango FP4 (4.0 y 6.0) para minimizar el MSE de un bloque específico, adaptando efectivamente la geometría de cuantificación.
- Búsqueda por Fuerza Bruta: Una línea base óptima que busca todos los factores de escala posibles para encontrar el MSE teórico mínimo, estableciendo el límite superior de rendimiento.
- Escalabilidad Jerárquica: Un proceso de dos etapas que implica una escala global por tensor seguida de escalas de bloque locales.
Evaluación Aguas Abajo: Las estrategias propuestas se aplican a la cuantificación de pesos y activaciones (específicamente capas MLP) de cuatro LLM distintos: Granite-3.3-8B, Llama-3.1-8B, DeepSeek-LLM-7B-Base y Qwen2.5-14B. El rendimiento se mide mediante brechas de perplejidad frente a líneas base sin cuantificar.

Hallazgos Clave y Resultados
El estudio identifica que la degradación observada con tamaños de bloque más pequeños no es un defecto inherente de la granularidad fina, sino una consecuencia de distribuciones tensoriales de colas pesadas que interactúan mal con los bins de cuantificación superiores gruesos del formato FP4 (E2M1).

Región A (Escala Extremadamente Pequeña): La escalabilidad abs-max estándar frecuentemente causa que el factor de escala desborde hacia cero, creando un pico en el MSE. El ajuste Prevenir-Cero elimina completamente este error localizado forzando la escala al valor positivo más pequeño.
Región B (Escalas Moderadas): Incluso con la prevención de cero, persiste una inversión paradójica donde bloques más pequeños producen un MSE más alto. Esto ocurre porque los valores más grandes en un bloque a menudo se alinean mal con la cuadrícula gruesa E4M3, lo que lleva a un recorte excesivo en el bin de magnitud más grande (6.0). La metodología 4-sobre-6 resuelve esto eligiendo adaptativamente entre factores de escala de 4.0 y 6.0, permitiendo que los valores se ajusten a la parte más uniforme del rango FP4 y evitando un recorte fuerte.
Línea Base Óptima: La búsqueda por fuerza bruta confirma que, cuando se selecciona el factor de escala ideal, el MSE mejora estrictamente a medida que disminuyen los tamaños de bloque, validando que "a mayor finura, mejor" es teóricamente sólido.
Comportamiento Específico del Modelo: En las evaluaciones de LLM aguas abajo, modelos como DeepSeek y Qwen se comportan de manera intuitiva, mostrando una perplejidad mejorada con tamaños de bloque más pequeños. Por el contrario, Granite y Llama exhiben la degradación paradójica en tamaños de bloque 4 y 8 bajo escalabilidad estándar.
- Aplicar Prevenir-Cero ofrece mejoras localizadas pero no resuelve completamente la curva de perplejidad en forma de U para Granite y Llama.
- Aplicar 4-sobre-6 reduce significativamente la brecha de perplejidad (por ejemplo, reduciendo la brecha de Llama de 0.725 a 0.270 en tamaño de bloque 4), eliminando efectivamente la paradoja.
- Intercambiabilidad de Formatos: El artículo demuestra que el uso de factores de escala E4M3 estándar combinados con escalabilidad jerárquica y la estrategia 4-sobre-6 produce resultados comparables al uso de formatos personalizados de exponente más ancho como UE5M3. Aunque UE5M3 ofrece inherentemente un rango absoluto más amplio, la receta algorítmica (E4M3 + 4-sobre-6 + Jerárquico) logra mejoras de calidad similares.

Significado y Afirmaciones
Los autores afirman haber resuelto completamente la "paradoja del tamaño de bloque" al demostrar que la degradación es impulsada por interacciones específicas entre distribuciones tensoriales y geometría de cuantificación, no por el tamaño del bloque en sí.

Resolución Algorítmica: El trabajo establece que formatos estándar compatibles con hardware (como OCP E4M3) pueden igualar el rendimiento de formatos personalizados de exponente más ancho (como UE5M3) si se aplica la receta algorítmica correcta (específicamente 4-sobre-6 y escalabilidad jerárquica).
Compensaciones de Hardware: El artículo destaca una compensación: aunque UE5M3 ofrece mayor flexibilidad sin necesidad de escalabilidad jerárquica, el algoritmo 4-sobre-6 incurre en una sobrecarga computacional (requiriendo dos cuantificaciones y cálculos de MSE por bloque). Esta sobrecarga es aceptable para la cuantificación de pesos fuera de línea, pero puede ser prohibitiva para la cuantificación de activaciones dinámicas.
Direcciones Futuras: Los autores notan que las heurísticas actuales aún quedan cortas frente al MSE teórico mínimo establecido por la búsqueda por fuerza bruta, lo que indica que el diseño de algoritmos óptimos de selección de escala sigue siendo un área crítica para la investigación futura.

En conclusión, el artículo afirma que con las estrategias de escalabilidad adecuadas, los beneficios teóricos de una mayor granularidad de microescalabilidad pueden realizarse en la práctica, permitiendo mejoras robustas de perplejidad aguas abajo en diversas arquitecturas de LLM.