🤖 AI

FOCUS: FP4 Optimization via Coupled-Relaxation and Dual-Granularity Scaling

Este artículo presenta FOCUS, un marco de cuantización de post-entrenamiento que mejora la precisión de FP4 para modelos de lenguaje extensos mediante el empleo de Escalamiento de Relajación Acoplada para desacoplar las escalas de cuantificación aprendibles de las restricciones de hardware y Escalamiento de Doble Granularidad para una adaptación de pesos más fina, logrando un rendimiento de vanguardia sin sobrecarga adicional de inferencia.

Autores originales: Xianglong Yan, Hong Liu, Chengzhu Bao, Tianao Zhang, Guanghua Yu, Jianchen Zhu, Yulun Zhang

Publicado 2026-08-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xianglong Yan, Hong Liu, Chengzhu Bao, Tianao Zhang, Guanghua Yu, Jianchen Zhu, Yulun Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando meter una biblioteca de conocimiento masiva e intrincada en una mochila pequeña y portátil. Este es el lucha diaria de los "Modelos de Lenguaje de Gran Tamaño" (LLM, por sus siglas en inglés), los cerebros informáticos superinteligentes que pueden escribir historias, resolver problemas matemáticos y charlar como humanos. El problema es que estos cerebros son tan enormes que necesitan cantidades enormes de memoria y potencia para funcionar, lo que los hace costosos y lentos de usar en dispositivos cotidianos. Para solucionar esto, los científicos utilizan un truco llamado "cuantización". Piensa en esto como traducir una película de alta definición, en 4K, a un formato de menor resolución para que quepa en un teléfono viejo. El objetivo es reducir los datos sin perder la trama. Recientemente, ha surgido un formato nuevo y superpequeño llamado "FP4", compatible con chips informáticos modernos, que promete encoger estos modelos aún más. Sin embargo, hay un inconveniente: comprimir los datos de forma tan pequeña a menudo hace que el modelo "olvide" cosas o se confunda, perdiendo precisión. La gran pregunta es: ¿cómo encogemos el modelo a este tamaño diminuto sin arruinar su inteligencia?

Este artículo presenta un nuevo y astuto método llamado FOCUS para resolver exactamente ese problema. Los investigadores se dieron cuenta de que la forma actual de encoger estos modelos era demasiado rígida. Imagina que estás empacando una maleta. La regla estándar dice: "Debes usar exactamente las mismas cajas pequeñas y prefabricadas para empacar tu ropa, y debes usar esas mismas cajas para desempacarla más tarde". El artículo argumenta que esto es una tontería. Si bien necesitas usar las cajas pequeñas para guardar la ropa (porque eso es lo que cabe en la maleta), no necesitas usar esas mismas cajas pequeñas para descubrir cómo doblar la ropa en primer lugar. Podrías usar una cinta métrica gigante y flexible para planificar el empaque, y luego simplemente ajustar el resultado en las cajas pequeñas.

FOCUS utiliza esta idea para mejorar la forma en que se preparan los modelos para el diminuto formato FP4. Introduce dos trucos principales:

Escalamiento de Relajación Acoplada (CRS): Esta es la "cinta métrica flexible". En la forma antigua, la computadora tenía que usar una regla muy tosca y de baja precisión para decidir cómo encoger los números, y tenía que usar esa misma regla tosca para volver a armarlos. FOCUS dice: "Usemos una regla súper precisa y de tamaño completo para hacer las matemáticas del encogimiento, y luego comprimimos el resultado en la caja tosca". Esto permite que la computadora encuentre una mejor manera de empacar los datos sin romper las reglas del formato diminuto.
Escalamiento de Doble Granularidad (DGS): Esto trata sobre empacar artículos más pequeños. El método antiguo trataba a un grupo entero de 32 números como un solo bloque grande, usando una sola regla para todos ellos. Pero, ¿qué pasa si algunos números en ese grupo son enormes y otros son diminutos? FOCUS divide ese grupo grande en subgrupos más pequeños (como cortar una pizza grande en rebanadas) y le da a cada rebanada su propia regla personalizada. Esto permite que la computadora se adapte a los detalles específicos de los datos, en lugar de forzar todo en una caja de talla única.

Los resultados son impresionantes. Cuando los investigadores probaron FOCUS en varios modelos de IA diferentes (como Qwen y LLaMA), superó consistentemente a todos los demás métodos. Por ejemplo, en un modelo llamado Qwen3-4B, FOCUS logró recuperar el 98.2% de la precisión del modelo original al usar el formato NVFP4, y un 96.2% con MXFP4. Este es un salto significativo comparado con técnicas anteriores, que a menudo luchaban por mantenerse por encima del 90% o 94%.

Crucialmente, el artículo muestra que FOCUS no hace que el modelo sea más lento o difícil de usar. Incluso aunque la computadora realiza matemáticas adicionales mientras prepara el modelo (durante la fase de "entrenamiento" o "calibración"), el modelo final se ejecuta tan rápido como cualquier otro modelo FP4. Toma aproximadamente 19 minutos preparar un modelo Qwen3-4B en una sola GPU de alto nivel, lo cual es de hecho más rápido que algunos métodos competidores. Los investigadores enfatizan que este es un método de "post-entrenamiento", lo que significa que no necesitan reenseñar al modelo desde cero; solo ajustan las instrucciones de empaque.

En resumen, FOCUS sugiere que al relajar las reglas sobre cómo calculamos el encogimiento (mientras mantenemos estricto el formato de almacenamiento final), podemos meter estos gigantescos cerebros de IA en espacios diminutos sin perder su inteligencia. Es un poco como darse cuenta de que puedes doblar una camisa perfectamente usando una mesa grande, incluso si solo tienes un cajón pequeño para guardarla. El artículo demuestra que este enfoque funciona mejor que las formas antiguas y rígidas, ofreciendo un camino para ejecutar IA poderosa en dispositivos que actualmente no pueden manejarla.

Resumen Técnico: FOCUS – Optimización de FP4 mediante Relajación Acoplada y Escalamiento de Doble Granularidad

Declaración del Problema

Los Modelos de Lenguaje de Gran Tamaño (LLMs) enfrentan desafíos significativos de despliegue debido a sus masivos conteos de parámetros, lo que requiere técnicas de compresión eficientes. Aunque la Cuantización Post-Entrenamiento (PTQ) se ha convertido en un enfoque estándar, llevar la cuantización al formato de punto flotante de 4 bits (FP4), como MXFP4 y NVFP4, sigue siendo difícil. Estos formatos ofrecen soporte de hardware nativo en aceleradores modernos (por ejemplo, NVIDIA Blackwell) a través de esquemas de escalamiento por bloques (por ejemplo, grupos de 32 o 16 valores que comparten una escala de baja precisión).

Sin embargo, mantener la precisión del modelo bajo la precisión FP4 es un cuello de botella persistente. Una limitación crítica en los métodos existentes es el acoplamiento estrecho entre la escala de cuantización ( $S_q$ ) y la escala de descuantización ( $S_{dq}$ ). Los enfoques actuales obligan a ambas escalas a ajustarse al mismo formato de baja precisión de hardware (por ejemplo, E8M0 para MXFP4) y a la misma granularidad de bloque. Esto es subóptimo porque:

Restricciones Redundantes: Solo la escala de descuantización ( $S_{dq}$ ) se almacena y utiliza durante la inferencia, por lo que debe adherirse a las restricciones de hardware. La escala de cuantización ( $S_q$ ), utilizada únicamente durante el proceso de cuantización offline para determinar la mejor asignación de pesos FP4, se descarta posteriormente y no necesita obedecer estas restricciones.
Espacio de Optimización Discreto: Al forzar $S_q$ a un formato discreto de baja precisión, los métodos existentes restringen el paisaje de optimización, impidiendo que el aprendizaje basado en gradientes encuentre asignaciones de pesos óptimas.
Desajuste de Granularidad: Una única escala a nivel de bloque no puede capturar las variaciones locales de los pesos dentro de un bloque, lo que genera errores de cuantización.

Metodología

Los autores proponen FOCUS, un marco de cuantización post-entrenamiento que aprovecha la "libertad" de la escala de cuantización para optimizar la precisión de FP4 sin introducir sobrecarga de inferencia. El marco opera en dos dimensiones clave: Precisión y Granularidad.

1. Línea Base: Aprendizaje de Escala de Extremo a Extremo

Los autores establecen primero una línea base donde los pesos del modelo están congelados y las escalas por bloque se aprenden de extremo a extremo utilizando una pérdida de destilación de conocimiento (KL-Top). A diferencia de la PTQ tradicional, esta línea base optimiza las escalas mediante descenso de gradiente usando el Estimador de Paso Directo (STE) para manejar operaciones de cuantización no diferenciables. Sin embargo, esta línea base aún impone $S_q = S_{dq}$ , manteniendo el acoplamiento estrecho.

2. Escalamiento de Relajación Acoplada (CRS)

Para abordar la restricción de precisión, FOCUS introduce el Escalamiento de Relajación Acoplada (CRS).

Mecanismo: CRS desacopla la escala de cuantización del formato exigido por el hardware mediante la introducción de un coeficiente aprendible de precisión completa, $c_i$ .
Formulación: La escala de cuantización se define como $S_q = S_{dq} \cdot c_i$ , donde $S_{dq}$ es la escala compatible con el hardware (cuantizada a E4M3 o E8M0) y $c_i$ es un parámetro aprendible de precisión completa (FP16) inicializado en 1.
Efecto: Esto relaja el acoplamiento estrecho, elevando la optimización de $S_q$ de un espacio discreto de baja precisión a un espacio continuo de precisión completa. Esto permite que el modelo encuentre mejores asignaciones de pesos FP4 mientras asegura que $S_{dq}$ siga siendo compatible con los requisitos de hardware. El coeficiente $c_i$ se descarta después del entrenamiento.

3. Escalamiento de Doble Granularidad (DGS)

Para abordar la restricción de granularidad, FOCUS subdivide cada bloque de hardware (tamaño 32 para MXFP4, 16 para NVFP4) en sub-bloques más pequeños (por ejemplo, tamaño 8). A cada sub-bloque se le asigna un coeficiente de relajación de precisión completa independiente ( $c_k$ ).

Formulación: La cuantización para un sub-bloque $k$ se convierte en $\bar{W}_k = Q(W_k / (S_{dq} \cdot c_k))$ , mientras que la escala de descuantización $S_{dq}$ permanece compartida en todo el bloque.
Efecto: Esto permite que la escala de cuantización opere a una granularidad más fina que la escala de descuantización, capturando las variaciones locales de los pesos dentro de un bloque que una única escala a nivel de bloque no podría capturar. Al igual que con CRS, estos coeficientes se descartan post-entrenamiento.

4. Despliegue y Compatibilidad

FOCUS no depende de transformaciones estructurales (por ejemplo, rotaciones de Hadamard) que suelen incurrir en sobrecarga de inferencia o requieren modificaciones del framework. El modelo desplegado final consiste estrictamente en pesos FP4 estándar y escalas de descuantización compatibles con el hardware, lo que garantiza una compatibilidad fluida con los motores de inferencia existentes y cero costo adicional de inferencia.

Contribuciones Clave

Identificación de Insight: El artículo identifica que la escala de cuantización está libre de las restricciones de hardware, a diferencia de la escala de descuantización, y propone explotar esta libertad tanto en precisión como en granularidad.
Escalamiento de Relajación Acoplada (CRS): Una técnica que introduce un coeficiente de precisión completa aprendible para relajar el acoplamiento entre las escalas de cuantización y descuantización, permitiendo una optimización continua basada en gradientes.
Escalamiento de Doble Granularidad (DGS): Un método que asigna escalas de cuantización al nivel de sub-bloque, capturando las variaciones de peso intra-bloque que el escalamiento por bloque no puede representar.
Rendimiento de Vanguardia (SOTA): Experimentos extensos demuestran que FOCUS alcanza la precisión SOTA en FP4 bajo los formatos MXFP4 y NVFP4 en múltiples familias de LLM (Qwen, LLaMA) sin sobrecarga de inferencia.

Resultados Experimentales

Los autores evaluaron FOCUS en cinco LLMs (Qwen3-4B/8B, LLaMA-3.1-8B, LLaMA-3.2-1B/3B) utilizando WikiText2, C4 y cinco benchmarks de razonamiento zero-shot (ARC, HellaSwag, PIQA, Winogrande).

Recuperación de Precisión: En Qwen3-4B bajo NVFP4, FOCUS recupera el 98.2% de la precisión zero-shot de FP16, superando significativamente a las líneas base como RTN, GPTQ, MR-GPTQ, 4over6 y RaZeR.
Perplejidad: FOCUS logra la perplejidad más baja en casi todas las configuraciones. Para Qwen3-8B, alcanza una perplejidad de 9.47 en WikiText2 (NVFP4), acercándose casi al baseline de FP16 de 9.73.
Capacidades de Razonamiento: En tareas de cadena de pensamiento (GSM8K, MMLU), FOCUS supera consistentemente a los métodos competidores, preservando mejor las capacidades de razonamiento de múltiples pasos que otros enfoques de cuantización FP4.
Eficiencia: El proceso de cuantización es ligero. En una sola GPU NVIDIA H20, la cuantización de Qwen3-4B toma 19 minutos, lo que es un 34% más rápido que el método SOTA anterior (MR-GPTQ).

Significado y Reivindicaciones

El artículo afirma que FOCUS representa un cambio de paradigma en la cuantización FP4 al replantear el rol de la escala de cuantización. Al reconocer que la escala de cuantización no necesita ser almacenada ni adherirse a las restricciones de hardware, los autores desbloquean un espacio de optimización significativo y previamente no aprovechado.

La importancia radica en lograr una precisión de vanguardia (SOTA) para la inferencia FP4 manteniendo cero sobrecarga de inferencia y una compatibilidad de hardware fluida. A diferencia de los métodos basados en transformaciones que añaden costo computacional o requieren la adaptación de frameworks, FOCUS opera puramente dentro del espacio de optimización de la escala. Los autores aseguran que su enfoque efectivamente cierra la brecha de rendimiento entre los modelos FP4 y los modelos de precisión completa (FP16), haciendo que la inferencia W4A4 de alta eficiencia sea más viable para el despliegue práctico.