🤖 machine learning

TORQ: Two-Level Orthogonal Rotation for MXFP4 Quantization

Este artículo presenta TORQ, un marco de cuantización post-entrenamiento sin entrenamiento que emplea rotaciones ortogonales de dos niveles para abordar teóricamente los desequilibrios estructurales en la cuantización de activaciones MXFP4, reduciendo así significativamente la brecha de precisión entre la inferencia de 4 bits y los modelos de precisión completa en modelos de lenguaje grandes.

Autores originales: Zukang Xu, Xing Hu, Dawei Yang

Publicado 2026-05-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zukang Xu, Xing Hu, Dawei Yang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando empaquetar una biblioteca masiva y caótica de libros (las "activaciones" dentro de una IA inteligente) en cajas de envío pequeñas y uniformes (el formato "MXFP4") para que puedan enviarse de forma rápida y económica.

El artículo argumenta que simplemente meter estos libros en las cajas no funciona bien. Los libros son demasiado desordenados y las cajas tienen una forma muy específica y rígida. Esto causa dos problemas principales, que los autores denominan TORQ (Rotación Ortogonal de Dos Niveles).

Aquí se explica cómo el artículo describe el problema y su solución, utilizando analogías sencillas:

El Problema: Dos formas en que falla el empaquetado

1. El problema del "Vecino Ruidoso" (Desequilibrio de Varianza Inter-bloque)
Imagina que tu biblioteca está dividida en grupos de 32 libros. En el sistema actual, cada grupo recibe una sola "etiqueta de tamaño" (un factor de escala) para todo el grupo.

El Problema: En la mayoría de los grupos, los libros son pequeños y ligeros. Pero en unos pocos grupos, hay una enciclopedia gigante y pesada.
El Resultado: Debido a ese único libro pesado, la etiqueta para todo el grupo debe establecerse en "Extra Grande". Esto significa que todos los libros diminutos y ligeros en ese mismo grupo ahora se ven forzados a entrar en una caja gigante. Se aplastan, se pierden o se convierten en cero porque la caja es demasiado grande para contener sus pequeños detalles. Unos pocos grupos "ruidosos" arruinan la precisión para todos los demás.

2. El problema del "Estante Vacío" (Desequilibrio en la Utilización del Diccionario de Código Intra-bloque)
Las cajas de envío (MXFP4) vienen con una lista preimpresa de tamaños específicos que pueden contener (un "diccionario de código"). Estos tamaños están espaciados como los peldaños de una escalera: pequeño, mediano, grande, extra grande.

El Problema: Los datos reales de la IA son como una multitud de personas donde el 90% son muy bajas y solo el 10% son altas.
El Resultado: Casi todos los datos caen en los peldaños "pequeños" de la escalera. Los peldaños "medianos" y "grandes" permanecen completamente vacíos y sin usar. Es como tener un almacén lleno de cajas gigantes, pero solo estás usando las diminutas, mientras que las grandes acumulan polvo. Esto es un desperdicio masivo de espacio y potencial.

La Solución: TORQ (La Gran Reorganización)

En lugar de intentar forzar a los libros desordenados a que quepan en las cajas, los autores proponen rotar los libros antes de que sean empaquetados. Piénsalo como barajar una baraja de cartas para que las cartas pesadas y las ligeras estén mezcladas uniformemente, y las personas altas y las bajas estén distribuidas.

Lo hacen en dos pasos:

Paso 1: El Barajado Macro (Arreglando al "Vecino Ruidoso")

La Analogía: Imagina que tienes 100 grupos de libros. Algunos grupos son pesados, otros ligeros. Los autores utilizan un truco matemático (basado en el teorema de Schur-Horn) para intercambiar libros entre grupos.
El Objetivo: Mueven los libros "pesados" de los grupos pesados a los grupos ligeros, y viceversa.
El Resultado: Ahora, cada grupo individual tiene aproximadamente el mismo peso total. Ningún grupo está dominado por un solo libro gigante. Esto permite que la "etiqueta de tamaño" para cada grupo se establezca en un tamaño medio perfecto, preservando los detalles de los libros pequeños.

Paso 2: El Barajado Micro (Arreglando el "Estante Vacío")

La Analogía: Ahora que los grupos están equilibrados, mira dentro de un grupo. Los libros siguen agrupados en la sección "pequeña". Los autores rotan los libros dentro del grupo.
El Objetivo: Giran los libros para que se distribuyan uniformemente a lo largo de toda la escalera de tamaños. En lugar de que el 90% de los libros sean "pequeños", ahora están distribuidos de modo que algunos golpean los peldaños "medianos" y otros los peldaños "grandes".
El Resultado: Utilizan cada peldaño individual de la escalera. No se desperdicia espacio. El "diccionario de código" se utiliza completamente.

El Resultado

Al realizar esta rotación de dos pasos antes de que la IA sea comprimida (un proceso llamado Cuantización Post-Entrenamiento, lo que significa que no necesitan volver a enseñar a la IA), logran resultados increíbles:

Precisión: Lograron reducir la IA a una precisión de 4 bits (cajas diminutas) sin perder gran parte de su "poder cerebral". En las pruebas, su método (TORQ) fue mucho más inteligente que los métodos anteriores, obteniendo puntuaciones cercanas a la IA de tamaño completo y sin comprimir.
Velocidad y Tamaño: Debido a que las cajas son más pequeñas, la IA se ejecuta más rápido y ocupa menos memoria en dispositivos como teléfonos o servidores.
Sin Trabajo Extra: La "rotación" se calcula una vez y luego se integra en los pesos de la IA. Cuando la IA se ejecuta, no siente ninguna ralentización adicional; la rotación ocurre automáticamente como parte de las matemáticas.

En resumen: El artículo dice: "No intentes exprimir una multitud desordenada y desigual en una caja rígida. En su lugar, mezcla suavemente a la multitud para que todos estén distribuidos uniformemente, y luego mételos en la caja. Esto hace que la caja funcione perfectamente".

Resumen Técnico: TORQ – Rotación Ortogonal de Dos Niveles para Cuantización MXFP4

1. Declaración del Problema

A medida que los Modelos de Lenguaje Grandes (LLM) avanzan hacia su implementación práctica, el formato Microescalado FP4 (MXFP4) ha surgido como un estándar crítico para la inferencia de bajo número de bits debido a su equilibrio entre alto rango dinámico y eficiencia de hardware. Sin embargo, la aplicación directa de MXFP4 a la cuantización de activaciones de LLM resulta en una degradación severa de la precisión. El artículo identifica que los métodos de cuantización basados en rotación existentes, diseñados principalmente para formatos enteros (por ejemplo, INT4), no abordan la estructura topológica única de los formatos de Punto Flotante de Bloque (BFP) como MXFP4.

Mediante un análisis teórico, los autores revelan que la caída del rendimiento se debe a dos desequilibrios estructurales entre las distribuciones de activación del mundo real y el formato de punto flotante de bloque MXFP4:

Desequilibrio Extremo de Varianza Inter-bloque: Bajo microescalado de bloque fijo, la varianza de las activaciones es altamente desigual. Una minoría de bloques de alta varianza domina el error total de cuantización. Estos bloques fuerzan al factor de escala compartido (exponente) hacia arriba para acomodar valores atípicos, lo que provoca que la resolución para la mayoría de las activaciones de pequeña magnitud dentro del mismo bloque se vuelva excesivamente gruesa, resultando a menudo en la anulación de más del 90% de los elementos.
Desequilibrio en la Utilización del Libro de Códigos Intra-bloque (Colapso del Libro de Códigos): Las activaciones del mundo real a menudo siguen una distribución de cola pesada concentrada cerca de cero, lo que no coincide con el libro de códigos de progresión geométrica de MXFP4 (e2m1). Esto conduce a un "colapso del libro de códigos", donde la vasta mayoría de los valores caen en el intervalo de cuantización mínimo, dejando inactivos los códigos de alta capacidad para valores grandes. Las estadísticas muestran que aproximadamente el 50% del rango de códigos es activado por solo el 10% de los datos.

2. Metodología: Marco TORQ

Para abordar estos desafíos, los autores proponen TORQ (Rotación Ortogonal de Dos Niveles para Cuantización MXFP4), un marco de Cuantización Post-Entrenamiento (PTQ) sin entrenamiento. En lugar de ajustar pasivamente los parámetros de cuantización, TORQ rota activamente el sistema de coordenadas de las activaciones para alinear las características de la distribución con las propiedades estructurales de MXFP4. El método descompone la optimización en dos subproblemas matemáticamente ortogonales:

A. Rotación de Equilibrio Macro (Inter-bloque)

Objetivo: Eliminar el dominio de los bloques de alta varianza redistribuyendo la energía de activación uniformemente a través de todos los bloques.
Base Teórica: Se basa en el teorema de Schur-Horn y la teoría de optimización convexa. Los autores demuestran que, bajo un modelo de error convexo, igualar la varianza entre bloques minimiza el Error Cuadrático Medio (MSE) global.
Mecanismo: Se construye una transformación ortogonal para asegurar que los elementos diagonales de la matriz de covarianza transformada sean uniformes (es decir, todas las varianzas de bloque se vuelven iguales). Esto actúa como un mecanismo de "supresión suave de valores atípicos", evitando que los bloques de alta varianza impulsen los factores de escala compartidos y preservando la precisión de los elementos de pequeña magnitud.
Implementación: Se utiliza un algoritmo eficiente de rotación de Givens iterativo para construir la matriz de rotación, asegurando la convergencia en un tiempo $O(B^2)$ .

B. Rotación de Alineación Micro (Intra-bloque)

Objetivo: Aliviar el "colapso del libro de códigos" remodelando la distribución de activaciones intra-bloque para utilizar la capacidad completa del libro de códigos MXFP4.
Base Teórica: Guiado por el principio de máxima entropía. El objetivo es hacer que la distribución de activaciones "fluya" uniformemente hacia cada intervalo de código dentro del espacio FP4 normalizado.
Mecanismo: El método define una Pérdida de Equilibrio de Ocupación del Libro de Códigos, que mide la desviación del uso empírico de códigos desde una distribución uniforme.
Optimización: Se emplea una estrategia de descenso de coordenadas alterno:
- Paso S: Actualiza los factores de escala de bloque para mapear los valores máximos de activación al código máximo de MXFP4.
- Paso R: Actualiza la matriz de rotación ortogonal intra-bloque utilizando rotaciones de Givens. Una heurística selecciona pares de columnas con alto desequilibrio y complementariedad estadística, y luego busca el ángulo de rotación óptimo mediante enumeración finita (explotando la naturaleza constante por partes de la función de pérdida).

Eficiencia en Inferencia

TORQ está diseñado para tener una sobrecarga mínima. Las matrices de rotación inversa se fusionan en los pesos de las capas lineales adyacentes durante la fase de calibración fuera de línea. En consecuencia, la fase de inferencia en línea incurre en un costo computacional adicional despreciable, ya que la rotación se absorbe efectivamente en la multiplicación de matrices de pesos.

3. Contribuciones Clave

Formalización del Problema: El artículo es el primero en identificar y formalizar sistemáticamente los dos desafíos estructurales que obstaculizan el rendimiento de MXFP4: el Desequilibrio de Varianza Inter-bloque y el Desequilibrio en la Utilización del Libro de Códigos Intra-bloque.
Marco de Dos Niveles: Propone TORQ, el primer marco de rotación de dos niveles diseñado explícitamente para estructuras de Punto Flotante de Bloque. Al integrar el equilibrio de varianza macro y la alineación de libro de códigos micro, logra una minimización sistemática del error de cuantización.
Fundamento Teórico: Los autores proporcionan pruebas rigurosas que muestran que el equilibrio de varianza es aproximadamente óptimo bajo modelos de error convexos y que el equilibrio de ocupación de códigos aproxima la minimización del error de cuantización bajo la estructura geométrica de MXFP4.
Pipeline PTQ Eficiente: Se establece un pipeline sin ajuste fino que requiere solo datos de calibración mínimos (por ejemplo, 128 muestras) y demuestra compatibilidad con hardware con una huella de parámetros despreciable.

4. Resultados Experimentales

Se realizaron experimentos en LLMs principales (series LLaMA3 y Qwen3) que van desde 8B hasta 70B parámetros, cubriendo tanto arquitecturas Densas como de Mezcla de Expertos (MoE). La evaluación incluyó la perplejidad en WikiText2 y la precisión en cero disparos en tareas como ARC, HellaSwag, MMLU, GSM8K y HumanEval.

Superioridad de Rendimiento: TORQ supera significativamente a los métodos existentes de lo más avanzado (SOTA) (incluyendo RTN, GPTQ, QuaRot, OSTQuant, FlatQuant y BRQ).
- En Qwen3-32B, TORQ redujo la perplejidad de WikiText a 8.43 (comparado con 274.93 para RTN y 14.62 para OSTQuant), acercándose a la línea base BF16 de 7.61.
- La precisión promedio en tareas de cero disparos para Qwen3-32B aumentó del 38.40% (RTN) al 73.63% (TORQ), igualando casi la línea base BF16 de 74.82%.
- En LLaMA3-70B, TORQ logró una perplejidad de 3.49 (vs. 3180.43 para RTN) y una precisión promedio de 76.28%.
Capacidades de Razonamiento: TORQ demostró una fuerte recuperación de la "inteligencia profunda" en tareas de razonamiento complejo. En GSM8K para Qwen3-8B, la precisión se restauró al 86.82% (vs. 67.37% para GPTQ), y la precisión en HumanEval alcanzó el 61.15%.
Generalización: El método demostró ser efectivo en diferentes formatos de microescalado (MXINT4, NVFP4) y arquitecturas MoE (Qwen3-30B-A3B), confirmando su naturaleza agnóstica al formato.
Eficiencia: La calibración de TORQ es significativamente más rápida que los métodos competidores (por ejemplo, ~10 veces más rápida que FlatQuant para Qwen3-32B). Se observaron aceleraciones en la inferencia de 3.5x sobre BF16 en Qwen3-30B-A3B, con un uso de memoria reducido de 56.9 GB a 15.3 GB.

5. Significado y Afirmaciones

El artículo afirma que TORQ cierra efectivamente la brecha entre la cuantización de punto flotante de 4 bits y la inferencia de precisión completa, resolviendo la degradación de precisión inherente a la cuantización de activaciones MXFP4. Al cambiar el paradigma de optimización del ajuste local de parámetros a la "transformación ortogonal consciente de la estructura", TORQ proporciona la primera solución sistemática para la cuantización de activaciones MXFP4.

Los autores posicionan este trabajo como sentar una base crucial para la aplicación de formatos de punto flotante de bajo número de bits en la implementación eficiente de LLMs. Reconocen limitaciones, como el enfoque actual en estadísticas de primer orden (ignorando momentos de orden superior como la curtosis) y el uso de tamaños de bloque fijos, señalando que las estrategias adaptativas para estos factores siguen siendo una dirección para trabajos futuros. Sin embargo, los resultados actuales establecen un nuevo paradigma de optimización para la cuantización de activaciones de punto flotante de bajo número de bits.