💬 NLP

LATMiX: Learnable Affine Transformations for Microscaling Quantization of LLMs

Este artículo presenta LATMiX, un método que emplea transformaciones afines invertibles aprendibles para optimizar las distribuciones de activación para la cuantización de microescalado (MX), mejorando así significativamente la precisión de los modelos de lenguaje grandes de baja precisión en comparación con los enfoques existentes basados en rotación o Hadamard.

Autores originales: Ofir Gordon, Lior Dikstein, Arnon Netzer, Idan Achituve, Hai Victor Habi

Publicado 2026-04-27

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ofir Gordon, Lior Dikstein, Arnon Netzer, Idan Achituve, Hai Victor Habi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca masiva e increíblemente detallada (un Modelo de Lenguaje Grande, o LLM) que puede responder cualquier pregunta, escribir código o contar historias. El problema es que esta biblioteca es tan enorme y pesada que resulta costosa de almacenar y lenta de consultar. Para hacerla más rápida y económica, los ingenieros intentan reducir los libros resumiéndolos en formatos más pequeños y simples. Este proceso se llama cuantización.

Sin embargo, hay un truco. En estas bibliotecas masivas, algunas páginas contienen "valores atípicos": oraciones extremadamente largas y complejas que no encajan bien en el formato pequeño y simplificado. Cuando intentas forzar estas oraciones largas dentro de una caja diminuta, se aplastan y distorsionan, arruinando la historia.

El Problema: El Cuello de Botella del "Bloque"

Recientemente, se introdujo una nueva forma de organizar estos libros llamada Microescalado (MX). En lugar de reducir toda la biblioteca con un solo resumen gigante, MX divide los libros en pequeños bloques y asigna a cada bloque su propia regla diminuta (factor de escala) para medir las palabras. Esto es excelente porque maneja diferentes partes del texto con mayor flexibilidad.

Pero aquí está el inconveniente: los métodos anteriores intentaron solucionar el problema de los "valores atípicos" rotando toda la biblioteca como un trompo. Cuando intentaron combinar esta rotación con las nuevas reglas de "bloque", provocaron caos. La rotación desordenó las mediciones de los bloques y la biblioteca se volvió ininteligible.

Para solucionar esto, investigadores anteriores probaron una solución alternativa: solo rotaron las páginas dentro de cada pequeño bloque, ignorando el resto de la biblioteca. Aunque esto detuvo el caos, fue como intentar solucionar un atasco de tráfico moviendo solo los coches dentro de un único espacio de aparcamiento, mientras se ignoraban los coches atascados en la carril adyacente. No resolvió el problema de la imagen global.

La Solución: LATMiX (El Reordenador Inteligente)

Los autores de este artículo, LATMiX, proponen una forma más inteligente de reordenar los libros antes de reducirlos.

Piensa en los datos del modelo como una multitud de personas en una habitación. Algunas personas están de pie en un grupo enorme y denso (los valores atípicos), mientras que otras están dispersas.

Los métodos antiguos intentaban girar toda la habitación o simplemente mezclar a las personas dentro de pequeños grupos.
LATMiX actúa como un maestro coreógrafo. Aprende un movimiento de baile personalizado y flexible (una transformación afín) que distribuye uniformemente a la multitud densa por toda la habitación.

Esta coreografía tiene dos características especiales:

Es Aprendible: En lugar de usar un baile predefinido (como un simple giro), LATMiX utiliza herramientas estándar de IA para aprender los movimientos de baile perfectos específicamente para los datos que está analizando. Determina exactamente cómo distribuir la energía para que ningún punto esté demasiado abarrotado.
Respeta los Bloques: Conoce las reglas de "bloque" (formato MX). No mezcla a las personas al azar; las mezcla de una manera que funciona perfectamente con el sistema de bloques, asegurando que las reglas diminutas puedan medir a todos con precisión.

Cómo Funciona (El Truco de Magia)

El artículo explica que LATMiX en realidad no ralentiza la biblioteca cuando se consulta más tarde. Es como un mago que reordena las cartas antes de que comience el truco, y luego pliega ese reordenamiento dentro del mazo mismo. Una vez que el truco está preparado, el mago (la computadora) no necesita realizar ningún trabajo extra para barajar; las cartas ya están en el orden perfecto. Esto significa que la velocidad y el uso de memoria permanecen tan rápidos como antes, pero la calidad de los libros "reducidos" es mucho mayor.

Los Resultados

Los autores probaron esto en varios modelos (como Llama y Qwen) y descubrieron que LATMiX superó consistentemente a otros métodos.

Mayor Precisión: Los modelos "reducidos" cometieron menos errores y entendieron mejor las preguntas que los modelos que utilizaban técnicas de reducción más antiguas.
Robustez: Funcionó bien en diferentes tamaños de modelos, desde los pequeños hasta los muy grandes.
Eficiencia: Logró estas mejoras sin añadir tiempo ni costo extra a la ejecución del modelo.

En resumen, LATMiX es una herramienta inteligente y aprendible que reorganiza los datos justo antes de comprimirlos, asegurando que incluso la información más extrema de "valores atípicos" sobreviva al proceso de reducción sin perderse, todo mientras funciona armoniosamente con los formatos de hardware modernos.

A continuación se presenta un resumen técnico detallado del artículo "LATMiX: Transformaciones Afines Aprendizables para la Cuantización Microescalada de LLMs".

1. Planteamiento del Problema

Los Modelos de Lenguaje Grande (LLM) se implementan cada vez más utilizando Cuantización Post-Entrenamiento (PTQ) para reducir los costos de memoria y computación. Un formato de datos específico que está ganando tracción es el Microescalado (MX), que particiona los tensores en bloques, asignando un factor de escala único a cada bloque para manejar los rangos dinámicos de manera más eficiente que la escala global.

Sin embargo, combinar la cuantización MX con las técnicas existentes de mitigación de valores atípicos (que son cruciales para la cuantización de pocos bits) presenta desafíos significativos:

Valores Atípicos en las Activaciones: Las activaciones de los LLM contienen valores extremos (outliers) que dominan el error de cuantización.
Limitaciones de los Métodos Actuales: Los enfoques existentes utilizan transformaciones invertibles (típicamente rotaciones o transformaciones de Hadamard) para redistribuir la energía de las activaciones y suprimir los valores atípicos.
- Transformaciones Globales: Aplicar una rotación global a las activaciones antes de la cuantización MX causa una degradación severa del rendimiento porque la transformación global entra en conflicto con la estructura de escala por bloques de MX.
- Transformaciones Bloque-Diagonales: Trabajos recientes sugieren aplicar transformaciones independientemente dentro de cada bloque MX (matrices bloque-diagonales). Aunque esto evita la incompatibilidad, restringe la transformación a subespacios pequeños y aislados, impidiendo la redistribución efectiva de la masa de activación a través de todo el tensor. En consecuencia, los valores atípicos dominantes no pueden difundirse suficientemente, lo que conduce a una precisión subóptima en regímenes de pocos bits (por ejemplo, 4 bits).

2. Metodología: LATMiX

Los autores proponen LATMiX (Transformaciones Afines Aprendizables para Microescalado), un método que generaliza la reducción de valores atípicos a transformaciones afines invertibles de rango completo y aprendibles, optimizadas específicamente para el formato de datos MX.

A. Análisis Teórico

Los autores derivan una cota superior teórica sobre el error de cuantización bajo cuantización MX. El análisis revela que el error depende de dos factores competitivos:

La Norma Espectral de la Transformación Inversa ( $||A^{-1}||_\sigma$ ): Una medida de cuánto amplifica la transformación los errores.
El Máximo de Activación Esperado por Bloque: El promedio de los valores absolutos máximos dentro de cada bloque MX.

El artículo argumenta que las transformaciones bloque-diagonales (utilizadas en trabajos anteriores) son un caso especial que falla en equilibrar estos factores a nivel global. En su lugar, se requiere una transformación afín completa (no bloque-diagonal) para tener en cuenta explícitamente tanto la estructura de bloques MX como la distribución global de características.

B. Arquitectura de LATMiX

LATMiX aprende un conjunto de transformaciones afines invertibles ($T(x) = Ax + v$) que pueden integrarse en las capas lineales del modelo, incurriendo en cero sobrecarga de inferencia.

Ubicaciones de las Transformaciones:
- $T_1$ : Aplicada globalmente a la ruta residual (incrustaciones de entrada).
- $T_2$ : Aplicada localmente a los vectores de valor en la Atención Multi-Cabeza (MHA) y dentro de las Redes de Alimentación Avanzada (FFN).
- $T_3$ : Una transformación en línea de tipo Hadamard por bloques (mantenida para consistencia con las líneas base anteriores).
Parametrización: Para garantizar la invertibilidad y permitir la optimización estándar de aprendizaje profundo, los autores proponen dos parametrizaciones para la matriz $A$ $A$ :
1. Descomposición LU: $A = P(L + \text{diag}(s))$ , donde $L$ es triangular inferior unitaria.
2. Descomposición QR: $A = Q(R + \text{diag}(s))$ , donde $Q$ es ortogonal (mediante exponencial matricial de una matriz antisimétrica) y $R$ es triangular superior.
- Se aplica una regularización de preservación de volumen para asegurar que el determinante permanezca cerca de 1, evitando la inestabilidad numérica mientras permite que las direcciones individuales se expandan o contraigan.
Objetivo de Optimización:
- Pérdida de Distilación: En lugar de imponer una invarianza computacional estricta (que requiere matrices ortogonales), LATMiX utiliza una pérdida de divergencia de Kullback-Leibler (KL) entre el modelo profesor de precisión completa y el modelo estudiante cuantizado transformado. Esto permite que la transformación se desvíe de la ortogonalidad para ajustarse mejor a la distribución de los datos.
- Regularización: Un término para mantener el volumen de la transformación cerca de 1.

C. Mecanismo de Integración (Folding)

Una contribución crítica es la capacidad de integrar (fold) las transformaciones afines aprendidas ( $A$ y $v$ ) directamente en las matrices de pesos y sesgos del LLM.

La transformación inversa se integra en las proyecciones de entrada (K, Q, V) del mecanismo de atención.
La transformación directa se integra en las proyecciones de salida de las capas de atención y FFN.
Esto asegura que, durante la inferencia, el modelo se comporte exactamente como un modelo cuantizado estándar sin costo computacional adicional.

3. Contribuciones Clave

Insight Teórico: Proporcionó una cota teórica que demuestra que el error de cuantización en formatos MX depende tanto de la distribución global de características como de la estructura de bloques, demostrando que las transformaciones bloque-diagonales son insuficientes para una reducción óptima del error.
Algoritmo LATMiX: Introdujo un método para aprender transformaciones afines invertibles generales (no restringidas a rotaciones) utilizando parametrizaciones LU/QR y pérdida de distilación.
Despliegue sin Sobrecarga: Demostró que estas transformaciones aprendidas complejas pueden integrarse matemáticamente en las capas lineales existentes, manteniendo la velocidad de inferencia y la huella de memoria de los modelos cuantizados estándar.
Evaluación Exhaustiva: Validó el método en múltiples tamaños de modelo (de 1B a 32B) y arquitecturas (Llama, Qwen) en diversas pruebas de referencia.

4. Resultados Experimentales

Los autores evaluaron LATMiX en siete pruebas de razonamiento zero-shot (ARC, HellaSwag, WinoGrande, PIQA, BoolQ, OpenBookQA) y la tarea de perplejidad WikiText2.

Mejoras de Rendimiento: LATMiX superó consistentemente a líneas base fuertes, incluyendo:
- Cuantización MX estándar (RTN, GPTQ).
- Métodos basados en rotación (QuaRot, SpinQuant).
- Métodos de rotación bloque-diagonal (MR-GPTQ, OSTQuant).
- Otros métodos basados en transformaciones (FlatQuant).
Recuperación de Precisión: En la cuantización MXFP4 (4 bits), LATMiX logró hasta un 4% de mejora en la recuperación de precisión promedio en comparación con las mejores líneas base. Por ejemplo, en Llama-3.2-1B, LATMiX-LU logró una recuperación del 93.88% frente al 93.07% de MR-GPTQ.
Robustez: El método mostró mejoras consistentes a través de diferentes tamaños de modelo (de 1B a 32B) y granularidades de cuantización (MXFP4 y MXINT4).
Estudios de Ablación:
- Completo vs. Bloque: Las transformaciones afines completas (a nivel de tensor) superaron significativamente a las bloque-diagonales.
- Afín vs. Ortogonal: Aprender transformaciones afines generales (con sesgo) fue superior a aprender solo matrices ortogonales (rotación).
- Función de Pérdida: La pérdida de distilación KL resultó más efectiva para la generalización zero-shot que las pérdidas de MSE o Entropía Cruzada.

5. Significado

Cerrando la Brecha: LATMiX cierra con éxito la brecha entre la necesidad de una supresión agresiva de valores atípicos (mediante transformaciones globales) y las restricciones estructurales de los formatos MX soportados por hardware moderno.
Eficiencia de Hardware: Al integrar las transformaciones, LATMiX permite el uso de operaciones matemáticas aprendidas y potentes sin sacrificar las ganancias de eficiencia en inferencia proporcionadas por la cuantización MX.
Dirección Futura: El trabajo sugiere que restringir las transformaciones a rotaciones o matrices bloque-diagonales es subóptimo. Abre la puerta para aprender transformaciones más expresivas y dependientes de los datos que respeten los formatos de datos específicos del hardware de IA de próxima generación.

En resumen, LATMiX demuestra que al analizar teóricamente la interacción entre las distribuciones de activación y las estructuras de bloques MX, y al aprender transformaciones afines flexibles, se puede lograr una cuantización casi sin pérdida de LLMs en anchos de bits extremadamente bajos (4 bits) sin incurrir en sobrecarga de inferencia.