🤖 machine learning

Contraction-Gauge Preconditioning for Quantized Matrix Multiplication

Este artículo introduce el preacondicionamiento de calibre de contracción (contraction-gauge preconditioning), un método que optimiza las representaciones de factores y los patrones de compartición antes de la cuantización para minimizar el error de producto en la multiplicación de matrices de baja precisión, respaldado por un modelo de error estocástico exacto y validado por reducciones significativas de error a través de diversas precisiones y evaluaciones comparativas.

Autores originales: Piyush Sao, Narasinga Miniskar, Pedro Valero-Lara, Keita Teranishi, Sudip Seal

Publicado 2026-07-22

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Piyush Sao, Narasinga Miniskar, Pedro Valero-Lara, Keita Teranishi, Sudip Seal

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando hornear un pastel gigante y perfecto, pero solo tienes una taza medidora diminuta y desmoronada. En el mundo de la inteligencia artificial, el "pastel" es un cálculo masivo llamado multiplicación de matrices, donde dos enormes cuadrículas de números se aplastan juntas para crear un nuevo resultado. La "taza medidora" es la memoria de la computadora, que a menudo obliga a estos números a redondearse para ajustarse en cajas más pequeñas y simples (un proceso llamado cuantización). Si redondeas con demasiada agresividad, el pastel se colapsa; la IA se confunde, comete errores o deja de funcionar por completo.

Durante mucho tiempo, los científicos han intentado solucionar esto simplemente siendo más cuidadosos con la forma de redondear, o agrupando los números. Pero hay un problema escurridizo: los números no son todos iguales. Algunos son enormes y ruidosos (valores atípicos o outliers), mientras que otros son diminutos y silenciosos. Si los tratas a todos por igual, los ruidosos ahogarán a los silenciosos, o los errores de redondeo se acumularán de tal manera que arruinarán el sabor final. La gran pregunta ha sido: ¿Cómo reorganizamos estos números antes de comprimirlos en las cajas pequeñas, de modo que, cuando se aplasten juntos más tarde, el resultado siga siendo deliciosamente preciso?

Este artículo, escrito por un equipo de investigadores del Laboratorio Nacional de Oak Ridge, actúa como el nuevo libro de recetas de un maestro chef para reorganizar esos ingredientes. Descubrieron una regla matemática precisa —una "identidad de error de producto"— que les dice exactamente cuánto error ocurrirá cuando mezclen dos cuadrículas redondeadas. Piensa en esto como una bola de cristal que predice exactamente cuánto se desmoronará el pastel basándose en cómo se cortaron los ingredientes.

Usando esta bola de cristal, desarrollaron un método llamado "Precondicionamiento de Contracción-Gauge". Imagina que tienes una pila de ladrillos de tamaños desiguales (los números en tu primera cuadrícula) y una pila de sacos de mortero de tamaños desiguales (los números en tu segunda cuadrícula). Si intentas construir una pared con ellos tal como están, la pared será tambaleante. Los investigadores encontraron una forma de estirar y encoger los ladrillos y los sacos de mortero antes de empezar a construir, para que encajen perfectamente, incluso si tienes que usar un mortero un poco más tosco después. Llaman a este estirar y encoger un "plegado" (fold).

El artículo demuestra que encontrar la forma perfecta de plegar estos números es como resolver un tipo específico de acertijo matemático llamado "programa geométrico". Mostraron que puedes resolver este acertijo para encontrar la mejor manera absoluta de reorganizar los números para un trabajo específico, en lugar de simplemente adivinar. También descubrieron que, a veces, para obtener el mejor resultado, es posible que necesites hacer algunas copias extra de tus ingredientes (el "factor opuesto") para usar diferentes trucos de plegado en diferentes partes de la pared. Crearon una forma de contar estas copias extra para que los ingenieros sepan exactamente cuánta memoria adicional necesitarán.

El equipo probó su nueva receta de dos maneras. Primero, construyeron escenarios falsos y controlados en un laboratorio de computación para ver si sus predicciones matemáticas coincidían con la realidad. Encontraron que su "bola de cristal" era increíblemente precisa, prediciendo los errores con una correlación de más del 90%. Segundo, tomaron una IA real, ya entrenada, que reconoce dígitos escritos a mano (como los que podrías escribir en una tableta) e intentaron reducir su cerebro para que usara menos memoria. Cuando utilizaron su método "GP fold", la IA cometió significativamente menos errores que con los métodos de redondeo estándar antiguos. Específicamente, con una precisión de 8 bits, el error cayó un 18%, y con una precisión de 4 bits (que es muy diminuta), el error cayó en más de un 20%.

El artículo también descarta algunas estrategias comunes de corto plazo. Mostraron que simplemente ordenar los números por su tamaño (como alinear ladrillos del más grande al más pequeño) no siempre es la mejor estrategia; a veces, necesitas mirar la forma de los números para agruparlos correctamente. También descubrieron que, aunque girar los números (rotarlos) puede ayudar, no siempre funciona si los números ya son planos y uniformes. Su método es un sistema inteligente y adaptable que revisa los ingredientes específicos de tu problema y elige la mejor estrategia de reorganización, ya sea un simple estiramiento, un giro complejo o una mezcla de ambos.

En resumen, este artículo no solo dice que "redondear es difícil". Proporciona un conjunto de herramientas matemáticamente probadas y precisas para que los ingenieros reorganicen sus datos de modo que, incluso cuando se vean obligados a usar herramientas de baja precisión y baja memoria, el resultado final permanezca nítido, preciso y confiable. Convierte el arte desordenado de adivinar cómo reducir los modelos de IA en una ciencia precisa de medición y optimización.

Resumen Técnico: Precondicionamiento de Gauge de Contracción para la Multiplicación de Matrices Cuantizadas

Planteamiento del Problema

El artículo aborda el desafío de la multiplicación de matrices de baja precisión ($C = AB$) donde ambos factores $A \in \mathbb{R}^{m \times K}$ y $B \in \mathbb{R}^{K \times n}$ están cuantizados. Una dificultad primordial en este dominio es que la pérdida de cuantización no se propaga de manera uniforme; un error en una entrada específica $A_{ik}$ afecta a la fila de salida $C_{i,:}$ en proporción a la energía de la fila correspondiente en $B$ ( $B_{k,:}$ ), y viceversa. Los métodos existentes, como la agrupación por canales o las transformaciones ortogonales, a menudo carecen de un objetivo unificado a nivel de producto que considere estas propagaciones de error asimétricas y el costo de almacenar múltiples copias transformadas de los operandos. Los autores pretenden derivar identidades de error exactas bajo supuestos estocásticos y formular un marco de "gauge de contracción" para optimizar la representación de los factores antes de la cuantización, gestionando explícitamente el compromiso entre la reducción del error y el costo de almacenamiento/tráfico de las copias transformadas.

Metodología

1. Fundamento Teórico: Identidad de Error del Producto
Los autores derivan una identidad exacta de dimensión finita para el error cuadrático esperado del producto bajo errores por entrada con media cero, mutuamente independientes y con campos de varianza conocidos. Para factores cuantizados $\hat{A} = A + E_A$ y $\hat{B} = B + E_B$ , la norma de Frobenius al cuadrado esperada del error es:
$\mathbb{E}\|\hat{A}\hat{B} - AB\|_F^2 = \sum_{i,k} v^A_{ik} \|B_{k,:}\|_2^2 + \sum_{k,j} v^B_{kj} \|A_{:,k}\|_2^2 + \sum_{k} \left(\sum_i v^A_{ik}\right)\left(\sum_j v^B_{kj}\right)$
Esta identidad es exacta para el dither sustractivo sin sobrecarga y para el redondeo estocástico independiente con varianzas dependientes del residuo. Sirve como la función objetivo principal, ponderando los errores por la energía del factor opuesto.

2. Precondicionamiento de Gauge de Contracción
El método aprovecha la equivalencia algebraica $AB = (AT)(T^{-1}B)$ para cualquier $T \in GL(K)$ invertible. Los autores definen un "gauge de contracción" como la elección de $T$ aplicada a la dimensión de contracción compartida $K$ antes de la cuantización.

Dominios de Gauge: Un dominio es un bloque de salida fijo (por ejemplo, un bloque de filas) asignado a un único gauge.
Descriptor de Reutilización ( $n_{opp}$ ): El costo del precondicionamiento se mide por el número de copias distintas, transformadas y cuantizadas del factor opuesto que se requieren. Si se utiliza un único gauge compartido en todos los dominios, $n_{opp}=1$ ; si se utilizan distintos gauges por bloque, $n_{opp}$ aumenta.

3. Familias Estructurales y Reglas de Optimización
El artículo propone estrategias de optimización específicas para diferentes familias de gauges:

Pliegues Diagonales (Escalamiento): Para un dominio compartido, encontrar la escala diagonal óptima $D$ tal que $(AD, D^{-1}B)$ minimice el error se formula como un Programa Geométrico (GP). Esto permite la selección de pliegues compartidos globalmente óptimos. Se deriva un programa lineal (LP) para probar si el pliegue de identidad ya es óptimo.
Partición: Para equilibrar la precisión y el conteo de copias, el artículo argumenta en contra del ordenamiento por norma escalar (que puede perder un factor lineal en rendimiento debido a empates aleatorios) y propone el agrupamiento en coordenadas de magnitud logarítmica para agrupar filas con perfiles similares.
Rotaciones: Para los gauges ortogonales, el artículo utiliza la coherencia local de bloques para acotar las ganancias potenciales. Demuestra que las rotaciones aleatorias (por ejemplo, Hadamard) pueden reducir los máximos de coordenadas dentro de un factor logarítmico.
Rotaciones Parciales (Householder): Cuando la energía ponderada es de bajo rango, los autores proponen utilizar un pequeño número de reflectores de Householder ( $t$ ) para alinear el espacio propio superior de una matriz de Gram ponderada con un objetivo plano, con un costo de $O(tK)$.
Jerarquías: Para los gauges ortogonales de diagonal por bloques, se deriva un criterio de anticorrelación de energía de rebanada. Si los perfiles de energía de $A$ y $B$ a través de las rebanadas están anticorrelacionados, un refinamiento jerárquico reduce el error; de lo lo contrario, se prefiere una rotación plana. Una identidad telescópica permite la selección de profundidad de abajo hacia arriba.

4. Diseño del Cuantizador

Asignación de Bits: Bajo una restricción de suma de ancho de bits fija ( $b_A + b_B = b_{sum}$ ), la división óptima es asimétrica: $b_A - b_B = \frac{1}{2} \log_2(P_A/P_B)$ , donde $P_A$ y $P_B$ son coeficientes de error ponderados por el producto.
Recorte y Diagnósticos: El artículo introduce un diagnóstico de función característica truncada ( $\Xi$ ) para detectar la alineación de red en el redondeo determinista de Redondeo al Más Cercano (RTN), que puede violar los supuestos de independencia del modelo de ruido.

Contribuciones Clave

Contabilidad de Error Exacta: Derivación de una identidad exacta del error cuadrático esperado del producto para la multiplicación de matrices cuantizadas bajo dither y redondeo estocástico, separando explícitamente los términos de error principales de los términos cruzados bilineales.
Marco de Contracción-Gauge: Una formulación unificada para el precondicionamiento que acopla la elección de la transformación $T$ , su patrón de uso compartido (dominios de gauge) y su costo de representación de reutilización ( $n_{opp}$ ).
Selección de Pliegues Globalmente Óptima: Prueba de que el problema de pliegue compartido acotado es un Programa Geométrico, resoluble a la optimalidad global, y la derivación de una prueba LP exacta para la optimalidad del pliegue de identidad.
Estadísticas de Decisión: Desarrollo de estadísticas computables para guiar la selección de transformaciones sin calcular los óptimos exactos para todas las familias:
- Índice de cola para escalamiento.
- Dispersión de perfil para partición.
- Coherencia de bloque y espectro de Gram ponderado para rotaciones.
- Covarianza de energía de rebanada para la profundidad de la jerarquía.
Diseño Consciente de la Reutilización: Introducción de $n_{opp}$ como una métrica para cuantificar el costo de almacenamiento y tráfico de diferentes patrones de uso compartido de gauge, permitiendo un análisis de compromiso entre la reducción del error y el costo de implementación.

Resultados

Experimentos Sintéticos Controlados:

Escalamiento: El agrupamiento por magnitud logarítmica para la partición logró un spread casi óptimo (1.015x de la referencia de pureza de perfil) en comparación con el ordenamiento por norma escalar (2.116x).
Pliegues: El pliegue GP compartido por dominio redujo el error modelado por un factor de ~161x en comparación con el pliegza de identidad y por 4.86x en comparación con los límites optimizados por separado de un solo lado.
Asignación de Bits: Las divisiones de bits asimétricas (por ejemplo, 9/7 en lugar de 8/8) lograron un error 1.7x menor que las divisiones simétricas, coincidiendo con las predicciones teóricas.
Rotaciones: Las rotaciones de Hadamard aleatorias proporcionaron hasta 60x de reducción de error en datos de cola pesada con valores atípicos inyectados, mientras que los reflectores de Householder con $t=3$ igualaron el rendimiento de la rotación completa en datos de rango 3.
Jerarquías: El criterio de anticorrelación predijo con éxito el punto de cruce donde el refinamiento jerárquico supera a la rotación plana.

Validación con Clasificador Entrenado:
Utilizando un clasificador de imágenes de tres bloques (tipo ViT) sobre imágenes de dígitos escritos a mano:

Correlación: Las predicciones del modelo de dither mostraron una alta correlación de Spearman mediana con los errores de RTN deterministas (0.937 a 8 bits, 0.918 a 4 bits).
Rendimiento: El uso del pliegue GP en lugar del pliegue de identidad redujo el error del producto de validación en un 18.0% a 8 bits y un 20.5% a 4 bits (media geométrica).
Comparación: El pliegue GP superó a una búsqueda de cuadrícula de estilo SmoothQuant (seleccionada mediante calibración) en 10 de 12 productos y logró un error menor que un oráculo seleccionado por prueba en la media geométrica.
Extremo a Extremo: La cuantización de los 12 productos juntos con el pliegue GP redujo el MSE de los logits en un 15.4% (8 bits) y un 26.4% (4 bits) en relación con el modelo de pliegue de identidad.

Significancia y Reclamaciones

El artículo afirma proporcionar una base estocástica rigurosa para la multiplicación de matrices cuantizadas que va más allá del escalamiento heurístico o la agrupación ad-hoc. Al establecer una identidad de error exacta y vincularla a un marco de "gauge de contracción", los autores ofrecen:

Selección Certificada: Selección óptima global dentro de la familia diagonal acotada mediante Programación Geométrica.
Objetivo Unificado: Un objetivo común (error ponderado por producto) para evaluar diversas familias de transformaciones (pliegues, rotaciones, jerarquías) y sus patrones de uso compartido.
Compromisos Prácticos: Un mecanismo para equilibrar explícitamente la reducción del error frente al costo de almacenar múltiples copias transformadas ( $n_{opp}$ ), lo cual es crítico para el despliegue.

Los autores enfatizan que, aunque las identidades exactas se mantienen para el dither y el redondeo estocástico, las estadísticas y reglas de selección derivadas se transfieren eficazmente al redondeo determinista de Redondeo al Más Cercano (RTN), según lo validado por los experimentos del clasificador entrenado. El trabajo no pretende resolver el problema completo de optimización $GL(K)$, sino que proporciona un procedimiento estructurado y ejecutable para seleccionar candidatos de alto rendimiento dentro de familias restringidas y prácticas.