Resumen Técnico: La saturación hace que el error de cuantización sea aditivo

Declaración del Problema

La cuantización de precisión mixta para modelos de lenguaje de gran escala (LLMs) requiere decidir qué capas o tensores se mantienen en una precisión mayor bajo un presupuesto estricto de memoria. Los métodos estándar de la industria actuales (por ejemplo, HAWQ, ModelOpt, CoopQ) se basan en una premisa estructural: la pérdida total al cuantizar un conjunto de capas puede reconstruirse a partir de sensibilidades por capa o de interacciones por pares medidas de forma aislada. Estos métodos agregan puntuaciones derivadas de trazas de Hessiano, puntuaciones de Fisher o términos de interacción por pares, asumiendo que las mediciones de bajo orden son suficientes para predecir la pérdida de una configuración conjunta.

Sin embargo, esta premisa no ha sido probada directamente en las precisiones de pesos y activaciones de 4 bits que se están desplegando actualmente. La función de pérdida $f(S)$, definida como el incremento en la pérdida al cuantizar un subconjunto de capas $S$, es una función de conjunto sobre el cubo booleano $\{0, 1\}^L$. Para profundidades de modelo realistas, la enumeración de todas las $2^L$ configuraciones es intratable, lo que requiere aproximaciones. La cuestión central es si la varianza de esta función de pérdida está dominada por efectos de primer orden (por capa) o si las interacciones de orden superior son lo suficientemente significativas como para invalidar las heurísticas aditivas.

Metodología

Los autores analizan la estructura del daño por cuantización $f(S)$ a través de dos cambios de base clásicos en el cubo booleano: la transformada de Walsh (descomposición funcional-ANOVA) y la expansión de Möbius.

1. Descomposición de la Varianza: Utilizando la base de Walsh bajo una distribución de despliegue $\mu_p$ (donde cada capa se cuantiza independientemente con una probabilidad $p=0.6$), los autores descomponen la varianza de $f$ por orden. El Teorema 1 establece que el error cuadrático medio del mejor predictor aditivo (de grado 1) es exactamente igual a la suma de las varianzas de todos los términos de orden superior (orden $\ge 2$).
2. Análisis Ordinal: Para determinar si la energía de orden superior restante representa un verdadero acoplamiento de capas o simplemente la curvatura de la escala de pérdida, los autores prueban la "aditividad hasta una transformación estrictamente creciente". Miden el defecto ordinal: la fracción mínima de clasificaciones de configuraciones por pares que cualquier índice aditivo debe violar. Esto se certifica contra el ruido de medición mediante estimadores de mitad dividida (split-half) y nulos de ruido emparejado.
3. El Modelo de Cobertura: Los autores proponen un "modelo de cobertura" impulsado por la saturación. Debido a que la pérdida de cuantización está limitada por un techo $c$, el "margen" (headroom) $h(S) = c - f(S)$ disminuye a medida que se cuantizan las capas. El modelo postula que cada capa cuantizada consume una fracción fija $a_i$ del margen restante:
   $$f(S) = c \left(1 - \prod_{i \in S} (1 - a_i)\right)$$
   Esto implica que el daño es aditivo en el logaritmo del margen: $-\log(1 - f(S)/c) = \sum_{i \in S} b_i$.
4. Predictores y Asignadores:
   • Modelo Aditivo: El predictor de primer orden óptimo derivado de la distribución de despliegue.
   • Modelo de Cobertura: Un predictor paramétrico con $L+1$ parámetros ($c$ y tasas de ruptura $a_i$), ajustado mediante mínimos cuadrados.
   • Estimador de Aumann–Shapley: Una integral de camino libre de ajustes que recupera el coeficiente aditivo óptimo en una densidad efectiva específica por capa, demostando que el orden de las capas se preserva exactamente bajo el modelo de cobertura.
   • Asignación: Ambos modelos se convierten en asignadores resolviendo un problema de la mochila (knapsack problem) sobre los daños marginales predichos para minimizar $\Delta$LCE bajo un presupuesto de memoria.

Hallazgos Clave

1. Dominancia de Efectos de Primer Orden

En todas las configuraciones extraídas de la distribución de despliegue, entre el 85% y el 93% de la varianza en el daño de cuantización es explicada únicamente por efectos por capa. En redes exactas (donde se miden todas las $2^L$ configuraciones) con corrección de ruido, esto aumenta al 98–99%. La varianza de orden superior no explicada sirve como un "certificado" para el rendimiento máximo de cualquier modelo aditivo.

2. La Saturación Explica la Estructura

La energía de orden superior restante no indica un complejo acoplamiento de capas, sino la saturación de la función de pérdida.

• Defecto Ordinal: El daño se aproxima bien mediante una transformación monótona de una suma de términos por capa ($f(S) \approx g(\sum b_i)$). El defecto ordinal medido es, como máximo, del 2% (a menudo indistinguible de cero), lo que indica que la aparente no-aditividad se debe a la curvatura de la escala de pérdida, no a la interacción entre capas.
• Espectro de Möbius: El modelo de cobertura predice un espectro de Möbius específico donde los coeficientes alternan en signo y crecen en magnitud, causando que las truncaciones de bajo orden sobrepasen significativamente (hasta 32 veces la pérdida real) antes de converger. Este comportamiento es confirmado empíricamente en redes exactas.

3. Fallo de las Sensibilidades Aisladas

Las sensibilidades medidas de forma aislada (por ejemplo, la traza del Hessiano de HAWQ-v2) están ancladas en la red no cuantizada ($p \to 0$). Bajo el modelo de cobertura, estas pendientes aisladas están infladas por un factor de forma cerrada respecto a las pendientes óptimas en contexto:
$$\frac{s_i}{w_i} \approx e^{p \sum_j a_j}$$
Esto conduce a una valoración errónea del costo de la configuración por un 71–376% al sumar sensibilidades aisladas. La inflación crece exponencialmente con el número de capas cuantizadas.

4. Rendimiento de Predictores y Asignadores

• Predicción: Los modelos aditivo y de cobertura (con $L+1$ parámetros) superan o igualan a los sustitutos de caja negra (Bosques Aleatorios, Procesos Gaussianos, núcleos RBF) con presupuestos de medición pequeños ($N \approx L$). Crucialmente, su degradación es de máximo 2$\times$ al extrapolar a configuraciones fuertmente cuantizadas, mientras que los procesos gaussianos se degradan de 2 a 5$\times$ porque sus núcleos estacionarios fallan al codificar la estructura de saturación.
• Asignación: En presupuestos de memoria emparejados, los asignadores propuestos logran la divergencia KL más baja entre todos los métodos comparados (basados en sensibilidad, estructurales y basados en sustitutos) en modelos que van desde 0.6B hasta 355B de parámetros.
  • En Qwen3-30B, logran una divergencia KL entre un 17% y 21% menor que la línea base de producción ModelOpt.
  • En Qwen3-235B y GLM-4.6 (355B), se observan márgenes de entre 13% y 37%.
  • Régimen Sub-4-bit: Por debajo de los 4 bits, los asignadores estándar a menudo fallan en producir generaciones terminadas. Las asignaciones propuestas, derivadas de los modelos ajustados, preservan las capacidades de razonamiento en anchos de bits efectivos donde otros métodos colapsan.

Significancia y Reivindicaciones

El artículo afirma proporcionar una teoría de forma cerrada para la cuantización de precisión mixta que resuelve la tensión entre la aparente no-aditividad de la pérdida y el éxito de las heurísticas por capa.

• Contribución Teórica: Demuestra que la saturación genera tanto el espectro de Walsh concentrado (dominancia de orden 1) como el espectro de Möbius divergente (interacciones de sobrepaso). Proporciona una identidad de certificado (Teorema 1) que cuantifica el límite de los modelos aditivos antes del despliegue.
• Impacto Práctico: Demuestra que las heurísticas predominantes de "aislar y sumar" son fundamentalmente erróneas debido al sesgo de anclaje, sobreestimando la pérdida por órdenes de magnitud. El modelo de cobertura propuesto y el estimador de Aumann–Shapley ofrecen una alternativa más precisa, interpretable y computacionalmente eficiente que no requiere muestreo por pares.
• Robustez: Los métodos se validan en diversas escalas de modelos (0.6B a 355B), arquitecturas (densas y MoE) y tareas (razonamiento, código, generación de imágenes). El artículo sostiene que las asignaciones resultantes son las primeras en resolver de manera confiable tareas de razonamiento con presupuestos de ancho de banda de sub-4-bit donde otros métodos fallan en terminar.

Los autores concluyen que la "interacción" que a menudo se atribuye a la cuantización es en gran medida un artefacto de la curvatura de la escala de pérdida. Al modelar esta saturación explícitamente, se puede lograr una asignación óptima con predictores simples, interpretables y certificables.