🤖 machine learning

Influence-Inspired Spectral Rotations for Extreme Low-Bit LLM Quantization

Este artículo presenta "BBT-spectral", un método de cuantización centrado en la ingeniería que aplica rotaciones de Walsh-Hadamard adaptativas a la influencia y reescalado basado en energía a las matrices de pesos, reduciendo significativamente la perplejidad en la cuantización de LLM de bits extremadamente bajos (W2A16) en diversas arquitecturas de modelos, al tiempo que garantiza la compatibilidad con hardware de dispositivos Intel.

Autores originales: Gorgi Pavlov

Publicado 2026-05-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Gorgi Pavlov

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca masiva e increíblemente detallada de conocimientos (un Modelo de Lenguaje Grande) que deseas reducir para que quepa en una mochila diminuta y barata (cuantización extrema de bajo número de bits). El problema es que, al intentar aplastar esta biblioteca, inevitablemente pierdes algunas páginas o difuminas el texto, lo que hace que el modelo se confunda y sea menos preciso.

Este artículo presenta un truco inteligente llamado BBT-spectral para resolverlo. En lugar de simplemente aplastar los datos al azar, reorganiza los libros antes de empacarlos para que la información más importante reciba la mejor protección.

Así es como funciona, utilizando analogías sencillas:

1. El problema: La caja de "talla única"

Normalmente, cuando comprimimos estos modelos, tratamos cada parte de los datos por igual. Imagina que tienes una caja con 64 compartimentos. Colocas 64 objetos diferentes dentro y tratas de que todos quepan en un espacio más pequeño. Si simplemente reduces todo en la misma cantidad, los objetos delicados y frágiles (las señales "espectrales" más importantes) se aplastan, mientras que los objetos resistentes (ruido menos importante) ocupan demasiado espacio. El resultado es un modelo desordenado y confuso.

2. La solución: El "barajado espectral"

Los autores proponen una danza de dos pasos antes de que ocurra la compresión:

Paso A: El barajado mágico (Rotación Walsh-Hadamard):
Piensa en los datos del modelo como una baraja de cartas. Los autores utilizan un barajado matemático específico y fijo (llamado transformada de Walsh-Hadamard) para mezclar las cartas. Esto no cambia la cantidad total de información, pero la reorganiza para que las señales "ruidosas" e importantes se agrupen en columnas específicas, mientras que el "ruido" silencioso se mueve a otras. Es como ordenar un montón desordenado de ropa para que todas las camisas de seda caras estén en una pila y los calcetines viejos en otra.
Paso B: El ajuste personalizado (Escalado espectral):
Ahora que las señales importantes están agrupadas, los autores aplican un "control de volumen" a cada columna. Suben el volumen en las columnas que contienen las "camisas de seda" importantes (alta energía) y bajan el volumen en los "calcetines" (baja energía).
- ¿Por qué? Cuando el modelo finalmente es aplastado (cuantizado) en números diminutos de 2 o 4 bits, las columnas "ruidosas" obtienen una cuadrícula más grande y precisa donde aterrizar. Las columnas "silenciosas" obtienen una cuadrícula más pequeña y tosca.
- El resultado: El algoritmo de compresión comete menos errores en las partes importantes porque se le ha dado más "espacio" para ser preciso allí.

3. La garantía de "sin pérdida"

Los autores enfatizan que este reordenamiento y redimensionamiento es matemáticamente perfecto antes de que ocurra la compresión. Si pudieras invertir el proceso, obtendrías el modelo original exacto de nuevo, hasta el último decimal. Es como reorganizar muebles en una habitación; la habitación se ve diferente, pero los muebles son exactamente los mismos hasta que realmente comienzas a empacarlos en cajas.

4. Manejo de arquitecturas complicadas (Los "casos especiales")

El artículo admite que este "barajado mágico" no funcionó perfectamente para todo tipo de arquitectura de modelo de inmediato. Algunos modelos tenían "puertas" o "normas" especiales que se confundían con el barajado. Los autores construyeron tres "parches" específicos para corregirlos:

El parche de la "Cabeza": Para algunos modelos, tuvieron que rotar los datos dentro de las cabezas de atención (como ajustar las lentes de un par de gafas) para mantener la matemática funcionando.
El parche de la "Pareja": Para otros modelos, rotaron los datos en pares para asegurar que no chocaran con el reloj interno del modelo (RoPE).
El parche de la "Puerta": Encontraron un error donde un tipo específico de "puerta" en el modelo no se estaba escalando correctamente, y corrigieron el código para incluirlo.

5. Los resultados: Grandes victorias en modelos pequeños

Los autores probaron esto en varios modelos (desde tamaños pequeños hasta medianos).

El resultado: Cuando comprimir estos modelos hasta solo 2 bits (extremadamente pequeños), el nuevo método hizo que los modelos fueran 15% a 58% más precisos (medido por qué tan bien predicen la siguiente palabra) en comparación con el método estándar.
La trampa: Cuanto más luchaba el modelo con el método estándar, mayor era la mejora. Es como un bote salvavidas que salva a la mayor cantidad de personas cuando el barco se hunde más rápido.
El límite: Cuando lo probaron en modelos ligeramente más grandes (4 bits), la mejora desapareció. Esto tiene sentido: si tienes una caja lo suficientemente grande (4 bits), no necesitas ser tan inteligente reorganizando los muebles. El truco es específicamente para cuando la caja es muy pequeña.

Resumen

En resumen, este artículo dice: "No aplastes tu modelo de IA en un espacio pequeño sin más. Primero, baraja los datos para que las partes importantes sean fáciles de identificar, da a esas partes protección extra y luego aplástalo. Esto hace que los modelos diminutos sean mucho más inteligentes sin necesidad de entrenarlos desde cero ni usar algoritmos de aprendizaje complejos y lentos".

Los autores tienen cuidado de decir que esto es un truco de ingeniería que funciona muy bien en la práctica, incluso si la teoría matemática profunda detrás de por qué funciona (conectando con la lógica booleana) aún está siendo explorada. Demostraron que funciona en hardware real y no rompió las matemáticas.

Resumen Técnico: Rotaciones Espectrales Inspiradas en Influencia para Cuantización Extremadamente de Bajo Bit en LLM

Declaración del Problema

El artículo aborda el desafío de la cuantización de solo pesos extremadamente de bajo bit (específicamente W2A16, pesos de 2 bits, activaciones de 16 bits) para Modelos de Lenguaje Grande (LLM). En anchos de bits tan bajos, los métodos de cuantización estándar (como Intel Auto-Round vanilla) sufren errores de reconstrucción significativos, lo que conduce a aumentos drásticos en la perplejidad (PPL) en puntos de referencia como WikiText-2. La dificultad central radica en el "presupuesto de ruido de cuantización": con solo 2 bits, el error de redondeo es grande, y la cuantización por grupo estándar falla al priorizar los canales más críticos, causando una degradación severa en el rendimiento del modelo, particularmente en modelos con capas MLP anchas o restricciones arquitectónicas específicas (por ejemplo, atención estilo Qwen3).

Metodología

El método propuesto, BBT-spectral, aplica una transformación pre-cuantización fija e invariante matemáticamente a las capas lineales antes de entregarlas a un cuantizador estándar de error de reconstrucción (Intel Auto-Round). El enfoque se inspira en un artículo teórico complementario sobre influencia booleana y geometría de Walsh-Hadamard, pero se aplica heurísticamente a capas de LLM de valor real.

1. Transformación Central

El método consta de dos pasos aplicados a la matriz de pesos $W$ y la entrada $x$ de una capa lineal:

Rotación Espectral: La entrada se rota a la base de Walsh-Hadamard utilizando una matriz ortogonal fija $Q = H_{dpad}/\sqrt{dpad}$ , donde $H$ es la matriz de Walsh-Hadamard y $dpad$ es la dimensión rellena con ceros hasta la siguiente potencia de dos.
Escalado por Coordenada: Las columnas de la matriz de pesos rotada se escalan mediante una matriz diagonal $D = \text{diag}(s)$ $D = diag (s)$ , donde los factores de escala $s_\ell$ $s_{ℓ}$ se derivan de la energía espectral de activación de las coordenadas de entrada.
- El proxy de energía espectral $\rho_\ell$ se calcula como la magnitud cuadrada esperada de la $\ell$ -ésima coordenada después de la rotación WHT: $\rho_\ell = E[h_\ell^2] / \sum E[h_k^2]$ .
- El factor de escala se define como $s_\ell = (1 + d_{pad} \cdot \rho_\ell)^\alpha$ , con $\alpha = 0.5$ .

Invarianza Matemática: La transformación es una identidad exacta en precisión completa ( $x W^T = (x Q D^{-1}) (D Q^T W^T)$ ). El escalado "potencia" los canales de alta energía antes de la cuantización y los divide nuevamente después de la de-cuantización, sesgando efectivamente el presupuesto de redondeo entero hacia los canales que transportan más señal espectral.

2. Extensiones Arquitectónicas

La receta básica falló inicialmente en modelos con mecanismos de atención específicos. El artículo introduce tres extensiones para manejar estos casos:

Spectral-PCA (para estilo Qwen3): Para arquitecturas con capas $q\_norm/k\_norm$ por cabeza (por ejemplo, Qwen3), el escalado estándar del lado de la entrada rompe el denominador de la norma. Los autores reemplazan la norma con una Matrix-Γ RMSNorm que rota los pesos de proyección mediante PCA por cabeza ( $U_h$ ) y aplica una matriz diagonal $\Gamma_h$ para restaurar exactamente la salida vanilla.
Pair-PCA (para arquitecturas conmutativas con RoPE): Para modelos sin $q\_norm$ (por ejemplo, Llama, SmolLM, Qwen2.5), la rotación debe conmutar con las Incrustaciones de Posición Rotativas (RoPE). Dado que RoPE actúa como rotaciones 2D, el método calcula un PCA SO(2) restringido para cada par RoPE, rotando las filas de pesos en planos 2D para alinearse con la varianza de activación sin romper la invarianza de RoPE.
Absorción Consciente de MoE: Una corrección identificada mediante "fuzzing arquitectónico" en un modelo sintético Laguna, que extiende la lista de absorción del lado de la entrada para incluir $g\_proj$ (compuertas de cabeza) además de las estándar $q/k/v\_proj$ para prevenir fugas de no linealidad.

Contribuciones Clave

Transformación Espectral "Drop-in": Un paso pre-cuantización principista y no aprendido (rotación WHT + escalado basado en energía) que mejora la cuantización W2A16 sin requerir aprendizaje de rotación basado en gradientes.
Validación Empírica: Se demostró una reducción del 15–58% en el PPL de WikiText-2 en cuatro modelos (SmolLM-135M/360M, Qwen2.5-0.5B/1.5B) en comparación con Auto-Round vanilla. Las mayores ganancias se observaron en modelos con las líneas base vanilla más degradadas (por ejemplo, Qwen2.5-0.5B mostró una mejora del 57.9%).
Generalización Arquitectónica: Se extendió con éxito el método a arquitecturas complejas (Qwen3 con $q\_norm$ , modelos pesados en RoPE) mediante Spectral-PCA y Pair-PCA, resolviendo modos de fallo anteriores.
Ablación de Ancho de Bit: Se mostró que el rendimiento del método es consistente con la convexidad de Schur: el beneficio escala con el presupuesto de ruido de cuantización. El método proporciona ganancias masivas en W2 pero produce mejoras insignificantes (piso de ruido) en W4, confirmando que se dirige al régimen de alto ruido.
Robustez de Ingeniería: Se validó que el método no introduce operadores de tiempo de ejecución adicionales (todas las transformaciones se pliegan en los pesos) y mantiene un PPL invariante al dispositivo a través de Intel NPU, GPU y CPU.

Resultados

Rendimiento:
- SmolLM-135M: El PPL bajó de 81.03 a 45.11 (−44.3%).
- Qwen2.5-0.5B: El PPL bajó de 119.31 a 50.22 (−57.9%).
- Qwen2.5-1.5B: El PPL bajó de 36.93 a 28.16 (−23.7%).
- Qwen3-0.6B: Usando Spectral-PCA, el PPL bajó de 136.76 (vanilla) a 88.99 (35% de mejora sobre vanilla).
Rendimiento de Transmisión: Los pesos plegados resultan en grafos de transformadores densos estándar. El rendimiento es comparable a las líneas base vanilla (dentro de ±15%), sin sobrecarga de tiempo de ejecución adicional.
Piso de Ruido: En W4, la mejora fue de +0.06 PPL (estadísticamente insignificante), confirmando que el método es específico para regímenes de bajo bit extremo.

Afirmaciones y Limitaciones (Voz del Autor)

Los autores enmarcan explícitamente esto como un artículo de ingeniería aplicada en lugar de un avance teórico:

Sin Equivalencia Formal: No afirman que la energía de activación WHT de valor real utilizada aquí sea formalmente equivalente a la influencia booleana definida en el artículo teórico complementario. La conexión es intuitiva y cualitativa (masa espectral por coordenada), no una transferencia formal de teoremas.
Sin Significancia Estadística: Los resultados son de una sola semilla. Las diferencias inferiores a ±0.5 PPL se tratan como ruido de evaluación.
Alcance de la Línea Base: Las comparaciones se realizan contra Auto-Round vanilla. El artículo no afirma superioridad sobre otras líneas base de bajo bit fuertes como AWQ, GPTQ, SpinQuant o QuaRot; las comparaciones directas se posponen para trabajos futuros.
Alcance: El método es una heurística "drop-in". No afirma resolver todos los problemas de cuantización, señalando específicamente que el argumento de "convexidad de Schur" es una guía heurística para el entorno de valor real, no un teorema probado para el mismo.

La contribución principal es una transformación pequeña, principista y exactamente invariante matemáticamente que produce victorias empíricas no triviales en W2 a través de diversas familias de modelos, ofreciendo una solución práctica para la implementación de bajo bit extremo donde el redondeo estándar falla.