Resumen Técnico: ORPQUANT – Proyección de Residuo Ortogonal Geométrico para Cuantización de Transformadores en Potencias de Dos sin Multiplicadores

1. Enunciado del Problema

El despliegue de Modelos de Lenguaje Grandes (LLMs) y Transformadores de Visión (ViTs) en dispositivos de borde está limitado por el "impuesto del multiplicador"—el consumo energético significativo, la complejidad de enrutamiento y los cuellos de botella temporales asociados a las unidades de Hardware de Multiplicación-Acumulación (MAC). Si bien la cuantización en Potencias de Dos (PoT) ofrece una alternativa eficiente en hardware al reemplazar la multiplicación con desplazamientos de bits, adolece de una limitación geométrica fundamental: el Régimen de Baja Resolución Angular.

En la cuantización PoT, la retícula discreta es no uniforme, regida por una distribución $arctan(2^k)$. Esto crea "Brechas Angulares" donde la orientación de los vectores cuantizados se desvía significativamente de los vectores continuos originales, particularmente en espacios de alta dimensión. A diferencia de los errores de magnitud escalar, que son predecibles y corregibles, estas desviaciones angulares comprometen la integridad semántica de los variedades de características, lo que conduce a una degradación severa de la precisión en regímenes de ultra-bajos bits (sub-4 bits). Los métodos existentes suelen depender de optimización basada en gradientes computacionalmente costosa o de de-cuantización en tiempo de ejecución a unidades MAC, fallando en eliminar completamente los cuellos de botella temporales o abordar el desalineamiento geométrico inherente a las retículas PoT.

2. Metodología: Proyección de Residuo Ortogonal (ORP)

Los autores proponen ORP, un marco de co-diseño algoritmo-hardware que reformula la cuantización como una proyección geométrica de doble base. En lugar de mapear vectores a una única retícula PoT 1D, ORP construye un subespacio ortogonal 2D para capturar y corregir errores direccionales utilizando estrictamente operaciones de suma y desplazamiento.

Marco Central

La tubería de ORP consta de tres etapas desacopladas:

1. Precondicionamiento Alineado al Variedad:
   Para mitigar valores atípicos en las activaciones, los pesos se precondicionan utilizando un vector de escalado de suavizado derivado de estadísticas de calibración (por ejemplo, RMS para CV, valor absoluto máximo para LLMs). Esto alinea el espacio euclidiano de pesos con el variedad de características empírico, priorizando los canales que dominan la estabilidad de la salida sin re-pesado iterativo.

2. Búsqueda de Base Discreta Geométrica:

   • Proyección Primaria ($b_1$): Los pesos se proyectan sobre una retícula PoT asimétrica (por ejemplo, $\{-1, -0.5, \dots, 0, \dots, 1\}$ para 3 bits) para asegurar un estado cero absoluto para la omisión de ceros en hardware.
   • Extracción de Residuo Ortogonal: El vector residual $r_\perp$ se calcula mediante ortogonalización de Gram-Schmidt: $r_\perp = w_{proc} - \frac{\langle w_{proc}, b_1 \rangle}{\|b_1\|^2}b_1$.
   • Construcción de Base Secundaria ($b_2$): Para capturar la información direccional perdida, ORP construye una base discreta secundaria $b_2$ ortogonal a $b_1$. Esto se logra mediante el Teorema de Intercambio Dual con Paso, que genera un vector ortogonal aplicando permutaciones de índices localizadas e inversiones de signo dentro de micro-bloques. Este proceso es determinista y opera en tiempo $O(N)$, evitando búsquedas exhaustivas.

3. Optimización Conjunta de Escalas Basada en Datos:
   Una vez fijadas las bases discretas ($b_1, b_2$), se resuelven los coeficientes de escalado continuos ($c_1, c_2$). El marco ofrece dos modos:

   • Modo GEO (Optimización Geométrica): Una solución de forma cerrada que minimiza la distancia euclidiana sin datos de calibración, adecuada para despliegue zero-shot.
   • Modo REF (Refinamiento Consciente de Activación): Utiliza regresión Ridge en entradas de calibración para optimizar las escalas, compensando las correlaciones de características y el ruido espacial mientras evita la inestabilidad numérica de incrustar ruido de activación discreto en el solucionador.

Flujo de Datos de Hardware

El flujo de datos final de inferencia transforma la capa lineal $Y = XW$ en una operación sin multiplicadores:
$$\hat{Y} = (s_x s_{c1}) [(\tilde{X}B_1)\text{diag}(\tilde{c}_1)] + (s_x s_{c2}) [(\tilde{X}B_2)\text{diag}(\tilde{c}_2)]$$
Las multiplicaciones de matrices centrales se ejecutan mediante desplazamientos de bits y sumas en paralelo, aplicándose los factores de escala únicamente en la etapa final de acumulación.

3. Contribuciones Clave

• Formalización Geométrica: El artículo formaliza el "Régimen de Baja Resolución Angular" de la cuantización PoT extrema y propone ORP como una solución determinista, de forma cerrada $O(N)$, para extraer bases discretas ortogonales sin optimización basada en gradientes.
• Eficiencia de Calibración: Al reemplazar búsquedas iterativas estocásticas con un solucionador analítico, ORP reduce el tiempo de calibración de modelo completo para LLaMA-2-7B de horas (por ejemplo, AWQ, SpinQuant) a aproximadamente 15.1 minutos en una sola estación de trabajo.
• Fidelidad Competitiva bajo Restricciones de Cero-MAC: ORP logra una precisión confiable en diversas modalidades sin depender de escalado asimétrico o de-cuantización en tiempo de ejecución. Alcanza una perplejidad de 5.09 en LLaMA-2-13B (W4/A16) y una precisión Top-1 del 79.54% en ViT-Base (W4/A4).
• Validación de Hardware: Mediante síntesis RTL de 28 nm, los autores demuestran que reemplazar árboles de multiplicadores densos con una ruta de datos de suma y desplazamiento en paralelo reduce el retardo del camino crítico a 0.35 ns, permitiendo una frecuencia de reloj teórica de 2.85 GHz y una eficiencia energética de 3.33 TOPS/W a 1.8 GHz.

4. Resultados Experimentales

• Transformadores de Visión (ImageNet-1K): Bajo restricciones W3/A4, ORP logra una precisión Top-1 del 78.49% en ViT-B, superando líneas base de 4/4 bits como APQ-ViT (41.41%) y acercándose al rendimiento de precisión completa (80.32%) con W3/A6.
• Rendimiento de LLM (LLaMA-2):
  • W3/A16: ORP logra una perplejidad de 6.10 en LLaMA-2-7B, superando a AWQ (6.49) y acercándose a la línea base de 4 bits (5.66) sin requerir escalado asimétrico.
  • W4/A16: Logra una perplejidad de 5.09 en LLaMA-2-13B.
  • Razonamiento Zero-Shot: El modo GEO proporciona una línea base robusta para diversas tareas de razonamiento (por ejemplo, 67.72% en WinoGrande a 3 bits), mientras que el modo REF ofrece mejoras adicionales de precisión.
• Métricas de Hardware: El acelerador ORP exhibe un retardo de camino crítico de 0.35 ns en comparación con 0.90 ns para las líneas base de AWQ, permitiendo teóricamente una operación a 2.85 GHz en silicio de 28 nm.

5. Significado y Afirmaciones

El artículo afirma que ORP ofrece un camino viable hacia el despliegue ágil de grandes modelos fundacionales en dispositivos de borde con recursos limitados, alinear principios geométricos con la eficiencia temporal a nivel de silicio.

• Eficiencia Algorítmica: El significado principal radica en el cambio desde una calibración iterativa computacionalmente intensiva hacia un solucionador analítico determinista, permitiendo una adaptación rápida en el sitio en el borde.
• Sinergia de Hardware: El trabajo demuestra que las restricciones estrictas de hardware (sin multiplicadores, suma y desplazamiento) no requieren un compromiso en la fidelidad representacional. Al abordar la "Brecha Angular" geométrica mediante residuos ortogonales, ORP logra un rendimiento competitivo con líneas base intensivas en MAC.
• Flexibilidad de Despliegue: El paradigma de doble vía (GEO vs. REF) proporciona a los practicantes una elección flexible entre razonamiento zero-shot instantáneo y sin datos, y precisión basada en datos, mitigando los riesgos de sesgo de calibración.

En última instancia, ORP sugiere que la cuantización extrema puede realizarse efectivamente sin depender de escalado asimétrico, de-cuantización en tiempo de ejecución o árboles profundos de multiplicadores, ofreciendo un nuevo paradigma de ejecución para la inteligencia de alto rendimiento en el borde.