Resumen Técnico: HARP (Procesador de Rotación Adaptativa Precondicionada con Hadamard)

1. Declaración del Problema

La cuantización post-entrenamiento (PTQ) es crítica para desplegar Modelos de Lenguaje Grande (LLM) bajo restricciones de memoria y ancho de banda. Sin embargo, la cuantización extrema de bajo número de bits (2–4 bits) enfrenta dos desafíos principales:

1. Valores Atípicos en las Activaciones y Estadísticas de Cola Pesada: Un pequeño subconjunto de coordenadas carga una masa de peso desproporcionada y sensibilidad a la curvatura, causando errores de reconstrucción severos al ser cuantizados.
2. Curvatura Anisotrópica de los Pesos: Los cuantizadores estándar (escalar o vector por bloques) tienen un rendimiento deficiente cuando la masa de los pesos o las direcciones sensibles a la curvatura se alinean con ejes de coordenadas específicos.

Las soluciones existentes dependen del Procesamiento de Incoherencia, que aplica un cambio de base ortogonal estructurado antes de la cuantización para distribuir la masa de los pesos entre las coordenadas. El estándar actual es la Transformada Hadamard Aleatorizada (RHT). Aunque la RHT es rápida ($O(d \log d)$) y exactamente ortogonal, es fija. No se adapta a:

• Estadísticas específicas de la capa.
• La distribución de los datos de calibración.
• La estructura de bloques del cuantizador aguas abajo.

Trabajos recientes sugieren que aprender rotaciones de extremo a extremo mejora la calidad, pero estos métodos a menudo relajan la naturaleza de "sustitución directa" (drop-in) de las pipelines de PTQ, alteran el modelo de precisión completa o introducen costos computacionales demasiado altos para la inferencia. Existe una brecha para un procesador que sea aprendible a partir de datos de calibración, permanezca como un cambio de base ortogonal exacto (preservando el modelo de precisión completa) y mantenga una eficiencia similar a la de Hadamard.

2. Metodología: HARP

Los autores proponen HARP (Procesador de Rotación Adaptativa Precondicionada con Hadamard), un procesador ortogonal de dos lados aprendible diseñado para reemplazar la RHT fija en las pipelines de PTQ.

2.1 Arquitectura Central

HARP parametriza la rotación ortogonal como un producto de etapas basadas en saltos (stride) y dispersas, imitando la estructura de las transformadas rápidas de Hadamard y mariposa.

• Estructura: Para una dimensión $d$, HARP utiliza un programa de Radix Mixto $\mathbf{b} = (b_0, \dots, b_{m-1})$ donde $\prod b_t = d$.
• Etapas: Cada etapa $t$ aplica una matriz ortogonal en bloque-diagonal $\mathbf{B}_t$ a grupos de coordenadas, separadas por permutaciones de saltos.
• Soporte de Radix Mixto: A diferencia de las transformadas Hadamard estándar limitadas a potencias de dos, HARP soporta dimensiones arbitrarias (por ejemplo, 5120) utilizando un programa de Radix Mixto (por ejemplo, $8, 8, 8, 5, 2$). Los radices que no son potencias de dos utilizan un respaldo ortogonal determinista (factorización QR de una matriz Gaussiana fija).

2.2 Precondicionamiento con Hadamard e Inicialización

Una innovación clave son los núcleos en bloque precondicionados con Hadamard. Cada bloque aprendible $B_{t,c}$ se define como:
$$B_{t,c}(\theta) = Q_{t,c}(\theta) G_{b_t}$$

• $G_{b_t}$ es un mezclador base fijo (Hadamard de Sylvester normalizado para potencias de dos, respaldo QR en caso contrario).
• $Q_{t,c}(\theta)$ es una matriz ortogonal aprendible (rotación de Givens para $b_t=2$, aplicación de Cayley para $b_t > 2$).

Inicialización: Todos los parámetros aprendibles $\Theta$ se inicializan en cero. En $\Theta=0$, $Q_{t,c}(0) = I$, lo que significa que $B_{t,c}(0) = G_{b_t}$. En consecuencia, la transformación HARP recupera exactamente el procesador RHT fijo (hasta una convención de permutación fija) en la inicialización. La calibración luego aprende un refinamiento ortogonal estructurado alrededor de esta sólida línea base.

2.3 Objetivo de Optimización

HARP se ajusta por capa utilizando únicamente datos de calibración. La optimización minimiza una pérdida sustituta alineada con el cuantizador por bloques desplegado:

1. Reconstrucción Ponderada por el Hessiano Diagonal: Minimiza el error entre el peso rotado y su objetivo del código por bloques, ponderado por la diagonal del proxy del Hessiano. Los gradientes se detienen a través de la asignación discreta del código para garantizar estabilidad.
2. Penalización de Energía de Hessiano Fuera de Bloque: Un término de regularización ($R_{bd}$) penaliza la energía en los bloques fuera de la diagonal del proxy del Hessiano, fomentando que la rotación alinee la curvatura con la estructura de bloques del cuantizador.

La pérdida total es:
$$\mathcal{L}_{fit}(\Theta) = \mathcal{L}_{diag}(\Theta) + \lambda_{bd} R_{bd}(\Theta_V)$$

2.4 Eficiencia en el Despliegue

• Almacenamiento: Los parámetros de HARP pueden almacenarse en formato int8 con un impacto mínimo en la perplejidad.
• Cálculo: El costo de aplicación es $O(d \log d)$, similar a la RHT. Los autores implementan núcleos fusionados de Triton para GPU en las etapas de saltos para evitar permutaciones materializadas, manteniendo baja la sobrecarga de latencia.
• Compatibilidad: HARP es un reemplazo directo para el paso de preprocesamiento en las pipelines QuIP# y QTIP, sin requerir cambios en el backend del cuantizador o en el solucionador.

3. Contribuciones Clave

1. Procesador de Incoherencia Aprendible: Introducción de HARP, un procesador ortogonal de dos lados ajustado mediante datos de calibración que se adapta a las estadísticas de la capa y a las estructuras de los cuantizadores del backend.
2. Compatibilidad de Sustitución Directa: HARP se inicializa exactamente al procesador RHT fijo, asegurando que es una actualización transparente para las pipelines de PTQ basadas en Hadamard existentes, sin requerir reentrenamiento completo del modelo o reconfiguración del grafo.
3. Eficiencia Estructurada: La utilización de etapas tipo mariposa de Radix Mixto permite ortogonalidad exacta y complejidad $O(d \log d)$ en dimensiones que no son potencias de dos, preservando las ventajas de rendimiento de la inferencia cuantizada.
4. Validación Empírica: Demostración de ganancias consistentes en calidad (perplejidad y precisión de cero disparos) sobre la RHT fija en configuraciones de 2–4 bits en modelos que van desde 1B hasta 70B parámetros.

4. Resultados Experimentales

Los autores evaluaron HARP en Llama 3.2 (1B, 3B) y Llama 2 (7B, 13B, 70B) utilizando el backend QuIP#.

• Perplejidad (PPL): HARP supera consistentemente a la RHT fija.
  • 2 bits: Las ganancias son más significativas aquí, donde la cuantización es más sensible. Para Llama 2 7B, HARP reduce la PPL de WikiText2 de 8.22 (RHT) a 7.23. Para Llama 2 70B, desciende de 4.16 a 4.01.
  • 3-4 bits: Las mejoras persisten pero son menores en magnitud absoluta a medida que la línea base se acerca a la precisión completa.
• Precisión de Cero Disparos: HARP mejora la precisión en las tareas ARC-Challenge, ARC-Easy y WinoGrande, confirmando que las ganancias en perplejidad se traducen en rendimiento aguas abajo.
• Latencia y Rendimiento:
  • En una NVIDIA RTX 5080, HARP de 2 bits alcanza 128 tokens/seg para Llama 2 7B, en comparación con 61 tokens/seg para FP16.
  • La sobrecarga de latencia de HARP sobre la RHT fija es modesta (por ejemplo, 0.0078s vs 0.0070s por token para 2 bits 7B), preservando la mayor parte de la aceleración de la cuantización.
• Portabilidad: Cuando se integra en QTIP (un backend diferente que utiliza cuantización codificada por trellis), HARP nuevamente mejora la perplejidad sobre la RHT fija, demostrando utilidad agnóstica al backend.
• Sobrecarga de Almacenamiento: Utilizando almacenamiento de parámetros int8, el aumento efectivo en bits por parámetro (BPP) es mínimo (por ejemplo, 2.00 $\to$ 2.05 para 2 bits 7B), con un impacto negligible en la calidad del modelo.

5. Significado y Afirmaciones

El artículo afirma que HARP aborda una brecha específica en el panorama de la PTQ: la necesidad de preprocesamiento adaptativo que no sacrifique la eficiencia ni la exactitud.

• Adaptabilidad vs. Fijo: A diferencia de la RHT fija, HARP adapta la base de rotación a la capa específica y a la estructura de bloques del cuantizador, reduciendo el error de reconstrucción en regímenes de bajo número de bits extremos.
• Exactitud vs. Aproximación: A diferencia de algunos métodos de rotación aprendida que alteran el modelo de precisión completa o requieren entrenamiento de extremo a extremo, HARP es un cambio de base exacto. El modelo de precisión completa se preserva matemáticamente; solo cambia el sistema de coordenadas expuesto al cuantizador.
• Eficiencia vs. Costo: A diferencia de las rotaciones aprendidas densas o las modificaciones complejas de grafos (por ejemplo, SpinQuant), HARP mantiene el costo computacional $O(d \log d)$ de las transformadas de Hadamard, haciéndolo práctico para el despliegue de LLM a gran escala.

Los autores posicionan a HARP no como una pipeline independiente nueva, sino como un módulo reutilizable que mejora los backends existentes basados en Hadamard (como QuIP# y QTIP) aprendiendo un refinamiento estructurado alrededor de una sólida línea base fija. Los resultados sugieren que para la cuantización extrema de bajo número de bits (2–3 bits), el costo de una calibración única para aprender estas rotaciones vale la pena por la sustancial recuperación en la calidad del modelo.