Resumen Técnico: Adaptación a cualquier ancho de bits: Cuantización de precisión mixta por canal para LLMs

1. Planteamiento del problema

Los Modelos de Lenguaje Extensos (LLMs) enfrentan desafíos significativos de despliegue en dispositivos de borde debido a sus masivos tamaños de parámetros, los cuales imponen requisitos de memoria sustanciales. Si bien la cuantización de solo pesos Post-Entrenamiento (PTQ) ofrece una solución al reducir la precisión (por ejemplo, de FP16 a 3 bits), los enfoques existentes sufren de dos limitaciones primarias:

1. Rigidez de bits enteros: La mayoría de los métodos de PTQ de vanguardia (por ejemplo, GPTQ, AWQ) se centran en una cuantización de bits enteros uniforme en todas las capas. Esto restringe su adaptabilidad a dispositivos que podrían soportar anchos de bits promedio fraccionarios (por ejemplo, 2.2 o 3.8 bits), lo que conduce a una infrautilización del almacenamiento disponible.
2. Estrategias de precisión mixta ineficaces: Los métodos de precisión mixta existentes, como LLM-MQ, a menudo dependen de la estimación de sensibilidad por capa utilizando información de primer orden (gradientes). Sin embargo, en los LLMs convergidos, los gradientes son aproximadamente cero, lo que dificulta la diferenciación efectiva de las sensibilidades de las capas. Además, la asignación por capa puede concentrar la pérdida de información en capas específicas, degradando el rendimiento general. Adicionalmente, los métodos que retienen pasivamente los valores atípicos (outliers) en FP16 suelen incurrir en un aumento de la latencia de inferencia sin ganancias proporcionales en el rendimiento.

2. Metodología: Cuantización de Precisión Mixta por Canal (CMPQ)

Los autores proponen CMPQ, un marco de trabajo de PTQ diseñado para adaptar los LLMs a cualquier restricción de ancho de bits promedio, incluyendo valores no enteros, sin sacrificar el rendimiento. El método opera a través de tres componentes principales:

A. Cuantización no uniforme por canal

A diferencia de la cuantización uniforme que divide los rangos de pesos en contenedores (bins) espaciados uniformemente, CMPQ emplea cuantización no uniforme (vía agrupamiento K-means) para manejar mejor las distribuciones de pesos no uniformes típicas de los LLMs.

• Asignación de precisión: En lugar de asignar un ancho de bits fijo a una capa entera, CMPQ asigna la precisión a nivel de canal.
• Heurística basada en activaciones: El método calcula la norma L2 de las activaciones para cada canal durante una pasada hacia adelante (forward pass) en un conjunto de calibración.
  • Si el ancho de bits promedio objetivo $b > 3$, los canales con normas de activación grandes (canales salientes) reciben una mayor precisión (por ejemplo, 4 bits) para preservar la información crítica.
  • Si $b < 3$, los canales menos críticos reciben una menor precisión (por ejemplo, 2 bits) para minimizar el almacenamiento.
  • Para $b = 3$, una pequeña fracción (~1%) de los canales salientes se protege con 4 bits, mientras que el resto utiliza 3 bits.
• Algoritmo: La asignación se determina mediante el Algoritmo 1, el cual utiliza los cuantiles del vector de norma de activación para asignar anchos de bits $c_i \in \{2, 3, 4\}$ a cada canal $i$.

B. Protección dual de valores atípicos (Outliers)

Para mitigar la degradación causada por valores extremos (outliers), CMPQ integra dos técnicas distintas de extracción de valores atípicos que preservan pesos específicos en FP16:

1. Outliers basados en activaciones ($O_{act}$): Se identifican los canales correspondientes al 0.45% superior de las normas L2 de activación y se preservan en FP16. Esto aborda la observación de que los outliers suelen exhibir un patrón por canal.
2. Outliers conscientes de la cuantización ($O_q$): Tras eliminar $O_{act}$, los pesos restantes se someten a una cuantización no uniforme por canal. Se identifican y preservan en FP16 el 0.05% superior de los pesos con los mayores errores de cuantización absolutos ($|W' - W'_q|$). Esto asegura que los centroides de agrupamiento utilizados para la cuantización representen la mayoría de la distribución de pesos en lugar de verse sesgados por valores extremos.

• Sobrecarga total: La proporción combinada de outliers se mantiene en el 0.5%, consistente con los métodos de referencia, asegurando comparaciones de almacenamiento justas.

C. Eficiencia y Despliegue

• Sin retropropagación (Backpropagation): CMPQ requiere solo una única pasada hacia adelante para la calibración, evitando las pasadas hacia atrás que consumen mucha memoria requeridas por métodos como SqueezeLLM.
• Inferencia: El marco maneja la multiplicación de matrices de precisión mixta mediante la descomposición de los pesos en submatrices basadas en la asignación de canales. Los outliers se procesan mediante núcleos (kernels) dispersos CSR estándar, mientras que el grueso de los pesos se procesa mediante núcleos de bajo bit.

3. Contribuciones Clave

1. Marco Adaptativo: Introducción de CMPQ, un marco de cuantización post-entrenamiento que soporta anchos de bits promedio arbitrarios (incluyendo valores fraccionarios) mediante la asignación de precisión por canal.
2. Mecanismo Novedoso: Integración de la cuantización no uniforme con una estrategia dual de manejo de outliers (basada en activación y consciente de la cuantización) que proporciona un control fino con baja sobrecarga.
3. Ganancias de Rendimiento: Demostración de que CMPQ supera a los métodos previos tanto en entornos de bits enteros como de bits fraccionarios, logrando mejoras significativas de rendimiento con incrementos modestos en el uso de memoria.

4. Resultados Experimentales

Los experimentos se realizaron en nueve LLMs (OPT, LLaMA2, LLaMA3) a través de varios anchos de bits (2, 3, 4 bits) y conjuntos de datos (WikiText-2, C4, PIQA, HellaSwag, MMLU).

• Rendimiento de Bits Enteros: CMPQ logra puntuaciones de perplejidad de vanguardia o competitivas en comparación con métodos de referencia como GPTQ, AWQ, QuIP y LLM-MQ. Por ejemplo, en OPT-2.7B a 3 bits, CMPQ logra una perplejidad de WikiText-2 de 13.38, superando a LLM-MQ (18.09) y GPTQ (17.09).
• Rendimiento de Bits Fraccionarios: CMPQ demuestra una adaptabilidad superior a los anchos de bits fraccionarios (por ejemplo, 2.2, 3.4 bits). En LLaMA2-7B, pasar de una precisión promedio de 2 a 2.2 bits produce una mejora del 30% en la perplejidad (de 15.97 a 11.11), una ganancia inalcanzable con métodos de solo enteros.
• Robustez: CMPQ muestra mayor robustez ante variaciones en el conjunto de calibración en comparación con los métodos basados en Hessiano como QuIP, que pueden divergir cuando el conjunto de evaluación difiere del conjunto de calibración.
• Eficiencia:
  • Memoria: La sobrecarga para almacenar los metadatos de asignación de bits y los centroides de los grupos es mínima (<0.03 bits por peso).
  • Latencia: La latencia de inferencia y el uso de memoria pico son comparables a los métodos de cuantización de solo enteros como SqueezeLLM, con solo un incremento modesto (aprox. 11-12%) para modelos más grandes (13B) debido a la ruta auxiliar de alta precisión.
  • Calibración: CMPQ es altamente eficiente en términos de datos, logrando el rendimiento deseado con tan solo 1-2 muestras de calibración, mientras que otros métodos a menudo requieren más de 50.

5. Significado y Reivindicaciones

El artículo afirma que CMPQ representa un paso significativo hacia adelante en la cuantización de LLMs al cerrar la brecha entre la eficiencia teórica de almacenamiento y las restricciones prácticas de despliegue.

• Adaptabilidad: Permite el "uso estructurado de la precisión de bits fraccionarios", permitiendo a los desarrolladores utilizar plenamente los presupuestos de memoria de los dispositivos en lugar de estar restringidos a esquemas de bits enteros.
• Optimización de Compromisos: El método logra un compromiso superior entre memoria y precisión al asignar proactivamente la precisión a los canales de bajo bit mientras mantiene fija la huella de FP16, evitando las penalizaciones de latencia asociadas con la retención pasiva de outliers.
• Practicidad: Al eliminar la necesidad de retropropagación y requerir un mínimo de datos de calibración, CMPQ ofrece una solución escalable y eficiente adecuada para escenarios de despliegue en el mundo real donde los recursos computacionales y de memoria están limitados.

Los autores reconocen limitaciones, incluyendo el enfoque en la cuantización de solo pesos, la dependencia de un conjunto discreto de niveles de precisión ({2, 3, 4}) y la suposición de que el conjunto de calibración es representativo de la distribución de uso objetivo. Sin embargo, aseguran que CMPQ proporciona un enfoque altamente adaptable y efectivo para la cuantización de LLMs a través de diversas capacidades de dispositivos.