Resumen Técnico: La Ilusión de la Equivalencia en la Cuantización de LLM

Declaración del Problema

La cuantización post-entrenamiento (PTQ) es una técnica estándar para desplegar Grandes Modelos de Lenguaje (LLM) en entornos con recursos limitados mediante la reducción de la precisión numérica de los parámetros y las activaciones. Sin embargo, las prácticas de evaluación actuales dependen casi exclusivamente de métricas agregadas como la exactitud (accuracy) y la perplejidad. Los autores argumentan que estas métricas no logran capturar los cambios de comportamiento inducidos por la cuantización. Específicamente, los modelos con puntuaciones de exactitud o perplejidad similares pueden exhibir divergencias sustanciales en sus predicciones sobre ejemplos individuales. Esto crea una "ilusión de equivalencia" donde un modelo cuantizado parece funcionalmente idéntico a su contraparte base, a pesar de las distorsiones estructurales subyacentes y las inconsistencias a nivel de decisión.

Metodología

El estudio formaliza la cuantización post-entrenamiento como una familia de operadores que actúan sobre los parámetros del modelo y analiza su impacto conjunto en los pesos de atención internos y el comportamiento de decisión. La investigación emplea un enfoque analítico de dos etapas:

1. Análisis Estructural: Los autores tratan la cuantización como un operador estructural sobre las matrices de proyección de atención ($W^Q, W^K, W^V, W^O$). Cuantifican las desviaciones estructurales utilizando:

   • Funcional Estadístico: Momentos (media, desviación estándar, asimetría, curtosis) computados sobre las distribuciones de pesos.
   • Divergencia Distribucional: Métricas que incluyen la similitud de coseno, la distancia euclidiana, el estadístico de Kolmogorov–Smirnov (KS) y la divergencia de Kullback–Leibler (KL) entre los vectores de peso base y descuantizados.
   • Granularidad: El análisis se realiza a nivel de modelo (agregado a través de todos los bloques) y a nivel de capa (aislando las proyecciones Q, K, V y O).

2. Evaluación del Comportamiento: El estudio introduce la Concordancia de Corrección (CA, Correctness Agreement), una métrica de nivel de decisión definida como la fracción de ejemplos donde tanto el modelo base como la variante cuantizada producen predicciones correctas. A diferencia de la exactitud agregada, la CA mide el solapamiento en las decisiones correctas, ignorando los casos en los que ambos modelos fallan.

Configuración Experimental:

• Modelos: Llama-3.2-3B, Vicuna-7B-v1.5, Mistral-7B-v0.1 y Llama-3.1-8B.
• Esquemas de Cuantización: Implementados mediante llama.cpp, cubriendo métodos Legados (Q8_0, Q5_0, Q4_0) y métodos de cuantización K (Q6_K a través de Q2_K).
• Datasets: WikiText-2 y C4 para perplejidad; HellaSwag, Winogrande y ARC para el rendimiento en tareas zero-shot descendentes.

Contribuciones Clave

1. Formalización de la Cuantización como un Operador: El trabajo modela la PTQ como una transformación $T_c(\theta)$ y estudia su efecto conjunto en los pesos de proyección de atención y el comportamiento de decisión.
2. Análisis de Sensibilidad Basado en Estadística y Divergencia: Los autores proponen un marco para cuantificar la deriva estructural por capa utilizando momentos estadísticos y distancias distribucionales, revelando puntos de ruptura no lineales en anchos de bits bajos.
3. Introducción de la Concordancia de Corrección (CA): Una nueva métrica que complementa la exactitud y la perplejidad al medir la consistencia de las predicciones correctas entre el modelo base y el cuantizado.
4. Barrido Empírico Exhaustivo: Hasta donde saben los autores, este es el primer estudio controlado que realiza un barrido desde 8 bits hasta 2 bits a través de esquemas de cuantización tanto legados como K, vinculando la deriva de la proyección de atención a nivel de bloque con los cambios en el comportamiento de decisión.

Resultados Experimentales

1. Distorsiones Estadísticas y Estructurales

• Anchos de Bits Altos/Moderados (8 bits a 5 bits): La cuantización preserva en gran medida las propiedades estadísticas (asimetría cercana a cero, curtosis estable, desviación estándar base). La cuantización legada (ej. Q5_0) muestra un impacto estructural mínimo.
• Anchos de Bits Bajos (4 bits a 2 bits): La cuantización agresiva, particularmente Q3_K y Q2_K, introduce distorsiones pronunciadas. Estas incluyen un aumento en la asimetría, reducción de la curtosis, desplazamientos sistemáticos de la media y mayor varianza.
• Sensibilidad de Capa: Las proyecciones de Consulta (Query - Q) y Clave (Key - K) son consistentemente más sensibles a la cuantización que las proyecciones de Valor (V) y de Salida (O). Bajo compresión agresiva (Q3_K, Q2_K), las capas Q y K exhiben una asimetría volátil y un colapso de la curtosis, mientras que V y O permanecen relativamente estables hasta los anchos de bits más bajos.
• Métricas de Divergencia: La similitud de coseno se degrada gradualmente, mientras que la divergencia KL y los estadísticos KS muestran aumentos bruscos en los anchos de bits más bajos, indicando una redistribución significativa de la masa de los pesos.

2. Evaluación del Comportamiento

• Perplejidad y Exactitud: Estas métricas superficiales a menudo permanecen estables bajo cuantización moderada (ej. Q4_K, Q5_K) o muestran un comportamiento no monotónico. En algunos casos, los anchos de bits más bajos (ej. Q3_K) producen una perplejidad menor sin garantizar la consistencia del comportamiento.
• Concordancia de Corrección (CA): La CA es consistentemente menor que la exactitud agregada y disminuye a medida que la precisión cae. Incluso cuando la exactitud parece preservada, el solapamiento en las predicciones correctas entre el modelo base y el cuantizado cae drásticamente. Esto indica que la cuantización altera qué ejemplos acierta el modelo, incluso si el recuento total de respuestas correctas permanece similar.

Significancia y Reivindicaciones

El artículo afirma exponer una desconexión fundamental entre las métricas de rendimiento convencionales y la fidelidad de comportamiento real de los modelos cuantizados.

• La Ilusión de la Equivalencia: Los autores demuestran que una alta exactitud o una baja perplejidad no garantizan que un modelo cuantizado preserve la lógica de decisión del modelo base. Un modelo puede parecer con alto rendimiento mientras diverge fundamentalmente en sus predicciones específicas.
• Puntos de Ruptura No Lineales: El estudio identifica umbrales específicos donde la integridad estructural colapsa. Q4_K se identifica como el límite superior de la cuantización "segura", Q3_K marca el inicio de la degradación significativa, y Q2_K representa un régimen de ruptura donde la consistencia estructural y de comportamiento se ve severamente comprometida.
• Vulnerabilidad de Componentes: Los hallazgos resaltan que las proyecciones Q y K son los principales cuellos de botella para la cuantización de pocos bits, lo que sugiere que las estrategias de cuantización futuras deberían considerar la asignación de precisión adaptativa (ej. preservar una mayor precisión para Q/K mientras se comprimen V/O).
• Cambio de Paradigma en la Evaluación: El trabajo motiva un cambio en la evaluación más allá de las métricas agregadas, abogando por la evaluación del comportamiento (como la Concordancia de Corrección) y el análisis estructural para asegurar que los modelos cuantizados no sean meramente similares estadísticamente, sino que estén alineados conductualmente con sus contrapartes base.