Resumen Técnico: E-PMQ: Cuantización Post-Fusión Guiada por Expertos con Anclaje de Pesas Fusionadas

1. Formulación del Problema: Cuantización Post-Fusión (PMQ)

El artículo aborda un escenario específico de despliegue con recursos limitados donde múltiples modelos "expertos" especializados en tareas se fusionan primero en un único modelo, y este modelo fusionado resultante se cuantiza posteriormente para una inferencia eficiente. Los autores definen este escenario como Cuantización Post-Fusión (PMQ).

El desafío central identificado es que los métodos estándar de Cuantización Post-Entrenamiento (PTQ), como GPTQ, son poco fiables cuando se aplican directamente a modelos fusionados. En la PTQ estándar, el modelo de precisión completa se trata como un objetivo de reconstrucción fiable. Sin embargo, en PMQ, el modelo fusionado de precisión completa ($W_m$) no es un modelo multi-tarea optimizado independientemente; es una composición de parámetros que ya pueden desviarse de los comportamientos de los expertos fuente.

Los autores argumentan que una PMQ ingenua (cuantizar directamente $W_m$) acopla dos desviaciones distintas:

1. Desviación de Cuantización: El error introducido al reconstruir pesos en un espacio de bajo número de bits.
2. Desviación de Fusión Relativa al Experto: El error inherente al propio modelo fusionado, que representa cuánto se ha desviado $W_m$ de los comportamientos específicos de los expertos fuente ($W_i$).

Cuando un algoritmo PTQ ingenuo minimiza el error de reconstrucción de $W_m$ por sí solo, trata a este modelo potencialmente desviado como la verdad fundamental. En consecuencia, el proceso de cuantización no corrige las desviaciones de fusión preexistentes, sino que las complica con errores de cuantización, lo que lleva a una degradación significativa del rendimiento, especialmente en configuraciones de bajo número de bits agresivas (por ejemplo, 4 bits) o al fusionar muchas tareas.

2. Metodología: Marco E-PMQ

Para mitigar estas desviaciones acopladas, los autores proponen E-PMQ, un marco guiado por expertos que integra información de los expertos fuente durante la fase de calibración, manteniendo al mismo tiempo la eficiencia de despliegue de un único modelo fusionado.

Componentes Principales

E-PMQ opera mediante cuantización capa por capa en un orden hacia adelante. Para cada capa $\ell$, utiliza:

• Las pesas fusionadas ($W_m^\ell$).
• Las pesas de los expertos fuente ($\{W_i^\ell\}_{i=1}^K$).
• Activaciones de calibración recopiladas del modelo parcialmente cuantizado actual.

El método introduce dos mecanismos clave:

A. Objetivos de Salida Guiados por Expertos

En lugar de reconstruir la salida del modelo fusionado ($W_m^\ell X^\ell$) como el único objetivo, E-PMQ construye objetivos de salida basados en los expertos fuente. Para cada experto $i$, el objetivo es $Y_i^\ell = W_i^\ell X_i^\ell$, donde $X_i^\ell$ son activaciones recopiladas del subconjunto de calibración asociado con ese experto.
El objetivo minimiza la discrepancia entre la salida de la capa cuantizada y estos objetivos inducidos por expertos:
$$\min_{Q^\ell} \sum_{i=1}^K \| Q^\ell X_i^\ell - W_i^\ell X_i^\ell \|_F^2$$
Esto obliga al proceso de cuantización a alinearse con los comportamientos de los expertos originales, mitigando así la desviación de fusión relativa al experto.

B. Anclaje de Pesas Fusionadas

Confiar únicamente en objetivos de expertos corre el riesgo de corregir en exceso la capa fusionada, lo que podría provocar que el modelo cuantizado se desvíe hacia un experto específico y pierda las capacidades integradas logradas mediante el proceso de fusión. Para evitar esto, E-PMQ añade un término de regularización que ancla las pesas cuantizadas ($Q^\ell$) a las pesas fusionadas de precisión completa ($W_m^\ell$):
$$\min_{Q^\ell} \sum_{i=1}^K \| Q^\ell X_i^\ell - W_i^\ell X_i^\ell \|_F^2 + \lambda^\ell \| Q^\ell - W_m^\ell \|_F^2$$
La fuerza del anclaje $\lambda^\ell$ es adaptativa, escalada por la energía de activación total de la capa para garantizar la estabilidad en diferentes capas.

Implementación del Solucionador

Los autores adaptan el solucionador de redondeo secuencial estilo GPTQ para manejar este nuevo objetivo. El solucionador utiliza estadísticas cuadráticas modificadas:

• Curvatura Efectiva: $H_{E-PMQ}^\ell = \sum H_i^\ell + \lambda^\ell I$
• Lado Derecho: $R_{E-PMQ}^\ell = \sum W_i^\ell H_i^\ell + \lambda^\ell W_m^\ell$
  Esto permite implementar el método de manera eficiente sin reentrenamiento de extremo a extremo, utilizando únicamente un conjunto de calibración.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Formulación del Problema: Los autores definen formalmente la Cuantización Post-Fusión (PMQ) e identifican el modo de fallo de los enfoques ingenuos: el acoplamiento de la desviación de cuantización con la desviación de fusión relativa al experto.
2. Propuesta de Algoritmo: Introducen E-PMQ, que utiliza las pesas de los expertos fuente para proporcionar objetivos de salida guiados durante la calibración y emplea anclaje de pesas fusionadas para estabilizar la solución y preservar el comportamiento integrado del modelo fusionado.
3. Validación Empírica: Experimentos extensos demuestran que E-PMQ supera consistentemente a las líneas base de PMQ ingenua (RTN, GPTQ, AWQ) en diversos métodos de fusión (Aritmética de Tareas, Fusión TIES, Promedio Simple), arquitecturas de modelos (CLIP-ViT, FLAN-T5, Llama-3.1) y escalas de tareas (de 8 a 20 tareas).

4. Resultados Experimentales

El artículo evalúa E-PMQ en modelos de visión (CLIP) y lenguaje (FLAN-T5, Llama-3.1) utilizando cuantización de solo pesas de 4 bits.

• CLIP-ViT-B/32 (8 Tareas): Bajo Aritmética de Tareas, E-PMQ mejora la precisión de GPTQ de 4 bits del 65,0% al 73,6%. Bajo Fusión TIES, mejora del 69,1% al 74,8%.
• CLIP-ViT-L/14 (20 Tareas): En este escenario más difícil con mayor interferencia, E-PMQ muestra ganancias dramáticas, mejorando GPTQ del 34,8% al 76,7% bajo Aritmética de Tareas.
• FLAN-T5-base (GLUE): E-PMQ mejora la puntuación promedio del 78,26% al 83,34% bajo Aritmética de Tareas y del 79,98% al 83,48% bajo Fusión TIES.
• Llama-3.1 (3B y 8B): E-PMQ logra el mejor rendimiento promedio entre las variantes cuantizadas, mejorando las puntuaciones sobre las líneas base GPTQ y AWQ.
• Estudios de Ablación: Eliminar el anclaje de pesas fusionadas ($\alpha=0$) provoca un colapso severo del rendimiento (por ejemplo, cayendo a ~5% de precisión), confirmando que la guía de expertos por sí sola es insuficiente sin anclaje al modelo fusionado. E-PMQ también demuestra robustez a través de anchos de bits (de 3 bits a 8 bits) y con presupuestos de calibración reducidos.

5. Significado y Afirmaciones

El artículo afirma que E-PMQ permite un despliegue efectivo de bajo número de bits de modelos fusionados, un escenario previamente considerado poco fiable debido a la acumulación de desviaciones.

• Eficiencia: El método requiere acceso a los expertos fuente solo durante la fase de cuantización previa al despliegue. El modelo desplegado final es un único modelo fusionado de bajo número de bits sin módulos adicionales en tiempo de inferencia ni pesas de expertos, manteniendo la misma cantidad de parámetros y velocidad de inferencia que las líneas base ingenuas.
• Generalizabilidad: Se demuestra que el enfoque es efectivo en diferentes modalidades (visión y texto), escalas de modelos y estrategias de fusión.
• Limitaciones: Los autores notan modestamente que E-PMQ requiere acceso a los expertos fuente durante la cuantización, lo que aumenta los costos computacionales y de memoria previos al despliegue en comparación con la PTQ ingenua. Si solo está disponible el modelo fusionado, el método no puede construir objetivos guiados por expertos. Además, el rendimiento del método depende de la representatividad del conjunto de calibración.

En resumen, el artículo argumenta que para cuantizar con éxito modelos fusionados, uno debe mirar más allá del propio modelo fusionado y utilizar los expertos fuente para guiar la calibración, mientras que simultáneamente se ancla la solución a las pesas fusionadas para preservar los beneficios de la fusión.