SynQ: Accurate Zero-shot Quantization by Synthesis-aware Fine-tuning

1. El Problema: Cuantización Zero-Shot (ZSQ)

La cuantización de redes neuronales es esencial para desplegar modelos en dispositivos de borde con recursos limitados. Sin embargo, la Cuantización Zero-Shot (ZSQ) plantea un desafío crítico: cómo cuantizar un modelo pre-entrenado a baja precisión (p. ej., 3 o 4 bits) sin acceso a los datos de entrenamiento originales, debido a restricciones de privacidad o seguridad.

Los métodos existentes que generan datos sintéticos para ajustar (fine-tune) el modelo cuantizado enfrentan tres limitaciones fundamentales que degradan el rendimiento:

1. Ruido en el conjunto de datos sintético: Los datos generados mediante optimización de ruido presentan un espectro de frecuencia dominado por altas frecuencias (ruido granular), a diferencia de las imágenes reales que se concentran en bajas frecuencias. Esto dificulta el ajuste fino eficiente.
2. Predicciones basadas en patrones fuera de objetivo: Los modelos cuantizados tienden a depender de patrones de imagen incorrectos o regiones irrelevantes para realizar predicciones, en lugar de centrarse en las características clave del objeto (como lo haría el modelo pre-entrenado).
3. Desviación por etiquetas duras erróneas: En los conjuntos de datos sintéticos, las etiquetas "duras" (hard labels) asignadas a muestras difíciles suelen ser incorrectas porque el modelo pre-entrenado tiene baja confianza en ellas. Utilizar estas etiquetas para el entrenamiento guía al modelo hacia errores.

2. Metodología: SYNQ (Synthesis-aware Fine-tuning)

Los autores proponen SYNQ, un marco de ajuste fino consciente de la síntesis diseñado para mitigar las tres limitaciones anteriores mediante tres ideas principales:

A. Filtro Paso Bajo (Low-Pass Filter) - Idea 1

Para abordar el ruido de alta frecuencia en los datos sintéticos:

• Se aplica un filtro paso bajo Gaussiano en el dominio de la frecuencia a las muestras generadas.
• Utilizando la Transformada de Fourier, se elimina la energía de alta frecuencia (ruido) y se conserva la estructura de baja frecuencia, alineando la distribución de amplitud de los datos sintéticos con la de las imágenes reales (como se observa en el dominio de la frecuencia).

B. Alineación del Mapa de Activación de Clase (CAM Alignment) - Idea 2

Para corregir el enfoque en patrones fuera de objetivo:

• Se introduce una pérdida de alineación de mapas de activación de clase (CAM).
• Se utiliza Grad-CAM para generar mapas de saliencia que indican qué regiones de la imagen son importantes para la predicción.
• El objetivo es minimizar la diferencia (Error Cuadrático Medio) entre el mapa de saliencia del modelo pre-entrenado (maestro) y el del modelo cuantizado (estudiante). Esto fuerza al modelo cuantizado a aprender a localizar el objeto en las regiones correctas, no solo a predecir la clase.

C. Etiquetas Blandas para Muestras Difíciles - Idea 3

Para evitar la desviación por etiquetas erróneas:

• Se define la "dificultad" de una imagen ($\delta$) basándose en la probabilidad que el modelo pre-entrenado asigna a la etiqueta correcta.
• Se establece un umbral de dificultad ($\tau$).
  • Muestras fáciles ($\delta \le \tau$): Se utilizan tanto la pérdida de entropía cruzada (con etiquetas duras) como la divergencia KL (con etiquetas blandas).
  • Muestras difíciles ($\delta > \tau$): Se excluye la pérdida de entropía cruzada con etiquetas duras (que probablemente sean incorrectas) y se utiliza exclusivamente la divergencia KL con las etiquetas blandas (probabilidades) del modelo pre-entrenado. Esto reduce la ambigüedad y evita que el modelo aprenda de etiquetas erróneas.

Función de Objetivo:
La función de pérdida total para el ajuste fino combina la divergencia KL, la pérdida de alineación CAM y la entropía cruzada condicional:
$$L_{SYNQ} = \frac{1}{N} \sum_{i=1}^{N} \left( KL(q(x^F_i; \theta) || q(x^F_i; \theta_q)) + \mathbb{1}_{\{\delta \le \tau\}} \lambda_{CE} CE(q(x^F_i; \theta_q), y_i) + \lambda_{CAM} L_{CAM}(x^F_i; \theta, \theta_q) \right)$$
Donde $x^F_i$ son las muestras filtradas.

3. Contribuciones Clave

1. Observación Empírica: Identificación y análisis detallado de las tres barreras principales (ruido de frecuencia, patrones de atención incorrectos y etiquetas duras erróneas) en los métodos ZSQ actuales.
2. Algoritmo SYNQ: Propuesta de un marco unificado que integra filtrado de ruido, alineación de atención (CAM) y gestión selectiva de etiquetas para mejorar la precisión.
3. Versatilidad: SYNQ es compatible con cualquier método ZSQ que utilice conjuntos de datos sintéticos (basados en optimización de ruido o generadores), independientemente del tipo de modelo (CNN o ViT) o la cantidad de bits.

4. Resultados Experimentales

Los experimentos se realizaron en conjuntos de datos CIFAR-10, CIFAR-100 e ImageNet, utilizando modelos como ResNet, MobileNetV2 y Vision Transformers (ViT).

• Rendimiento Superior: SYNQ alcanza el estado del arte (SOTA) en precisión de clasificación.
  • En ResNet-18 en ImageNet (cuantización 3 bits), SYNQ supera a los métodos existentes en hasta 1.74 puntos porcentuales (p.ej., 52.02% vs 50.28% de TexQ).
  • Muestra mejoras consistentes en cuantización de 3 y 4 bits, siendo particularmente robusto en configuraciones de bits muy bajos donde otros métodos fallan.
• Eficacia en ViT: También mejora el rendimiento en arquitecturas Vision Transformer (DeiT, Swin), logrando aumentos de hasta 0.58%p.
• Estudios de Ablación: Confirman que cada componente (filtro, CAM, etiquetas suaves) contribuye positivamente, siendo el filtro paso bajo el que aporta la mayor mejora individual (5.80%p).
• Análisis de CAM: Se demuestra que SYNQ reduce significativamente la discrepancia en los mapas de activación entre el modelo maestro y el cuantizado, acercándose al comportamiento del modelo entrenado con datos reales.
• Eficiencia: El costo computacional adicional es marginal (aprox. 17.8% de tiempo adicional en el ajuste fino), ya que no requiere entrenar un generador complejo.

5. Significado e Impacto

SYNQ representa un avance significativo en el campo de la compresión de modelos y la privacidad de datos. Al permitir una cuantización precisa sin necesidad de datos reales, habilita el despliegue seguro de modelos de IA en entornos sensibles (salud, finanzas, dispositivos personales) donde la transferencia de datos de entrenamiento está prohibida.

La metodología demuestra que la calidad de los datos sintéticos no depende solo de la generación, sino de la consciencia de la síntesis durante el ajuste fino: limpiar el ruido, corregir la atención y gestionar la incertidumbre de las etiquetas son pasos críticos para recuperar el rendimiento del modelo original. Además, su compatibilidad con arquitecturas modernas como los Transformers asegura su relevancia futura en la evolución de la IA eficiente.