Joint Post-Training Quantization of Vision Transformers with Learned Prompt-Guided Data Generation

Este trabajo presenta un marco de cuantización post-entrenamiento conjunta para Vision Transformers que, mediante la optimización global sin datos etiquetados y el uso de una estrategia de generación de datos basada en Stable Diffusion Turbo guiada por prompts aprendidos, logra un rendimiento de vanguardia en configuraciones de bits extremadamente bajos para modelos como ViT, DeiT y Swin-T.

Lo esencial

¡Claro que sí! Imagina que tienes un genio de la lámpara (un modelo de Inteligencia Artificial llamado Vision Transformer) que es increíblemente sabio y puede reconocer cualquier cosa en una foto. El problema es que este genio es gigante, pesado y consume mucha energía, como un elefante en una tienda de porcelanas. No cabe en tu teléfono móvil ni en un reloj inteligente.

Para que este genio pueda viajar ligero, necesitamos "comprimirlo" o reducir su tamaño. Esto se llama cuantización. Pero, ¿cómo haces que un elefante se vuelva pequeño sin que deje de ser sabio?

Aquí es donde entra este papel, que propone dos trucos geniales:

1. El "Ajuste Global" (En lugar de arreglar pieza por pieza)

El problema anterior:
Antes, cuando intentaban hacer estos genios más pequeños, los ingenieros los arreglaban bloque por bloque, como si fueras a reparar un coche cambiando una rueda, luego otra, luego el motor, sin mirar cómo interactúan entre sí.

• La analogía: Imagina que tienes un equipo de fútbol. Si entrenas al delantero por separado, luego al defensa por separado, y luego al portero por separado, el equipo no funcionará bien porque no saben cómo jugar juntos.

La solución de este papel:
Ellos proponen un entrenamiento conjunto de todo el equipo a la vez.

• La analogía: En lugar de arreglar el coche pieza por pieza, toman el coche completo y lo ajustan en una pista de pruebas. Ajustan las ruedas, el motor y la dirección al mismo tiempo, asegurándose de que todo funcione en armonía.
• El resultado: Logran que el genio sea extremadamente pequeño (incluso usando solo 1.58 bits, que es como reducir su cerebro a un susurro) sin que pierda su sabiduría. Lo hacen en solo una hora en una sola computadora.

2. El "Chef de Cocina Sin Ingredientes" (Generación de datos sin fotos reales)

El problema anterior:
Para entrenar a este genio comprimido, normalmente necesitas mostrarle miles de fotos reales (como fotos de gatos, coches, montañas) para que aprenda a no equivocarse. Pero, ¿qué pasa si no tienes acceso a esas fotos por privacidad o porque no las tienes?

• La analogía: Es como intentar enseñarle a un chef a cocinar un plato de "pescado" sin tener ningún pescado real, solo usando la descripción "un pez azul". El chef podría cocinar un pez azul de juguete, no uno real.

La solución de este papel:
Ellos crean un sistema que inventa las fotos usando un "chef de IA" (llamado Stable Diffusion), pero con un truco especial:

• El truco de las "Prompts Múltiples": En lugar de darle al chef una sola instrucción simple como "una foto de un gato", le enseñan a crear muchas versiones diferentes de la misma instrucción.
  • La analogía: En vez de decirle al chef: "Haz un gato", le dicen: "Haz un gato durmiendo en el sol", "Haz un gato saltando", "Haz un gato con un sombrero", "Haz un gato en la lluvia".
• El "Profesor Fantasma": Como no tienen fotos reales para corregir al chef, usan al genio original (el modelo completo) como profesor. El genio original mira las fotos inventadas y dice: "¡Eso sí parece un gato!". Si el chef inventa un perro, el genio lo corrige.
• El resultado: Las fotos inventadas son tan variadas y realistas que el genio comprimido aprende tan bien como si hubiera visto fotos reales. ¡Es como si el chef hubiera cocinado con ingredientes imaginarios que saben exactamente igual a los reales!

En resumen, ¿qué logran?

1. Hacen el modelo más pequeño y rápido: Logran comprimir modelos de visión por computadora a tamaños ridículamente pequeños (incluso 3 bits) sin que dejen de funcionar bien.
2. No necesitan fotos reales: Pueden entrenar estos modelos pequeños usando solo fotos generadas por IA, lo cual es genial si no tienes datos o si los datos son privados.
3. Es rápido y eficiente: Todo el proceso tarda menos de una hora en una sola computadora.

La metáfora final:
Imagina que quieres llevar a un orquesta sinfónica completa (el modelo grande) dentro de una caja de zapatos (el dispositivo móvil).

• Los métodos antiguos intentaban cortar la orquesta en secciones y guardarlas por separado, pero la música sonaba mal.
• Este nuevo método reorganiza toda la orquesta para que toque perfecta en un espacio pequeño.
• Además, si no tienes las partituras originales (las fotos reales), inventa nuevas partituras que suenan tan bien que nadie nota la diferencia.

¡Es una forma inteligente de hacer que la inteligencia artificial sea más ligera, rápida y accesible para todos!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Joint Post-Training Quantization of Vision Transformers with Learned Prompt-Guided Data Generation" en español.

1. El Problema

Los Vision Transformers (ViT) han demostrado un rendimiento excepcional en tareas de reconocimiento visual, pero su despliegue en dispositivos con recursos limitados (edge) es difícil debido a su alto costo computacional y de memoria. La cuantización es una solución clave, pero presenta desafíos específicos para los ViT:

• Dependencias Inter-bloque: A diferencia de las CNN, los ViT tienen fuertes dependencias entre bloques de atención. Los métodos de cuantización post-entrenamiento (PTQ) tradicionales que optimizan capa por capa o bloque por bloque (reconstrucción aislada) fallan porque ignoran estas correlaciones globales.
• Distribuciones de Activación Complejas: Las activaciones en ViT son altamente no gaussianas, con valores atípicos (outliers) significativos y variaciones de magnitud entre canales, lo que rompe los supuestos de los cuantizadores estándar.
• Limitaciones de los Métodos Actuales: Las técnicas existentes (como SmoothQuant o RepQ-ViT) a menudo requieren reentrenamiento con datos etiquetados (QAT) o se estancan en objetivos locales rígidos, fallando en configuraciones de bits extremadamente bajos (ej. pesos ternarios W1.58).
• Dependencia de Datos Reales: La mayoría de los métodos PTQ requieren un conjunto de calibración con datos reales (ImageNet), lo cual es problemático por privacidad o disponibilidad. Los métodos "data-free" actuales suelen generar imágenes sintéticas con poca diversidad o errores semánticos al usar prompts de texto simples.

2. Metodología Propuesta

Los autores proponen un marco de trabajo de cuantización post-entrenamiento (PTQ) de extremo a extremo que optimiza conjuntamente todos los parámetros del modelo sin necesidad de datos etiquetados.

A. Optimización Conjunta de Extremo a Extremo

En lugar de reconstruir bloques de forma secuencial, el método optimiza globalmente todo el conjunto de capas y dependencias inter-bloque:

• Parámetros Optimizables: Se aprenden simultáneamente los tamaños de paso (step sizes), puntos cero (zero-points), factores de reescalado por canal y pesos de refinamiento.
• Reescalado por Canal (Channel-Wise Rescaling): Inspirado en SmoothQuant y RepQ-ViT, se introducen vectores de escala ($\alpha$) y desplazamiento ($\beta$) aprendibles para suavizar el rango dinámico de las activaciones antes de la cuantización, redistribuyendo la dificultad de cuantización de las activaciones a los pesos.
• Función de Pérdida: Se utiliza una pérdida de destilación que combina:
  1. Reconstrucción de características intermedias (MSE) entre el modelo de precisión completa y el cuantizado.
  2. Divergencia KL (Kullback-Leibler) en las logits finales para alinear las distribuciones de predicción.
  3. Regularización L1 en los pesos de refinamiento.
• Eficiencia: El proceso converge en aproximadamente 1 hora para ViT-Small en una sola GPU.

B. Estrategia de Calibración "Data-Free" con Prompts Aprendidos

Para eliminar la dependencia de datos reales, proponen una estrategia de síntesis de datos basada en Stable Diffusion Turbo:

• Prompts Multi-Modo Aprendidos: En lugar de usar plantillas de texto fijas (ej. "una foto de "), el método aprende automáticamente múltiples embeddings de prompts (20 tokens) para cada una de las 1,000 clases de ImageNet.
• Objetivos de Entrenamiento: Los prompts se optimizan mediante:
  1. Pérdida de Clasificación: Un ViT preentrenado y congelado guía la generación para asegurar que las imágenes sintéticas sean clasificadas correctamente.
  2. Regularización de Diversidad: Se imponen pérdidas de ortogonalidad en los embeddings de texto y pérdidas de varianza en las imágenes generadas, mapas de atención y características del ViT. Esto asegura que los prompts generen variaciones semánticas, de fondo y de estilo, evitando colapsos en una sola interpretación.
• Resultado: Se generan muestras sintéticas diversas que aproximan la distribución de activaciones de los datos reales de ImageNet.

3. Contribuciones Clave

1. Marco PTQ de Extremo a Extremo: Primer enfoque que optimiza globalmente todas las capas y dependencias de ViT sin datos etiquetados, logrando estabilidad y precisión en configuraciones de bits extremadamente bajos.
2. Estrategia de Calibración Generativa: Introducción de una técnica "data-free" que utiliza prompts aprendidos (no manuales) dentro de Stable Diffusion Turbo para generar datos de calibración semánticamente correctos y diversos.
3. Rendimiento en Bits Ultra-Bajos: Logran resultados de cuantización W1.58A8 (pesos ternarios) en ViT, DeiT y Swin-T, algo que ningún método PTQ anterior había logrado con éxito.
4. Eficiencia Computacional: El proceso completo es rápido (1-2.5 horas en una GPU) y escala bien con el tamaño del conjunto de calibración.

4. Resultados Experimentales

Los experimentos se realizaron en ImageNet-1K con modelos ViT-S, DeiT-S y Swin-T:

• Precisión de Estado del Arte (SOTA):
  • En configuración W4A4, el método supera a los enfoques anteriores (RepQ-ViT, FIMA-Q, APHQ-ViT) en todos los modelos.
  • En configuración W1.58A8 (extremadamente baja), los métodos existentes fallan o colapsan (precisión < 50% o 0%), mientras que el método propuesto mantiene una precisión robusta (ej. 68.45% en ViT-S con datos reales y 63.71% con datos sintéticos).
• Datos Reales vs. Sintéticos:
  • La calibración con datos sintéticos generados por los prompts aprendidos solo reduce la precisión en un 1-2% en comparación con el uso de 10,000 imágenes reales de ImageNet.
  • Los prompts aprendidos superan significativamente a las plantillas de texto simples (ej. +3.6% en W1.58A8).
• Análisis de Diversidad: Las visualizaciones t-SNE muestran que las características de las imágenes generadas con prompts aprendidos se distribuyen más ampliamente y se alinean mejor con la variedad de los datos reales de ImageNet que las generadas con prompts básicos.

5. Significado e Impacto

Este trabajo es fundamental para el despliegue eficiente de Vision Transformers en el borde (edge computing):

• Viabilidad de Bits Bajos: Demuestra que la cuantización agresiva (incluso ternaria) es posible en arquitecturas Transformer sin reentrenamiento costoso.
• Independencia de Datos: La capacidad de calibrar modelos sin acceso a datos reales de entrenamiento resuelve problemas críticos de privacidad y disponibilidad de datos.
• Generalización: El enfoque es aplicable a diversas arquitecturas (ViT, DeiT, Swin) y supera las limitaciones de los métodos basados en reconstrucción de bloques aislados, estableciendo un nuevo estándar para la cuantización de transformadores visuales.