Selective Coupling of Decoupled Informative Regions: Masked Attention Alignment for Data-Free Quantization of Vision Transformers

Resumen Técnico: Alineación de Atención Enmascarada para la Cuantización Libre de Datos de Vision Transformers

Planteamiento del Problema
La Cuantización Libre de Datos (DFQ, por sus siglas en inglés) tiene como objetivo comprimir modelos de Vision Transformers (ViTs) pre-entrenados de precisión completa en modelos cuantizados sin acceso a los datos originales de entrenamiento, abordando preocupaciones críticas de privacidad y seguridad de los datos. Aunque la DFQ ha mostrado éxito con las Redes Neuronales Convolucionales (CNN) aprovechando las estadísticas de la Normalización por Lotes (Batch Normalization), su migración a los ViTs enfrenta desafíos significativos. Los ViTs dependen de la Normalización de Capa (Layer Normalization) y mecanismos de autoatención, careciendo de los priors distributivos estables que se encuentran en las CNN. En consecuencia, los métodos de DFQ existentes para ViTs suelen generar muestras sintéticas que sufren de dispersión semántica (donde las semánticas están dispersas por toda la imagen en lugar de formar estructuras coherentes) y disparidad de atención (donde el modelo cuantizado $Q$ no logra alinear sus mapas de atención con el modelo de precisión completa $P$, particularmente debido a la ausencia de regiones discriminativas). Estos problemas conducen a una calibración subóptima y a una degradación del rendimiento, especialmente en configuraciones de precisión ultra baja (p. ej., 3 bits).

Metodología: MaskAQ
Los autores proponen MaskAQ, un enfoque novedoso que redefine la DFQ para ViTs a través de la perspectiva de la Cuota de Información (IB, Information Bottleneck). La idea central es que la semántica de la autoatención no está distribuida uniformemente, sino concentrada en un subconjunto disperso de parches denominado Regiones Informativas (IR). MaskAQ busca desacoplar estas IRs de los fondos ruidosos y alinearlas con el modelo cuantizado $Q$. El método consta de tres componentes principales:

1. Desacoplamiento de Regiones Informativas:
   Para abordar la dispersión semántica, MaskAQ separa los parches informativos del fondo. Define las IRs basándose en los pesos de atención y emplea una estrategia de maximización de la entropía diferencial sobre la similitud de los parches. Al maximizar la entropidad de la distribución de similitud entre los vectores de atención, el método fomenta patrones de atención diversos, evitando el colapso de la atención y asegurando una separación clara entre los parches semánticamente críticos y los fondos ruidosos. Esto se formula como un regularizador ($L_{fb}$) que promueve la coherencia estructural en las muestras sintéticas.

2. Acoplamiento de Atención Enmascarada:
   Para abordar la disparidad de atención, MaskAQ introduce un mecanismo de enmascaramiento adaptativo. En lugar de alinear mapas de atención completos (que pueden sobre-regularizar el fondo irrelevante), el método construye una máscara binaria para seleccionar un subconjunto estricto de parches informativos. Se utiliza entonces un objetivo de alineación de atención enmascarada ($L_{align}$) para minimizar la diferencia entre los mapas de atención de $P$ y $Q$ únicamente dentro de estas regiones seleccionadas. Esto asegura que las muestras sintéticas se centren en las regiones semánticas específicas que $Q$ necesita aprender, cerrando la brecha entre los dos modelos sin dejarse confundir por el ruido inducido por la cuantización en las áreas no informativas.

3. Actualización Periódica de Muestras:
   Reconociendo que el estado del modelo cuantizado $Q$ evoluciona durante el proceso de calibración, las muestras sintéticas iniciales pueden quedar desalineadas con las capacidades actuales de $Q$. MaskAQ emplea una estrategia de actualización periódica, donde las muestras sintéticas se regeneran en intervalos fijos durante el entrenamiento. Esto permite que el método se adapte continuamente al estado evolutivo de $Q$, preservando la información mutua deseable entre las muestras y las salidas del modelo.

Contribuciones Clave

• Identificación de Cuellos de Botella Críticos: El artículo identifica explícitamente la dispersión semántica y la disparidad de atención como las razones primarias de la brecha de rendimiento en los métodos de DFQ para ViT existentes, particularmente bajo precisión ultra baja.
• Perspectiva de Cuota de Información: Los autores cambian el objetivo de la DFQ de simplemente aproximar las distribuciones de datos reales a preservar la información mutua crucial requerida para calibrar $Q$. Proporcionan garantías teóricas (Teoremas 1 y 2) demostrando que alinear $P$ y $Q$ en regiones informativas es suficiente para mantener el poder predictivo.
• Arquitectura Novedosa (MaskAQ): La integración del desacoplamiento de regiones basado en entropía diferencial, el acoplamiento de atención enmascarada adaptativa y la actualización periódica crea un flujo de trabajo robusto para la síntesis de muestras de alta calidad.
• Evaluación Exhaustiva: El método es validado a través de múltiples backbones (ViT, DeiT, Swin Transformer) y tareas de downstream (clasificación, detección de objetos, segmentación semántica).

Resultados Experimentales
Experimentos extensos en el conjunto de datos ImageNet demuestran que MaskAQ supera a los enfoques de vanguardia (incluyendo MimiQ, PSAQ-ViT V2 y CLAMP-ViT) en varios anchos de bits.

• Clasificación: Bajo cuantización de 3 bits (3w3a), MaskAQ logra una ganancia de hasta un 3.1% en la precisión Top-1 sobre MimiQ en DeiT-T. En configuraciones de 4 bits, mejora consistentemente la precisión con márgenes que van desde 1.4% hasta más de 7% comparado con sus competidores.
• Tareas de Downstream: El método también muestra un rendimiento superior en tareas de detección de objetos (COCO) y segmentación semántica (ADE20K), confirmando su generalizabilidad más allá de la clasificación.
• Estudios de Ablación: Eliminar cualquiera de los tres componentes principales (regularizador de entropía, alineación enmascarada o actualización de muestras) provoca caídas significativas en el rendimiento, validando la necesidad de cada módulo.

Significancia
El artículo afirma que MaskAQ representa un avance significativo en el campo de la Cuantización Libre de Datos para Vision Transformers. Al ir más allá del simple emparejamiento de distribuciones para centrarse en el acoplamiento selectivo de regiones informativas desacopladas, el método mitiga eficazmente los desafíos únicos planteados por las arquitecturas ViT. La capacidad de mantener una alta precisión en escenarios de precisión ultra baja (3 bits) sin acceso a datos reales se destaca como un paso crucial hacia el despliegue de ViTs seguros y eficientes en dispositivos de borde con recursos limitados. El trabajo subraya que preservar la información mutua específica entre las muestras sintéticas y la salida del modelo cuantizado es más crítico que generar imágenes visualmente perfectas.