Selective Coupling of Decoupled Informative Regions: Masked Attention Alignment for Data-Free Quantization of Vision Transformers

Resumo Técnico: Alinhamento de Atenção Mascarada para Quantização Livre de Dados de Vision Transformers

Definição do Problema
A Quantização Livre de Dados (DFQ - Data-Free Quantization) visa comprimir modelos Vision Transformers (ViTs) pré-treinados de precisão total em modelos quantizados sem o acesso aos dados de treinamento originais, abordando preocupações críticas de privacidade e segurança de dados. Embora a DFQ tenha demonstrado sucesso com Redes Neurais Convolucionais (CNNs) ao aproveitar as estatísticas de Normalização de Lote (Batch Normalization), sua migração para ViTs enfrenta desafios significativos. Os ViTs dependem de Normalização de Camada (Layer Normalization) e mecanismos de autoatenção, carecendo das propriedades distributivas estáveis encontradas em CNNs. Consequentemente, os métodos de DFQ existentes para ViTs frequentemente geram amostras sintéticas que sofrem de dispersão semântica (onde a semântica está espalhada por toda a imagem em vez de formar estruturas coerentes) e disparidade de atenção (onde o modelo quantizado $Q$ falha em alinhar seus mapas de atenção com o modelo de precisão total $P$, particularmente devido à ausência de regiões discriminativas). Esses problemas levam a uma calibração subótima e à degradação do desempenho, especialmente em configurações de precisão ultra-baixa (ex: 3 bits).

Metodologia: MaskAQ
Os autores propõem o MaskAQ, uma abordagem inovadora que reformula a DFQ para ViTs através de uma perspectiva de Gargalo de Informação (Information Bottleneck - IB). O insight central é que a semântica da autoatenção não é distribuída uniformemente, mas concentrada em um subconjset esparso de patches denominado Regiões Informativas (IR - Informative Regions). O MaskAQ visa desacoplar essas IRs de fundos ruidosos e alinhá-las com o modelo quantizado $Q$. O método consiste em três componentes principais:

1. Desacoplamento de Regiões Informativas:
   Para abordar a dispersão semântica, o MaskAQ separa os patches informativos do fundo. Ele define as IRs com base nos pesos de atenção e emprega uma estratégia de maximização da entropia diferencial sobre a similaridade de patches. Ao maximizar a entropia da distribuição de similaridade entre os vetores de atenção, o método incentiva padrões de atenção diversos, prevenindo o colapso da atenção e garantindo uma separação clara entre os patches semanticamente críticos e os fundos ruidosos. Isso é formulado como um regularizador ($L_{fb}$) que promove a coerência estrutural nas amostras sintéticas.

2. Acoplamento de Atenção Mascarada:
   Para abordar a disparidade de atenção, o MaskAQ introduz um mecanismo de máscara adaptativa. Em vez de alinhar mapas de atenção completos (que podem regular excessivamente o fundo irrelevante), o método constrói uma máscara binária para selecionar um subconjunto estrito de patches informativos. Um objetivo de alinhamento de atenção mascarada ($L_{align}$) é então usado para minimizar a diferença entre os mapas de atenção de $P$ e $Q$ apenas dentro dessas regiões selecionadas. Isso garante que as amostras sintéticas foquem nas regiões semânticas específicas que $Q$ precisa aprender, preenchendo a lacuna entre os dois modelos sem ser induzido pelo ruído de quantização em áreas não informativas.

3. Atualização Periódica de Amostras:
   Reconhecendo que o estado do modelo quantizado $Q$ evolui durante o processo de calibração, as amostras sintéticas iniciais podem tornar-se desalinhadas com a capacidade atual de $Q$. O MaskAQ emprega uma estratégia de atualização periódica, onde as amostras sintéticas são regeneradas em intervalos fixos ao longo do treinamento. Isso permite que o método se adapte continuamente ao estado evolutivo de $Q$, preservando a informação mútua desejável entre as amostras e as saídas do modelo.

Principais Contribuições

• Identificação de Gargalos Críticos: O artigo identifica explicitamente a dispersão semântica e a disparidade de atenção como as principais razões para a lacuna de desempenho nos métodos atuais de DFQ para ViT, particularmente sob precisão ultra-baixa.
• Perspectiva de Gargalo de Informação: Os autores mudam o objetivo da DFQ de meramente aproximar distribuições de dados reais para preservar a informação mútua crucial necessária para calibrar $Q$. Eles fornecem garantias teóricas (Teoremas 1 e 2) demonstrando que alinhar $P$ e $Q$ em regiões informativas é suficiente para manter o poder preditivo.
• Arquitetura Inovadora (MaskAQ): A integração do desacoplamento de região baseado em entropia diferencial, acoplamento de atenção mascarada adaptativa e atualização periódica cria um pipeline robusto para síntese de amostras de alta qualidade.
• Avaliação Abrangente: O método é validado em múltiplos backbones (ViT, DeiT, Swin Transformer) e tarefas de downstream (classificação, detecção de objetos, segmentação semântica).

Resultados Experimentais
Experimentos extensos no conjunto de dados ImageNet demonstram que o MaskAQ supera abordagens de estado da arte (incluindo MimiQ, PSAQ-ViT V2 e CLAMP-ViT) em várias larguras de bits.

• Classificação: Sob quantização de 3 bits (3w3a), o MaskAQ alcança até 3,1% de ganho de precisão Top-1 sobre o MimiQ no DeiT-T. Em configurações de 4 bits, ele melhora consistentemente a precisão por margens que variam de 1,4% a mais de 7% em comparação aos concorrentes.
• Tarefas de Downstream: O método também mostra desempenho superior em tarefas de detecção de objetos (COCO) e segmentação semântica (ADE20K), confirmando sua generalização além da classificação.
• Estudos de Ablação: Remover qualquer um dos três componentes principais (regularizador de entropia, alinhamento mascarado ou atualização de amostra) leva a quedas significativas de desempenho, validando a necessidade de cada módulo.

Significância
O artigo afirma que o MaskAQ representa um avanço significativo no campo da Quantização Livre de Dados para Vision Transformers. Ao ir além do simples pareamento de distribuição para focar no acoplamento seletivo de regiões informativas desacopladas, o método mitiga efetivamente os desafios únicos impostos pelas arquiteturas ViT. A capacidade de manter alta precisão em cenários de precisão ultra-baixa (3 bits) sem acesso a dados reais é destacada como um passo crucial para a implantação de ViTs seguros e eficientes em dispositivos de borda com recursos limitados. O trabalho ressalta que preservar a informação mútua específica entre as amostras sintéticas e a saída do modelo quantizado é mais crítico do que gerar imagens visualmente perfeitas.