Resumo Técnico: Decaimento de Colinearidade para Vision Transformers Amigáveis à Quantização

1. Declaração do Problema

A quantização de baixa precisão é uma estratégia crítica para implantar Vision Transformers (ViTs) em ambientes com recursos limitados. No entanto, a implantação totalmente quantizada é prejudicada por outliers de ativação — um pequeno número de canais ou tokens que exibem valores significativamente maiores do que o restante. Esses outliers forçam escalas de quantização grosseiras, degradando a precisão efetiva para a maioria das ativações.

As abordagens existentes geralmente se enquadram em duas categorias:

1. Métodos pós-treinamento: Calibração, reparametrização de escala ou técnicas de reconstrução aplicadas após o treinamento do modelo de precisão total.
2. Supressão durante o treinamento: Métodos que suprimem agressivamente grandes ativações durante o treinamento (por exemplo, TWEO [23]) para estabilizar a otimização de baixa precisão.

Os autores argumentam que a segunda abordagem possui uma falha crítica: minimizar agressivamente outliers pode prejudicar a representação aprendida pelo modelo de precisão total, levando a um compromisso subótimo entre a precisão de precisão total (FP) e a precisão quantizada. Além disso, a regularização direta de ativação frequentemente incorre em sobrecarga significativa de treinamento. O artigo postula que o objetivo de treinamento não deve simplesmente minimizar a magnitude do outlier, mas sim controlar o amplificação estrutural que torna esses outliers prejudiciais à quantização.

2. Metodologia: Decaimento de Colinearidade (CD)

O método proposto, Decaimento de Colinearidade (CD), é um regularizador estrutural projetado para mitigar a amplificação de ativações sem alterar a arquitetura do modelo ou a perda de tarefa.

2.1 Fonte Estrutural dos Outliers

Os autores identificam que grandes ativações frequentemente surgem não de matrizes individuais, mas do alinhamento entre pares de matrizes ordenadas $(W_1, W_2)$ no fluxo de dados.

• Seja $W_1 = USV^\top$ a SVD de uma matriz a montante.
• Se uma linha da matriz a jusante $W_2$ alinhar-se com um vetor singular esquerdo dominante de $W_1$ (associado a um valor singular grande), a saída é amplificada.
• O decaimento de peso padrão regulariza matrizes independentemente e falha em penalizar esse alinhamento entre matrizes.

2.2 O Regularizador

O CD penaliza a energia par a par $\|W_2 W_1\|_F^2$. Este termo é grande quando as linhas de $W_2$ colocam massa em direções de alto valor singular de $W_1$.

• Pares Alvo: O CD aplica-se a pares específicos dentro dos blocos do Transformer:
  • Pares Compostos: Escalas de normalização seguidas por projeções (por exemplo, escalas de LayerNorm e $W_Q, W_K, W_V$ ou $W_{F1}$).
  • Pares Funcionais: Matrizes separadas por não-linearidades, mas que formam uma rota funcional (por exemplo, $W_V \to W_O$ em atenção, e $W_{F1} \to W_{F2}$ em FFN).
• Atualização Desacoplada: Em vez de adicionar uma perda auxiliar ao gráfico de treinamento (o que aumenta a complexidade de memória e tempo), o CD é implementado como uma atualização de peso desacoplada. Após o cálculo dos gradientes de tarefa, a matriz a jusante $W_2$ é atualizada como:
  $$W_2 \leftarrow W_2 - \eta \lambda_{cd} W_2 W_1 W_1^\top$$
  Esta atualização reduz as linhas de $W_2$ ao longo das direções de alto valor singular de $W_1$. Os autores provam que essa direção de gradiente forma um ângulo não-obtuso com o decaimento de peso padrão, garantindo que sejam cooperativos.

2.3 Detalhes de Implementação

• O CD é aplicado apenas à matriz a jusante em cada par para evitar decaimento redundante.
• O orçamento de regularização é gerenciado reduzindo o coeficiente padrão de decaimento de peso ($\lambda_{wd}$) para acomodar $\lambda_{cd}$, mantendo a força total de regularização comparável à linha de base.
• O método é não invasivo, preservando o gráfico de inferência e a arquitetura.

3. Contribuições Principais

1. Insight Empírico: Os autores demonstram que manter outliers em uma "faixa adequada" é benéfico. A supressão agressiva (reduzir as ativações máximas para valores muito baixos) prejudica a precisão FP e, consequentemente, o desempenho quantizado.
2. Regularização Estrutural: Eles identificam o alinhamento excessivo entre matrizes como uma fonte estrutural de outliers e introduzem o CD, um regularizador não invasivo com sobrecarga negligenciável.
3. Ortogonalidade: O CD é ortogonal aos pipelines de quantização existentes e a métodos de mitigação de outliers arquitetônicos (por exemplo, sumidouros de atenção), permitindo uso combinado.
4. Validação Abrangente: O CD é validado em pré-treinamento ImageNet-1K, detecção COCO e nove tarefas de ajuste fino a jusante.

4. Resultados Experimentais

4.1 Pré-treinamento ImageNet-1K

• Precisão Quantizada: O CD melhora consistentemente a precisão quantizada W4A4 (RepQ-ViT e APHQ) em comparação com linhas de base e TWEO. Por exemplo, no ViT-B, o CD alcança 77,78% (RepQ-ViT) versus 76,47% (Linha de Base) e 73,86% (TWEO).
• Precisão de Precisão Total: O CD preserva ou melhora ligeiramente a precisão Top-1 FP (81,63% versus 81,44% da Linha de Base).
• Controle de Outliers: O CD reduz significativamente as ativações máximas (por exemplo, de 250,60 para 162,44 em blocos), mas não tão agressivamente quanto o TWEO (18,56), apoiando a hipótese de que o controle moderado é ótimo.

4.2 Detecção COCO

• O CD melhora substancialmente o desempenho do detector quantizado (mAP), mantendo ou melhorando ligeiramente o desempenho FP.
• Em contraste, as linhas de base TWEO e Noise frequentemente incorrem em quedas de precisão FP.
• O CD mostra ganhos consistentes em diferentes pipelines de quantização (Percentil, RepQ-ViT, APHQ, GPLQ) e tamanhos de modelo (Swin-T, Swin-S).

4.3 Ajuste Fino a Jusante

• Em nove conjuntos de dados (incluindo Flores, Animais Domésticos, Carros, etc.), o CD produz a melhor precisão FP média, a melhor precisão quantizada média e a menor queda média de precisão em comparação com a Linha de Base e o TWEO.
• Isso confirma que controlar as ativações para uma faixa razoável é mais eficaz do que minimizá-las o máximo possível.

4.4 Eficiência

• Sobrecarga: Como uma atualização desacoplada, o CD adiciona sobrecarga mínima de tempo e memória. Em contraste, a perda de regularização de ativação do TWEO escala linearmente com o tamanho do lote e a dimensão oculta, incorrendo em custos significativamente mais altos.

4.5 Estudos de Ablação

• Força: Uma força moderada de CD ($\lambda_{cd} = 0,005$) produz os melhores resultados; muito forte ou muito fraco é subótimo.
• Forma: A forma de atualização desacoplada supera uma implementação direta de termo de perda, que foi encontrada instável.
• Alvo: Aplicar o CD à segunda matriz em ambos os pares compostos e funcionais produz os melhores resultados. Aplicá-lo a ambas as matrizes em um par funcional degrada o desempenho.

5. Significado e Alegações

O artigo alega que a regularização estrutural de pares de matrizes do Transformer é uma maneira prática e eficaz de preparar modelos de visão para implantação de baixa precisão.

• Sobrecarga Zero de Inferência: Como o CD modifica apenas a dinâmica de treinamento, a arquitetura e a latência de inferência permanecem inalteradas.
• Melhor Compromisso: Ao evitar a supressão agressiva de outliers que prejudica representações de precisão total, o CD alcança um equilíbrio superior entre precisão FP e quantizada.
• Generalizabilidade: Embora focado em ViTs, o método é definido em pares de matrizes ordenadas e mostra promessa inicial em modelos de linguagem GPT-2 (Apêndice A.6), sugerindo aplicabilidade além da visão.

Os autores concluem que, em vez de tratar outliers como um problema a ser eliminado, eles devem ser vistos como uma quantidade diagnóstica onde o objetivo é controlar os mecanismos estruturais (alinhamento entre matrizes) que os amplificam para níveis prejudiciais.