⚡ electrical engineering

Discrete Cosine Transform Based Decorrelated Attention for Vision Transformers

Este artigo propõe dois métodos baseados na Transformada Cosseno Discreta (DCT) para Vision Transformers: uma estratégia de inicialização que preserva a estrutura para projeções de autoatenção, melhorando a precisão de classificação, e uma técnica de compressão no domínio da frequência que reduz a sobrecarga computacional ao truncar ruídos de alta frequência sem sacrificar o desempenho.

Autores originais: Hongyi Pan, Emadeldeen Hamdan, Xin Zhu, Ahmet Enis Cetin, Ulas Bagci

Publicado 2026-05-04

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Hongyi Pan, Emadeldeen Hamdan, Xin Zhu, Ahmet Enis Cetin, Ulas Bagci

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um Vision Transformer (ViT) como um estudante superinteligente tentando aprender a reconhecer objetos em uma imagem. Para isso, o estudante divide a imagem em minúsculas peças de quebra-cabeça (patches) e observa como elas se relacionam entre si. A parte do cérebro que faz esse "olhar e conectar" é chamada de Auto-Atenção.

O artigo de Hongyi Pan e colegas sugere que esse estudante está atualmente começando seus estudos com alguns maus hábitos: ele está adivinhando aleatoriamente no início e tentando lembrar cada minúsculo detalhe, até mesmo o ruído estático. Os autores propõem duas soluções simples usando uma ferramenta matemática chamada Transformada Discreta de Cosseno (DCT) — a mesma matemática usada para comprimir imagens JPEG e arquivos MP3.

Veja como funcionam seus dois novos métodos, explicados com analogias do cotidiano:

1. O "Início Inteligente" (Inicialização Baseada em DCT)

O Problema:
Geralmente, quando um Vision Transformer começa o treinamento, ele atribui números aleatórios às suas "células cerebrais" (pesos) para descobrir o que observar. É como dar a um novo estudante uma pilha de cartões de memória em branco e dizer para ele adivinhar o que há do outro lado. Ele precisa começar do zero, o que leva muito tempo e pode ser instável.

A Solução:
Os autores dizem: "Vamos dar ao estudante uma vantagem inicial." Em vez de números aleatórios, eles inicializam as células cerebrais usando uma matriz DCT.

A Analogia: Imagine que o cérebro do estudante é um sintonizador de rádio. A inicialização aleatória é como girar o dial até o ruído estático. A inicialização com DCT é como sintonizar o rádio em uma estação específica e clara logo de cara.
Como funciona: A matriz DCT é composta por padrões específicos (como diferentes notas musicais ou cores) que cobrem todo o espectro de possibilidades. Ao começar com esses padrões, o modelo não precisa "adivinhar" quais características existem; ele começa com uma visão estruturada e organizada do mundo.
O Resultado: O modelo aprende mais rápido e fica melhor em reconhecer coisas (como gatos ou carros) porque começou com uma base "limpa" e organizada, em vez de ruído aleatório.

2. O "Filtro de Ruído" (Compressão Baseada em DCT)

O Problema:
Quando o modelo observa uma imagem, ele tenta processar cada detalhe individual. No entanto, no mundo dos sinais (como imagens), a informação mais importante geralmente está nas "baixas frequências" (as grandes formas e cores principais), enquanto as "altas frequências" são frequentemente apenas detalhes minúsculos e irregulares ou ruído (como granulação em uma foto).

A Analogia: Imagine que você está tentando descrever uma paisagem para um amigo. Você fala sobre as montanhas, o rio e as árvores (as coisas importantes). Mas então você também gasta 10 minutos descrevendo cada fio de grama e cada partícula de poeira em uma pedra (o ruído). É um desperdício de tempo e energia.

A Solução:
Os autores propõem uma maneira de "cortar a gordura" antes que o modelo faça seu pensamento pesado.

A Analogia: Eles usam a DCT para traduzir a imagem em um "relatório de frequências". Em seguida, simplesmente cortam os 25% a 75% superiores do relatório, descartando o ruído de alta frequência.
Como funciona: O modelo mantém apenas os coeficientes de "baixa frequência" (as formas importantes) e ignora o resto. Isso torna os dados muito menores.
O Resultado: O modelo torna-se muito mais leve e rápido (exigindo menos poder de computação e memória) porque não está desperdiçando energia com o ruído. Surpreendentemente, o artigo descobriu que, mesmo com menos dados, a precisão do modelo permaneceu a mesma ou até melhorou ligeiramente, porque ele estava focando nas coisas certas.

A Conclusão

O artigo afirma que, ao usar esses dois truques de DCT:

Inicialização: O modelo começa com um "mapa" melhor do mundo, levando a uma maior precisão em testes como a identificação de objetos no CIFAR-10 e ImageNet.
Compressão: O modelo pode ignorar o "ruído estático" visual, tornando-o mais rápido e usando menos memória sem perder sua capacidade de ver claramente.

Os autores testaram isso em tarefas padrão de reconhecimento de imagem e descobriram que seus modelos "DCT-Transformer" eram mais eficientes e, muitas vezes, mais precisos do que as versões padrão, provando que, às vezes, um pouco de estrutura matemática vai longe.

1. Declaração do Problema

Os Vision Transformers (ViTs) revolucionaram a visão computacional ao aplicar mecanismos de autoatenção a patches de imagem. No entanto, dois desafios críticos permanecem:

Sensibilidade à Inicialização: A abordagem padrão inicializa as matrizes de projeção de consulta ( $W_Q$ ), chave ( $W_K$ ) e valor ( $W_V$ ) com números aleatórios (por exemplo, inicialização Xavier ou He). Isso trata os pesos como "ruído branco", cobrindo o espectro uniformemente, mas carecendo de conhecimento prévio estrutural. Isso pode levar a dinâmicas de treinamento instáveis, especialmente em conjuntos de dados pequenos, e requer recursos computacionais significativos para convergir.
Eficiência Computacional: Os mecanismos de autoatenção são computacionalmente caros (complexidade $O(N^2)$ em relação ao comprimento da sequência e altos contagens de parâmetros). Os métodos de compressão existentes frequentemente sacrificam a precisão ou falham em explorar as estruturas de correlação específicas inerentes aos dados visuais e às matrizes de atenção.

2. Metodologia

Os autores propõem dois métodos complementares que aproveitam a Transformada Discreta de Cosseno (DCT) para abordar essas questões:

A. Inicialização Baseada em DCT

Em vez da inicialização aleatória, os autores propõem inicializar uma das matrizes de pesos de projeção ( $W_Q$ , $W_K$ ou $W_V$ ) usando a matriz DCT ortogonal do Tipo-II.

Mecanismo: A matriz DCT serve como um extrator de características estruturado. Diferentemente dos pesos aleatórios, que são ruído não correlacionado, os vetores de base DCT cobrem todo o espectro de frequências sistematicamente.
Racional:
- Cobertura Espectral: A inicialização aleatória começa com todos os vetores de peso tendo a mesma distribuição espectral. A inicialização DCT garante que cada vetor de peso cubra uma faixa de frequência diferente (de baixa a alta frequência), fornecendo um ponto de partida mais robusto para aprender características diversas.
- Descorrelação: Os vetores de base DCT aproximam a Transformada de Karhunen-Loève (KLT) para sinais altamente correlacionados (como imagens naturais), efetivamente descorrelacionando as características de entrada no início do treinamento.
Implementação: Apenas uma matriz é inicializada com DCT para evitar problemas de simetria de pesos (onde a inicialização idêntica de múltiplas matrizes leva a um aprendizado deficiente). As demais permanecem inicializadas aleatoriamente.

B. Atenção Comprimida Baseada em DCT

Este método explora o domínio da frequência para reduzir a dimensionalidade e o custo computacional.

Mecanismo:
1. Transformação: Os patches de entrada são transformados para o domínio da frequência usando DCT ao longo do eixo do canal.
2. Truncamento: Componentes de alta frequência (que tipicamente correspondem a ruído e detalhes menos críticos) são truncados. Apenas a fração superior $\tau$ dos coeficientes (por exemplo, 25%, 50%, 75%) é mantida.
3. Projeção: As projeções de Consulta, Chave e Valor são computadas neste tensor de dimensão reduzida ( $\tau C$ em vez de $C$ ).
4. Reconstrução: A saída da atenção é preenchida de volta para a dimensão original e transformada de volta via Transformada Discreta de Cosseno Inversa (IDCT).
Otimização: A IDCT e a camada linear de saída final ( $L_O$ ) são fundidas em uma única camada linear para eliminar operações redundantes, pois não há não-linearidade entre elas.
Eficiência: Isso reduz a complexidade computacional das camadas lineares de $O(C^3)$ para $O(\tau^2 C^3)$ e reduz significativamente o tamanho da matriz Softmax.

3. Contribuições Principais

Estratégia de Inicialização Novel: Introduziu a primeira inicialização baseada em DCT para pesos de atenção ViT, demonstrando que priores estruturados no domínio da frequência superam a inicialização aleatória.
Compressão Eficiente: Propôs uma técnica de compressão baseada em DCT que reduz parâmetros e FLOPs ao descartar ruído de alta frequência, preservando informações semânticas essenciais de baixa frequência.
Justificativa Teórica: Forneceu um vínculo matemático entre DCT e a descorrelação de patches de imagem altamente correlacionados (aproximando KLT), explicando por que DCT é superior a ruído aleatório ou pooling simples para compressão de atenção.
Avaliação Abrangente: Validou os métodos em múltiplas arquiteturas (Swin-T, Swin-S, ViT-B) e tarefas (Classificação, Detecção, Segmentação).

4. Resultados Experimentais

Os métodos foram avaliados nos benchmarks CIFAR-10, ImageNet-1K e COCO 2017 usando Transformers Swin como backbone.

Classificação de Imagem (CIFAR-10 & ImageNet-1K):
- Inicialização: Inicializar $W_K$ (Chaves) com DCT melhorou consistentemente a precisão Top-1. Para Swin-T no ImageNet-1K, a precisão aumentou de 81,47% para 81,73%.
- Compressão: Manter 75% dos coeficientes DCT ( $\tau=0,75$ ) reduziu os parâmetros em ~13% (Swin-T) e ~10% (Swin-S) enquanto mantinha ou melhorava ligeiramente a precisão em comparação com a linha de base.
- Comparação: O método proposto superou o DCFormer (um método anterior baseado em DCT) ao reter componentes de baixa frequência com precisão em vez de medi-los, preservando assim características discriminativas.
Detecção de Objetos e Segmentação (COCO 2017):
- Usando inicialização DCT ( $W_K$ ) e compressão de 75%, os modelos alcançaram pontuações de Precisão Média (AP) mais altas do que os Transformers Swin padrão, enquanto reduziam a contagem de parâmetros em 3M (Swin-T) e 5M (Swin-S).
Estudos de Ablação:
- Inicialização Única vs. Múltipla: Inicializar múltiplas matrizes (por exemplo, ambas $W_Q$ e $W_K$ ) com DCT degradou o desempenho devido a problemas de quebra de simetria; inicializar uma única matriz produziu os melhores resultados.
- Necessidade de DCT: Remover a transformação DCT do pipeline de compressão (deixando apenas a poda espacial) causou quedas significativas de precisão, confirmando que a descorrelação no domínio da frequência é essencial para o sucesso do método.

5. Significado

Este artigo demonstra que a análise no domínio da frequência é uma ferramenta poderosa para otimizar Vision Transformers.

Estabilidade de Treinamento: Oferece uma maneira principial e não aleatória de inicializar redes de atenção profundas, potencialmente reduzindo o tempo de treinamento e melhorando a convergência em tarefas com escassez de dados.
Eficiência sem Sacrifício: Prova que ruído de alta frequência pode ser descartado com segurança dos mecanismos de atenção, permitindo modelos mais leves com menos parâmetros e FLOPs mais baixos sem comprometer (e às vezes aprimorando) o desempenho.
Generalizabilidade: A abordagem é agnóstica à arquitetura (testada em Swin e ViT) e agnóstica à tarefa (funciona para classificação, detecção e segmentação), tornando-a uma adição versátil ao conjunto de ferramentas ViT.

O código para a implementação está publicamente disponível, facilitando pesquisas futuras sobre mecanismos de atenção baseados em frequência.