Resumo Técnico: Denoising Attention para Tarefas Visuais (DnA)

1. Definição do Problema

O mecanismo de atenção padrão em Vision Transformers (ViTs) e outros modelos de percepção visual baseia-se na função de ativação softmax para normalizar os pesos de atenção. Embora o softmax seja teoricamente fundamentado em princípios de entropia máxima, os autores argumentam que ele introduz limitações específicas em tarefas visuais:

• Assimetria e Ruído: O softmax amplifica escores positivos dominantes enquanto comprime escores negativos ou de baixa magnitude em direção ao zero. Essa assimetria pode suprimir interações "negativas" informativas (por exemplo, características que estão intimamente associadas a um objeto, mas pertencem a uma classe adversária diferente).
• Má Alocação de Atenção: Ao tratar todas as interações dentro de um único subespaço, a atenção padrão frequentemente dilui características relevantes com contexto ruidoso. Por exemplo, ao identificar um objeto primário, o modelo pode inadvertidamente atender a objetos secundários e adversários (como uma pessoa ou um capacete ao identificar uma couraça), porque o mecanismo softmax não consegue distinguir explicitamente entre características "relevantes" e "intimamente associadas, mas irrelevantes".
• Limitações de Subespaço: A análise teórica sugere que o erro de classificação é inversamente relacionado aos ângulos principais entre subespaços de classes. A atenção padrão projeta todas as interações em um único subespaço de valor ($V$), limitando a separação geométrica necessária para discriminar entre interações de tokens positivos e negativos.

2. Metodologia: Denoising Attention (DnA)

Os autores propõem a Denoising Attention (DnA), um mecanismo que substitui a tradicional Multi-Head Self-Attention (MHSA) ao modelar explicitamente interações de tokens positivas e negativas através de dois subespaços distintos e quase-ortogonais.

Princípios de Design Central

1. Mecanismo de Consulta Dupla (Dual Query): Em vez de uma única consulta, a DnA emprega dois conjuntos de consultas sobre as mesmas chaves:
   • Consulta Positiva ($Q^+$): Identifica características pertencentes à classe correta.
   • Consulta Negativa ($Q^-$): Identifica características que estão intimamente associadas à classe correta, mas são irrelevantes (adversárias ou de distração).
2. Funções de Ativação Duplas:
   • O ramo positivo utiliza softmax para amplificar escores positivos dominantes.
   • O ramo negativo utiliza softmin (definido como $\sigma(-z)$) para amplificar interações fortemente negativas, capturando estruturas contrastivas que o softmax padrão suprime.
3. Separação de Subespaço:
   • As interações dos ramos positivo e negativo são projetadas em dois subespaços de valor distintos ($V^+$ e $V^-$).
   • A motivação teórica (Teorema 2) sugere que ângulos principais maiores entre esses subespaços reduzem o erro de classificação.
   • A arquitetura impõe a quasi-ortogonalidade entre $V^+$ e $V^-$ através de inicialização e dinâmica de treinamento, em vez de impor ortogonalidade estrita em cada iteração.
4. Formulação Matemática:
   Para uma determinada cabeça $h$, a saída da DnA é computada como:
   $$\mathcal{A}^{Q^{\pm}V^{\pm}}_h = \boldsymbol{\sigma}\left(\frac{Q_h^{+} K_h^\top}{\sqrt{d}}\right)V_h^{+} + \alpha_h\boldsymbol{\hat{\sigma}}\left(\frac{Q_h^{-} K_h^\top}{\sqrt{d}}\right)V_h^{-}$$
   Onde $\boldsymbol{\sigma}$ é softmax, $\boldsymbol{\hat{\sigma}}$ é softmin, e $\alpha_h$ é um parâmetro de equilíbrio aprendível.

Integração

• Classificação de Imagens: A DnA substitui a MHSA em backbones de ViT padrão (ex: ViT-B).
• Compreensão de Vídeo:
  • Video Transformers: A DnA substitui tanto a atenção espacial quanto a temporal em modelos como o TimeSformer.
  • Video LLMs: A Dnção é integrada nos módulos de cross-attention de sondas visuais (ex: em VisCoP/VideoLLaMA3), permitindo que o modelo filtre interações de tokens prejudiciais antes de passar as pistas visuais para o LLM.

3. Principais Contribuições

• Insight Teórico: O artigo estabelece uma ligação entre a separação de subespaços (ângulos principais) e o erro de classificação, motivando a separação das interações positivas e negativas em subespaços distintos.
• Inovação Arquitetural: A introdução da DnA, que utiliza um framework de consulta dupla, valor duplo e ativação dupla (softmax/softmin) para realizar o denoising explícito dos mapas de atenção.
• Validação Empírica: Experimentos extensos demonstrando que a DnA supera a atenção padrão e outras alternativas (como a Differential Attention) em tarefas de imagem e vídeo.
• Análise de Subespaços: Evidência quantitativa (via análise de "dimensão intrusa" e medições do produto interno de Frobenius) confirmando que os ramos da DnA operam em subespaços mais ortogonais comparados às alternativas de subespaço único, levando a uma melhor supressão de ruído.

4. Resultados Experimentais

Os autores avaliaram a DnA em múltiplos benchmarks, reportando ganhos absolutos sobre as linhas de base:

• Classificação de Imagem (ImageNet-1K):

  • Usando um backbone ViT-B, a DnA alcançou um ganho absoluto de 0.8% na acurácia Top-1 em comparação com o baseline ViT-B (81.9% vs. 81.1%).
  • Superou modelos que utilizam Differential Attention e Cog Attention.
  • Robustez: A DnA mostrou desempenho superior no ImageNet-A (exemplos adversários), alcançando maior confiabilidade (AURRA) e menor erro de calibração (RMSE) do que os baselines.

• Compreensão de Vídeo:

  • Reconhecimento de Ação: No Toyota Smarthome, a DnA melhorou o desempenho em 1.3% (Cross-Subject) e 4.0% (Cross-View) sobre o TimeSformer. No NTU RGB+D 60, alcançou um ganho de 1.2%.
  • Video LLMs: Integrada ao VideoLLaMA3 para o benchmark Ego-in-Exo PerceptionMCQ, a DnA rendeu um ganho absoluto de 0.5% sobre o baseline VisCoP, particularmente em tarefas de compreensão de ação e interação humano-objeto.

• Análise Qualitativa:

  • Visualizações de atenção mostram que, enquanto a atenção softmax padrão é frequentemente dispersa ou foca em objetos de fundo adversários, a DnA foca nitidamente no objeto primário.
  • O ramo negativo ($AQ^-V^-$) suprime efetivamente áreas de fundo irrelevantes, criando um contraste claro entre as características da classe e o ruído.

5. Significância e Alegações

O artigo afirma que a DnA aborda uma limitação fundamental em modelos de visão baseados em atenção: a incapacidade do softmax padrão de distinguir entre características relevantes e ruído intimamente associado, porém irrelevante.

• Efeito de Denoising: Ao modelar explicitamente as interações negativas e projetá-las em um subespaço separado, a DnA atua como um filtro de "denoising", impedindo que o modelo seja induzido ao erro por pistas visuais adversárias ou de distração.
• Justificativa Geométrica: Os ganhos de desempenho são atribuídos à separação geométrica das interações de tokens positivos e negativos, o que reduz os limites de erro de classificação conforme previsto pela análise teórica.
• Generalização: O mecanismo mostra-se eficaz não apenas na classificação de imagens padrão, mas também em tarefas complexas de compreensão de vídeo, incluindo reconhecimento de ações finas e raciocínio vídeo-linguagem.
• Eficiência: Embora a DnA introduza parâmetros adicionais (aprox. 3% para Video LLMs, até 23% para Video Transformers), os autores observam que estes residem em cabeças de atenção paralelizáveis, mantendo o throughput comparável aos modelos de baseline.

Os autores concluem que a DnA fornece uma alternativa fundamentada à atenção padrão para tarefas visuais, aproveitando a separação de subespaços para melhorar a discriminabilidade e a robustez sem exigir uma reformulação completa da arquitetura Transformer.