Resumo Técnico: CAViT - Transformer de Visão Consciente de Canais para Fusão Dinâmica de Características

Definição do Problema

Os Vision Transformers (ViTs) estabeleceram-se como modelos poderosos para visão computacional ao utilizar a autoatenção para modelar dependências espaciais de longo alcance. No entanto, os autores identificam uma assimetria arquitetônica fundamental nos ViTs padrão: enquanto a mistura espacial é dinâmica e dependente dos dados via Multi-Head Self-Attention (MHSA), a mistura de canais permanece estática. Nos ViTs convencionais, as interações de canais são tratadas por MLPs fixos que combinam características linearmente sem consciência do conteúdo específico da entrada. Essa abordagem estática pode limitar a capacidade do modelo de se adaptar a diversas estruturas visuais, uma vez que as dimensões das características frequentemente representam filtros semânticos significativos (ex: texturas, partes) que deveriam ser recalibrados dinamicamente com base no contexto global da imagem. Tentativas existentes para abordar isso, como SE-Net ou MLPs dinâmicos, frequentemente introduzem módulos adicionais ou sobrecarga estrutural.

Metodologia: Arquitetura CAViT

Os autores propõem o CAViT (Channel-Aware Vision Transformer), uma arquitetura de atenção dupla que substitui a camada MLP estática em blocos Transformer padrão por um mecanismo de atenção dinâmico para interação de características. A inovação central reside em tratar os canais de características como tokens para permitir a mistura de canais consciente do conteúdo.

Componentes Arquitetônicos Principais

1. Mecanismo de Atenção Dupla: Cada bloco CAViT realiza dois estágios sequenciais de atenção:
   • Autoatenção Espacial: O MHSA padrão opera sobre tokens espaciais como de costume.
   • Autoatenção de Canal: Após o estágio espacial, o tensor de entrada sofre uma troca de dimensão. Os tokens espaciais ($N$) e a dimensão de canal ($C$) são transpostos, tratando efetivamente os canais como os tokens da sequência.
2. Troca de Dimensão e Tratamento do CLS:
   • O tensor de entrada $x \in \mathbb{R}^{B \times (N+1) \times C}$ é dividido entre o token de classificação ($x_{cls}$) e os tokens espaciais ($x_{spat}$).
   • Os tokens espaciais são transpostos de $\mathbb{R}^{B \times N \times C}$ para $\mathbb{R}^{B \times C \times N}$.
   • O $x_{cls}$ é remodelado para alinhar-se com o novo eixo de sequência e concatenado, resultando em um tensor de forma $\mathbb{R}^{B \times (C+1) \times N}$.
   • Crucialmente, o $x_{cls}$ não é tratado como um token de canal durante a troca de forma que interrompa seu papel de agregação global; ele é explicitamente gerenciado para garantir que participe das interações globais de canal sem perder sua integridade semântica.
3. Atenção de Canal de Cabeça Única (SHSA): Ao contrário do estágio espacial que utiliza Multi-Head Self-Attention, o estágio de canal emprega um mecanismo de Cabeça Única. Os autores argumentam que, como cada token de canal no espaço transposto já codifica o contexto global da imagem, dividir a atenção em múltiplas cabeças poderia diluir essa abstração. O SHSA evita a fragmentação excessiva e preserva o contexto espacial completo dentro de cada token de canal.
4. Reversão: Após o estágio de atenção de canal, as dimensões são trocadas de volta e o $x_{cls}$ é novamente prependido, permitindo que o próximo bloco receba representações enriquecidas com interações tanto de nível espacial quanto de canal.

Principais Contribuições

• Modificação Arquitetônica: Uma substituição simples e genérica de MLPs estáticos em blocos ViT por atenção de canal via troca de dimensão, permitindo interações adaptativas entre canais sem aumentar a profundidade do modelo.
• Framework Unificado: Uma formulação de atenção dupla que unifica a mistura de tokens espacial e de canal sob um framework totalmente impulsionado por atenção, aumentando a expressividade enquanto preserva a simplicidade arquitetônica.
• Motivação Teórica: Uma demonstração de que a mistura dinâmica de canais via atenção melhora o fluxo de informação através das dimensões de características e o alinhamento de características, contrastando com as limitações das combinações lineares estáticas.
• Eficiência e Desempenho: Validação empírica mostrando que esta abordagem melhora a precisão enquanto simultaneamente reduz a contagem de parâmetros e o custo computacional (FLOPs).

Resultados Experimentais

Os autores avaliaram o CAViT (especificamente a variante CAViTtiny) contra o baseline ViTtiny em cinco conjuntos de dados diversos abrangendo imagens naturais e médicas:

• Datasets: CIFAR-10 (Natural), Cats vs Dogs (Natural), Malaria (Microscopia), PneumoniaMNIST (Raio-X) e BreastMNIST (Ultrassom).
• Ganhos de Desempenho: O CAViT alcançou melhorias consistentes na acurácia Top-1. Ganhos notáveis incluem:
  • +3,64% no CIFAR-10.
  • +2,50% no BreastMNIST.
  • +1,14% no PneumoniaMNIST.
  • Desempenho comparável em Malaria e Cats vs Dogs.
• Eficiência: O modelo proposto reduziu a contagem de parâmetros em aproximadamente 32% (de 5,75M para 3,91M) e os FLOPs em 33% (de 2,26G para 1,52G) em comparação ao baseline.
• Análise Qualitativa: Mapas de atenção gerados via visualização estilo DINO revelaram que o CAViT produz padrões de ativação mais nítidos e semanticamente significativos. Diferente do baseline ViT, que frequentemente focava em bordas ou exibia ruído, o CAViT destacou com sucesso estruturas finas, áreas de lesão em exames médicos e limites de objetos em cenas naturais.

Insights de Ablação

• Espacial vs. Canal: Substituir totalmente o MHSA espacial pelo SHSA de canal resultou em uma queda acentuada de desempenho, confirmando que a atenção espacial é essencial para dependências posicionais.
• Contagem de Cabeças: Usar Multi-Head Self-Attention para o ramo de canal apresentou um desempenho ligeiramente inferior ao Single-Head, sugerindo que um descritor global unificado é mais eficaz para a mistura de canais.
• Integridade do Token CLS: Trocar as dimensões do token CLS indiscriminadamente (tratando-o como um token de canal padrão) degradou significamente o desempenho, validando a necessidade da estratégia de manipulação específica proposta.

Significância e Alegações

O artigo afirma que o CAViT oferece um compromisso favorável entre precisão e eficiência ao abordar a natureza estática da mistura de canais em Vision Transformers. Os autores posicionam este trabalho como um "primeiro passo em direção à mistura de tokens baseada em atenção estruturada", demonstrando que a fusão de características dinâmica e adaptável ao conteúdo pode ser alcançada através de mudanças arquitetônicas mínimas (troca de dimensão) em vez de adicionar módulos complexos.

A significância reside na capacidade de melhorar a expressividade representacional e a interpretabilidade (via mapas de atenção mais claros) enquanto reduz a sobrecarga computacional. Os autores enfatizam que esses ganhos são alcançados sem aprofundamento arquitetônico, parâmetros extras ou regularização de treinamento agressiva, sugerindo que a utilidade central do design é inerente ao próprio mecanismo de atenção. O trabalho pretende ser aplicável tanto ao domínio de imagens naturais quanto médicas, com planos futuros para estender a abordagem para backbones maiores (ex: ImageNet) e configurações multimodais.