Resumo Técnico: Núcleos de Atenção Elástica para Vision Transformers Escaláveis

Declaração do Problema

Os Vision Transformers (ViTs) alcançaram uma escalabilidade orientada por dados robusta ao aproveitar a autoatenção todos-para-todos, o que permite campos receptivos globais e aprendizado de representação flexível. No entanto, essa flexibilidade incorre em um custo computacional que escala quadraticamente ($O(N^2)$) com a resolução da imagem, onde $N$ é o número de patches da imagem. Essa escala quadrática torna-se proibitiva em domínios de alta resolução, limitando a aplicabilidade dos ViTs padrão.

A suposição predominante no design de ViTs é que interações densas e pares entre tokens são necessárias para aprender representações visuais-semânticas ricas. Este artigo desafia essa suposição, postulando que representações visuais eficazes podem ser aprendidas sem interações diretas patch-a-patch.

Metodologia: VECA (Atenção Elástica de Núcleo Visual)

Os autores propõem o VECA, uma arquitetura de vision transformer que substitui a autoatenção densa padrão por um mecanismo de atenção núcleo-periferia com esparsidade em blocos.

Arquitetura Central

• Estrutura Núcleo-Periferia: A arquitetura introduz um pequeno conjunto aprendido de $C$ tokens "núcleo" que atuam como uma interface de comunicação. Os patches da imagem formam a "periferia".
• Mecanismo de Interação:
  • Tokens Núcleo: Formam um clique totalmente conectado, atendendo a todos os outros tokens núcleo e a todos os tokens de patch.
  • Tokens de Patch: Atendem apenas aos tokens núcleo ativos. Eles não atendem diretamente a outros tokens de patch.
  • Fluxo de Informação: Toda a troca de informações entre patches é roteada exclusivamente através dos tokens núcleo.
• Complexidade: O custo da atenção é reduzido de $O(N^2)$ para $O(2NC + C^2)$. Para uma contagem de núcleo predeterminada $C$ (onde $C \ll N$), a complexidade escala linearmente ($O(N)$) com a resolução da imagem.
• Dinâmica Espacial: Os tokens núcleo são inicializados com coordenadas 2D aprendíveis e são atualizados através das camadas por meio de uma cabeça de coordenada leve. Eles utilizam Codificação Posicional Rotacional Axial 2D (RoPE), permitindo que mantenham tanto representações semânticas quanto posições espaciais em evolução.

Treinamento e Inferência Elásticos

• Dropout Aninhado: Durante o treinamento, o modelo emprega dropout aninhado no banco ordenado de tokens núcleo. O modelo é treinado com um orçamento variável de núcleos ativos ($C$), amostrado de uma distribuição.
• Classificação Implícita: Este procedimento classifica implicitamente os tokens núcleo por importância. Os núcleos iniciais estão ativos em todos os orçamentos e aprendem a codificar as informações visuais mais essenciais e amplamente úteis. Núcleos posteriores especializam-se em detalhes espaciais mais finos ou conceitos semânticos específicos.
• Flexibilidade na Inferência: No momento do teste, o número de núcleos ativos pode ser ajustado sem retreinamento. Isso permite uma troca elástica entre custo computacional (velocidade) e precisão. Reduzir $C$ produz mapas de atenção mais grosseiros, mas com FLOPs significativamente menores.

Objetivo de Treinamento

O modelo é treinado usando destilação de características a partir de um professor DINOv3 congelado. A função de perda alinha tanto as representações globais da imagem (do primeiro token núcleo) quanto as representações densas de patches com os alvos do professor, usando imagens não rotuladas do Objects365.

Contribuições Principais

1. Arquitetura VECA: Um backbone visual que substitui a autoatenção quadrática por atenção núcleo-periferia de tempo linear em cada camada, forçando interações de tokens através de um gargalo invariante à resolução.
2. Desempenho vs. Custo: A avaliação em tarefas de classificação e espaciais densas demonstra que o VECA alcança desempenho competitivo com modelos fundamentais de última geração (especificamente DINOv3) enquanto reduz significativamente o custo computacional.
   • Classificação: No tamanho ViT-Base, o VECA alcança 81,93% de precisão Top-1 no ImageNet-1k, dentro de ~1,6% do DINOv3 (83,56%), apesar de usar apenas uma fração das interações de atenção.
   • Predição Densa: No benchmark de segmentação PASCAL Context, o VECA alcança 57,46 mIoU comparado aos 57,74 mIoU do DINOv3, apesar de ter 87,1% menos interações de atenção por camada.
3. Comportamentos Emergentes: Os autores identificam que os tokens núcleo desenvolvem representações centradas em objetos e evoluem de distribuições isotrópicas (esféricas) em camadas iniciais para estruturas agrupadas semanticamente em camadas mais profundas, apesar de não haver supervisão explícita para tal comportamento.

Resultados

• Escalabilidade: O VECA mantém desempenho estável em várias resoluções de entrada (256px a 1024px), enquanto os ViTs padrão sofrem com o crescimento quadrático de FLOPs. O VECA mostra escala linear em FLOPs e latência à medida que a resolução aumenta.
• Elasticidade: O modelo pode trocar elasticamente precisão por velocidade. Por exemplo, reduzir o orçamento de núcleo de $C=64$ para $C=8$ mantém desempenho significativo (por exemplo, >96% do desempenho do modelo completo em classificação) enquanto corta drasticamente a computação.
• Características Densas: Visualizações (UMAP) confirmam que o VECA produz características densas estáveis e de alta qualidade que permanecem robustas em resoluções mais altas, comparáveis ao DINOv3.

Significado e Alegações

O artigo alega que a autoatenção direta patch-a-patch não é estritamente necessária para aprender representações visuais densas de alta qualidade. Ao rotear informações através de um conjunto compacto de tokens núcleo aprendidos, o VECA estabelece a atenção elástica núcleo-periferia como um bloco de construção alternativo escalável para Vision Transformers.

O trabalho sugere que a flexibilidade da atenção todos-para-todos pode ser substituída por uma interface estruturada de tempo linear que preserva o alinhamento espacial e a qualidade das características densas. Isso oferece um caminho promissor para implantar Vision Transformers em domínios de alta resolução onde a eficiência computacional é crítica, permitindo que os modelos adaptem dinamicamente seu custo de inferência com base nos recursos disponíveis ou nos requisitos da tarefa.