Vision Transformers Need Better Token Interaction

Resumo Técnico: Vision Transformers Precisam de Interação de Tokens Mais Eficaz

Declaração do Problema
Os Vision Transformers (ViTs) são renomados por aprender representações robustas em nível de imagem, no entanto, suas representações em nível de patch frequentemente se degradam durante o treinamento prolongado, tornando-se menos eficazes para tarefas de predição densa, como segmentação semântica e estimativa de profundidade. Embora pesquisas anteriores tenham atribuído essa "degradação densa" a artefatos de alta norma ou tokens outliers, este artigo argumenta que estes são sintomas e não a causa raiz. Os autores identificam a questão central como difusão semântica: um atalho de otimização onde informações semânticas globais se espalham indiscriminadamente através dos tokens de patch além do que é localmente justificado. Esse fenômeno permite que o modelo melhore o reconhecimento global explorando interações de tokens sem restrições, mas ao custo de degradar a estrutura espacial necessária para tarefas densas.

Metodologia
Os autores propõem que a solução não é eliminar o contexto global ou suprimir completamente os tokens de fundo, mas tornar as interações de tokens mais seletivas. Eles introduzem atenção esparsa como uma intervenção mínima para modificar a geometria da atenção.

• Mecanismo: O mecanismo padrão de atenção softmax é substituído por entmax-1.5. Diferentemente do softmax, que produz distribuições de probabilidade densas, o entmax-1.5 é um mapeamento de probabilidade esparsa que pode atribuir pesos exatos de zero a interações de baixa utilidade.
• Implementação: O método preserva a conectividade global dos tokens (diferentemente da atenção em janelas locais) e não introduz parâmetros adicionais, tokens de registro ou ramos de processamento separados (diferentemente de abordagens de especialização ou baseadas em registro).
• Hipótese: Ao incentivar distribuições de atenção esparsa, o modelo é forçado a ser mais seletivo em sua mistura de tokens. Isso reduz o "atalho de otimização" da difusão semântica, impedindo que patches de fundo semanticamente irrelevantes diluam a estrutura local dos patches de primeiro plano, mantendo ao mesmo tempo a capacidade de capturar semânticas globais.

Principais Contribuições

1. Reenquadramento da Degradação Densa: O artigo caracteriza a degradação densa não meramente como um problema de artefatos, mas como uma consequência da difusão semântica, um atalho de otimização onde semânticas globais se difundem em tokens de patch de maneira localmente inconsistente.
2. Análise dos Papéis dos Tokens: Através da análise Point-in-Box (PiB) e sondagem camada por camada, os autores demonstram que, enquanto camadas rasas mantêm melhor alinhamento espacial (PiB mais alto), elas carecem da riqueza semântica das camadas mais profundas. Crucialmente, eles mostram que o token [CLS] retém informações globais complementares que, quando concatenadas com características de patch, auxiliam significativamente a predição densa, sugerindo que o contexto global deve ser preservado, mas melhor gerenciado.
3. Intervenção Mínima: O artigo introduz uma mudança arquitetônica simples — trocar softmax por entmax-1.5 — que atua como um viés representacional em direção à interação seletiva de tokens, sem exigir supervisão adicional, modelos professores ou modificações arquitetônicas complexas.

Resultados Experimentais
O método foi avaliado em modelos DINOv1 ViT-S/16 treinados por 200 épocas no ImageNet-1K. Os resultados indicam que a atenção esparsa melhora as representações densas sem sacrificar o reconhecimento global:

• Reconhecimento em Nível de Imagem: A variante Entmax-1.5 alcançou uma acurácia Top-1 de 70,06% na sondagem linear do ImageNet, superando ligeiramente a linha de base CLS (69,50%) e outras variantes como Register-4 e Especialização.
• Segmentação Semântica: Os ganhos mais significativos foram observados aqui. Comparado à linha de base CLS, o Entmax-1.5 melhorou:
  • mIoU do VOC: de 42,80 para 48,78 (+5,98).
  • mIoU do ADE20K: de 19,85 para 21,97 (+2,12).
  • mIoU do Cityscapes: de 36,79 para 37,87 (+1,08).
  • Superou tanto o Register-4 quanto a especialização CLS/patch em todas as três benchmarks de segmentação.
• Estimativa de Profundidade: As melhorias foram mais moderadas, mas consistentes nas benchmarks NYUv2, SUN RGB-D e KITTI (reduzindo o RMSE em 0,004–0,005). Os autores observam que o protocolo de sondagem de profundidade da linha de base já concatena [CLS] e características de patch, o que pode compensar parcialmente a difusão semântica, tornando os ganhos mais difíceis de alcançar.
• Análise Qualitativa: Visualizações PCA das características de patch mostraram que o Entmax-1.5 produz mapas de características mais limpos e espacialmente coerentes, com melhor separação entre regiões de primeiro plano e fundo em comparação às linhas de base.

Significado e Alegações
O artigo alega que a mistura seletiva de tokens é um viés simples e eficaz para melhorar as representações densas de ViTs. O significado reside em demonstrar que o objetivo da predição densa não é remover o contexto global, mas refinar como os tokens interagem com ele. Ao substituir softmax por entmax-1.5, os autores mostram que uma modificação leve na normalização da atenção pode mitigar a difusão semântica, levando a melhorias substanciais na segmentação semântica enquanto mantém ou melhora ligeiramente o reconhecimento em nível de imagem.

Os autores permanecem modestos em relação às suas alegações, observando que este estudo é limitado ao DINOv1 ViT-S/16 e ainda não avaliou backbones maiores ou cronogramas de pré-treinamento mais longos. Eles posicionam a atenção esparsa não como uma arquitetura final definitiva, mas como evidência que apoia o princípio mais amplo de que tornar as interações de tokens mais seletivas é um caminho viável para resolver a degradação densa.