Resumo Técnico: Priores Espaciais via Curvas de Preenchimento de Espaço para Vision Transformers de Dados Pequenos e Limitados

1. Declaração do Problema

Os Vision Transformers (ViTs) alcançaram o domínio na visão computacional ao capturar dependências globais através da autoatenção. No entanto, ao contrário das Redes Neurais Convolucionionais (CNNs), os ViTs carecem de vieses indutivos espaciais inerentes, como a localidade, devido à equivariância de permutação de seus mecanismos de atenção. Isso trata os patches de imagem como um conjunto desordenado de tokens. Embora modelos e conjuntos de dados de larga escala possam permitir que os ViTs aprendam esses vieses implicitamente, essa abordagem é ávida por dados e computacionalmente dispendiosa. Em configurações com dados de treinamento limitados ou pequenas capacidades de modelo (definidas no artigo como $\le$30M de parâmetros), os ViTs têm dificuldade em se especializar, frequentemente apresentando desempenho inferior às CNNs. Tentativas existentes para abordar isso incluem a adição de convoluções, novos codificadores posicionais ou estratégias de mascaramento, mas estas frequentemente requerem mudanças arquiteturais ou um overhead significativo de parâmetros. Além disso, os recentes Linear Transformers e Vision State Space Models (SSMs) utilizam padrões de varredura para capturar a ordem espacial, mas seu desempenho é fortemente dependente do caminho de travessia específico escolhido (tipicamente uma curva Z simples).

2. Metodologia: VIOLIN

Os autores propõem o VIOLIN (Vision Inductive LOcal INductive bias), um mecanismo de atenção mascarada leve e plug-and-play projetado para injetar priores espaciais em modelos de atenção global sem alterar a arquitetura subjacente ou a receita de treinamento.

Mecanismo Central

O VIOLIN é inspirado nas máscaras de decaimento usadas em Linear Transformers e nos padrões de varredura de Vision SSMs. Ele introduz estrutura espacial aplicando uma máscara de decaimento à matriz de atenção, onde o decaimento é determinado pela distância entre os tokens ao longo de Curvas de Preenchimento de Espaço (SFCs) específicas.

• Curvas de Preenchimento de Espaço (SFCs): O método utiliza múltiples SFCs (curvas Snake, Zig-zag, Peano e Hilbert) e suas variantes transpostas para percorrer a grade 2D da imagem. Diferente da varredura padrão de linha (curva Z), estas curvas preservam a localidade de diferentes maneiras, garantindo que patches espacialmente adjacentes na imagem 2D permaneçam relativamente próximos na sequência 1D.
• Construção da Máscara de Decaimento: Para uma dada curva $c$, uma máscara de decaimento $M_c$ é construída onde o escore de atenção entre o token $i$ e $j$ é atenuado por $\gamma_c^{|i-j|}$. Aqui, $|i-j|$ representa a distância ao longo da curva específica $c$, e $\gamma_c \in (0, 1]$ é um parâmetro de decaimento aprendível.
• Alinhamento de Base: Como diferentes curvas produzem diferentes ordenações de tokens, o VIOLIN define uma "curva de base" (a curva Z padrão). Ele computa a saída da atenção para cada curva e então permuta essas saídas de volta para a ordem da base. Crucialmente, para manter a eficiência, os autores demonstram que isso é matematicamente equivalente a permutar as próprias máscaras de decaimento para a ordem da base antes de computar a atenção.
• Agregação: A máscara VIOLIN final, $M_{VIOLIN}$, é a média das máscaras de decaimento permutadas de todas as curvas no conjunto $\mathcal{C}$ (que inclui 8 curvas: 4 base + 4 transpostas). A saída da atenção é computada como:
  $$Y = \text{Softmax}\left( \frac{\alpha QK^\top}{\sqrt{d}} \odot M_{VIOLIN} \right) V$$
  onde $\alpha$ é um escalar aprendível que controla a força da máscara.

Eficiência

O VIOLIN é projetado para um overhead mínimo:

• Parâmetros: Adiciona apenas $\approx 0,0015\%$ de parâmetros extras (primariamente o $\beta_c$ aprendível para $\gamma_c$ e $\alpha$).
• Computação: Introduz um overhead computacional desprezível ($\approx 0,64\%$ de aumento de FLOPs) porque as matrizes Query, Key e Value são computadas apenas uma vez usando a ordenação da base, e a aplicação da máscara é elemento a elemento.
• Compatibilidade: É um módulo "plug-and-play" que pode ser aplicado durante o ajuste fino (fine-tuning) de modelos pré-treinados (ex: DeiT, DINO) sem exigir o pré-treinamento do zero.

3. Principais Contribuições

1. Injeção de Prior Espacial Inovadora: O artigo introduz um método para codificar estrutura espacial em ViTs usando uma média ponderada de máscaras de decaimento derivadas de múltiplas Curvas de Preenchimento de Espaço, indo além da varredura de curva Z única usada na maioria dos modelos de visão lineares.
2. Leve e Modular: O VIOLIN alcança esses ganhos com custo de parâmetros e computação desprezíveis, tornando-o adequado para modelos pequenos e ambientes com recursos restritos.
3. Adaptabilidade Plug-and-Play: O método pode ser integrado em backbones de ViT pré-treinados existentes (DeiT, DINO) especificamente durante a fase de ajuste fino, permitindo que os modelos adaptem seus vieses espaciais para tarefas de domínio específico sem necessidade de re-treinar do zero.
4. Avaliação Abrangente: Os autores fornecem evidência empírica extensa através de classificação, predição densa (segmentação, detecção) e vários regimes de dados (dados limitados, tarefas de nível de pixel).

4. Resultados Experimentais

O artigo avalia o VIOLIN através de vários benchmarks:

• VTAB-1K (Ajuste Fino com Dados Limitados):

  • O VIOLIN melhora consistentemente o desempenho através dos grupos de tarefas Natural, Especializada e Estruturada.
  • Em média, ele aumenta a acurácia em 4,7% em todas as escalas de modelo (de 5M a 632M de parâmetros).
  • Os ganhos mais significativos são observados no grupo Estruturado (tarefas que exigem compreensão espacial como contagem de objetos e predição de profundidade), com melhorias de até 8,7% em tarefas individuais.
  • Ele combina efetivamente com métodos de Ajuste Fino de Parâmetros Eficientes (PEFT) como LoRA e DoRA, aumentando ainda mais o desempenho com parâmetros adicionais mínimos.

• Pré-treinamento (ImageNet-1K):

  • Ao pré-treinar modelos de pequena escala (DeiT-T, DeiT-S) no ImageNet-1K, o VIOLIN melhora a acurácia top-1 em 0,8% a 0,9% sem modificar a receita de treinamento.
  • O pré-treinamento auto-supervisionado com DINO também mostra ganhos consistentes tanto em avaliações KNN quanto em linear probe.

• Tarefas de Nível de Pixel (CIFAR-100):

  • Em uma tarefa de tokenização de nível de pixel (onde a localidade é crítica e o patching é removido), o VIOLIN melhora a acurácia em 7,2% no CIFAR-100, demonstrando sua capacidade de fornecer um forte viés indutivo onde os ViTs padrão falham.

• Predição Densa:

  • O VIOLIN melhora a segmentação semântica no ADE20K (+0,56 mIoU) e a detecção de objetos no COCO (+0,4 mAP) quando aplicado aos backbones Swin-T e DeiT-B.

• Estudos de Ablação:

  • O uso de múltiplas curvas é superior ao de curvas únicas ou permutações aleatórias.
  • O método funciona tanto com tokens de classificação quanto com Global Average Pooling (GAP).
  • Parâmetros de decaimento aprendidos ($\gamma_c$) são essenciais; valores fixos resultam em menor desempenho.

5. Significância e Alegações

O artigo afirma que o VIOLIN fornece uma solução computacionalmente eficiente e eficaz para a falta de viés indutivo espacial nos Vision Transformers. Sua principal significância reside na sua capacidade de:

• Diminuir a lacuna para modelos pequenos: Permite que ViTs de pequena escala compitam com CNNs em regimes de escassez de dados ao injetar priores espaciais explícitos e fortes.
• Aumentar a adaptabilidade: Ao funcionar como um módulo apenas de ajuste fino, permite que praticantes aproveitem checkpoints pré-treinados de larga escala e os especializem para tarefas de domínio com dados limitados, evitando o custo de pré-treinar do zero.
• Generalizar através de tarefas: O método não se limita à classificação de imagens, mas estende-se efetivamente para tarefas de predição densa e processamento de nível de pixel, destacando a importância fundamental da ordenação de patches e da estrutura espacial em modelos de visão.

Os autores concluem que, embora modelos grandes possam aprender vieses espaciais a partir de dados, priores explícitos como os fornecidos pelo VIOLIN são críticos para a eficiência e o desempenho em muitos cenários práticos onde dados e computação são limitados.