Resumo Técnico: Codificações Posicionais Ancoram a Estrutura Espacial em Vision Transformers

Declaração do Problema

Os Vision Transformers (ViTs) carecem dos vieses indutivos de localidade e equivariância de translação encontrados em redes neurais convolucionais. Consequentemente, eles dependem de Embeddings Posicionais (PEs) para injetar informações espaciais, permitindo que o modelo distingua tokens com base em sua localização. No entanto, o papel funcional dos PEs permanece ambíguo. Trabalhos anteriores indicam que os ViTs podem manter um desempenho substancial mesmo quando os PEs são removidos ou degradados, sugerindo que a estrutura espacial pode emergir parcialmente apenas do conteúdo dos patches.

Isso cria um enigma central: se a estrutura espacial pode surgir sem orientação posicional explícita, qual o papel específico dos PEs? Estudos existentes abordaram isso amplamente através de comparações de desempenho downstream ou variações arquiteturais, deixando o impacto mecanístico dos PEs na geometria representacional interna e sua relação específica com a robustez sob mudanças de distribuição amplamente inexplorados.

Metodologia

Os autores adotam uma perspectiva geométrica para analisar como os PEs moldam as representações de tokens ao longo da pilha do transformer. A metodologia baseia-se em três componentes principais:

1. Correlação de Distância de Similaridade Espacial (SSDC):
   Uma métrica inovadora introduzida para quantificar a estrutura espacial. A SSDC calcula a correlação de postos de Spearman entre a matriz de similaridade de tokens ($S$) e a matriz de distância espacial negativa ($D$) entre pares de tokens.
   $$SSDC = \rho_{Spearman} (\{S_{ij}\}_{i<j}, \{-D_{ij}\}_{i<j})$$
   Valores mais altos de SSDC indicam que tokens espacialmente próximos possuem representações mais similares. Os autores utilizam a SSDC como um proxy comparativo para rastrear mudanças ao longo da profundidade e sensibilidade a intervenções, em vez de como uma medida absoluta de um mecanismo específico.

2. Intervenções de Permutação:
   Para distinguir entre organização espacial baseada em índice (ancorada à posição do token) e baseada em conteúdo (dirigida pelo conteúdo do patch visual), os autores empregam duas intervenções:

   • Permutação Aleatória na Inferência (RPI): A ordem dos tokens é embaralhada durante a inferência enquanto os índices posicionais permanecem fixos. Isso quebra o vínculo entre o conteúdo do token e a localização espacial. Se a estrutura espacial persistir, ela é ancorada ao índice; se colapsar, é dirigida pelo conteúdo.
   • Permutação Aleatória no Treinamento (RPT): Os tokens são embaralhados a cada passagem direta (forward pass) durante o treinamento enquanto os PEs permanecem fixos aos índices originais. Isso impede que o modelo aprenda um mapeamento consistente de índice-para-localização, destruindo efetivamente o referencial posicional estável.

3. Avaliação de Robustez:
   Os autores avaliam os modelos sob mudanças de distribuição que perturbam o conteúdo (compressão JPEG e desfoque Gaussiano) usando um Score de Fragilidade (FS), definido como a queda relativa na acurácia ($1 - A_{shift}/A_{normal}$).

4. Escalonamento Posicional:
   Para sondar o elo causal entre organização espacial e robustez, a magnitude dos embeddings posicionais absolutos (APE) aprendidos é escalonada por um fator $\alpha \in [0, 1]$ na inferência. Isso permite a degradação contínua do sinal espacial baseado em índice sem necessidade de retreinamento.

Contribuições Principais e Resultados

1. Emergência de Estrutura Dirigida pelo Conteúdo Sem PEs

Mesmo em modelos treinados sem PEs ("ablados"), uma estrutura espacial não trivial emerge durante o treinamento. No entanto, essa estrutura é dirigida pelo conteúdo. Sob RPI, a SSDC de modelos ablados colapsa para quase zero em todas as camadas, indicando que sua organização espacial depende inteiramente do conteúdo do patch e falha quando a correspondência conteúdo-localização é quebrada.

2. PEs Induzem Organização Espacial Ancorada ao Índice

Modelos treinados com PEs (Absoluto Aprendido, Sinusoidal e Rotary/RoPE) exibem uma mudança distinta em direção a uma organização espacial ancorada ao índice.

• Sob RPI, esses modelos mostram uma recuperação substancial de SSDC, indicando que suas representações permanecem parcialmente ancoradas aos índices dos tokens mesmo quando o conteúdo dos patches é permutado.
• Trajetórias por Profundidade: Embora todos os tipos de PE induzam essa mudança, eles diferem em como a estrutura se desenvolve:
  • APE e Sinusoidal: Exibem um aumento rápido de SSDC nas camadas iniciais, sugerindo a injeção precoce de estrutura espacial via sinais aditivos.
  • RoPE: Mostra um acúmulo gradual e contínuo de estrutura ao longo da profundidade, consistente com sua integração multiplicativa nos mecanismos de atenção.

3. A Primazia de um Referencial Estável

O estudo demonstra que a presença de um referencial posicional estável é o fator crítico para a robustez, e não o mecanismo de codificação específico.

• Modelos RPT: Apesar de possuírem PEs presentes, modelos treinados com RPT (onde o mapeamento índice-localização é inconsistente) falham em recuperar a SSDC sob RPI e exibem scores de fragilidade semelhantes aos modelos ablados.
• Conclusão: A mera presença de PEs é insuficiente; o modelo deve aprender um mapeamento consistente entre os índices dos tokens e as localizações espaciais para alcançar robustez.

4. Robustez Correlaciona-se com Organização Baseada em Índice

Existe uma forte correlação entre a estabilidade da organização espacial baseada em índice e a robustez a mudanças de conteúdo:

• Scores de Fragilidade: Modelos com organização estável ancorada ao índice (APE, Sinusoidal, RoPE) são significativamente mais robustos à compressão JPEG (Fragilidade $\sim 0.30–0.43$) do que modelos ablados ou RPT (Fragilidade $\sim 0.66$).
• Variação Secundária: Embora todos os modelos baseados em PE sejam robustos, o RoPE alcança consistentemente a menor fragilidade, sugerindo que o mecanismo de codificação desempenha um papel secundário, possivelmente devido à sua integração progressiva na profundidade.
• Experimentos de Escalonamento: À medida que a magnitude do APE ($\alpha$) é reduzida, o $\Delta SSDC$ (a recuperação da estrutura espacial) colapsa, e a fragilidade aumenta bruscamente. Uma vez que a organização espacial é totalmente perturbada ($\alpha \le 0.4$), a fragilidade estabiliza. Isso confirma que a degradação da robustez acompanha a perda da estrutura espacial.

Significância e Alegações

O artigo fornece uma explicação geométrica de como as codificações posicionais funcionam em Vision Transformers. Os autores alegam que:

1. A robustez depende do referencial: O principal motor da robustez a mudanças de conteúdo é o estabelecimento de uma organização espacial estável e ancorada ao índice, não a forma matemática específica do PE (aprendido vs. fixo, aditivo vs. multiplicativo).
2. Evidência baseada em intervenção: A relação entre organização espacial e robustez é identificada através de intervenções controladas (RPI, RPT, escalonamento). Os autores declaram explicitamente que, embora a evidência seja forte, ela identifica uma relação em vez de um mecanismo causal estritamente isolado.
3. Implicações de Design: Futuros esquemas de codificação devem priorizar a capacidade de estabelecer um referencial posicional consistente. O mecanismo de codificação específico importa menos do que a estabilidade do mapeamento índice-localização aprendido durante o treinamento.

Os autores mantêm a modéstia quanto à generalização, observando que estas descobertas baseiam-se em modelos ViT-S treinados do zero no ImageNet-100 e que a avaliação de robustez é específica para perturbações de conteúdo, não necessariamente estendendo-se a mudanças adversariais ou de distribuição semântica.