Resumo Técnico: Codificação de Posição Parabólica (PaPE)

Declaração do Problema

Os Vision Transformers (ViTs) tornaram-se dominantes na visão computacional, no entanto, suas codificações de posição são frequentemente adaptadas de arquiteturas de processamento de linguagem natural (PLN). Embora a linguagem seja inerentemente unidimensional e amplamente indiferente à direção geométrica, os modos visuais (imagens, vídeos, fluxos de eventos, nuvens de pontos) possuem características espaciais distintas. Adaptações existentes de codificações de posição para estruturas visuais de $n$-dimensões frequentemente falham em contabilizar plenamente essas características, como invariância à translação, invariância à rotação, decaimento de distância, direcionalidade e consciência de contexto. Além disso, muitos métodos atuais lutam para extrapolar efetivamente para resoluções significativamente maiores do que aquelas vistas durante o treinamento, limitando sua robustez e aplicabilidade em cenários de múltiplas resoluções.

Metodologia: Codificação de Posição Parabólica (PaPE)

Os autores propõem a Codificação de Posição Parabólica (PaPE), uma codificação de posição projetada especificamente para modos visuais baseada em cinco princípios de design destilados:

1. Invariância à Translação: A codificação depende da posição relativa entre os tokens, não de suas coordenadas absolutas.
2. Invariância à Rotação (PaPE-RI): Uma instanciação específica onde a codificação permanece inalterada sob rotação (embora isso ocorra à custa da direcionalidade).
3. Decaimento de Distância: A força da atenção diminui à medida que a distância entre os tokens aumenta.
4. Direcionalidade: A codificação leva em conta a direção específica entre os tokens (por exemplo, cima, baixo, diagonal), o que é crucial para a visão, mas menos relevante na linguagem 1D.
5. Consciência de Contexto: A força do decaimento de distância e da direcionalidade é modulada pelo conteúdo dos próprios tokens, permitindo que o modelo se adapte a interações locais versus de longo alcance.

Formulação Matemática

O PaPE modela a posição relativa $\Delta r_{ij} = W_p(r_j - r_i)$ como a variável dependente em uma soma de $m$ parábolas aprendíveis. A pontuação de atenção $S_{ij}$ é decomposta em três componentes:
$$S_{ij} = \langle a_i, \Delta r_{ij}^{\odot 2} \rangle + \langle b_i, \Delta r_{ij} \rangle + \langle q_i, k_j \rangle$$
Onde:

• $\langle a_i, \Delta r_{ij}^{\odot 2} \rangle$ codifica o decaimento de distância. O coeficiente $a_i$ é derivado do conteúdo do token $x_i$ através de uma projeção aprendível e uma ativação softplus (negada) para garantir $a_i < 0$, impondo concavidade.
• $\langle b_i, \Delta r_{ij} \rangle$ codifica a direcionalidade. O coeficiente $b_i$ também é derivado de $x_i$.
• $\langle q_i, k_j \rangle$ representa a atenção semântica padrão.

Variante Invariante à Rotação (PaPE-RI)

Para alcançar invariância à rotação, o PaPE-RI impõe restrições: $b_i = 0$ (removendo a direcionalidade), $a_i$ é um escalar $\alpha_i < 0$, e a matriz de projeção $W_p$ é uma matriz identidade escalonada. Isso reduz o termo de distância a uma função do quadrado da distância euclidiana, que é invariante à rotação.

Compatibilidade com Kernels Eficientes

Uma contribuição técnica crítica é a derivação de transformações separadas de consulta e chave ($f_q$ e $f_k$) que permitem que o PaPE seja computado sem materializar a matriz de atenção completa $N \times N$. Isso garante compatibilidade com kernels de atenção eficientes como o FlashAttention. As transformações injetam informações posicionais diretamente nos vetores de consulta e chave, aumentando a dimensão da cabeça em $p^2 + 2p + 2$ (onde $p$ é a dimensão espacial), o que constitui uma sobrecarga moderada para $p=2$ ou $p=3$.

Contribuições Principais

1. Codificação Inovadora: Introdução do PaPE e PaPE-RI, as primeiras codificações de posição derivadas dos princípios combinados de invariância à translação/rotação, decaimento de distância, direcionalidade e consciência de contexto.
2. Eficiência: Demonstração de que o PaPE é compatível com kernels de atenção eficientes por meio de transformações separadas de consulta-chave, evitando o gargalo computacional da materialização completa da matriz de atenção.
3. Extrapolação: Evidências de que o PaPE exibe capacidades de extrapolação superiores para tarefas de classificação, mantendo o desempenho em resoluções muito superiores à resolução de treinamento sem treinamento adicional ou interpolação.
4. Generalidade: Validação do PaPE em 8 conjuntos de dados abrangendo 4 modos visuais (vídeos, câmeras de eventos, imagens e nuvens de pontos), mostrando que ele iguala ou supera as linhas de base mais avançadas.

Resultados Experimentais

Extrapolação em Classificação

No ImageNet-1K, modelos treinados na resolução $224^2$ foram avaliados até $1024^2$ sem retreinamento ou interpolação de posição.

• O PaPE alcançou uma precisão de 74,9% em $1024^2$, superando a próxima melhor linha de base (LookHere) em 10,5% (o LookHere alcançou 64,4%).
• Em contraste, linhas de base padrão como nD-sincos e variantes do RoPE sofreram quedas significativas de desempenho em resoluções mais altas.
• Os autores atribuem esse sucesso à natureza consciente de contexto do PaPE, que permite que o modelo adapte dinamicamente o decaimento posicional.

Codificação de Posição Visual Geral

A avaliação em 8 conjuntos de dados (UCF101, DvsGesture, GEN1, ImageNet-1K, COCO, ScanNet, ModelNet40, nuScenes) produziu os seguintes resultados:

• Desempenho Médio: O PaPE alcançou a pontuação média mais alta (66,3), superando o próximo melhor método (RoPE) em 1,0 ponto.
• Vitórias por Conjunto de Dados: O PaPE igualou a melhor linha de base em 5 conjuntos de dados e superou todas as linhas de base em 2 conjuntos de dados (UCF101 e GEN1).
• Dados Espacio-Temporais: O PaPE mostrou ganhos particularmente fortes no UCF101 (49,5% vs. 43,9% para o RoPE) e no GEN1, sugerindo que sua direcionalidade e consciência de contexto são vitais para objetos em movimento rápido e dados baseados em eventos.
• Nuvens de Pontos: No ScanNet, o PaPE teve desempenho inferior em comparação com codificações absolutas (nD-sincos), sugerindo que, para cenas internas com tamanhos absolutos característicos, informações de posição absoluta podem ser benéficas. Por outro lado, no ModelNet40 (objetos isolados), codificações invariantes à translação superaram as absolutas.

Robustez e Eficiência

• Fora da Distribuição (OOD): O PaPE não degradou mais do que as linhas de base no ImageNetV2 e ImageNet-Renditions, confirmando que a consciência de contexto não prejudica a generalização.
• Correspondência de Parâmetros: Quando as linhas de base foram ajustadas para corresponder à contagem de parâmetros do PaPE, o PaPE manteve sua vantagem de desempenho, indicando que os ganhos não são devidos exclusivamente ao aumento da capacidade do modelo.
• Eficiência: O PaPE introduz um aumento moderado de recursos (7–20% em VRAM e FLOPS para $m=50$), mas permanece compatível com implementações padrão de atenção eficiente.

Significado e Alegações

O artigo alega que o PaPE representa uma codificação de posição visual geral que preenche a lacuna entre codificações derivadas de linguagem e as necessidades geométricas específicas da visão.

• Extrapolação: Os autores alegam que o PaPE oferece extrapolação "notável", melhorando os termos absolutos em até 10,5% sobre o próximo melhor método em resoluções altas, um fator crítico para reduzir custos de treinamento e permitir inferência robusta em múltiplas resoluções.
• Design Principiado: Ao projetar explicitamente para invariância à translação, decaimento de distância, direcionalidade e consciência de contexto, o PaPE aborda a cobertura "incompleta" das características visuais em adaptações anteriores.
• Versatilidade: Os resultados em modos diversos (de imagens 2D a nuvens de pontos 3D e fluxos de eventos assíncronos) sugerem que o PaPE fornece uma solução unificada e robusta para Vision Transformers, abrindo um novo caminho para a pesquisa em codificação de posição.

Os autores permanecem modestos quanto às limitações, notando o aumento moderado de parâmetros e uso de recursos dependente do hiperparâmetro $m$, e sugerem que trabalhos futuros poderiam focar na redução de $m$ ou na integração mais profunda do PaPE em kernels eficientes.