On the Geometry of Positional Encodings in Transformers

Resumo Técnico: A Geometria dos Encodings Posicionais em Transformers

Autor: Giansalvo Cirrincione (Université de Picardie Jules Verne)
Contexto: O artigo visa estabelecer uma teoria matemática rigorosa para os positional encodings (codificações posicionais) em Transformers, uma área que historicamente foi desenvolvida por tentativa e erro sem fundamentação teórica unificada.

---

1. O Problema

Os modelos de linguagem neural processam sequências de palavras, mas as operações matemáticas internas dos Transformers (multiplicações de matrizes e mecanismos de atenção) são insensíveis à ordem dos tokens. Sem um sinal posicional, um Transformer trata qualquer permutação da entrada como equivalente à original, tornando-se incapaz de resolver tarefas dependentes da ordem das palavras.

Embora os encodings posicionais sejam essenciais, sua designação carece de uma teoria sobre:

1. Se são estritamente necessários.
2. Que estrutura adquirem quando aprendidos via gradiente.
3. Como seria uma codificação "ótima" independentemente do treinamento.

Atualmente, existem múltiplas abordagens (sinusoidal fixa, aprendida, RoPE, ALiBi), mas não há um critério comum para avaliar qual é a melhor ou por que funcionam.

---

2. Metodologia e Abordagem Teórica

O autor desenvolve uma teoria baseada em geometria da informação e escala multidimensional clássica (MDS). A metodologia central envolve:

• Distância de Hellinger: Em vez de usar divergências como KL, o autor utiliza a distância de Hellinger ($d_H$) entre as distribuições marginais de tokens em cada posição da sequência. Esta métrica é escolhida por ser uma verdadeira métrica (simétrica, satisfaz desigualdade triangular), limitada e intrínseca ao simplex de probabilidade.
• Criticidade de Estresse (Stress): Define-se uma métrica chamada "stress" para quantificar o quão fielmente um encoding posicional reproduz a geometria estatística do corpus. Um stress zero implica uma isometria perfeita entre as distâncias euclidianas dos vetores de embedding e as distâncias de Hellinger das distribuições posicionais.
• Análise de NTK (Neural Tangent Kernel): Para provar conjecturas sobre o comportamento do treinamento, o autor utiliza o regime NTK, onde a matriz de pesos de atenção é considerada quase estacionária, permitindo linearizar o fluxo de gradiente.

---

3. Principais Contribuições Teóricas

O artigo apresenta quatro resultados teóricos principais que formam uma hierarquia de contribuições:

A. Necessidade do Sinal Posicional (Teorema 1)

• Resultado: Prova-se que qualquer Transformer sem sinal posicional é equivariante a permutações.
• Implicação: Se a entrada for permutada, a saída será apenas permutada na mesma ordem. Consequentemente, o modelo não pode resolver nenhuma tarefa onde a ordem das palavras altere o significado ou a resposta correta. O sinal posicional é estritamente necessário.

B. Teorema da Separação Posicional (Teorema 4)

• Resultado: Sob condições genéricas (não-estacionariedade das distribuições de tokens, sensibilidade à ordem da tarefa e não-degenerescência da matriz de atenção), todo minimizador global de um encoding aprendível ($P \in \mathbb{R}^{n \times d}$) atribui vetores de embedding distintos para posições distintas.
• Implicação: O treinamento nunca colapsa duas posições diferentes no mesmo vetor, garantindo que a identidade posicional seja preservada.

C. Codificação Ótima via MDS (Proposição 6 e Algoritmo 1)

• Resultado: A codificação ideal deve reproduzir as distâncias estatísticas entre as posições. Como a variedade estatística (simplex) é curva, uma isometria exata em um espaço euclidiano plano é geralmente impossível.
• Solução: O melhor aproximado é construído via Escala Multidimensional Clássica (MDS) sobre a matriz de distâncias de Hellinger.
• Justificativa Teórica para Encodings Sinusoidais: O artigo prova que, para corpora onde as estatísticas posicionais variam suavemente (estacionariedade aproximada), a matriz de covariância resultante é aproximadamente circulante. Os autovetores de matrizes circulantes são funções senoidais. Portanto, o encoding sinusoidal original é aproximadamente ótimo para tais corpora, fornecendo a primeira justificativa teórica para sua escolha.

D. Parametrização Mínima e Rank Efetivo (Observação 8)

• Resultado: A codificação ótima tem um rank efetivo $r = \text{rank}(B)$, onde $B$ é a matriz de Gram duplamente centrada das distâncias de Hellinger.
• Implicação Prática: Em vez de usar uma matriz livre $n \times d$ (com $n \times d$ parâmetros), pode-se usar uma fatoração de baixo rank $P = AB^\top$ com $r(n+d)$ parâmetros.
• Exemplo: Em um corpus sintético, um rank $r=3$ reduziu o stress em 99,8% em comparação com o encoding sinusoidal, usando 88% menos parâmetros que uma matriz livre.

---

4. Resultados Experimentais

Os experimentos foram realizados em um corpus sintético controlado e em dois conjuntos de dados reais de sentimentos (SST-2 e IMDB) usando o modelo bertbase.

• Validação do Teorema de Separação: Tanto modelos treinados do zero quanto pré-treinados mantiveram separação estritamente positiva entre os vetores de todas as posições durante todo o treinamento, confirmando o Teorema 4.
• Comparação de Stress:
  • PMDS (MDS): Alcançou stress próximo de zero (isometria exata) em ambos os corpora, validando a construção teórica.
  • ALiBi: Apresentou um stress surpreendentemente baixo (0.563 no SST-2), muito inferior ao sinusoidal e ao RoPE. Isso sugere que, para o SST-2 (frases curtas), a estrutura posicional é aproximadamente shift-equivariante (rank-1), o que se alinha com a interpretação teórica do ALiBi como uma aproximação de rank-1 da codificação MDS.
  • Sinusoidal vs. RoPE: Ambos apresentaram valores de stress quase idênticos, indicando que a diferença entre eles (absoluto vs. relativo) é menos relevante para a fidelidade geométrica do que a estrutura de frequências compartilhada.
• Conjectura de Monotonicidade: A conjectura de que a distância entre embeddings deve refletir a distância estatística entre posições foi testada. O encoding PMDS e modelos pré-treinados mostraram taxas de violação de monotonicidade significativamente menores que o acaso (22% e 25% vs. 50% aleatório), com prova rigorosa fornecida no regime NTK no Apêndice A.
• Análise de Camadas: A camada 3 do BERT pré-treinado mostrou um pico de stress projetado, sugerindo que esta camada reorganiza agressivamente o sinal posicional, consistente com a literatura que atribui a ela o processamento sintático.

---

5. Significado e Conclusão

Este trabalho transforma o design de positional encodings de uma questão empírica para uma disciplina geométrica:

1. Diagnóstico Principiado: O stress é introduzido como uma métrica universal para avaliar a fidelidade geométrica de qualquer encoding, independente da tarefa final.
2. Justificativa Teórica: Explica por que o encoding sinusoidal funciona (aproximação de MDS para estatísticas suaves) e por que o ALiBi pode ser superior em certos contextos (aproximação de rank-1 para estatísticas shift-equivariantes).
3. Eficiência: Demonstra que a maioria dos corpora possui uma dimensionalidade intrínseca baixa para informações posicionais, permitindo reduções massivas de parâmetros sem perda de informação geométrica.
4. Limitações e Futuro: A prova da monotonicidade ainda depende do regime NTK. A conexão direta entre baixo stress e alta precisão em tarefas downstream permanece uma questão aberta, pois o stress mede fidelidade geométrica, não necessariamente a adequação para padrões específicos de atenção de uma tarefa.

Em suma, o artigo fornece a primeira teoria unificada que define o que um encoding posicional deve fazer, como aprendê-lo e como construí-lo de forma ótima baseada na geometria estatística do corpus.