Resumo Técnico: RoVE (Rotary Value Embeddings Attention)

Problema

O Rotary Position Embedding (RoPE) padrão renderiza com sucesso os escores de atenção relativos à posição ao rotacionar queries e keys com base em suas posições absolutas. No entanto, o caminho do valor permanece cego à posição. Na linguagem dos circuitos de transformer, enquanto o circuito Query-Key (QK) é enviesado para posições relativas, o circuito Output-Value (OV) trata o token de valor $x_j$ identicamente, independentemente de sua distância da query $x_i$. Especificamente, o mapa de canais $W_V$ aplicado a um token de valor não carrega informação sobre seu deslocamento relativo $\delta = j - i$. Essa assimetria limita a capacidade do modelo de realizar transformações sensíveis à posição relativa nos valores antes da agregação, uma capacidade inerente às operações convolucionais, mas ausente na atenção RoPE padrão.

Metodologia: RoVE

Os autores propõem o RoVE (Rotary Value Embeddings), uma modificação livre de parâmetros que estende o RoPE para o caminho do valor. O mecanismo central envolve rotacionar os vetores de valor pelas mesmas matrizes de rotação dependentes da posição usadas para as keys, mas de uma maneira que os alinhe com o referencial da query antes da agregação.

Formulação Matemática

No RoPE padrão, a saída na posição $i$ é computada como:
$$y_i = \sum_{j \in N(i)} A(X)_{ij} W_V x_j$$
onde $A(X)_{ij}$ são os pesos de atenção RoPE dependentes do deslocamento relativo $j-i$.

O RoVE modifica isso rotacionando o valor $x_j$ por $R_j$ (a matriz de rotação na posição $j$) e, em seguida, invertendo a rotação na posição da query $i$ por $R_i^{-1}$:
$$\tilde{y}_i = R_i^{-1} \sum_{j \in N(i)} A(X)_{ij} R_j W_V x_j = \sum_{j \in N(i)} A(X)_{ij} \underbrace{R_{j-i} W_V}_{\psi_{j-i}} x_j$$

Interpretação Estrutural

Esta modificação altera fundamentalmente a natureza do operador de atenção:

1. Convolução Atenta: O RoVE transforma o mecanismo de atenção em uma convolução atenta. O mapa de valor constante $W_V$ é substituído por uma família de kernels dependentes do deslocamento $\psi_\delta = R_\delta W_V$. O deslocamento relativo $\delta$ agora modula a transformação do token (circuito OV) da mesma forma que modula a seleção de tokens (circuito QK).
2. Estrutura de Mixer de Matriz: No framework de matrix mixer, o mixer RoPE padrão possui uma estrutura de Kronecker ($A \otimes W_V$), desacoplando o roteamento da projeção de canal. O RoVE substitui isso por uma estrutura block-Toeplitz, onde blocos ao longo da mesma diagonal de deslocamento relativo compartilham o mesmo kernel de valor rotacionado, escalonado pelo peso de atenção.
3. Perspectiva de Mudança de Referencial: A operação pode ser vista como uma mudança de referencial: os valores são transformados de seus referenciais locais para um referencial global compartilhado via $R_j$, agregados e, em seguida, transformados de volta para o referencial local da query via $R_i^{-1}$.

Eficiência

O RoVE não introduz parâmetros treináveis adicionais. As operações de rotação atuam independentemente sobre $n$ tokens e $d^2$ pares de canais, resultando em complexidade linear $O(nd)$. Isso é insignificante comparado às camadas lineares $O(nd^2)$ e camadas de atenção $O(n^2d)$. Além disso, o RoVE é compatível com kernels de atenção eficientes como o FlashAttention, pois as rotações ocorrem antes e depois da chamada do kernel.

Contribuições Principais

1. Caracterização Estrutural: O artigo fornece uma análise teórica mostrando que o RoVE unifica os circuitos QK e OV ao tornar o caminho do valor sensível à posição relativa. Demonstra que isso transforma a atenção RoPE em um mixer de convolução block-Toeplitz.
2. Validação Empírica: Os autores treinaram modelos do tipo GPT-2 (124M e 354M de parâmetros) no dataset FineWebEdu-10B. Eles avaliaram o RoVE como um substituto direto (drop-in replacement) para o caminho do valor em modelos de linguagem padrão (não compartilhadores de KV).
3. Complementaridade com YaRN: O estudo investiga a interação entre o RoVE e o YaRN (um método de interpolação de frequência para extrapolação de contexto longo).

Resultados Experimentais

A avaliação focou em aprendizado em contexto de poucos disparos (few-shot in-context learning - ICL), perplexidade fora de distribuição (OOD) e recuperação de contexto longo (benchmark RULER).

• Desempenho In-Distribution: O RoVE melhorou consistentemente a precisão de ICL de núcleo (core ICL) e a perplexidade de contexto in-context dentro do contexto de treinamento (1024 tokens) em comparação com o RoPE padrão. Isso indica que o viés de posição relativa é benéfico mesmo sem extrapolação.
• Perplexidade Out-of-Distribution (OOD): O RoVE reduziu substancialmente a perplexidade em comprimentos de contexto de até 16k tokens. Quando combinado com o YaRN, as melhorias foram aditivas, sugerindo que os dois métodos abordam aspectos complementares da generalização de contexto longo.
• Recuperação de Longo Contexto: No benchmark RULER (4k/8k tokens), o RoVE mostrou ganhos significativos, particularmente em tarefas que exigem manutenção e recombinação de informações através do contexto (ex: Variable Tracking, Needle-in-a-Haystack). As melhorias foram mais pronunciadas quando o RoVE foi combinado com o YaNT.

Significância e Alegações

O artigo afirma que o RoVE oferece um viés estrutural robusto para Large Language Models (LLMs) ao corrigir uma assimetria estrutural na atenção RoPE. Ao tornar o caminho do valor sensível à posição, o RoVE unifica formulações independentes de operações similares encontradas em visão computacional, robótica e arquiteturas recentes de LLM (ex: DeepSeek-V4) sob um único framework teórico: convolução atenta.

Os autores enfatizam que o RoVE é uma modificação eficiente e livre de parâmetros que melhora o desempenho em diversas escalas de modelos e tarefas, particularmente aquelas que exigem agregação de longo alcance. Os resultados sugerem que a consciência de posição relativa no fluxo de valor é um componente crítico para melhorar a robustez de contexto longo e as capacidades de recuperação em arquiteturas transformer.