Resumen Técnico: RoVE (Rotary Value Embeddings Attention)

Planteamiento del Problema

Los Embeddings de Posición Rotatorios (RoPE) estándar logran con éxito que las puntuaciones de atención sean relativas a la posición mediante la rotación de consultas (queries) y claves (keys) basadas en sus posiciones absolutas. Sin embargo, la vía del valor permanece ciega a la posición. En el lenguaje de los circuitos de transformadores, mientras que el circuito de Consulta-Clave (QK) está sesgado hacia las posiciones relativas, el circuito de Salida-Valor (OV) trata al token de valor $x_j$ de manera idéntica independientemente de su distancia respecto a la consulta $x_i$. Específicamente, el mapa de canales $W_V$ aplicado a un token de valor no porta información sobre su desplazamiento relativo $\delta = j - i$. Esta asimetría limita la capacidad del modelo para realizar transformaciones de valores sensibles a la posición relativa antes de la agregación, una capacidad inherente a las operaciones convolucionales pero ausente en la atención RoPE estándar.

Metodología: RoVE

Los autores proponen RoVE (Rotary Value Embeddings), una modificación libre de parámetros que extiende RoPE a la vía del valor. El mecanismo central consiste en rotar los vectores de valor mediante las mismas matrices de rotación dependientes de la posición utilizadas para las claves, pero de una manera que los alinee con el marco de referencia de la consulta antes de la agregación.

Formulación Matemática

En RoPE estándar, la salida en la posición $i$ se calcula como:
$$y_i = \sum_{j \in N(i)} A(X)_{ij} W_V x_j$$
donde $A(X)_{ij}$ son los pesos de atención de RoPE que dependen del desplazamiento relativo $j-i$.

RoVE modifica esto rotando el valor $x_j$ por $R_j$ (la matriz de rotación en la posición $j$) y luego invirtiendo la rotación en la posición de la consulta $i$ mediante $R_i^{-1}$:
$$\tilde{y}_i = R_i^{-1} \sum_{j \in N(i)} A(X)_{ij} R_j W_V x_j = \sum_{j \in N(i)} A(X)_{ij} \underbrace{R_{j-i} W_V}_{\psi_{j-i}} x_j$$

Interpretación Estructural

Esta modificación cambia fundamentalmente la naturaleza del operador de atención:

1. Convolución Atenta: RoVE transforma el mecanismo de atención en una convolución atenta. El mapa de valores constante $W_V$ es reemplazado por una familia de núcleos dependientes del desplazamiento $\psi_\delta = R_\delta W_V$. El desplazamiento relativo $\delta$ ahora modula la transformación del token (circuito OV) de la misma forma que modula la selección de tokens (circuito QK).
2. Estructura de Mezclador de Matrices: En el marco de los mezcladores de matrices, el mezclador RoPE estándar tiene una estructura de Kronecker ($A \otimes W_V$), desacoplando el enrutamiento de la proyección de canales. RoVE reemplaza esto con una estructura de Toeplitz de bloques, donde los bloques a lo largo de la misma diagonal de desplazamiento relativo comparten el mismo núcleo de valor rotado, escalado por el peso de atención.
3. Perspectiva de Cambio de Marco: La operación puede verse como un cambio de marco: los valores se transforman desde sus marcos locales hacia un marco global compartido mediante $R_j$, se agregan, y luego se transforman de vuelta al marco local de la consulta mediante $R_i^{-1}$.

Eficiencia

RoVE no introduce parámetros aprendibles adicionales. Las operaciones de rotación actúan independientemente sobre $n$ tokens y $d^2$ pares de canales, lo que resulta en una complejidad lineal $O(nd)$. Esto es insignificante comparado con las capas lineales $O(nd^2)$ y las capas de atención $O(n^2d)$. Además, RoVE es compatible con kernels de atención eficientes como FlashAttention, ya que las rotaciones ocurren antes y después de la llamada al kernel.

Contribuciones Clave

1. Caracterización Estructural: El artículo proporciona un análisis teórico que muestra cómo RoVE unifica los circuitos QK y OV al hacer que la vía del valor sea sensible a la posición relativa. Demuestra que esto convierte la atención RoPE en una convolución atenta, dotando al modelo de una estructura de mezclador de Toeplitz de bloques.
2. Validación Empírica: Los autores entrenaron modelos de estilo GPT-2 (124M y 354M de parámetros) en el conjunto de datos FineWebEdu-10B. Evaluaron RoVE como un reemplazo directo para la vía del valor en modelos de lenguaje estándar (no compartidos de KV).
3. Complementariedad con YaRN: El estudio investiga la interacción entre RoVE y YaRN (un método de interpolación de frecuencia para la extrapolación de contexto largo).

Resultados Experimentales

La evaluación se centró en el aprendizaje en contexto de pocos disparos (few-shot ICL), la perplejidad fuera de distribución (OOD) y la recuperación de contexto largo (benchmark RULER).

• Rendimiento Dentro de la Distribución: RoVE mejoró consistentemente la precisión de ICL de pocos disparos y la perplejidad en contexto dentro del contexto de entrenamiento (1024 tokens) en comparación con RoPE estándar. Esto indica que el sesgo de posición relativa es beneficioso incluso sin extrapolación.
• Perplejidad Fuera de la Distribución (OOD): RoVE redujo sustancialmente la perplejidad en longitudes de contexto de hasta 16k tokens. Al combinarse con YaRN, las mejoras fueron aditivas, lo que sugiere que ambos métodos abordan aspectos complementarios de la generalización de contexto largo.
• Recuperación de Contexto Largo: En el benchmark RULER (4k/8k tokens), RoVE mostró ganancias significativas, particularmente en tareas que requieren el mantenimiento y la recombinación de información a través del contexto (por ejemplo, Seguimiento de Variables, Needle-in-a-Haystack). Las mejoras fueron más pronunciadas cuando RoVE se combinó con YaRN.

Significado y Reivindicaciones

El artículo afirma que RoVE ofrece un sesgo estructural robusto para los Modelos de Lenguaje de Gran Escala (LLMs) al corregir una asimetría estructural en la atención RoPE. Al hacer que la vía del valor sea sensible a la posición, RoVE unifica formulaciones independientes de operaciones similares encontradas en visión por computadora, robótica y arquitecturas recientes de LLM (por ejemplo, DeepSeek-V4) bajo un único marco teórico: la convolución atenta.

Los autores enfatizan que RoVE es una modificación eficiente y libre de parámetros que mejora el rendimiento en diversas escalas de modelos y tareas, particularmente aquellas que requieren agregación de largo alcance. Los resultados sugieren que la conciencia de la posición relativa en el flujo de valores es un componente crítico para mejorar la robustez del contexto largo y las capacidades de recuperación en arquitecturas de transformadores.