Resumen Técnico: PJ-RoPE: Un espacio de posición Fourier–Jet–Afín para la atención relativa

Planteamiento del problema

Las representaciones de posición relativa son fundamentales para la atención de contexto largo en los Transformers, sin embargo, los métodos existentes suelen tratarse como diseños competidores en lugar de componentes de una estructura unificada.

• RoPE codifica el desfase relativo mediante caracteres de Fourier (rotaciones).
• ALiBi añade un término de recencia afín monótono directamente a los logits de atención.
• Jordan-RoPE reemplaza las frecuencias rotatorias semisimples por bloques de Jordan finitos, generando características de "jet finito" similares a derivadas.

El artículo argumenta que estos métodos comparten una estructura algebraica común basada en módulos de diferencia de coeficientes constantes. Específicamente, las raíces simples corresponden a los caracteres de Fourier/RoPE, las raíces no nulas repetidas generan jets de Jordan/Fourier, y las raíces unitarias repetidas producen la recencia afín tipo ALiBi. El problema central abordado es la falta de un marco unificado que trate estos métodos como sectores seleccionables dentro de un único espacio aprendible, y la ausencia de diagnósticos para determinar qué sectores utiliza cada tarea específica. Además, las características de jet de alto orden (que involucran potencias de la distancia relativa) plantean desafíos de estabilidad en contextos largos, provocando que las características transformadas y los logits crezcan drásticamente.

Metodología

Los autores proponen PJ-RoPE (RoPE de tipo Poincaré), un marco que unifica estas primitivas en un espacio de posición relativa Fourier–Jet–Afín aprendible.

1. Formulación teórica

El marco se fundamenta en el álgebra de los módulos de diferencia de coeficientes constantes. Define un espacio de posición $P_{PJ}$ como una suma directa de tres sectores:

• Sector Homogéneo Fourier–Jet ($H_{FJ}$): Contiene características de RoPE (orden-0) y Jordan-RoPE (orden-$r > 0$). Algebraicamente, estos son soluciones a ecuaciones con raíces no nulas repetidas, produciendo términos como $(d/L)^r e^{-cd/L} e^{i\omega d}$.
• Sector de Recencia Afín ($A_{rec}$): Contiene términos constantes y lineales (p. ej., $-sd/L$), correspondientes a la raíz unitaria repetida. Esto suministra una dirección de "tipo traslación" análoga a la extensión afín del grupo de Lorentz (de ahí el nombre "tipo Poincaré").
• Sector de Cono de Luz (LC) ($H_{LC}$): Un gráfico de coordenadas compactificado para el comportamiento de alto orden con el fin de abordar la estabilidad. Reemplaza la distancia bruta $d$ por una fase de tipo rapidez $\phi_L(d) = L \text{asinh}(d/L)$ y una amplitud de saturación $\beta_L(d) = d/\sqrt{d^2 + L^2}$.

El marco distingue entre dos regímenes de implementación:

• PJ-bias: Un núcleo de atención escalar aditivo que contiene caracteres de Fourier, jets amortiguados, términos afines y variantes de LC. Es aprendible pero no es una transformación de características exacta.
• PJ-rotary: Una implementación de transformación de características exacta que aplica acciones relativas a las características de consulta (query) y clave (key), utilizada para verificar las propiedades de clausura de RoPE y Jordan-RoPE.

2. Diagnósticos adaptativos

Para determinar qué regiones del espacio seleccionan las tareas, los autores introducen compuertas de sector adaptativas ($g_{FJ}, g_{aff}, g_{LC}$) y tres diagnósticos:

• Masa efectiva: Mide la asignación de la magnitud de los parámetros con compuerta a través de los sectores y los órdenes de jet.
• Energía funcional: Mide la escala realizada de los componentes del núcleo sobre una ventana de evaluación, contabilizando el amortiguamiento y la cancelación de fase.
• Leave-One-Order-Out (LOO): Evalúa si eliminar un orden de jet específico degrada la función ajustada, separando la selección de parámetros de la contribución funcional real.

3. Estabilización de Cono de Luz (Light-Cone)

Para evitar el crecimiento exponencial de los jets de alto orden en contextos largos, la rama LC aplica una transformación de coordenadas. Esto acota la magnitud de las características transformadas y los logits, pero comprime la resolución de fase en rangos largos, enmarcando explícitamente el compromiso entre estabilidad y resolución.

Principales contribuciones

1. Formulación del espacio de posición: El artículo formula la atención relativa como un espacio Fourier–Jet–Afín aprendible, separando los núcleos de sesgo escalar de las transformaciones exactas de características rotatorias.
2. Contención de sectores: Identifica RoPE, Jordan-RoPE (jets finitos), ALiBi (recencia afín) y coordenadas LC como distintos sectores dentro de una única estructura matemática.
3. Diagnósticos adaptativos: La introducción de compuertas de sector, masa efectiva, energía funcional y ablaciones LOO proporciona un método para medir empíricamente la selección de sectores a nivel de tarea.
4. Cadena de evidencia: Los autores evalúan la recuperación de sectores, el uso entrenable y la asignación natural de tareas a través de núcleos controlados, tareas sintéticas, modelos de lenguaje a nivel de bytes y flujos de tokens musicales simbólicos.

Resultados experimentales

Los experimentos utilizan Transformers causales pequeños (aprox. 0.15M–0.20M de parámetros) entrenados en contextos cortos y evaluados en contextos largos (hasta 32,768 tokens).

• Recuperación de kernel fijo: El PJ-bias escalar recupera con éxito objetivos de fase pura, jet finito, afín y LC, confirmando que el espacio abarca las familias de primitivas diseñadas.
• Recuperación de sector adaptativo: Cuando se entrena con señales "maestras" (p. ej., afín puro o órdenes de jet específicos), las compuertas aprendidas y los diagnósticos desplazan correctamente la masa hacia los sectores correspondientes.
• Tareas de secuencias sintéticas: Los modelos de atención entrenables pueden utilizar estos sectores cuando la rama posicional porta la señal. Los maestros afines activan la rama de recencia; los maestros de jet con signo activan las variantes FJ.
• Lenguaje Natural (Nivel de Byte): En tareas de lenguaje (Tiny Shakespeare, WikiText-2, War and Peace), los modelos seleccionan predominantemente el comportamiento afín/de recencia. La masa de FJ/LC de alto orden aparece solo como una corrección diagnóstica menor. El escalado de RoPE tipo NTK combinado con la recencia afín produce el mejor rendimiento en contextos largos.
• Flujos de tokens musicales: En tareas musicales simbólicas (MAESTRO, MusicNet), la asignación difiere. Las variantes LC-afines se mantienen fuertes, pero hay una asignación constante y medible hacia las correcciones de alto orden (pequeña pero no nula). Esto se alinea con la necesidad de modelar retornos de motivos y envolventes rítmicas.
• Estabilidad LC vs. Resolución: Las variantes LC logran acotar las normas de Q/K y las escalas de caché/logits a 32,768 tokens. Sin embargo, esto conlleva un costo: el "alcance de fase de largo alcance" se reduce significativamente, lo que conduce a una menor resolución de recuperación en pruebas de falsos negativos duros en comparación con las coordenadas puras.

Significado y afirmaciones

El artículo posiciona a PJ-RoPE no como una nueva arquitectura única, sino como un marco de diagnóstico de espacio de posición. Su principal significancia radica en redefinir los mecanismos de posición relativa como un espacio único y aprendible donde diferentes tareas seleccionan diferentes regiones:

• Selección dependiente de la tarea: La evidencia empírica sugiere que las tareas de lenguaje favorecen las estructuras afines/de recencia, mientras que los flujos simbólicos estructurados (como la música) utilizan una mezcla de afines y correcciones de jet de alto orden.
• Compromiso de Estabilidad-Resolución: El trabajo cuantifica explícitamente el compromiso introducido por las coordenadas de Cono de Luz: estabilizan la extrapolación de contexto largo al acotar el crecimiento, pero comprimen la resolución de fase.
• Separación de preocupaciones: El artículo distingue entre la "corrección de la representación" (clausura exacta de la transformación de características PJ-rotary) y la "estabilidad de contexto largo" (el camino escalar LC), señalando que las transformaciones de características exactas pueden degradarse bruscamente en rangos largos sin estabilización.

Los autores conclizan que el uso estable de contexto largo depende de una asignación dependiente de la tarea entre la recencia afín, la estructura Fourier–jet y la compactación de LC. Se mantienen modestos respecto a la generalización, señalando que estos hallazgos se basan en modelos pequeños y esquemas de tokenización específicos, y que se requiere una validación a mayor escala antes de que estas asignaciones puedan ser tratadas como reglas de despliegue.