Resumen Técnico: Operadores de Trayectoria para la Composición Estructurada Multiaxial

Planteamiento del Problema

Las arquitecturas actuales de aprendizaje automático tienen dificultades para modelar datos con estructura a lo largo de múltiples ejes (por ejemplo, secuencias, imágenes, árboles, datos volumétricos) de una manera que se alinee con los mecanismos de aprendizaje basados en vectores. Aunque las estructuras composicionales de 1D pueden modelarse mediante semigrupos no conmutativos o grupos libres, no existe un marco algebraico ampliamente aceptado para la composición en 2D o multidimensional. Los sistemas algebraicos existentes suelen fallar al no poder soportar las necesidades específicas de las arquitecturas modernas como los Transformers, particularmente en cuanto a cómo se componen los datos y cómo se describen las posiciones relativas a través de ejes independientes.

Existe una tensión crítica: los mecanismos de atención estándar agregan valores sin una composición no conmutativa, descartando efectivamente el contexto estructural de cómo los puntos de datos se relacionan a lo largo de diferentes ejes. Además, aunque el Posicionamiento Rotatorio (RoPE) modela con éxito las posiciones relativas en 1D, extender esto a datos multidimensionales requiere un marco algebraico principista que garantice la independencia de la trayectoria (es decir, que componer "derecha y luego abajo" produzca el mismo resultado que "abajo y luego derecha") y que soporte sesgos inductivos adaptativos al contenido.

Metodología: El Marco Algebraico

El artículo introduce un marco composicional donde cada elemento de datos porta tanto contenido ($v \in \mathbb{R}^d$) como un conjunto de generadores de paso de eje ($R_1, \dots, R_D \in G \le O(d)$), donde $G$ es un grupo de transformaciones ortogonales que preservan la norma.

Operación Núcleo

En 1D, la composición de dos puntos de datos $(a, A)$ y $(b, B)$ se define como:
$$(a, A) \circ (b, B) := (a + Ab, AB)$$
Aquí, el contenido del compuesto es la suma del contenido del primer punto y el contenido del segundo punto rotado al marco del primero. El generador de paso de eje del compuesto es el producto $AB$. Esta operación es asociativa pero no conmutativa.

En $D$-dimensiones, cada dato porta un generador por eje. La composición a lo largo de un eje específico $k$ aplica el generador de ese eje para rotar el contenido del segundo punto y acumula el generador para ese eje, dejando los demás ejes sin cambios.

El Operador de Trayectoria

Una "trayectoria" se define como el camino que conecta dos posiciones. El operador de trayectoria $P_{j \to k}$ es el producto de los generadores de paso de eje a lo largo del camino desde la posición $j$ hasta $k$.

• Independencia de la Trayectoria: El artículo demuestra que la composición y el movimiento a través de los ejes son independientes de la trayectoria (es decir, el resultado depende solo del desplazamiento, no del orden de los ejes) si y solo si los generadores de paso de eje por eje conmutan ($R_i R_j = R_j R_i$).
• Regímenes Planos vs. Curvos: Cuando los generadores conmutan, el marco opera en un "régimen plano" donde el operador de trayectoria es una función pura del desplazamiento ($P_{j \to k} = R^{k-j}$). Cuando no conmutan, el régimen es "curvo", y las transformaciones relativas dependen de la posición absoluta.

Clasificación Teórica

Bajo ciertos axiomas (bilinealidad, invariancia de marco toroidal, composicionalidad de cociclo y preservación de la norma), el artículo clasifica todos los mecanismos de atención compatibles. Demuestra que el único mecanismo compatible es una rotación $SO(2)^{d/2}$ de bloque diagonal. Este resultado explica por qué RoPE y sus variantes (2D-RoPE, tree PEs) surgen naturalmente como casos especiales. Por el contrario, si se asume el grupo ortogonal completo $O(d)$, la estructura posicional colapsa por completo.

Arquitectura JoFormer

Motivado por estos hallazgos, los autores proponen JoFormer (Transformer basado en Trayectorias), que integra el operador de trayectoria en el mecanismo de atención:

1. Lado de la Puntuación (Score Side): Rota las consultas (queries) y claves (keys) por sus respectivos operadores absolutos ($A_i q_i, A_j k_j$) antes de computar las puntuaciones de atención.
2. Lado del Valor (Value Side): Aplica el operador de trayectoria a los valores antes de la agregación: $c_k = \sum_j \alpha_{kj} P_{j \to k} v_j$. Esto aporta estructura composicional al lado de los valores, algo que la atención estándar carece.

El artículo presenta tres variantes:

• JoFormer-fixed: Utiliza ángulos lineales en la posición (frecuencias estándar de RoPE) con rotación de valores.
• JoFormer-learned: Utiliza vectores de frecuencia aprendidos por capa.
• JoFormer-projected: Computa los ángulos a partir del contenido del flujo residual mediante un MLP, creando un operador de trayectoria dependiente de los datos.

Contribuciones Clave

1. Marco Composicional: Un marco algebraico unificado donde los datos portan contenido y generadores de paso de eje, definiendo la composición como una operación asociativa única que se extiende naturalmente de 1D a $D$-dimensiones.
2. Resultados Teóricos:
   • Prueba de que la composición independiente de la trayectoria requiere generadores de paso de eje que conmuten.
   • Clasificación que muestra que, bajo axiomas naturales, el único mecanismo compatible es la rotación $SO(2)^{d/2}$ de bloque diagonal, recuperando RoPE como un caso especial.
   • Prueba de que en el régimen plano, el transporte de valores mediante el operador de trayectoria es equivariante a la traslación.
   • Demostración de que la Transformada Discreta de Fourier (DFT) es un caso especial de este embebido composicional.
3. Arquitectura JoFormer: Un nuevo diseño de modelo que aplica el operador de trayectoria a los valores, unificando la atención estándar, los Modelos de Espacio de Estados (SSMs) y JoFormer bajo una "fórmula de trayectoria de valor".
4. Jerarquía de Trayectoria de Valor: Un puente teórico que muestra cómo las recurrencias de los SSM se despliegan en la misma fórmula de trayectoria de valor que la atención, aclarando las diferencias estructurales entre estas familias.

Resultados Experimentales

Los autores realizaron pruebas de cordura de semilla única en tareas de visión, lenguaje y generalización de longitud para probar las hipótesis del marco:

• Visión (CIFAR-100 e ImageNet):

  • En CIFAR-100, aplicar la rotación de Valor (V) (rotar los valores e invertir la rotación de la salida) mejoró consistentemente la precisión en diferentes tamaños de modelo y tipos de frecuencia. La sinergia entre la rotación de V y las frecuencias aprendibles produjo una ganancia de +1.88% sobre el 2D-RoPE estándar.
  • En ImageNet-1K (ViT-S), JoFormer con rotación de V logró una mejora de precisión Top-1 de +0.40% sobre RoPE2D.
  • Los experimentos confirmaron la hipótesis del "régimen plano": las rotaciones densas (curvas) (LieRE) funcionaron peor que las rotaciones axiales (conmutativas).

• Modelado de Lenguaje (Wikipedia):

  • JoFormer-projected (ángulos dependientes del contenido) logró la menor perplejidad en todas las configuraciones probadas en comparación con RoFormer y las variantes de JoFormer de tipo fijo o aprendido.

• Generalización de Longitud:

  • JoFormer-projected demostró capacidades de extrapolación superiores. Al ser entrenado con una longitud de secuencia de 512 y probado con 4096, logró una relación de perplejidad de 1.02x, superando significativamente a RoPE (6.29x) y a JoFormer-fixed (4.41x). Esto sugiere que los ángulos dependientes de los datos son cruciales para la generalización de longitud más allá de la simple rotación de V.

Significado y Reivindicaciones

El artículo afirma proporcionar un marco algebraico fundacional que resuelve la tensión entre la estructura composicional multiaxial y el aprendizaje basado en vectores. Su importancia radica en:

1. Unificación Teórica: Explica por qué los métodos tipo RoPE son resultados naturales de restricciones de simetría específicas y proporciona una notación común para la atención, los SSM y JoFormer.
2. Sesgo Inductivo: Identifica un sesgo estructural faltante en la atención estándar: la falta de composición no conmutativa en el lado de los valores. JoFormer llena este vacío.
3. Utilidad Práctica: Los experimentos iniciales sugieren que estos sesgos inductivos (específicamente la rotación de V y los ángulos dependientes del contenido) producen mejoras observables en tareas de visión y en la generalización de longitud.

Los autores se mantienen modestos, señalando que sus experimentos son pruebas de cordura de semilla única y no reivindicaciones definitivas de benchmarks, sino que el valor del marco reside principalmente en proporcionar una regla de diseño principista. Expresan explícitamente que, si bien la teoría motiva la arquitectura, no prueba que las variantes específicas (como JoFormer-projected) siempre superarán a las líneas base, sino que son consistentes con la jerarquía de trayectoria de valor derivada.