Resumen Técnico: Más allá de los senos y cosenos: Un marco de Wavelet de Morlet para el Codificación Posicional de Transformers

1. Planteamiento del Problema

Las codificaciones posicionales estándar para Transformers, específicamente las sinusoidales (sin/cos) y el Posicionamiento Rotatorio (ROPE), tratan cada posición como igualmente local. Si bien codifican dónde está un token, fallan al codificar qué tan lejos debería extenderse la influencia posicional de un token.

• PE Sinusoidal: Utiliza frecuencias fijas con amplitud uniforme en todas las posiciones.
• ROPE: Codifica la posición relativa como una rotación en el espacio complejo, pero mantiene una envolvente de amplitud constante (todas las posiciones están presentes por igual).
• Brecha Teórica: Estos métodos carecen de un marco matemático unificador. Además, asumen la estacionariedad de la señal (incertidumbre de posición infinita), lo cual es subóptimo para el lenguaje, una señal no estacionaria donde la distribución de caracteres y estructuras sintácticas varía con la posición.

2. Metodología: Codificación Posicional de Morlet (MOPE)

Los autores proponen la Codificación Posicional de Morlet (MOPE), que utiliza la wavelet de Morlet compleja como la base natural para la codificación posicional. La wavelet de Morlet minimiza simultáneamente la incertidumbre tanto en la posición como en la frecuencia, adhiriéndose al principio de incertidumbre de Heisenberg.

2.1 Definición

Para un token en la posición $b$ y la dimensión de embedding $i$, MOPE se define como:
$$\text{MOPE}(b, i) = e^{i\omega_i b} \cdot e^{-b^2/2\sigma_i^2}$$
Esta formulación introduce dos parámetros aprendibles por dimensión:

1. Frecuencia Central ($\omega_i$): Determina la tasa de oscilación (fase).
2. Ancho de Banda ($\sigma_i$): Determina la envolvente de localidad gaussiana (decaimiento de la amplitud).

2.2 Interpretación Geométrica

• Fase: El componente de fase $\omega_i b$ es idéntico al ángulo de rotación en ROPE. Codifica la posición relativa dentro del ciclo de oscilación.
• Amplitud: El término $e^{-b^2/2\sigma_i^2}$ actúa como una envolvente gaussiana centrada en el origen de la secuencia ($b=0$). A diferencia de las codificaciones estándar donde la amplitud es fija en 1 (implicando que $\sigma_i \to \infty$), MOPE aprende una $\sigma_i$ finita, causando que la señal posicional decaiga con la distancia desde el inicio de la secuencia.
• Intercambio de Incertidumbre: MOPE aprende el intercambio óptimo entre la incertidumbre de posición ($\Delta b_i = \sigma_i$) y la incertidumbre de frecuencia ($\Delta \omega_i = 1/\sigma_i$), satisfaciendo el límite $\Delta b_i \cdot \Delta \omega_i \geq 1/2$.

2.3 Unificación de Métodos Existentes

El artículo demuestra que las codificaciones estándar son casos degenerados de MOPE:

• PE Sinusoidal: Emerge cuando $\sigma_i \to \infty$ (localidad infinita, sin decaimiento).
• ROPE: Emerge cuando $\sigma_i \to \infty$. El kernel de correlación cruzada de MOPE recupera exactamente la puntuación de atención de ROPE en este límite, modulado por un kernel de localidad gaussiano aprendido en el caso general.
• ALiBi: Conceptualmente análogo como un límite de localidad de frecuencia cero (decaimiento exponencial sin oscilación).

3. Contribuciones Clave

1. Unificación Teórica: Se demostró que sin/cos PE y ROPE son casos degenerados de MOPE (donde la localidad se desactiva).
2. Equivalencia de Fase: Se estableció que la diferencia de fase de MOPE es matemáticamente idéntica al ángulo de rotación de ROPE. La diferencia principal es la adición de un kernel de localidad gaussiano aprendido en MOPE.
3. Combinación Empírica: Combinó MOPE con Atención de Puerta de Energía (EGA). El modelo resultante (EGA-MORLET) logró una mejora de +0.119 en la perplejidad de validación sobre la atención estándar en el conjunto de datos TinyShakespeare, superando a ambos componentes utilizados por separado.
4. Análisis de Parámetros: Analizó los parámetros aprendidos y encontró que los 128 pares de frecuencia-ancho de banda convergieron exactamente a la frontera de admisibilidad de la wavelet ($\omega_i \sigma_i = 5$).

4. Resultados Experimentales

Los experimentos se realizaron en un conjunto de datos de nivel de carácter TinyShakespeare con una longitud de contexto de $T=256$ utilizando una arquitectura Transformer de 6 capas y 8 cabezales.

• Desempeño:

  • EGA-MORLET: 1.3550 Perplejidad de Validación (+0.119 sobre el baseline).
  • EGA-1 (Baseline): 1.3821 (+0.092).
  • ROPE: 1.4637 (+0.011).
  • Sin/Cos: 1.5863 (-0.112).
  • MOPE Solo: 1.5060 (-0.032).
  • Nota: MOPE por sí solo tuvo un desempeño inferior al baseline de embedding aprendido, probablemente debido a la capacidad limitada del modelo pequeño (512 parámetros para PE frente a 65,536 para una tabla de búsqueda) y el sesgo estructural del origen centrado en la Gaussiana. Sin embargo, al combinarse con EGA, la sinergia fue significativa.

• Parámetros Aprendidos:

  • Frontera de Admisibilidad: Los 128 dimensiones convergieron exactamente a $\omega_i \sigma_i = 5.000$. El optimizador empujó consistentemente los parámetros hacia esta frontera, sugiriendo una preferencia por una mayor localidad y frecuencias más bajas de lo que el límite permite.
  • Concentración de Escala: Los anchos de banda aprendidos ($\sigma_i$) oscilaron entre 1.49 y 4.50 tokens. Esto indica que el modelo concentró toda la capacidad posicional en la escala de carácter-a-palabra, en lugar de abarcar escalas más amplias (cláusulas, oraciones), lo cual se esperaría en contextos más largos.
  • Compresión de Frecuencia: Las frecuencias aprendidas se comprimieron en una banda estrecha ($\omega_i \in [1.11, 3.35]$), muy por encima del rango diedico inicial.

5. Significado y Reivindicaciones

El artículo afirma proporcionar el primer marco matemático unificador para las codificaciones posicionales oscilatorias, revelándolas como un caso especial de una base wavelet localizada en el tiempo y la frecuencia.

• Perspectiva Teórica: El trabajo postula que el lenguaje es no estacionario y, por lo tanto, las codificaciones posicionales no deberían asumir una localidad infinita ($\sigma = \infty$). MOPE permite al modelo aprender el "rango temporal de influencia" apropiado para cada dimensión.
• Complementariedad: Los resultados sugieren que la saliencia espectral (manejada por EGA, determinando qué atender) y la localidad tiempo-frecuencia (manejada por MOPE, determinando hasta dónde se extiende la influencia) son mecanismos complementarios. Su combinación produce beneficios super-aditivos.
• Reproducibilidad: La convergencia a la frontera de admisibilidad ($\omega \sigma = 5$) se observó tanto en los experimentos de codificación posicional como en un experimento separado de Puerta de Energía (Paper 1), lo que sugiere una propiedad empírica reproducible de las señales de lenguaje a nivel de carácter.

6. Limitaciones y Trabajo Futuro

Los autores mantienen un tono modesto respecto a sus hallazgos actuales:

• Escala: Los experimentos están limitados a nivel de carácter, contexto corto ($T=256$) y una única semilla.
• Sesgo de Origen: La formulación actual utiliza una Gaussiana centrada en $b=0$, creando un "prior de origen absoluto" donde los tokens cerca del inicio tienen una amplitud posicional más fuerte que los del final. Esto rompe la invarianza de traslación. Los autores proponen una generalización futura con un centro aprendible $b_{0,i}$.
• Restricción de Admisibilidad: La convergencia hacia la frontera de admisibilidad ($\omega \sigma = 5$) puede ser un artefacto de la implementación basada en proyección (clamping) en lugar de un óptimo real no restringido. Relajar esta restricción es una prioridad para futuras investigaciones.
• Próximos Pasos: El trabajo futuro validará MOPE en la tokenización a nivel de palabra, contextos más largos y explorará Morlet-ROPE (aplicar la envolvente Gaussiana al mecanismo de rotación de ROPE).