Resumen Técnico: Atención Puerta por Energía y Codificación Posicional de Wavelet

1. Enunciado del Problema

Los mecanismos de atención estándar de los Transformers calculan la similitud entre pares de tokens mediante atención por producto punto, pero adolecen de dos limitaciones estructurales respecto a los sesgos inductivos:

1. Falta de Saliencia Espectral: La atención estándar trata todos los tokens como igualmente salientes, ponderándolos únicamente por su similitud de contenido con la consulta. Carece de un mecanismo para distinguir tokens con alta densidad informativa intrínseca (por ejemplo, límites morfológicos, cabezas sintácticas) de tokens de fondo (por ejemplo, palabras funcionales, patrones repetidos).
2. Falta de Localidad Adaptativa: Las codificaciones posicionales estándar (por ejemplo, PE sinusoidal fija) asignan frecuencias fijas a las dimensiones de incrustación sin envolventes espaciales. En consecuencia, cada posición contribuye por igual en cada escala, fallando en adaptar la extensión de la influencia posicional a la escala natural de los fenómenos lingüísticos o a la longitud del contexto. Aunque las Incrustaciones Posicionales Rotatorias (ROPE) codifican la posición relativa, aún utilizan frecuencias fijas sin localidad gaussiana.

El artículo postula que estas dos brechas: qué atender (saliencia) y dónde opera la atención en cada escala (localidad), son complementarias y ortogonales.

2. Metodología

Los autores proponen dos componentes simples y aprendibles para abordar estas brechas: Atención Puerta por Energía (EGA) y Codificación Posicional Morlet (MOPE).

2.1 Atención Puerta por Energía (EGA)

EGA introduce un mecanismo de saliencia mediante el enmascaramiento de la agregación de valores basado en una estimación de energía aprendida de las incrustaciones de los tokens clave.

• Mecanismo: Una proyección lineal única ($w_{proj}^T x_j$) estima la "energía" de un token. Este escalar se normaliza-z y se pasa a través de una puerta sigmoide ($g_j$).
• Función: La puerta suprime los tokens de baja energía (fondo/relleno) y amplifica los tokens de alta energía (densos en información).
• Eficiencia: Añade parámetros mínimos ($d+2$ por cabeza, <0.3% de sobrecarga) y ningún costo computacional.
• Base Teórica: La proyección se interpreta como una estimación de energía ponderada espectralmente mediante la identidad de Parseval, aunque los autores señalan que la señal aprendida puede representar saliencia informativa general (por ejemplo, rareza, límites) en lugar de energía espectral estricta.

2.2 Codificación Posicional Morlet (MOPE)

MOPE reemplaza las codificaciones posicionales sinusoidales fijas con wavelets con ventana gaussiana aprendidas para proporcionar una localización tiempo-frecuencia adaptativa.

• Formulación: Para la dimensión de incrustación $i$ y la posición $b$:
  $$MOPE(b, 2i) = \cos(\omega_i b) \cdot e^{-b^2/2\sigma_i^2}$$
  $$MOPE(b, 2i + 1) = \sin(\omega_i b) \cdot e^{-b^2/2\sigma_i^2}$$
  donde $\omega_i$ (frecuencia central) y $\sigma_i$ (ancho de banda de localidad) son parámetros aprendidos.
• Generalización: MOPE generaliza estrictamente la PE sinusoidal estándar (recuperada cuando $\sigma_i \to \infty$) y conecta con ROPE (estructura de fase en el límite) y ALiBi (localidad de frecuencia cero).
• Estructura de Correlación Cruzada: Sustituir MOPE en la correlación cruzada de la atención produce un kernel de Morlet en el espacio de retardo, $C_i(\tau) \propto e^{-\tau^2/4\sigma_i^2} \cdot \cos(\omega_i \tau)$. Esto permite que las dimensiones capturen diferentes escalas de estructura lingüística (por ejemplo, nivel de carácter vs. nivel de oración) basándose en su $\sigma_i$ aprendida.

2.3 Modelo Combinado

El modelo EGA-MORLET aplica el enmascaramiento EGA a los pesos de atención calculados utilizando MOPE. Los autores postulan superaditividad: dado que EGA controla qué tokens se atienden y MOPE controla dónde se extiende la influencia en cada escala, su combinación debería rendir un desempeño mayor que la suma de sus partes individuales.

3. Contribuciones Clave

1. Interpretación de Correlación Cruzada: El artículo reformula la atención por producto punto como el valor de retardo cero ($C_{ij}(0)$) de una función de correlación cruzada más rica, identificando que la atención estándar descarta la selectividad de escala, la estructura de retardo y la saliencia espectral.
2. Arquitectura MOPE: Una codificación posicional de wavelet localizada que generaliza estrictamente la PE sin/cos y proporciona un puente teórico hacia ROPE y ALiBi, ofreciendo frecuencia y localidad adaptativas.
3. Complementariedad Empírica: Demostración de que EGA y MOPE son sesgos inductivos complementarios. Su combinación logra resultados superaditivos, mientras que los componentes individuales muestran un desempeño mixto o neutral en aislamiento.
4. Priors Estructurados vs. Aprendidos: Una ablación estructurada que muestra que las proyecciones aprendidas sin restricciones superan consistentemente a los priores espectrales estructurados (por ejemplo, filtros de Daubechies, inicialización de escala fija) en modelos de lenguaje, excepto cuando un componente estructurado (MOPE) proporciona información genuinamente complementaria (localidad adaptativa) no descubrible mediante el descenso de gradiente estándar sobre productos punto.

4. Resultados Experimentales

Los experimentos se realizaron en TinyShakespeare (nivel de carácter, $L=6, H=8, d=256$, $\le 6M$ parámetros) durante 5,000 pasos.

• Hallazgo Principal (Superaditividad):

  • Línea Base (Atención Estándar): Pérdida de Validación = 1.4742.
  • EGA Solo: +0.092 de mejora (Pérdida = 1.3821). La saliencia es un sesgo inductivo fuerte.
  • MOPE Solo: -0.032 de degradación (Pérdida = 1.5060). La localidad adaptativa sin saliencia es insuficiente y ligeramente perjudicial.
  • EGA + MOPE: +0.119 de mejora (Pérdida = 1.3550).
  • Análisis: La ganancia combinada (+0.119) supera la suma de las ganancias individuales (+0.092 - 0.032 = +0.060) en +0.059. Esto respalda la hipótesis de complementariedad.

• Estudios de Ablación:

  • Atención por Convolución: Extender la atención a retardos no nulos (+0.007) confirma que la estructura de retardo porta información.
  • Inicialización de Escala: Inicializar cabezas en frecuencias específicas no proporcionó beneficio (-0.007), sugiriendo que el descenso de gradiente descubre escalas óptimas a partir de una inicialización aleatoria.
  • Flujo Espectral: Usar tasas de cambio de energía como señal de enmascaramiento proporcionó una pequeña ganancia positiva (+0.012), sugiriendo que la detección de límites es útil.
  • Coherencia de Fase: Usar información de fase resultó en un impacto negativo leve (-0.007).

• Parámetros Aprendidos: Los parámetros de MOPE se agruparon en cuatro regiones distintas correspondientes a las escalas de carácter, palabra, cláusula y oración, sugiriendo que el modelo aprende escalas temporales lingüísticamente naturales a partir de los datos.

5. Significado y Afirmaciones

El artículo afirma que la saliencia espectral y la localidad selectiva de escala son sesgos inductivos complementarios que carece la atención estándar.

• Complementariedad: Ningún sesgo es suficiente por sí solo a esta escala; su interacción es superaditiva.
• Aprendizaje vs. Priors: El fracaso consistente de los priores estructurados (como puertas de wavelet fijas) sugiere que la base óptima para incrustaciones a nivel de carácter es no sinusoidal y específica del corpus. Se prefiere el aprendizaje sin restricciones a menos que un componente estructurado (como la localidad adaptativa de MOPE) ofrezca información ortogonal a lo que el descenso de gradiente descubre naturalmente.
• Modestia: Los autores declaran explícitamente que todos los experimentos son a pequeña escala (una semilla, nivel de carácter). El resultado principal se considera creíble a esta escala, pero los efectos secundarios requieren validación con múltiples semillas. El artículo no afirma que estos métodos resuelvan problemas de contexto largo aún, pero los identifica como una dirección de alta prioridad para trabajos futuros (específicamente para $T \ge 4096$).

El trabajo se presenta como parte de una serie sobre métodos espectrales en la atención de transformers, con código disponible para reproducibilidad.