Depth-Staggered Fibonacci Spacing for Sparse Attention: Static Schedules Beat Learned Dilation and Extrapolate Where Dense Attention Fails

Resumen Técnico: Espaciado Fibonacci Escalonado en Profundidad para Atención Dispersa: Los Esquemas Estáticos Superan la Dilatación Aprendida y Extrapolan Donde la Atención Densa Falla

Planteamiento del Problema

El artículo aborda el desafío de reducir el costo computacional cuadrático de la autoatención en los modelos de lenguaje mediante mecanismos de atención dispersa (sparse attention). Mientras que muchos esquemas existentes restringen las consultas a subconjuntos específicos de claves (por ejemplo, ventanas locales, patrones estriados o variaciones por cabeza), existe una comprensión limitada sobre cómo variar de manera óptima un único parámetro de espaciado a través de la profundidad de la red en un entorno controlado. Específicamente, los autores investigan si un escalar $\alpha$ por capa, que escala los desplazamientos espaciados por Fibonacci, debe ser fijo, aprendido dinámicamente o establecido mediante un esquema estático para equilibrar la cobertura del campo receptivo y el rendimiento del modelo.

Metodología

Los autores realizaron una comparación controlada entre 21 modelos de lenguaje entrenados con una receta idéntica (60 millones de parámetros, dimensión oculta de 512, 16 capas, 426 millones de tokens).

Arquitectura y Mecanismo de Atención:

• Conjunto Atendido: Para cada consulta en la posición $i$, el modelo atiende a una ventana local densa de tamaño $W$ más un conjunto de desplazamientos dispersos basados en una secuencia de Fibonacci ($fib = [1, 2, 3, 5, \dots, 987]$).
• Escalamiento: Cada desplazamiento $f_k$ se escala mediante un escalar $\alpha$ por capa tal que la distancia objetivo es $d_k = \alpha f_k$. El escalar está restringido a $\alpha \in [0.5, 1.5]$.
• Implementación: Para permitir el flujo de gradiente hacia $\alpha$ incluso cuando los desplazamientos no son enteros, el modelo utiliza interpolación lineal entre las filas de claves/valores. Los incrustaciones de posición rotatorias (RoPE) se aplican antes de la recolección (gathering).

Variables Experimentales:
El estudio comparó cuatro métodos para establecer el escalar $\alpha$ a través de las 16 capas:

1. Fijo (Fixed): $\alpha = 1$ para todas las capas.
2. Aprendido (Learned): Un parámetro libre $\theta$ por capa, inicializado en $\alpha=1$, optimizado mediante descenso de gradiente.
3. Escalonado Lineal (Staggered - Linear): Una rampa fija donde $\alpha$ aumenta linealmente de 0.5 (capa 0) a 1.5 (capa 15).
4. Escalonado Coprimo/HDC (Staggered - Coprime/HDC): El mismo multiconjunto de valores $\alpha$ que la rampa lineal, pero reasignado a las capas utilizando un paso coprimo ($\ell \to (7\ell \mod L)$) para maximizar las diferencias de espaciado entre capas adyacentes.

Controles:

• Se utilizó una base de potencia de 2 (log-dispersa) con "ajuste de alcance" (reach-matched) para aislar el efecto de la densidad de espaciado de la secuencia de Fibonacci específica.
• Un baseline denso con la misma arquitectura y receta de entrenamiento sirvió como límite superior de rendimiento.

Contribuciones Clave y Resultados

1. El Escalonamiento Estático es el Palanca Dominante
A través de todos los tamaños de ventana ($W \in \{6, 8, 10, 12\}$) y conjuntos de datos, un esquema estático escalonado por capa superó tanto a los esquemas fijos como a los aprendidos.

• Orden de Rendimiento: Escalonado $\approx$ Coprimo $>$ Aprendido $>$ Fijo.
• Mejor Modelo: El escalonado lineal con $W=12$ logró la menor perplejidad (FineWeb-Edu: 42.02, Wikipedia: 37.59).
• Agnosticismo de la Base: El beneficio del escalonamiento es independiente de la secuencia base. Aplicar el escalonado lineal a una base de potencia de 2 la mejoró significativamente, elevándola por encima de una base de Fibonacci fija y logrando paridad con una base de Fibonacci aprendida. Esto indica que la diversidad de espaciado por capa es más crítica que la elección específica de la secuencia base.

2. La Dilatación Aprendida es Inerte
Contrario a la hipótesis de que las capas "aprenderían" un espaciado óptimo similar a un resorte, el escalar $\alpha$ aprendido permaneció casi estático cerca de su inicialización ($\alpha \approx 1$).

• Rendimiento: La variante aprendida mejoró ligeramente sobre la fija, pero no logró superar al escalonado estático.
• Eficiencia: La variante aprendida incurrió en aproximadamente 5 veces más latencia de inferencia porque los desplazamientos no enteros requerían una recolección interpolada no fusionada, mientras que las variantes estáticas podían usar rutas de máscara booleana fusionadas más rápidas.
• Sonda Mecanicista: Una tarea de recuperación controlada confirmó que el descenso de gradiente no relocaliza significativamente los escalares, incluso cuando la tarea recompensa explícitamente un espaciado específico. El beneficio es estructural (diversidad de espaciado) más que adaptativo.

3. Extrapolación de Longitud: Robustez Dispersa vs. Colapso Denso
El hallazgo más significativo concierne a la extrapolación a longitudes 4 veces la longitud de entrenamiento (4096 tokens frente a 1024 de entrenamiento).

• Baseline Denso: Colapsó catastróficamente, con una perplejidad que aumentó en un 201% (de 33.37 a 100.36 en FineWeb-Edu).
• Variantes Dispersas: Se mantuvieron robustas, con la perplejidad manteniéndose plana o mejorando ligeramente (por ejemplo, el escalonado lineal cayó un 1.3%).
• Mecanismo: La atención de desplazamiento fijo solo consulta posiciones relativas vistas durante el entrenamiento. Dado que los ángulos de RoPE para estos desplazamientos están dentro de la distribución en cualquier longitud, el modelo extrapola naturalmente. La atención densa atiende a todas las posiciones relativas, incluyendo aquellas con ángulos rotatorios nunca vistos durante el entrenamiento, lo que causa el fallo.
• Sensibilidad de la Base: La base de potencia de 2 degradó más (+11.3%) que la de Fibonacci (+0% a +2.8%) porque sus peldaños dispersos introdujeron nuevos desplazamientos grandes no entrenados (ej. 1024, 2048) en longitudes de evaluación largas.

4. Negativos Honestos y Limitaciones
El artículo establece explícitamente sus afirmaciones con dos hallazgos negativos:

• Brecha de Calidad Intra-Distribución: En la longitud de entrenamiento (1024), el mejor modelo disperso tiene una perplejidad aproximadamente un 26% mayor que el baseline denso. La atención dispersa es un sacrificio de calidad en favor de la generalización de longitud.
• Ganancia Uniforme: La mejora del escalonado es uniforme en todas las posiciones de contexto, no concentrada en el largo alcance. La ganancia parece provenir de una diversidad general de representación por capa más que de un efecto específico de "alcance de largo alcance".

Significancia y Reivindicaciones

El artículo sostiene que, para la autoatención dispersa, un esquema estático que varía con la profundidad es superior tanto a los esquemas fijos como a los aprendidos. Los autores argumentan que el mecanismo de "resorte aprendido" es innecesario e ineficiente; en su lugar, imponer manualmente un rango escalonado de espaciados proporciona la diversidad de campo receptivo necesaria.

La implicación práctica principal es un compromiso: la atención dispersa estructurada sacrifica la calidad intra-distribución en la longitud de entrenamiento, pero ofrece una extrapolación de costo casi nulo a longitudes donde la atención densa falla por completo. Esto la convierte en una estrategia viable para aplicaciones que requieren procesamiento de contexto largo sin la sobrecarga computacional de la atención densa o la complejidad de las adaptaciones posicionales aprendidas.

Los autores enfatizan que estos resultados son específicos a la escala probada (60 millones de parámetros) y al RoPE vanilla sin escalamiento, y que el esquema escalonado óptimo (lineal vs. coprimo) sigue siendo una pregunta abierta para modelos más grandes.