Twos All the Way Down: A Hidden Condition Every Deployed RoPE Schedule Satisfies

Planteamiento del Problema

El artículo identifica un modo de fallo previamente no articulado en el Posicionamiento Rotatorio (RoPE, por sus siglas en inglés), un mecanismo estándar de codificación posicional en los modelos de lenguaje de gran tamaño. Mientras que el trabajo previo (específicamente Liu et al., 2024) caracterizó un modo de fallo relacionado con la "sub-rotación" en el extremo de baja frecuencia (dimensiones que no completan una rotación completa dentro del contexto de entrenamiento), este artículo identifica un modo de fallo distinto y catastrófico que ocurre en el extremo de alta frecuencia del espectro.

El problema central es la distintividad por pares de la tupla de frecuencias $\{\theta_k\}$. Los autores definen una condición denominada max_cluster = 1, la cual requiere que todas las $d/2$ frecuencias por dimensión de un esquema de RoPE sean distintivas entre sí. Si esta condición se viola (es decir, si dos o más frecuencias coinciden, formando un "clúster"), la trayectoria de fase conjunta del mecanismo de atención del modelo queda confinada a una subred de menor dimensión. Este confinamiento provoca el colapso de los patrones de atención entrenados, lo que conduce a una degradación catastrófica de la perplejidad durante la inferencia, particularmente en longitudes de contexto largas.

Metodología

El estudio emplea un enfoque de perturbación controlada en tiempo de inferencia en dos modelos a escala de producción: Mistral-7B-v0.3 y Qwen2.5-7B (ambos utilizan la forma geométrica $\theta_k = b^{-2k/d}$ con una base $b=10^6$ y una dimensión de cabeza $d=128$).

1. Esquemas de Perturbación:

   • Cuantización Lineal (INT8/INT4): Estos esquemas colapsan naturalmente los valores de inversa-frecuencia pequeños (correspondientes a canales de alto $\theta$) en el mismo contenedor de cuantización, creando grandes clústeres (max_cluster hasta 38).
   • Cuantización Logarítmica (Control): Un control de bits emparejados que cuantiza en el espacio logarítmico, preservando explícitamente la distintividad por pares (max_cluster = 1).
   • Perturbaciones Suaves: Ruido multiplicativo aplicado a las frecuencias para probar la sensibilidad a pequeños cambios de valor sin romper la distintividad.
   • Construcción Controlada de Clústeres: Construcción artificial de clústeres de tamaños específicos (codimensión) en posiciones espectrales específicas (bajo $\theta$ vs. alto $\theta$) con distancias logarítmicas controladas.

2. Evaluación:

   • Los modelos fueron evaluados en tres conjuntos de datos (WikiText-2, C4, PG-19) a través de cuatro longitudes de contexto ($L \in \{2048, 4096, 8192, 16384\}$).
   • La métrica principal fue el factor de inflación (la relación entre la perplejidad perturbada y la perplejidad base).

3. Análisis Teórico:

   • Los autores utilizan el teorema de Hermite–Lindemann de la teoría de la trascendencia para demostrar que la forma geométrica estándar de RoPE satisface automáticamente max_cluster = 1.
   • Analizan el fallo utilizando el marco del teorema de equidistribución de Weyl, viendo la trayectoria de fase del mecanismo de atención como una órbita en un toro $T^{d/2}$.

Contribuciones Clave

1. Identificación de max_cluster = 1: El artículo define y demuestra formalmente que cada esquema de RoPE desplegado satisface la condición de que todas las frecuencias son distintivas entre sí. Esta condición no había sido reconocida previamente como un requisito estructural crítico.
2. Caracterización del Segundo Modo de Fallo: Los autores demuestran que violar max_cluster = 1 causa una "catástrofe" (inflación de la perplejidad de 3 a 214$\times$) que es distinta del fallo de sub-rotación descrito por Liu et al.
3. Descomposición de la Magnitud de la Catástrofe: La severidad del fallo se descompone en tres ejes medibles:
   • Codimensión: El tamaño del clúster de frecuencia.
   • Distancia Logarítmica Intra-Clúster: En codimensión 2, la inflación sigue una ley de potencia limpia: $\log(\text{inflación}) \approx 0.6 \times \Delta \log \theta$ (Pearson $r > 0.996$).
   • Posición Espectral: Los clústeres en la región de alto $\theta$ (rotaciones de periodo corto) son significativamente más catastróficos (aprox. 2$\times$) que los clústeres de bajo $\theta$, incluso con una codimensión y distancia logarítmica fijas.
4. Naturaleza Topológica del Fallo: El estudio muestra que las perturbaciones suaves (que preservan la distintividad) no causan una degradación mensurable, demostrando que el fallo es topológico (dependiente de la existencia de un clúster) en lugar de cuantitativo (dependiente de la magnitud de los cambios de valor).
5. Prueba Teórica de Seguridad: Utilizando el teorema de Hermite–Lindemann, el artículo demuestra que la forma geométrica $\theta_k = b^{-2k/d}$ (con una base racional $b \neq 1$) garantiza max_cluster = 1 porque $\log b$ es trascendente. Esto asegura que las únicas relaciones enteras entre frecuencias son aquellas forzadas por la factorización de primos de $b$, evitando coincidencias accidentales.

Resultos Clave

• Inflación Catastrófica: La cuantización lineal INT8 (que crea clústeres) infló la perplejidad de 3 a 214$\times$ en 24 celdas experimentales. En contraste, el control de Log-INT8 de bits emparejados (preservando la distintividad) mantuvo la perplejidad dentro de un 0.1% de la base de precisión total.
• Regularidad de la Ley de Potencia: En codimensión 2, la relación entre la distancia logarítmica y la inflación de la perplejidad es notablemente estable a través de modelos y longitudes de contexto, siguiendo una pendiente de $\approx 0.6$.
• Asimetría Espectral: Los clústeres formados en la región de alto $\theta$ (donde la atención depende de distinciones de posición finas) causaron una inflación de la perplejidad significativamente mayor que los clústeres en la región de bajo $\theta$ (dimensiones sub-rotadas).
• Independencia del Error Aritmético: El fallo no es causado por errores de aritmética de baja precisión, sino específicamente por la generación de clústeres (pérdida de distintividad).
• Límites Teóricos: Si bien la forma geométrica asegura la distintividad por pares, no asegura la independencia $\mathbb{Q}$-lineal completa por pares (por ejemplo, $\theta_0 = 1000\theta_{32}$ es posible). Sin embargo, el artículo argumenta que la atención entrenada tolera estas dependencias algebraicas específicas porque están presentes durante el entrenamiento, mientras que los clústeres inyectados introducen relaciones ausentes en la distribución de entrenamiento.

Significancia y Reivindicaciones

El artículo afirma resolver una vulnerabilidad estructural en los modelos basados en RoPE que era previamente desconocida. Su importancia radica en:

• Distinción de Modos de Fallo: Clarifica que RoPE tiene dos modos de fallo ortogonales: uno en el extremo de bajo $\theta$ (gobernado por la selección de la base y la sub-rotación) y otro en el extremo de alto $\theta$ (gobernado por la distintividad estructural y la generación de clústeres).
• Explicación de la Robustez: Explica por qué la atención entrenada tolera las dependencias algebraicas inherentes de la forma geométrica (que están presentes en el entrenamiento) pero reacciona catastróficamente a los clústeres inducidos por perturbaciones (que se inyectan en la inferencia).
• Guía para Futuros Esquemas: Los autores argumentan que las futuras familias de esquemas que se aparten de la forma geométrica (por ejemplo, escalas por dimensión aprendidas como LongRoPE) deben diseñar explícitamente la seguridad contra ambos modos de fallo. Específicamente, deben asegurar que se mantenga max_cluster = 1, ya que la satisfacción automática de esta condición mediante la teoría de la trascendencia se pierde en las parametrizaciones no geométricas.

El artículo concluye que la forma geométrica es segura en ambos extremos del espectro debido a dos mecanismos independientes: la selección de la base (protegiendo el extremo de bajo $\theta$) y la distintividad estructural (protegiendo el extremo de alto $\theta$).