Twos All the Way Down: A Hidden Condition Every Deployed RoPE Schedule Satisfies

問題提起

本論文は、大規模言語モデルの標準的な位置エンコーディング機構である回転式位置埋め込み（RoPE）における、これまで明文化されていなかった失敗モードを特定している。先行研究（具体的には Liu et al., 2024）は、低周波数領域（訓練コンテキスト内で完全な回転を完了しない次元）における「アンダーローテーション（回転不足）」に関連する失敗モードを特徴づけていたが、本論文は、スペクトルの高周波数領域で発生する、これとは異なる決定的な失敗モードを特定している。

核心となる問題は、周波数タプル $\{\theta_k\}$ の**ペアとしての区別可能性（pairwise distinctness）**である。著者らは、すべての $d/2$ 個の次元ごとの周波数が互いに一意であることを要求する max_cluster = 1 と名付けられた条件を定義している。もしこの条件が破られた場合（すなわち、2つ以上の周波数が一致して「クラスター」を形成した場合）、モデルのアテンション機構の結合位相軌跡（joint phase trajectory）は、より低次元の劣格子（sublattice）に閉じ込められてしまう。この閉じ込めにより、訓練されたアテンションパターンが崩壊し、特に長文脈長での推論時において、パープレキシティの壊滅的な悪化を引き起こす。

手法

本研究では、2つのプロダクション規模のモデル（Mistral-7B-v0.3 および Qwen2.5-7B。どちらもベース $b=10^6$、ヘッド次元 $d=128$ の幾何学的形式 $\theta_k = b^{-2k/d}$ を使用）に対して、制御された推論時摂動アプローチを用いている。

1. 摂動スキーム:

   • 線形量子化 (INT8/INT4): これらのスキームは、自然に小さな逆周波数値（高 $\theta$ チャネルに対応）を同じ量子化ビンへと収束させ、大きなクラスター（max_cluster が最大 38）を生成する。
   • 対数量子化 (コントロール群): ビット一致（bit-matched）を用いたコントロール群であり、対数空間で量子化することで、ペアとしての区別可能性（max_cluster = 1）を明示的に保持する。
   • 平滑な摂動 (Smooth Perturbations): 周波数の値への乗法的ノイズを適用し、区別可能性を維持したまま、微小な値の変化に対する感度をテストする。
   • 制御されたクラスター構築: 特定のスペクトル位置（低 $\theta$ vs 高 $\theta$）および制御された対数距離を用いて、特定のクラスターサイズ（余次元）を持つクラスターを人工的に構築する。

2. 評価:

   • モデルは、4つのコンテキスト長（$L \in \{2048, 4096, 8192, 16384\}$）において、3つのデータセット（WikiText-2, C4, PG-19）で評価された。
   • 主要な指標は、インフレーション係数（摂動後のパープレキシティとベースラインのパープレキシティの比）である。

3. 理論的分析:

   • 著者らは、超越数論におけるエルミート・リンデマンの定理を利用して、標準的な幾何学的形式の Ro rope が自動的に max_cluster = 1 を満たすことを証明している。
   • アテンション機構の位相軌跡をトーラス $T^{d/2}$ 上の軌道として捉え、ヴェルの等分布定理の枠組みを用いて失敗を分析している。

主な貢献

1. max_cluster = 1 の特定: 本論文は、すべての展開された RoPE スケジュールが、すべての周波数がペアとして一意であるという条件を満たしていることを形式的に定義し、証明した。この条件は、これまで認識されていなかった重要な構造的要求であった。
2. 第2の失敗モードの特性評価: 著者らは、max_cluster = 1 を破ることが、「カタストロフィ（破滅）」を引き起こすことを示した（パープレキシティが 3～214倍に膨張）。これは、Liu et al. によって記述されたアンダーローテーションの失敗とは異なるものである。
3. カタストロフィの大きさの分解: 失敗の深刻さは、以下の3つの測定可能な軸に分解される：
   • 余次元 (Codimension): 周波数クラスターのサイズ。
   • クラスター内の対数距離 (Within-Cluster Log-Distance): 余次元 2 において、インフレーションは明確な冪乗則に従う：$\log(\text{inflation}) \approx 0.6 \times \Delta \log \theta$（ピアソンの相関係数 $r > 0.996$）。
   • スペクトル位置 (Spectral Position): 高 $\theta$ 領域（短周期回転）のクラスターは、固定された余次元と対数距離において、低 $\theta$ 領域よりも著しく壊滅的な影響を与える。
4. 失敗のトポロジー的性質: 平滑な摂動（区別可能性を保持するもの）は、測定可能な劣化を引き起こさないことを示しており、この失敗が定量的（周波数の変化量に依存する）なものではなく、トポロジー的（クラスターの存在に依存する）なものであることを証明している。
5. 安全性の理論的証明: エルミート・リンデマンの定理を用いることで、幾何学的形式 $\theta_k = b^{-2k/d}$（有理数 $b \neq 1$）は、$\log b$ が超越数であるため、自動的に max_cluster = 1 を保証することを証明した。これにより、偶然の衝突を防ぎ、周波数間の整数関係が $b$ の素因数分解によって強制されるもののみに限定されることが保証される。

主な結果

• 壊滅的なインフレーション: 線形 INT8 量子化（クラスターを生成するもの）は、24 個の実験セル全体で、パープレキシティを 3～214倍 に膨張させた。対照的に、ビット一致を用いた Log-INT8 コントロール（区別可能性を保持するもの）は、パープレキシティをフル精度ベースラインの 0.1% 以内 に維持した。
• 冪乗則の規則性: 余次元 2 において、対数距離とパープレキシティのインフレーションの関係は、モデルやコンテキスト長に関わらず極めて安定しており、傾き $\approx 0.6$ の冪乗則に従う。
• スペクトルの非対称性: 高 $\theta$ 領域（アテンションが微細な位置の区別に依存する領域）に形成されたクラスターは、低 $\theta$ 領域（アンダーローテーションした次元）よりも、著しく高いパープレキシティのインフレーションを引き起こした。
• 算術誤差からの独立性: この失敗は、低精度演算の誤差によるものではなく、具体的にはクラスターの生成（区別可能性の喪失）によるものである。
• 理論的限界: 幾何学的形式は、ペアとしての $\mathbb{Q}$-線形独立性（例：$\theta_0 = 1000\theta_{32}$ が起こり得る）を保証するものではない。しかし、本論文は、訓練時にこれらの代数的依存関係が存在するため、訓練されたアテンションはこれらを許容できるが、摂動によって注入されたクラスターは、訓練分布には存在しない関係性を導入するため、拒絶されるのだと主張している。

意義と主張

本論文は、RoPE ベースのモデルにおける、これまで未知であった構造的な脆弱性を解決することを主張している。その意義は以下の点にある：

• 失敗モードの区別: RoPE には、低 $\theta$ 端（ベースの選択とアンダーローテーションに支配される）と、高 $\theta$ 端（構造的な区別可能性とクラスター生成に支配される）という、2つの直交する失敗モードがあることを明確にした。
• 堅牢性の説明: なぜ訓練されたアテンションが、幾何学的形式固有の代数的依存関係（訓練時に存在する）を許容できる一方で、摂動によって誘発されたクラスター（訓練時には存在しないものが注入されたもの）に対しては壊滅的に反応するのかを説明している。
• 将来のスケジュールの指針: 著者らは、幾何学的形式から離れる将来のスケジュール・ファミリー（例：LongRoPE のような学習された次元ごとのスケール）は、両方の失敗モードに対する安全性を明示的に設計しなければならないと主張している。具体的には、max_cluster = 1 を維持しなければならない。なぜなら、幾何学的形式が超越数理論を通じてこの条件を自動的に満たしている性質は、非幾何学的なパラメータ化においては失われるからである。

結論として、幾何学的形式は、2つの独立したメカニズム（ベースの選択による低 $\theta$ 端の保護、および構造的な区別可能性による高 $\theta$ 端の保護）によって、スペクトルの両端において安全であることが示されている。