技術的要約：RoPEはリトリーバル・ヘッドを抑制するのか、それとも劣化させるのか？

問題提起

長文脈言語モデルは、「リトリーバル・ヘッド（retrieval heads）」と呼ばれる、初期のコンテキストから現在の位置へ情報をコピーするアテンション・ヘッドのサブセットに依存しており、これが「針山（needle-in-a-haystack: NIAH）」のようなタスクにおける想起を実行します。同時に、現代のモデルは、クエリおよびキーベクトルの回転周波数を決定するベース・ハイパーパラメータ $\theta$ を用いた回転式位置埋め込み（Rotary Position Embeddings: RoPE）を利用しています。$\theta$ を大きくすることは、コンテキスト長を拡張するための標準的な手法です。

本論文は、RoPEとリトリーバル・ヘッドの相互作用に関する、対立する2つの仮説を調査しています。

1. 抑制（Prevention, H1）: より大きな $\theta$（減衰が遅い回転）は、リトリーバル・ヘッドの形成を妨げたり、その数を減少させたりする可能性がある。
2. 劣化（Degradation, H2）: RoPEは、リトリーバル・ヘッドが依存する「低ユーティリティ（low-utility）」な次元（クエリ投影ノルムによって定義される）を誘発し、これらの次元をゼロにすると想起能力が低下する、あるいは逆に、リトリーバルは高ユーティリティな次元に依存している。

手法

本研究では、4つのオープンウェイト7–8Bモデル（LLaMA-2, LLaMA-3.1, Qwen2.5, OLMo-2）を用い、2つのアテンション・レジーム（Multi-HeadおよびGrouped-Query）と、100倍の範囲のRoPEベース（$\theta \in [10,000, 1,000,000]$）にわたるメカニスティックな分析を採用しています。

主な実験プロトコル:

• ペア・シード・クロスモデル・プロトコル: 公平な比較を確保するため、著者らはトークナイザーに依存しないNIAH仕様を生成し、入力の分散を排除するために同一のサンプルを全モデルでスコアリングしています。
• リトリーバル・ヘッドの検出: 単一パスのアテンション・argmaxプロキシを用いて、「針（needle）」トークンにアテンションを向けているヘッドを特定します。妥当性は、因果的ノックアウトおよび、より厳格な教師強制コピー・スコアによって確認されます。
• レイヤー・クラスター統計: レイヤー内のヘッドを独立したものとして扱う擬似反復（pseudoreplication）を避けるため、著者らはレイヤー・クラスター化された置換テストおよび偏相関を使用しています。
• 因果的アクティベーション・パッチング:
  • ヘッド・ノックアウト: 検出されたリトリーバル・ヘッドの出力をゼロにする操作を、ランダムなヘッドと比較して行います。
  • 次元パッチング: 特定のRoPE次元（低周波数 vs 高周波数 vs 低ユーティリティ/高ユーティリティ）を、リトリーバル・ヘッドの集団に対して系統的にゼロにし、因果的な依存関係をテストします。
  • 用量反応（Dose-Response）: ゼロにされた次元の数（$k$）と、パッチ適用されたヘッドの割合（カバレッジ）を変化させ、段階的な影響を測定します。

主要な知見

1. リトリーバル・ヘッドは実在し、因果的に必要である

リトリーバル・ヘッドはすべてのモデルファミリーに存在し（全ヘッドの4〜9%を構成）、因果的なマスキングを行うと、NIAHの精度は1.00から0.00（OLMoの場合）へ、あるいは大幅に（Qwenの場合）低下しますが、同数のランダムなヘッドをマスクした場合には影響はありません。この二重の解離は、リトリーバル・ヘッドが単に相関しているだけでなく、因果的に必要であることを裏付けています。

2. 「抑制」仮説は支持されない

H1に反して、より大きなRoPEベース $\theta$ は、リトリーバル・ヘッドの数を減少させません。

• 観察: LLaMA-3.1 ($\theta=500,000$) は47個のリトリーバル・ヘッドを持つ一方、LLaMA-2 ($\theta=10,000$) は42個、Qwen ($\theta=1,000,000$) は59個を持っています。
• 結論: 傾向としては、ヘッド数は $\theta$ と共に増加または一致しており、高い $\theta$ が形成を妨げるという予測を否定しています。著者らは、$\theta$ が他のアーキテクチャやデータ要因と共変動していることを指摘しています。

3. 普遍的な「RoPEがリトリーバルを劣化させる」法則は存在しない

次元のユーティリティ（クエリ投影ノルム）とリトリーバルの関係は、モデル固有であり不均一であって、普遍的ではありません。

• 逆の符号: Qwenのリトリーバル・ヘッドは、非リトリーバル・ヘッドよりも有意に低いユーティリティを示します（$d = -0.49$）。一方で、OLMoのリトリーバル・ヘッドは有意に高いユーティリティを示します（$d = +0.50$）。LLaMAモデルは有意な影響を示しません。
• 示唆: OLMoとLLaMA-3.1は同じ $\theta$ を共有しながら異なる挙動を示すことから、この効果は $\theta$ によって駆動されているわけではありません。RoPEの幾何学とリトリーバルのユーティリティを結びつける単一の単調な法則は存在しません。

4. 因果的軸は「周波数」であり、「ノルム」ではない

ユーティリティの軸（ノルム）は一貫性を欠きますが、RoPEの周波数軸は一貫して因果的に重要です。

• 周波数の特異性: リトリーバル・ヘッドの低周波数（長波長）の次元をゼロにすると、用量依存的な想起の崩壊が起こります（例：128次元のうち32次元をゼロにすると、精度が0.18まで低下する）。
• 帰無コントロール: 同数の高周波数次元、ランダムな次元、または最高ノルム（高ユーティリティ）の次元をゼロにしても、想起能力は維持されます（ほぼ天井値）。
• 特異性: この効果はヘッド特異的であり（非リトリーバル・ヘッドの低周波数次元をゼロにしても影響はない）、かつタスク特異的です（一般的なパープレキシティへの影響は最小限であるのに対し、NIAHの低下は顕著である）。
• カバレッジ依存性: 一部のモデル（例：Mistral）で見られた「帰無」結果は、低いパッチ・カバレッジによるアーティファクトでした。カバレッジを一致させた場合（検出されたヘッドの50%をパッチ適用）、負の周波数効果は有意であり、5つのモデル（OLMo, Qwen, Gemma, Mistral）において普遍的です。

5. 学習ダイナミクス

OLMo-2において、リトリーバル・ヘッドは初期化時には存在しません。これらは約2兆トークンの後に突如として結晶化し（相転移のような開始）、数は約3.5倍に増加します。カウントが増加するにつれて平均的なヘッド・ユーティリティが低下することから、回路とその次元使用の共進化が示唆されます。

意義と主張

本論文は、RoPEがどのようにリトリーバルと相互作用するかについて、検出器に頑健なメカニスティックな説明を提供すると主張しています。

1. 直感的なストーリーの論破: 「抑制」仮説（大きな $\theta$ がリトリーバル・ヘッドを止める）も、普遍的な「劣化」仮説（リトリーバルが低ユーティリティ次元に依存する）も成立しません。
2. 負荷を担う軸としての周波数: 本研究は「次元の非効率性」の理解を精緻化しています。リトリーバルは、長距離の位信号をエンコードするRoPEの低周波数、長波長次元に特異的に依存しています。これは、なぜRoPEベースを大きくすること（これによりこれらの波長を伸ばすこと）が長文脈性能を向上させるのかに対する、回路レベルの説明となります。
3. 方法論的厳密さ: 著者らは、擬似反復を避けるためのレイヤー・クラスター統計と、単一のヘッドの切除では効果が見えにくい「タスク飽和（天井効果）」を克服するための集団レベルのパッチングの重要性を強調しています。
4. 不均一性: 著者らは、周波数効果の方向は普遍的であるものの、その大きさやユーティリティとの関係は、アーキテクチャ、データ、および検出指標によって混同されるモデルファミリー固有のものであると控えめに主張しています。彼らは完全なモデル・ファミリーの分類法を確立したと主張しているのではなく、単一の普遍的な法則の存在を否定したのです。

結論として、リトリーバルは特定のヘッドに局在した創発的かつ因果的なメカニズムであるが、RoPEの低周波数帯域に冗長にエンコードされていることが示されました。そして、標準的なベース・スケーリングの実践は、まさにこの特定の周波数チャンネルを最適化することによって機能しているのです。