技術的サマリー：エネルギーゲート型アテンションとウェーブレット位置符号化

1. 問題定義

標準的なトランスフォーマーのアテンション機構は、ドット積アテンションを介してトークン間のペアごとの類似性を計算するが、帰納的バイアスに関して2つの構造的な限界を有している：

1. スペクトル的顕著性の欠如：標準的なアテンションは、すべてのトークンを内容の類似性に基づいてクエリに対して重み付けするだけで、すべてのトークンを等しく顕著であるとみなす。形態論的境界や統語的ヘッドなどの高い内在的情報密度を持つトークンを、機能語や反復パターンなどの背景トークンから区別するメカニズムを欠いている。
2. 適応的局所性の欠如：標準的な位置符号化（例：固定の正弦波PE）は、空間的包絡線なしに埋め込み次元に固定された周波数を割り当てる。その結果、すべての位置がすべてのスケールで等しく寄与し、言語現象の自然なスケールやコンテキスト長に位置の影響の範囲を適応させることができない。回転位置埋め込み（ROPE）は相対位置を符号化するが、それでもガウス局所性なしの固定周波数を利用している。

本論文は、これらの2つのギャップ、すなわち「何に」注意を向けるか（顕著性）と「どのスケールで」アテンションが作用するか（局所性）は、相補的かつ直交であると仮説を立てている。

2. 手法

著者は、これらのギャップに対処するための2つの単純な学習可能なコンポーネントを提案する：**エネルギーゲート型アテンション（EGA）とモレト位置符号化（MOPE）**である。

2.1 エネルギーゲート型アテンション（EGA）

EGAは、キー・トークン埋め込みの学習されたエネルギー推定に基づいて値の集約をゲート制御することにより、顕著性メカニズムを導入する。

• メカニズム：単一の線形投影（$w_{proj}^T x_j$）がトークンの「エネルギー」を推定する。このスカラーはz正規化され、シグモイドゲート（$g_j$）を通過する。
• 機能：ゲートは低エネルギーのトークン（背景/充填子）を抑制し、高エネルギーのトークン（情報密度の高いもの）を増幅する。
• 効率性：パラメータの増加は最小限（ヘッドあたり$d+2$、オーバーヘッド<0.3%）であり、計算コストは増えない。
• 理論的基盤：この投影はパーセバルの等式を介してスペクトル重み付けされたエネルギーを推定していると解釈されるが、著者は学習された信号が厳密なスペクトルエネルギーではなく、一般的な情報顕著性（例：希少性、境界）を表す可能性があると指摘している。

2.2 モレト位置符号化（MOPE）

MOPEは、固定された正弦波位置符号化を学習されたガウス窓付きウェーブレットに置き換え、適応的な時間-周波数局在化を提供する。

• 定式化：埋め込み次元$i$と位置$b$に対して：
  $$MOPE(b, 2i) = \cos(\omega_i b) \cdot e^{-b^2/2\sigma_i^2}$$
  $$MOPE(b, 2i + 1) = \sin(\omega_i b) \cdot e^{-b^2/2\sigma_i^2}$$
  ここで、$\omega_i$（中心周波数）と$\sigma_i$（局所性帯域幅）は学習されるパラメータである。
• 一般化：MOPEは標準的な正弦波PEを厳密に一般化する（$\sigma_i \to \infty$として回復される）ものであり、ROPE（極限における位相構造）およびALiBi（ゼロ周波数局所性）と接続する。
• 相互相関構造：MOPEをアテンションの相互相関に代入すると、ラグ空間でモレトカーネル$C_i(\tau) \propto e^{-\tau^2/4\sigma_i^2} \cdot \cos(\omega_i \tau)$が得られる。これにより、次元は学習された$\sigma_i$に基づいて、言語構造の異なるスケール（例：文字レベル対文レベル）を捉えることができる。

2.3 結合モデル

EGA-MORLETモデルは、MOPEを使用して計算されたアテンション重みにEGAゲート制御を適用する。著者は超加法性を仮説としている：EGAがどのトークンに注意を向けるかを制御し、MOPEが各スケールで影響が及ぶ範囲を制御するため、それらの組み合わせは個々の部分の和を超える性能をもたらすべきである。

3. 主要な貢献

1. 相互相関の解釈：本論文は、ドット積アテンションを、より豊かな相互相関関数のゼロラグ値（$C_{ij}(0)$）として再構成し、標準的なアテンションがスケール選択性、ラグ構造、スペクトル顕著性を破棄していることを特定した。
2. MOPEアーキテクチャ：sin/cos PEを厳密に一般化し、ROPEおよびALiBiへの理論的架け橋を提供する局所化ウェーブレット位置符号化であり、適応的な周波数と局所性を提供する。
3. 実証的相補性：EGAとMOPEが相補的な帰納的バイアスであることを実証。それらの組み合わせは超加法的な結果をもたらすが、個々のコンポーネントは単独では混合または中立的な性能を示す。
4. 構造化事前知識と学習事前知識：制約のない学習された投影が、Daubechiesフィルタや固定スケール初期化などの構造化スペクトル事前知識を一貫して上回ることを示す構造化アブレーション。ただし、MOPEのような構造化コンポーネントが、ドット積に対する標準的な勾配降下では発見できない真に相補的な情報（適応的局所性）を提供する場合を除く。

4. 実験結果

実験はTinyShakespeare（文字レベル、$L=6, H=8, d=256$、パラメータ数$\le 6M$）において5,000ステップで行われた。

• 主要な発見（超加法性）：

  • ベースライン（標準アテンション）：検証損失 = 1.4742。
  • EGA単独：+0.092の改善（損失 = 1.3821）。顕著性は強力な帰納的バイアスである。
  • MOPE単独：-0.032の劣化（損失 = 1.5060）。顕著性なしの適応的局所性は不十分であり、わずかに有害である。
  • EGA + MOPE：+0.119の改善（損失 = 1.3550）。
  • 分析：結合による改善（+0.119）は、個々の改善の和（+0.092 - 0.032 = +0.060）を+0.059上回る。これは相補性の仮説を支持する。

• アブレーション研究：

  • 畳み込みアテンション：ゼロラグ以外のラグへのアテンションの拡張（+0.007）は、ラグ構造が情報を運ぶことを確認する。
  • スケール初期化：特定の周波数でヘッドを初期化しても利益はなかった（-0.007）。これは、勾配降下がランダム初期化から最適なスケールを発見することを示唆する。
  • スペクトルフラックス：エネルギー変化率をゲート信号として使用すると、わずかな正の利益（+0.012）が得られ、境界検出が有用であることを示唆する。
  • 位相コヒーレンス：位相情報を使用すると、わずかな負の影響（-0.007）が生じた。

• 学習されたパラメータ：MOPEパラメータは、文字、単語、節、文のスケールに対応する4つの明確な領域にクラスタリングされ、モデルがデータから言語学的に自然な時間スケールを学習していることを示唆する。

5. 意義と主張

本論文は、スペクトル顕著性とスケール選択的局所性が、標準的なアテンションが欠如している相補的な帰納的バイアスであると主張する。

• 相補性：このスケールでは、どちらのバイアスも単独では不十分であり、それらの相互作用は超加法的である。
• 学習対事前知識：固定ウェーブレットゲートなどの構造化事前知識の一貫した失敗は、文字レベル埋め込みの最適な基底が非正弦波であり、コーパス固有であることを示唆する。構造化コンポーネント（MOPEの適応的局所性など）が、勾配降下が自然に発見するものとは直交する情報を提供しない限り、制約のない学習が好まれる。
• 謙虚さ：著者は明示的に、すべての実験が小規模（単一シード、文字レベル）であると述べている。主要な結果はこのスケールで信頼性があると見なされるが、二次的な効果には複数シードの検証が必要である。本論文は、これらの手法が長コンテキスト問題を解決すると主張するものではなく、特に$T \ge 4096$に対して将来の作業の優先度の高い方向性として特定している。

この研究は、トランスフォーマーアテンションにおけるスペクトル手法に関するシリーズの一部として提示され、再現性のためのコードが公開されている。