⚡ electrical engineering

Beyond Sinusoids: A Morlet Wavelet Framework for Transformer Positional Encoding

本論文は、正弦波型および回転型位置エンコーディングを学習可能なウェーブレットに基づくアプローチの極限ケースとして統一する新しいフレームワークであるMorlet Positional Encoding (MoPE) を導入し、ウェーブレットの許容境界へと収束させながら、位置と局所性を同時にエンコードすることで、トランスフォーマーモデルにおける性能向上を実証するものである。

原著者： Athanasios Zeris

公開日 2026-06-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Athanasios Zeris

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな問題：「どこ」か vs 「どれくらい離れているか」

本を読んでいる場面を想像してみてください。標準的なAIモデル（Transformer）には、文章の中の単語が「どこ」にあるかを知るための仕組みが組み込まれています。これらは「位置エンコーディング（Positional Encoding）」と呼ばれるものです。

現在、最も普及している2つのシステム（SinusoidalとRoPE）は、完璧で無限に続く定規のように機能します。それらはAIに対して、「この単語は5番目の単語です」「この単語は100番目の単語です」と伝えます。しかし、これらはすべての位置を全く同じように扱います。つまり、ある単語の影響力は永遠に続くものだと想定しているのです。

著者は、これは言語においては間違っていると主張しています。物語の中で、「彼（he）」という言葉は2文前に登場したキャラクターを指しているかもしれませんが、2章前に登場したキャラクターを指している可能性は低いでしょう。標準的な定規は、単語の影響力がどこまで届くべきかを知りません。ただ「ここにあります」と言うだけなのです。

解決策：「懐中電灯」（MOPE）

著者は、**Morlet Positional Encoding（MOPE）**と呼ばれる新しいシステムを提案しています。

無限に続く定規の代わりに、MOPEは懐中電灯のように機能します。

光のビーム（位相/Phase）： 旧来のシステムと同様に、単語の正確な角度や「位相」をAIに伝えます（例：「あなたはダンスの5ステップ目にいます」）。この部分は、人気の高いRoPEシステムと同一です。
光の広がり（振幅/Amplitude）： これが新しい部分です。懐中電灯の光は、中心から離れるほど暗くなります。MOPEでは、位置の信号の「明るさ」は、シーケンスの開始点から離れるにつれて減衰していきます。

比喩：

旧システム（RoPE/Sin-cos）： すべての座席が明るく一定の光で照らされているスタジアムを想像してください。1番席のファンは、10,000番席のファンと同じくらいアナウンサーから「見えて」います。
新システム（MOPE）： スポットライトを想像してください。中央にいる人は非常に明るいです。後方の列に移動するにつれて、光は柔らかくなり、やがて消えていきます。これはAIに対して、「近くの単語には注意を払いなさい。遠くの単語は今はそれほど重要ではありません」と伝えているのです。

「魔法」のような繋がり

この論文は、非常に興味深い事実を証明しています。旧来のシステム（Sin-cosとRoPE）は、実はこの新しい懐中電灯システムの壊れたバージョンに過ぎないということです。

もし懐中電灯のビームを無限に広く（決して暗くならないように）すれば、旧来のRoPEシステムになります。
もしビームを無限に広くし、回転を取り除けば、旧来のSin-cosシステムになります。

つまり、MOPEは単なる新しいアイデアではなく、旧来のアイデアの「親」なのです。MOPEは、AIの脳の各部分において、懐中電灯のビームをどの程度の幅にすべきかをデータから学習します。

実験では何が起きたのか？

著者は、シェイクスピアの数千語という非常に小さなデータセットを用いてテストを行いました。その結果、以下のことが判明しました。

コンボが最強： この新しい「懐中電灯（MOPE）」を、別のツールである「Energy-Gated Attention」（どの単語が重要かを判断する門番のような役割）と組み合わせたとき、AIの次単語予測能力は大幅に向上しました。どちらか一方のツールを使うよりも、両方を組み合わせた方が優れた結果を出しました。
「スイートスポット」の発見： AIは、懐中電灯の幅をどれくらいにするかを学習する必要がありました。驚くべきことに、AIの脳内にある128個の「懐中電灯」のすべてが、特定の数学的限界値に調整されました。それらはすべて、狭すぎず広すぎず、ちょうど良い「文字対単語」のスケールに合わせてビーム幅を決定しました。
- これは128台のラジオをチューニングするようなものです。 それぞれ異なる局に合わせるのではなく、信号が最もクリアになる正確な周波数にすべてがロックされたのです。
「開始点」のバイアス： 現在のMOPEには一つの癖があります。それは、懐中電灯の「中心」が常にテキストの冒頭（単語#1）にあると想定していることです。つまり、たとえ物語がこれから始まるとしても、単語#5は単語#200よりも自然に「明るく」なります。著者はこれを制限事項として認めており、将来のバージョンでは、AIが懐中電灯の「中心」をどこに置くべきかを学習できるようにすべきだと示唆しています。

まとめ

この論文は、単語の位置を追跡するために硬直した無限の定規を使うのではなく、賢い、減衰するスポットライトを使うべきだと提案しています。このスポットライトは、その影響力がどこまで届くかを学習します。

従来の方法： 「私はここにいて、永遠に重要です」
新しい方法（MOPE）： 「私はここにいて、短距離の間は重要ですが、その後は消えていきます」

実験によれば、この「減衰」アプローチを他のスマートなアテンション・ツールと組み合わせることで、AIは従来のメソッドよりも言語の局所的な構造（文やフレーズなど）をはるかに良く理解できることが示されています。

技術要約：正弦波を超えて：Transformerの位相同期エンコーディングのためのMorletウェーブレット・フレームワーク

1. 問題提起

Transformerにおける標準的な位置エンコーディング、特に正弦波（sin/cos）およびRotary Position Embedding (ROPE) は、すべての位置を等しく局所的に扱います。これらはトークンが「どこに」いるかはエンコードしますが、そのトークンの位置情報の及ぶ範囲が「どの程度」であるべきかという点はエンコードできません。

Sinusoidal PE: 固定された周波数を用い、すべての位置において振幅が均一です。
ROPE: 相対的な位置を複素空間における回転としてエンコードしますが、一定の振幅エンベロープ（すべての位置が等しく存在する状態）を維持します。
理論的ギャップ: これらの手法には統一的な数学的枠組みが欠けています。さらに、これらは信号の定常性（位置の不確定性が無限大であること）を仮定していますが、これは言語のような、文字の分布や構文構造が位置によって変化する非定常な信号に対しては最適ではありません。

2. 手法：Morlet Positional Encoding (MOPE)

著者らは、位置エンコーディングの自然な基底として複素Morletウェーブレットを利用する Morlet Positional Encoding (MOPE) を提案しています。Morletウェーブレットは、位置と周波数の両方における不確定性を同時に最小化し、ハイゼンベルクの不確定性原理に従います。

2.1 定義

位置 $b$ および埋め込み次元 $i$ におけるトークンに対し、MOPEは以下のように定義されます：
$\text{MOPE}(b, i) = e^{i\omega_i b} \cdot e^{-b^2/2\sigma_i^2}$
この定式化は、次元ごとに2つの学習可能なパラメータを導入します：

中心周波数 ( $\omega_i$ ): 振動率（位相）を決定します。
帯域幅 ( $\sigma_i$ ): ガウス型の局所性エンベロープ（振幅の減衰）を決定します。

2.2 幾何学的解釈

位相: 位相成分 $\omega_i b$ は、ROPEにおける回転角と同一です。これは、振動サイクル内における相対的な位置をエンコードします。
振幅: 項 $e^{-b^2/2\sigma_i^2}$ は、シーケンスの原点 ( $b=0$ ) を中心とするガウス型エンベロープとして機能します。標準的なエンコーディングでは振幅が1に固定されている（ $\sigma_i \to \infty$ を意味する）のに対し、MOPEは有限の $\sigma_i$ を学習し、シーケンスの開始位置からの距離に応じて位置信号が減衰するようにします。
不確定性のトレードオフ: MOPEは、位置の不確定性 ( $\Delta b_i = \sigma_i$ ) と周波数の不確定性 ( $\Delta \omega_i = 1/\sigma_i$ ) の最適なトレードオフを学習し、 $\Delta b_i \cdot \Delta \omega_i \geq 1/2$ という境界を満たします。

2.3 既存手法の統合

論文では、標準的なエンコーディングがMOPEの限定的なケースであることを証明しています。

Sinusoidal PE: $\sigma_i \to \infty$ （無限の局所性、減衰なし）の場合に現れます。
ROPE: $\sigma_i \to \infty$ の場合に現れます。MOPEの相互相関カーネルは、この極限においてROPEのアテンション・スコアを正確に回帰しますが、一般の場合には学習されたガウス型局所性カーネルによって変調されます。
ALiBi: 概念的には、ゼロ周波数の局所性限界（振動を伴わない指数関数的減衰）と類似しています。

3. 主な貢献

理論的統合: 正弦波/余弦PEおよびROPEが、局所性がオフになった場合のMOPEの退化ケースであることを示しました。
位相の等価性: MOPEの位相差は、数学的にROPEの回転角と同一であることを確立しました。主な違いは、MOPEにおける学習されたガウス型局所性カーネルの追加にあります。
経験的結合: MOPEを Energy-Gated Attention (EGA) と組み合わせました。その結果得られたモデル（EGA-MORLET）は、TinyShakespeareデータセットにおいて、標準的なアテンションに対して検証パープレキシティで +0.119 の改善を達成し、両方のコンポーネントを単独で使用した場合よりも優れた性能を示しました。
パラメータ分析: 学習されたパラメータを分析した結果、128個の周波数と帯域幅のペアすべてが、正確に ウェーブレット許容境界 ( $\omega_i \sigma_i = 5$ ) に収束したことが分かりました。

4. 実験結果

実験は、コンテキスト長 $T=256$ 、6レイヤー、8ヘッドのTransformerアーキテクチャを用い、文字レベルのTinyShakespeareデータセットに対して行われました。

パフォーマンス:
- EGA-MORLET: 1.3550 検証パープレキシティ (+0.119 over baseline).
- EGA-1 (Baseline): 1.3821 (+0.092).
- ROPE: 1.4637 (+0.011).
- Sin/Cos: 1.5863 (-0.112).
- MOPE 単体: 1.5060 (-0.032).
- 注記: MOPE単体では、学習済み埋め込み（ルックアップテーブルの65,536パラメータに対し、PEの512パラメータ）の容量制限や、原点中心のガウス分布による構造的バイアスにより、ベースラインを下回りました。しかし、EGAと組み合わせた際の相乗効果は顕著でした。
学習されたパラメータ:
- 許容境界: すべての128次元が $\omega_i \sigma_i = 5.000$ というウェーブレット許容境界に収束しました。オプティマイザは一貫して、パラメータをこの境界へと押し上げたことから、制約が許すよりも強い局所性と低い周波数を好む傾向があることが示唆されました。
- スケールの集中: 学習された帯域幅 ( $\sigma_i$ ) は 1.49 から 4.50 トークンの範囲でした。これは、モデルが位置容量を、より広いスケール（節、文章など）に広げるのではなく、文字から単語のスケールに集中させたことを示しています。
- 周波数の圧縮: 学習された周波数は、初期の二進的な範囲を大きく上回り、狭いバンド ( $\omega_i \in [1.11, 3.35]$ ) に圧縮されました。

5. 意義と主張

本論文は、振動的な位置エンコーディングのための最初の統一的な数学的枠組みを提供し、それらが時間-周波数局所化されたウェーブレット基底の特殊なケースであることを明らかにしていると主張しています。

理論的洞察: 本研究は、言語は非定常であるため、位置エンコーディングは無限の局所性 ( $\sigma = \infty$ ) を仮定すべきではないと断じています。MOPEは、各次元における適切な「影響力の時間的範囲」を学習することを可能にします。
相補性: 結果は、スペクトル顕著性（EGAが担当する、「何に」注意を向けるか）と、時間-周波数局所性（MOPEが担当する、「どこまで」影響が及ぶか）が相補的なメカニズムであることを示唆しています。これらを組み合わせることで、超加法的な利益が得られます。
再現性: $\omega \sigma = 5$ への収束は、位置エンコーディングの実験と、別のエネルギーゲート実験（論文1）の両方で観察されました。これは、文字レベルの言語信号における再現可能な経験的特性であることを示唆しています。

6. 限界と今後の課題

著者らは、現在の知見について控えめなトーンを維持しています。

スケール: 実験は文字レベル、短いコンテキスト ( $T=256$ )、および単一のシードに限定されています。
原点バイアス: 現在の定式化は $b=0$ を中心とするガッションを使用しており、これにより「絶対的な原点の事前分布」が生じ、シーケンスの開始付近のトークンがシーケンスの終端よりも強い位置振幅を持つようになります。これは並進不変性を損ないます。著者らは、学習可能な中心 $b_{0,i}$ を用いた将来の一般化を提案しています。
許容性制約: $\omega \sigma = 5$ への収程は、真の無制約な最適値ではなく、投影ベースの実装（クランプ）によるアーティファクトである可能性があります。この制約を緩和することが、今後の調査における優先事項です。
次のステップ: 今後の研究では、単語レベルのトークナイゼーション、より長いコンテキストでの検証、および Morlet-ROPE（ROPEの回転メカニズムにガウス型エンベロープを適用するもの）の探索を行う予定です。