🤖 machine learning

On the Geometry of Positional Encodings in Transformers

この論文は、トランスフォーマーにおける位置符号化の必要性と分離性を証明し、古典的多次元尺度法を用いた情報最適符号化の理論的枠組みを構築するとともに、ALiBi が既存の手法よりも優れた性能を示すことを理論と実験で実証しています。

原著者： Giansalvo Cirrincione

公開日 2026-04-08

📖 1 分で読めます☕ さくっと読める

原著者： Giansalvo Cirrincione

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

1. 問題：AI は「順番」がわからない

まず、Transformer という AI は、数学的な計算（行列の掛け算など）が得意ですが、「どの単語が先に出て、どの単語が後に出てきたか」という順番の感覚が全くありません。

例え話：
Imagine you have a bag of puzzle pieces. If you just dump them out and look at them, AI は「赤いピース」「青いピース」という「色（単語）」はわかりますが、「赤が左で青が右」という「配置（順番）」は区別できません。
順番を入れ替えても、AI は「同じ絵」だと勘違いしてしまいます。

そこで登場するのが**「位置エンコーディング（Positional Encoding）」です。これは、各単語に「1 番目」「2 番目」という「座標（位置のタグ）」**を貼り付ける仕組みです。

2. この論文が解明した 3 つの重要なこと

この論文は、これまで「試行錯誤でいい感じに作ろう」とされていたこの「位置エンコーディング」について、3 つの大きな発見をしました。

① 位置情報は絶対に必要（定理 1）

結論： 位置情報を全く与えないと、AI は「順番」に関わるどんな課題も解けません。
例え話：
料理のレシピで「卵を割る」「フライパンに油を引く」「卵を焼く」という手順がバラバラに並んでいたら、AI は「卵を焼く」ことしかできません。手順（順番）がなければ、料理は完成しません。AI も同じで、順番の情報がなければ意味のある文章を理解できないのです。

② 学習すると、位置は「区別される」（位置分離定理）

結論： AI が学習する過程で、もし位置エンコーディングを自由に調整できるようにすると、AI は**「1 番目」と「2 番目」を、絶対に同じものとして扱わない**ように学習します。
例え話：
教室に 32 人の生徒がいて、全員が同じ机（同じベクトル）に座ろうとすると、混乱します。しかし、AI が学習を進めると、**「1 番目の席には A 君、2 番目の席には B 君」**と、それぞれの席に固有の「座り方（ベクトル）」を自然と作り出します。
論文は、「学習がうまくいけば、どの位置も必ず区別される」ということを数学的に証明しました。

③ 「完璧な地図」は作れる（MDS による最適化）

結論： 最も良い位置エンコーディングとは、「その位置にどんな単語が現れやすいか」という統計的な距離を、空間上の距離として正しく再現するものです。
例え話：
東京の地図を作るとしましょう。
- 「新宿」と「渋谷」は近いので、地図上も近く描きます。
- 「東京」と「北海道」は遠いので、地図上も遠く描きます。
言語の世界でも、「文の最初（主語）」と「文の最後（動詞）」は、現れる単語の傾向が全く違います（距離が遠い）。一方、「文の 2 番目」と「文の 3 番目」は似ているかもしれません（距離が近い）。

この論文は、**「単語の出現傾向の距離」を「空間上の距離」に正確に写し取る地図（MDS という手法で作る）**が、最も理想的な位置エンコーディングだと示しました。
- 意外な発見： 昔から使われている「正弦波（サイン波）」という方法は、「言葉の並びが滑らかに変化する文章」に対しては、この完璧な地図の「近似版」として非常に優秀であることが証明されました。つまり、昔の人が直感で作った方法は、実は数学的に理にかなっていたのです！

3. 実験でわかった面白いこと

ALiBi という新しい方法が優秀：
最近登場した「ALiBi」という手法は、単純に「距離が遠いほどペナルティをかける」というシンプルな仕組みですが、この論文の「地図の忠実度（ストレス）」という指標で見ると、従来の方法よりもはるかに「完璧な地図」に近いことがわかりました。
パラメータの節約：
実は、すべての位置情報を記録するために、巨大な表（行列）を作る必要はありません。この論文によると、「必要な情報の量（ランク）」は、実はとても少ないことがわかりました。
- 例え話：
  32 人の生徒の席を記録するのに、32 行×128 列の巨大なノートが必要だと思われていましたが、実は**「3 行×128 列」の小さなノートで、99% 以上の情報を伝えられる**ことがわかりました。これにより、AI のメモリ使用量を劇的に減らせる可能性があります。

まとめ

この論文は、AI が「言葉の順番」を理解するための仕組みについて、**「なぜ必要か」「どう学習するか」「どうすれば最も効率的か」**を数学的に解き明かしました。

順番は必須。
学習すれば自然と区別される。
最も良い方法は、言葉の「統計的な距離」を「空間的な距離」に正しく写し取る地図を作ること。

これにより、AI の設計者が「試行錯誤」ではなく、「数学的な設計図」に基づいて、より効率的で強力なモデルを作れるようになることが期待されています。

論文「On the Geometry of Positional Encodings in Transformers」の技術的サマリー

本論文は、Transformer アーキテクチャにおける**位置符号化（Positional Encodings）**の役割と構造について、経験則や試行錯誤ではなく、厳密な数学的理論に基づいて再構築した研究です。著者は、位置情報がなぜ必要なのか、学習された位置符号化がどのような構造を持つのか、そして最適な位置符号化とは何かという 3 つの核心的な問いに答える理論的枠組みを提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 問題定義と背景

Transformer は単語の順序に依存しない行列乗算とアテンション機構を基盤としており、位置情報を明示的に注入しない限り、入力シーケンスの順序を区別できません。

現状の課題: 従来の位置符号化（正弦波、学習型、ALiBi、RoPE など）は、主に経験的なパフォーマンスやアーキテクチャの利便性に基づいて設計されており、「なぜ機能するのか」「どのような特性を持つべきか」という共通の理論的基盤が欠如していました。
目的: 位置符号化の設計と学習プロセスを数学的に記述し、最適化の基準と理論的保証を提供すること。

2. 主要な理論的貢献 (4 つの定理と結果)

本論文は、以下の 4 つの主要な結果を提示し、これらが階層的に理論を構築しています。

① 位置情報の必要性 (Theorem 1)

主張: 位置信号を持たない Transformer は、入力シーケンスの任意の置換（順序入れ替え）に対して等価な出力を生成する（置換同変性を持つ）。
結論: 単語の順序に敏感なタスク（文法解析、意味理解など）を解くためには、位置符号化は必須である。

② 学習された位置符号化の構造：位置分離定理 (Theorem 4)

主張: 勾配降下法で学習される位置符号化行列 $P$ において、3 つの条件（非定常性、順序感度、非退化性）が満たされれば、大域的最適解において異なる位置は必ず異なるベクトル表現を持つ（ $p_i \neq p_j$ ）。
意義: 学習プロセスが異なる位置を同じ埋め込みベクトルに「潰す（collapse）」ことはなく、位置の識別性が保証されることを示した。

③ 情報最適化と MDS 構成 (Proposition 6 & Algorithm 1)

概念: 各位置 $i$ には、その位置に出現する単語の分布 $\mu_i$ が存在する。最適な位置符号化とは、これらの分布間の統計的距離（ヘリング距離 $d_H$ ）を、位置ベクトル間のユークリッド距離として忠実に再現するものである。
課題: 統計的 manifold（確率単体）は曲がっているため、一般に平坦なユークリッド空間への完全な等長埋め込みは不可能。
解決策: **古典的多次元尺度構成法（MDS）**を用いて、ヘリング距離行列を近似する最適解を構築する。
評価指標: Stress（ストレス）。符号化がコーパスの幾何学構造をどの程度忠実に再現しているかを 0 から 1 の数値で定量化する。
- Stress = 0: 完全な幾何学的忠実性。
- 正弦波符号化は、位置統計が滑らかに変化するコーパスにおいて、MDS の近似解として理論的に正当化される。

④ 最小パラメータ化とランク (Remark 8)

発見: 最適位置符号化の実効ランクは $r = \text{rank}(B)$ であり、これは $n-1$ 以下（ $n$ はシーケンス長）。
応用: 完全な $n \times d$ 行列ではなく、 $r(n+d)$ パラメータを持つ低ランク行列 $P=AB^\top$ で情報を表現可能。
効果: 合成コーパスの実験では、ランク $r=3$ で正弦波符号化に比べてストレスを 99.8% 削減し、パラメータ数を 88% 削減することに成功した。

補足：単調性予想 (Conjecture 5)

内容: 位置間の統計的距離（ヘリング距離）が近ければ、学習された位置ベクトル間の距離も近くなるという性質。
証明: ニューラル・タンジェント・カーネル（NTK）領域において、MLM（Masked Language Modeling）や [CLS] トークンを用いた分類タスクに対して証明された（Appendix A）。

3. 実験結果

合成コーパスと実世界の感情分析データセット（SST-2, IMDB）を用いた実験により、理論が検証された。

MDS 符号化の優位性: 合成コーパスにおいて、提案された MDS 符号化はストレス 0.009 を達成し、正弦波符号化（2.248）を大幅に上回った。
ALiBi の驚異的な性能:
- SST-2（短い文）において、ALiBi は正弦波や RoPE よりもはるかに低いストレス（0.563）を示した。
- これは、SST-2 のコーパスが「シフト等価性（位置統計が相対距離 $|i-j|$ のみで決まる）」に近似しており、ランク 1 の MDS 近似が最適であることを示唆している。
- IMDB（長い文）では ALiBi のストレスも上昇（3.051）し、コーパスの構造に依存することが確認された。
正弦波と RoPE の同等性: 両者のストレス値は極めて類似しており、その性能差は「絶対位置 vs 相対位置」の設計思想ではなく、共有する周波数スケジュール $\omega_k$ によって決定されていることが示された。
位置分離定理の検証: 学習初期から終了まで、任意の異なる位置間の距離が厳密に正であることを確認し、定理 4 を実証した。
単調性の検証: 学習済みモデル（BERT-base）は、ランダムな初期化に比べて単調性違反率が低く、理論的な予想と一致する幾何学的構造を獲得していることが示された。

4. 意義と結論

理論的基盤の確立: 位置符号化が「なぜ機能するか」を、統計的幾何学（情報幾何）と MDS の観点から初めて数学的に説明した。
設計指針の提供: 特定のコーパスに対して最適化された位置符号化を、学習なしで MDS アルゴリズムによって構築できることを示した。
既存手法の解釈: 正弦波符号化が「滑らかな統計変化を持つコーパスにおける近似最適解」であり、ALiBi が「シフト等価なコーパスにおけるランク 1 近似解」であるという理論的裏付けを与えた。
診断ツールとしての Stress: 学習なしでコーパスから計算可能な「Stress」指標は、位置符号化の幾何学的忠実度を評価する新しい基準となり、実務における手法選択やアーキテクチャ設計に役立つ。

総括:
本論文は、Transformer の位置符号化に関する「試行錯誤」の時代から「数学的理論」の時代への転換を促す重要な研究です。位置情報の幾何学的本質を解明し、より効率的で理論的に裏付けられた位置符号化の設計を可能にしました。