💬 NLP

Characterizing the Expressivity of Local Attention in Transformers

本論文は、2 つ目の時間演算子の追加により正規言語に対するモデルの表現力が厳密に拡張されることを証明することで、トランスフォーマーにおける局所アテンションの品質向上に対する形式的な理論的説明を提供し、この知見はハイブリッドなグローバル・ローカル・アーキテクチャがグローバルのみのモデルを上回ることを示す実験によって裏付けられている。

原著者： Jiaoda Li, Ryan Cotterell

公開日 2026-05-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiaoda Li, Ryan Cotterell

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

現代の AI チャットボットの頭脳であるトランスフォーマーモデルを、物語を単語ごとに理解しようとする超知的な読者として想像してみてください。現在の単語を理解するために、この読者はその前に現れた単語を振り返る必要があります。

この論文は、この読者が最善の仕事を果たすために、どれほど過去をさかのぼるべきかを調査しています。

過去を振り返る二つの方法

著者らは、読者が情報を収集する方法として、主に二つの戦略を比較します。

グローバルアテンション（「図書館のカード」）:
これは標準的な方法です。読者は、物語の最初の単語から現在の単語の直前まで、これまでに書かれたすべての単語を見ることができます。
- 難点: 物語が長くなるにつれ、読者はますます多くのページをめくらなければなりません。これは遅く、高価（二次的なコスト）になります。
- 得意なこと: 物語の終わりを理解するために、物語の始まりを記憶するのに優れています。まるで本全体を完璧に記憶しているかのようです。
ローカルアテンション（「付箋」）:
これはショートカットです。読者は、現在の単語の直前にある小さく固定されたウィンドウ内の単語のみを見ることが許可されます（例：最後の 5 単語）。
- 難点: その小さなウィンドウより前に起きたことはすべて忘れ去られます。
- 驚き: 大部分のテキストを無視するという「愚かな」読み方のように思えますが、研究者たちはこの方法を用いるモデルが、すべてを見るモデルよりも優れており、高速であることを発見しました。この論文は問いかけます：なぜ大部分のテキストを無視することが、実際には役立つのか？

読者の「論理」

これに答えるために、著者らは AI を単なる数学的な機械ではなく、論理パズルを解く者として扱います。彼らは線形時相論理（時間と順序に関する規則を記述する方法）と呼ばれるシステムを用いて、各読者がどのようなパターンを解くことができるかを正確にマッピングします。

彼らは、二つのアテンション手法が、二つの異なる特化された道具のようなものであることを発見しました。

グローバル読者（過去演算子）:
この読者は、文の始まりに依存するパターンを見つけることに長けています。
- 比喩: 「この文は'The'という単語で始まっているか？」や「'cat'という単語をずっと前の始まりの方で見たか？」といった問いに簡単に答えることができます。
- 限界: 文の終わりに厳密に依存するパターン（例：「この文はピリオドで終わっているか？」）には苦労します。
ローカル読者（昨日演算子）:
この読者は、直近の過去に依存するパターンを見つけることに長けています。
- 比喩: 「この文は'the'という単語で終わっているか？」や「'dog'という単語は直前に現れたか？」といった問いに簡単に答えることができます。
- 限界: 文の始まりを記憶できません。規則が最初の単語に依存する場合、この読者は失敗します。

大発見：彼らは敵対者ではなく、最高の相棒です

この論文は、これら二つの読者が相補的であることを証明しています。一方が他方の「弱い」バージョンなのではなく、彼らは異なることに長けているのです。

グローバル読者だけを使用すると、直近の過去の細部を見逃します。
ローカル読者だけを使用すると、始まりからの全体像を見逃します。

魔法の解決策：ハイブリッドチーム
著者らは、これらを組み合わせる——モデルに物語全体を見る「目」（グローバル）と、最後の数単語に集中して見る「目」（ローカル）の両方を与える——ことで、可能な限り最も強力な読者が得られることを示しています。

「幅 1 のウィンドウ」の驚き:
最も驚くべき発見は、ローカルウィンドウのサイズに関するものです。最後の 10 単語を見ることは、最後の 1 単語だけを見るよりも優れていると考えるかもしれません。
- 論文の主張: いいえ。 最も強力なローカルアテンションは、実際には直前の 1 単語だけを見ること（幅 1 のウィンドウ）です。
- なぜ？ 直前の単語だけを見ることは、モデルに最も正確な「昨日」の情報を提供します。ウィンドウを 2、4、または 10 単語に拡大することは、実際にはこの力を薄め、モデルを特定のパターンの認識において劣らせます。

実世界での証明

著者らは数学だけでなく、実験も行いました。

形式言語テスト: 彼らはモデルにパズルを与えました（例：「'ab'で終わるすべての文字列を見つける」）。
- グローバルのみモデルは「～で終わる」パズルに失敗しました。
- ローカルのみモデルは「～で始まる」パズルに失敗しました。
- **ハイブリッドモデル（グローバル＋幅 1 のローカル）**は、訓練された長さよりもはるかに長い文字列であっても、すべてを完璧に解決しました。
実テキスト（WikiText-2）: 彼らは実際の英語テキストでこれをテストしました。
- 「幅 1」のハイブリッドモデルは、すべてを見るモデルや大きなウィンドウだけを見るモデルよりも、一貫してより良く、より整合性の取れたテキスト（低い「パープレキシティ」）を生成しました。

結論

この論文は一つの謎を解明します：ローカルアテンションは単に計算電力を節約するための安易なトリックではなく、AI の脳に新たな「スーパーパワー」を追加するものなのです。

「長距離記憶」（グローバル）と「超集中した短期記憶」（ローカル、特に直前の 1 単語だけを見るもの）を組み合わせることで、モデルはどちらかの方法だけを単独で使用するよりも厳密に賢くなります。まるで、世界の全タイムラインを知っている歴史家と、あなたの目の前の足跡に執着する探偵が一緒になったようなものです。彼らが一緒にいれば、どんな事件も解決できます。

Jiaoda Li と Ryan Cotterell による論文「Characterizing the Expressivity of Local Attention in Transformers」の詳細な技術的要約を以下に示す。

1. 問題定義

Transformer 構造は、すべての先行トークンから情報を集約するグローバルなアテンション機構に依存しており、これにより二次的な計算複雑性（ $O(N^2)$ ）が生じます。これを緩和するため、ローカルアテンションは集約を固定サイズの先行者のウィンドウに制限し、複雑性を線形（ $O(N)$ ）に削減します。

ローカルアテンションは主に効率性の観点から動機付けられていますが、実証的研究では、計算リソースを一定に保った場合でも（機械翻訳や言語モデルなどにおいて）モデルの品質を向上させることが示されています。これは理論的な謎を生み出します：なぜ受容野を制限すること（一見「弱い」機構）が、時としてより良いパフォーマンスにつながるのでしょうか？

著者らは、これを解決するために、異なるアテンションパターン（グローバル、ローカル、ハイブリッド）が認識できる形式言語の観点から、それらの表現力を形式的に特徴づけることを目指しています。

2. 手法

本論文は、形式言語理論のアプローチを採用し、Transformer 構造を**線形時相論理（LTL）**および代数的オートマトン理論と結びつけています。

理論的枠組み:
- 著者らは、固定精度の Transformer を言語認識器として分析します。
- アテンション機構を LTL の断片にマッピングします:
  - グローバルアテンション: LTL[P]（過去演算子）に対応し、任意に遠い過去を遡ることを可能にしますが、過去の事象の「存在」のみを参照できます。
  - ローカルアテンション（ウィンドウサイズ $k$ ）: LTL[ $Y_{\le k}$ ]（有界昨日演算子）に対応し、直近の $k$ ステップ内で条件が成立したかどうかをチェックします。
  - ハイブリッドアテンション: LTL[P, $Y_{\le k}$ ] に対応し、両方の演算子を組み合わせます。
- 代数的特徴づけ（構文半群、構文モノイド）およびオートマトン理論的性質（DFA 構成）を活用して、これらの論理断片間の厳密な分離を証明します。
実験的検証:
- 形式言語認識: 著者らは、特定の形式言語クラス（例: 'a'で終わる文字列、'ab'を含む文字列、有界 Dyck 言語など）を認識するように Transformer を訓練し、長さを変えて一般化性能をテストしました。
- 自然言語モデル: GPT-2-small 風のアーキテクチャを用いて、WikiText-2データセット上で軽量な次のトークン予測実験を実施しました。
- 変数: 異なるウィンドウサイズ（ $k \in \{1, 2, 4, \dots\}$ ）および位置符号化（学習済み、RoPE、SiPE）において、3 つのアテンションパターン（グローバルのみ、ローカルのみ、ハイブリッド）を比較しました。

3. 主要な貢献

A. 理論的特徴づけ

グローバルアテンション = LTL[P]: グローバルアテンションが単一の過去演算子を持つ論理に対応し、左決定多項式を認識できるが、特定の接尾辞に基づくタスクでは失敗することを再確認します。
ローカルアテンション = LTL[ $Y_{\le k}$ ]: ローカルアテンションが有界時相論理に対応することを証明します。重要なのは、LTL[P] と LTL[ $Y_{\le k}$ ] は比較不可能であることを示した点です。
- グローバルアテンションは、特定の接尾辞で定義される言語（例: 'a'で終わる文字列）を認識できません。
- ローカルアテンションは、特定の接頭辞で定義される言語（例: 'a'で始まる文字列）を認識できません。
ハイブリッドアテンション = LTL[P, $Y_{\le k}$ ]: グローバルとローカルアテンションを組み合わせることで、認識可能な正則言語のクラスが厳密に拡大することを示します。ハイブリッドモデルは、純粋なグローバルまたは純粋なローカルアテンションでは完全に捉えきれない局所テスト可能言語（決定言語の超集合）を認識できます。
ウィンドウサイズ $k=1$ の最適性: 理論的に、位置符号化が存在しない場合、ローカルアテンションファミリー内では、ウィンドウサイズ $k=1$ （直前の先行者のみを見る）が、より大きなウィンドウ（ $k > 1$ ）よりも厳密に表現力が高いことを証明します。これは、 $k=1$ が最も強力な局所演算子である「昨日」演算子（ $Y$ ）を導入するためです。

B. 実証的知見

形式言語における一般化:
- ハイブリッドモデル（特に $k=1$ の場合）は、グローバルのみまたはローカルみのモデルが失敗した LTL[P, Y] で定義可能なすべての言語において、完全な一般化（100% の精度）を達成しました。
- グローバルのみのモデルは、接尾辞ベースのタスク（LTL[Y]）で失敗しました。
- ローカルのみのモデルは、接頭辞ベースのタスク（LTL[P]）で失敗しました。
- ウィンドウサイズ: 位置符号化がない場合、 $k=1$ は $k=2$ や $k=4$ よりも一貫して優れていました。
自然言語（WikiText-2）:
- $k=1$ を用いたハイブリッドアテンションは、すべての位置符号化方式（学習済み、RoPE、SiPE）において、一貫して最低のパープレキシティを達成しました。
- ハイブリッドモデルとグローバルみのモデルの間の性能差は顕著でした（例: 学習済み埋め込み条件下で約 69 ポイントのパープレキシティ低下）。
- 興味深いことに、ローカルみのモデルは時としてグローバルみのモデルを上回り、一方が他方よりも厳密に「優れている」のではなく、それらが補完的であるという理論を支持しました。
位置符号化の役割:
- 位置符号化が「モジュラー述語」として機能する場合（モデルがステップ数を数えることを可能にする場合）、 $k=1$ と $k>1$ のローカルアテンション間の理論的ギャップは埋められます。
- しかし、実際には、標準的な符号化（RoPE、SiPE）はローカルアテンションの欠如を完全に補うことができず、ハイブリッドモデルが依然として優位でした。

4. 意義

「ローカルアテンションのパラドックス」の解決: 本論文は、ローカルアテンションがパフォーマンスを向上させる理由に対する最初の形式的な説明を提供します。それは単なる速度の最適化ではなく、グローバルアテンションが欠如している補完的な帰納的バイアス（ $Y$ 演算子を通じた直前の先行者の追跡能力）を導入するものです。
設計指針: 結果は、ハイブリッドアーキテクチャ（グローバルとローカルヘッドの混合）が理論的および実証的に優れていることを強く示唆しています。さらに、より大きなウィンドウの深さオーバーヘッドなしに直前の先行者を捕捉することで表現力を最大化するため、ローカルヘッドにはウィンドウサイズ 1を使用することを推奨しています。
理論的架け橋: この研究は、ニューラルアーキテクチャ設計と形式論理の間のつながりを確固たるものにし、特定の種類の長距離または局所的な依存関係を必要とするタスクにおけるモデルの能力を予測するための厳密なレンズを提供します。

要約すると、著者らはローカルアテンションはグローバルアテンションの劣化ではなく、必要な補完であることを実証しています。過去の存在というグローバルな視点と、直近の履歴というローカルな視点を組み合わせることで、ハイブリッド・トランスフォーマーは正則言語認識の最も豊かな断片を達成し、形式タスクおよび自然言語モデルの両方において優れたパフォーマンスを実現します。