🤖 machine learning

The Routing and Filtering Structure of Attention

本論文は、ルーティング成分とフィルタリング成分を分離して深度依存のスペクトルカスケードを明らかにする安定したパラメータ化である $S$ - $D$ アテンションを提案し、これにより初期層の大幅なモデル圧縮と線形化を、わずかなパープレキシティの損失で実現する。

原著者： Shafayeth Jamil, Rehan Kapadia

公開日 2026-05-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shafayeth Jamil, Rehan Kapadia

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

GPT などのモデルの背後にある AI の頭脳であるトランスフォーマーを、12 階建ての巨大で忙しいオフィスビルと想像してみてください。各階には同じ数の従業員がおり、同じ広さのデスクスペースがあり、同じ量の書類処理が必要です。これらのビルの設計者は、すべての階が同等の複雑さが必要だと常に仮定してきたため、すべてを同じように建設してきました。

この論文は、この仮定が誤っていると主張しています。実は、「従業員」（アテンション機構）は 2 つの非常に異なる仕事をこなしているのですが、同じデスクを共有することを強いられており、誰が何をしているのかを区別することが不可能でした。

以下は、著者たちが発見した内容を、シンプルな比喩を用いて解説したものです。

1. 2 つの仕事：「交通整理員」と「フィルター」

標準的な AI モデルでは、文章を見るたびに巨大なスコアグリッドを計算します。著者たちは、このグリッドが実際には 2 つの明確なタスクがごちゃ混ぜになったものであることに気づきました。

交通整理員（ルーティング）： この仕事は方向性に関するものです。「トークン A はトークン B へ情報を送るべきだが、その逆は送らない」と決定します。一方通行の道路のようなものです。情報の量を変えずに、情報を移動させます。
フィルター（フィルタリング）： この仕事は関連性に関するものです。「トークン A とトークン B は非常に似ているので、その接続を強化しよう」とか、「無関係なので無視しよう」と決定します。信号の音量を上げたり下げたりするボリュームノブのようなものです。

問題点： 標準的なモデルでは、この 2 つの仕事が 1 つの巨大で厄介な行列の中に絡み合っています。「フィルター」の仕事があまりにも大きく支配的であるため、「交通整理員」の仕事をかき消してしまいます。これらが混ざっているため、AI はほとんど使わない複雑な「交通整理員」システムを構築するために、膨大なエネルギーを浪費しています。

2. 実験：絡み合った結び目を解く

何が起きているのかを明らかにするために、著者たちはS–D アテンションと呼ばれる新しいアテンション機構を構築しました。これは、「交通整理員」と「フィルター」がそれぞれ専用のデスクを持つ新しいオフィスを作るようなものです。

交通整理員（S）： 完全にバランスが取れるように設計されています（数学的に「歪対称」）。情報を移動させることしかできず、生成も破壊もできません。
フィルター（D）： 「ボリュームノブ」の単純なリスト（対角行列）として設計されています。何かを拡大または縮小するだけです。

これらを分離することで、著者たちは「フィルター」のノイズがすべてを支配することなく、AI がどのように自己組織化するかを観察することができました。

3. 発見：「スペクトルカスケード」

AI をこの新しい分離された方法で自己組織化させたとき、彼らはスペクトルカスケードと呼ばれる美しいパターンが現れることを発見しました。

先ほどの 12 階建てのオフィスをもう一度想像してください。

下の階（レイヤー 0–5）： これらの階は驚くほどシンプルです。仕事をこなすために必要な「交通整理員」の方向性は2 つだけです。左へ右へと移動するだけの単純な廊下のようです。複雑な交通システムは必要ありません。
中間の階： 複雑さが徐々に増加します。
上の階（レイヤー 10–11）： これらの階だけが、多くの方向を持つ巨大で複雑な交通システムを必要とする唯一の階です。

大発見： 標準的なモデルでは、AI は必要のない下の階に「複雑な交通システム」（高いランク）を構築していました。単純な部分を過剰設計していたのです。仕事を分離したところ、AI は自然に自己組織化しました：下は単純で、上は複雑です。

4. 「手術」：余分な脂肪を切除

どの階がどれだけの複雑さを必要としているかを正確に把握できるようになったため、彼らはモデルに対して「手術」を行いました。

下の階の線形化： 最初の 7 階の複雑なアテンション機構を、非常にシンプルで安価な線形数学のトリック（曲線の代わりに直線を使うようなもの）に置き換えました。
- 結果： モデルのパフォーマンスはほとんど低下しませんでした（5% 未満の悪化）。
- 標準モデル： 通常のモデルでこれを試そうとすると、すぐに崩壊します。通常のモデルは、必要のない場所でもその複雑さに依存していたのです。
逆転現象： 通常のモデルでは、「フィルター」（ボリュームノブ）を単純化しようとするとモデルは破綻します。しかし、彼らの新しい分離モデルでは、「フィルター」をヘッドあたり単一の数値に単純化しても、ほとんど影響はありませんでした。「交通整理員」が真の働き手だったのです。

5. 新しい設計図

著者たちはこの「スペクトルカスケード」マップを用いて、AI 構造を再設計しました。すべての階に同じ量の電力を与えるのではなく、カスタムモデルを構築しました。

下の階： 小さく、狭く、シンプル。
上の階： 広く、複雑。

結果： 彼らはアテンションパラメータの面で47% から 65% 小さいモデルを作成しましたが、巨大で均一なモデルとほぼ同等のパフォーマンスを発揮しました。彼らは本質的に、下の階が不要な重いスーツケースを運んでいたことに気づき、それらのスーツケースを捨て去ったのです。

まとめ

この論文は、現在の AI モデルが非効率的であると主張しています。それは、脳のすべての層が同等の複雑さを必要とするかのように扱っているからです。「情報の移動」と「情報のフィルタリング」を分離することによって、初期の層が実際には非常に単純であることを発見しました。

この自然な「単純から複雑へ」の構造に合致するモデルを構築することで、AI モデルを大幅に小さくし、実行コストを削減しながら、知能をほとんど失うことなく運用できるようになります。これは、食料品店に行くためにフェラーリのエンジンが必要ないことに気づいたようなものです。必要なのは高速道路を走る時だけです。

技術的サマリー：アテンションのルーティングとフィルタリング構造

問題提起

標準的なトランスフォーマーアーキテクチャは、すべての層にわたってアテンションリソースを均等に割り当て、各層が担う特定の機能に関わらず、すべての層に同一のヘッド次元と計算複雑性（ $O(N^2)$ ）を割り当てます。この均一性は、非均一な割り当てを導くための原理的な測定基準が存在しないために維持されています。最近のハイブリッドアーキテクチャ（Nemotron-H、Jamba、Griffin など）は、二次関数的層と線形的層の最適な比率を見つけるための広範なハイパーパラメータ探索を通じてこの問題を解決しようとしていますが、これらの比率はスケールに依存しており、転用性が欠けています。

特定された核心的な問題は、アテンション相互作用行列 $QK^\top$ が、単一の制約のない行列内で 2 つの異なる計算機能を絡み合わせていることです：

ルーティング: 位置間の情報フローを誘導する歪対称成分（保存的な輸送）。
フィルタリング: トークン間の相互関連性をスケーリングする対称成分（ゲイン制御）。

標準的なアテンションでは、これらの機能は同じ行列容量を競合します。5 つの事前学習済みモデル（GPT-2 変種、BERT-base、Pythia-410M）の 1,776 個のヘッドに対する実証的分析により、フィルタリングがスペクトル予算を支配し、ルーティングは重みカーネルによって割り当てられた容量を大幅に下回る低ランクで動作することが明らかになりました。さらに、すべての標準的なアテンションヘッドは動的に不安定（正の実部を持つ固有値を持つ）であり、この不安定性を抑制するためにレイヤー正規化（LN）に強く依存していることが判明しました。これにより、ルーティングメカニズムの真のスペクトル構造が不明瞭になっています。

手法

これらの機能を解きほぐし、基礎となるスペクトル構造を明らかにするために、著者はルーティングとフィルタリングを構造的に分離する診断パラメータ化であるS–D アテンションを導入します：

ルーティング（ $S$ ）: 学習された歪対称行列（ $S = -S^\top$ ）としてモデル化されます。これにより固有値が純虚数となり、モード間の回転として表現される保存的なゼロサム情報輸送が保証されます。
フィルタリング（ $D$ ）: 学習された正の対角行列（ $D = \text{diag}(d_1, \dots, d_N)$ ）としてモデル化されます。これは、各トークンがスカラー減衰係数を持つ散逸的フィルタリングを表します。

相互作用行列は $L = S - D$ と定義されます。著者は、任意の実歪対称 $S$ と半正定値対角行列 $D$ に対して、すべての固有値の実部が $\text{Re}(\lambda) \le 0$ を満たすことを証明しました。これにより、レイヤー正規化を必要とせずにアーキテクチャの安定性が保証されます。

著者は、エンタングルメントまたは正規化に起因する均等化によって制約されない場合のルーティングの自己組織化を観察するために、OpenWebText 上で 7M から 355M パラメータのさまざまなスケールで S–D モデルを訓練しました。これには、レイヤー正規化ありおよびなしの構成が含まれます。

主要な発見と結果

1. スペクトルカスケード

ルーティングとフィルタリングが解きほぐされ、正規化が除去されると、ルーティングは深度全体にわたってスペクトルカスケード（ランクの階層）として自己組織化します：

層 0: 広範な情報再分配のための単一の回転平面となる有効ランク 2 に収束します。
中間層: 低ランクのプラトー（有効ランク $\approx 2$ –$3$）を維持します。
終端層: 最終的なランクは深さではなくヘッド次元によって決定され、より高いランク（最大 10 以上の独立した回転平面）に拡大します。
スケール不変性: この上昇するカスケードパターンは、テストされたすべてのスケール（7M から 355M）で保持されます。モデルサイズが増加するにつれて、最小スペクトルランクで動作する層の割合が増加します（18M パラメータで 33% から 355M で 92% へ）。

2. フィルタリングの崩壊

解きほぐされた S–D アーキテクチャでは、フィルタリング成分がヘッドあたり単一のスカラーに崩壊します。フィルタリング成分をヘッドごとの平均スカラーに切り詰めても、困惑度（perplexity）へのコストはわずかで（+0.3 PPL）ですが、ルーティングを完全に除去すると壊滅的な失敗を招きます。これは、フィルタリングが支配的でルーティングが低ランクである標準的なアテンションとは対照的です。

3. 実行可能なスペクトル手術

スペクトルカスケードにより、アーキテクチャの「外科的」な単純化が可能になります：

線形化: 125M の S–D モデルの最初の 7 層は、5% 未満の困惑度の低下で線形化（ELU+1 因果線形アテンションに置換）できます。対照的に、標準的なアテンションは同じ介入に対して層 3 で崩壊します。
パラメータの再配分: ヘッド次元（ $d_{head}$ ）を測定されたスペクトルランクに一致させることで（例：初期層では $d_{head}=8$ 、終端層では $d_{head}=64$ ）、アテンションパラメータを 47–65% 削減し、困惑度の増加を +3.9% から +8.4% の範囲に抑えることができました。
逆転: 本論文は構造的な逆転を実証しています。標準的なアテンションではフィルタリングの切り詰めは禁止され、ルーティングの切り詰めは安価ですが、S–D ではルーティングの切り詰めが禁止され、フィルタリングの切り詰めは無料です。

意義と主張

本論文の主要な貢献は、アーキテクチャそのものではなく測定にあると主張しています。重要性は、アテンションの「スペクトル予算」を読み取り可能で実行可能なものにする点にあります：

診断: S–D パラメータ化は、各層に必要な真のルーティング容量を測定する診断ツールとして機能し、標準的なアテンションが低ランク層に過剰な容量を割り当てていることを明らかにします。
ハイブリッドアーキテクチャへの指針: スペクトルカスケードは、どの層が完全な二次関数的アテンションを必要とし、どの層が線形的または低ランクのメカニズムに置換可能かを決定するための連続的で測定可能な指標を提供します。これにより、ハイブリッドアーキテクチャの設計は「探索（比率の掃引）」から「測定（ランクに基づく処方）」へと移行します。
線形アテンションの再評価: 結果は、単純な線形アテンション（例：ELU+1）の歴史的な失敗は、内在的な容量限界ではなく、誤った割り当て（高ランク層への適用）に起因することを示唆しています。本論文は、線形アテンションがカスケードによって特定された低ランクの「プラトー」では効果的に機能することを示しています。

著者は、スペクトルカスケードがエンタングルメントと正規化が除去された場合のオプティマイザーの自然な解決策であり、この構造がより効率的で非均一なトランスフォーマーアーキテクチャの構築を導くことができると結論付けています。