🤖 machine learning

On the Diverse Dynamical Behaviors Arising in Deep Linear Transformers

本論文は、トークン間の相互作用を一般化された蔵本モデルとしてモデル化することにより、深層線形トランスフォーマーの二次元における多様な長期的動態的振る舞いを特徴付け、内在的な低次元動態、隠れたハミルトン構造、そして高次元でも持続するクラスタリングや振動といったロバストな現象を明らかにしている。

原著者： Sixu Li, Thomas Jacob Maranzatto, Jan Peszek, Trevor Teolis, Semih Akkoc, Konstantin Riedl, Sennur Ulukus, Nicolás García Trillos

公開日 2026-07-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sixu Li, Thomas Jacob Maranzatto, Jan Peszek, Trevor Teolis, Semih Akkoc, Konstantin Riedl, Sennur Ulukus, Nicolás García Trillos

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

データが単なる紙の上の静止した数字ではなく、広大な目に見えない都市の中を動き回る、小さく賑やかな旅人たちの群衆である世界を想像してみてください。これが、機械学習、特に現代の**人工知能（AI）の背後にある技術であるトランスフォーマー（Transformer）**の世界です。あなたはこれを聞いたことがあるかもしれません。チャットボット、翻訳ツール、画像生成エンジンを動かしているエンジンです。これらの機械の中核にあるのは、**自己注意（セルフ・アテンション）**と呼ばれるメカニズムです。これは、データポイント（「トークン」と呼ばれます）のための、超強力なソーシャルネットワークのようなものだと考えてください。トランスフォーマーが文章を読み取るとき、すべての単語は他のすべての単語を見つめ、その単語がどれほど重要であるかを判断します。このプロセスは、メッセージがステップごとに洗練されていく電話ゲームのように、レイヤー（層）ごとに繰り返されます。

しかし、ここに謎があります。これらの機械が驚異的な精度で機能することは分かっていますが、内部で「どのように」機能しているのかについては、多くの場合理解できていません。それは、車が速く走ることは知っているが、エンジンの仕組みは理解していないようなものです。科学者たちは、これらのデータトークンがレイヤーを通過する際の「交通パターン」をマッピングしようと試みてきました。彼らは一斉に行進しているのでしょうか？グループを形成しているのでしょうか？それともループに陥って停滞しているのでしょうか？これを理解することは極めて重要です。なぜなら、データの動き方を知れば、より優れた、より安全で、より効率的なAIを構築できるからです。本論文は、データトークンをコンピュータコードとしてではなく、数学的なリズムに合わせて踊る粒子の群れとして扱い、その交通現象を深く掘り下げます。

偉大なるトークンのダンス：混沌と秩序の研究

本論文において、数学者とエンジニアのチームは、トランスフォーマーをその骨組みまで削ぎ落としたときに何が起こるのかを観察することに決めました。彼らは、**線形トランスフォーマー（Linear Transformer）**と呼ばれる簡略化されたモデルに焦点を当てました。音楽が単純で予測可能であり、ダンサーが「トークン（データポイント）」であるダンスフロアを想像してみてください。研究者たちは、次のように問いかけました。もしこれらのダンサーがレイヤーごとに相互作用させたら、最終的に立ち止まって完璧な一列に並ぶのでしょうか？二つの対立するグループを形成するのでしょうか？それとも、永遠に円を描いて回り続けるのでしょうか？

これを解明するために、著者らは巧妙なトリックを用いました。彼らは、特定の二次元の設定（トークンが平坦な円の上を動く状況）において、トランスフォーマーの複雑な数学が、**蔵本モデル（Kuramoto model）**と呼ばれる有名な物理モデルと全く同じ挙動を示すことに気づきました。蔵本モデルは、ホタルが同期して光ったり、振り子時計が最終的に同じリズムで刻んだりする様子を記述する方法だと考えることができます。著者らは、彼らのトランスフォーマーのトークンが、本質的に「特定の二次的なリズム（単純なビートではなく『ダブル・ビート』）を通じて相互作用するホタル」であることを発見しました。

この関連性があるため、彼らは強力な数学的ツール（渡辺・ストロガッツ変換およびオット・アンソッツ・アンサッツ）を使用して、問題を縮小することができました。数千人の個々のダンサーを追跡する代わりに、群れ全体の挙動を、たった一つの単純な方程式で記述できるのです。それは、スタジアムにいる一人ひとりの動きを追跡する代わりに、観客の間を動く「波」だけを追跡すればよいと気づくようなものです。

驚くべき結果：単なる直線ではない動き

チームは、これらのトークンの挙動が、Key（キー）、Query（クエリ）、**Value（バリュー）**と呼ばれる3つの特定の行列（数値の表）によって設定される「ダンスのルール」に完全に依存していることを見出しました。これらの数値を変更することで、彼らはトークンに全く異なる動きをさせることができました。

偉大なるクラスタリング（「ハドル／集まり」）: 多くの場合、トークンは予想通りの動きを見せます。彼らは集まります。時には全員が単一の点へと集まり（完全な合意）、しかし多くの場合、円の反対側に位置する**二つの対立するグループ（対蹠的クラスター）**に分裂します。これは、全員が最終的に二つの極端な側のどちらかに同意する討論のようなものです。
永遠のスピン（「カロセル／回転木馬」）: ここからが奇妙なところです。研究者らは、トークンが二つのグループを形成するものの、それらのグループが決して止まることなく動き続ける特定のセッティングを発見しました。それらは、決して止まることのない回転木馬のように、円の周りを永遠に回転し続けます。トークンはクラスター化されていますが、決して落ち着くことはありません。これは、著者らがこの文脈においてこれまで予測していなかった挙動です。
隠れたハミルトニアン（「スイング／揺れ」）: 別のシナリオでは、システムは振り子やブランコのように振る舞います。パラメータが適切であれば、トークンは完璧に繰り返されるループの中で、前後に揺れ動きます。パラメータをわずかに調整するだけで、システムは永遠に揺れ続ける状態から、落ち着いて静止する状態へと突然切り替わることがあります。これは**分岐（bifurcation）**と呼ばれ、トランスフォーマーの挙動がその設定に対して非常に敏感であることを示しています。

実生活ではどうなのか？（「もしも」と「現実」）

著者らは、自分たちの最も詳細な証明が、簡略化された二次元の世界に適用されるものであることを注意深く記しています。しかし、彼らはそこで立ち止まりませんでした。彼らは、より大規模で現実的なモデル（100次元、200トークン）を用いた**数値実験（コンピュータ・シミュレーション）**も実施しました。

結果は刺激的でした。彼らが単純な2Dの世界で見つけた奇妙な挙動――永遠のスピンや、揺れと静止の間の突然の切り替えなど――は、高次元のシミュレーションにおいても維持されていました。このことは、これらの複雑な非線形なダンスが単なる数学的な好奇心の対象ではなく、私たちが日常的に使用している大規模なAIモデルの中でも実際に起きている可能性があることを示唆しています。

また、彼らは自分たちの「線形」モデルを、より一般的な「ソフトマックス（Softmax）」モデル（現実世界のAIで使用されているもの）と比較しました。ソフトマックス・モデルは全員を単一の完璧な集まりへと強制する傾向があるのに対し、線形モデルはより多様であり、二つの明確なグループを形成したり、永遠に回転したりすることが可能であることを見出しました。これは、「線形」という簡略化が単なるおもちゃではなく、より複雑なモデルが隠し持っているかもしれない隠れたダイナミクスを明らかにしていることを示唆しています。

結論

本論文は、AIのすべての謎を解明したと主張するものではありません。むしろ、新しい窓を開くものです。データを相互作用する粒子として扱い、物理学の言語を用いることで、著者らはトランスフォーマーが単に「単一の答えに収束する」以上の、はるかに豊かな多様な挙動が可能であることを示しました。トランスフォーマーは振動し、分岐し、回転することができるのです。

著者らは、2Dケースにおいてこれらの挙動を数学的に証明し、シミュレーションを通じて、それらがより大規模で複雑なシステムにおいても成立することを示唆しました。彼らは単にトークンがどのように動くかを見つけたのではありません。彼らは、トークンが「どのように」動くかを見出し、トランスフォーマーの内部世界が、ダイナミックで、時に混沌とし、そして美しく構造化されたダンスフロアであることを明らかにしたのです。この洞察は、なぜAIが時にループに陥ったり、予測不可能な挙動を示したりするのかを理解する助けとなり、将来のより安定し、理解しやすい人工知能への道を開くことになるでしょう。

技術的要約：ディープ・リニア・トランスフォーマーにおける多様な動的挙動の発生

問題提起

本論文は、トランスフォーマー・アーキテクチャ内におけるデータの内部変換に関する数学的な理解が不足しているという問題に対処しており、特に推論時におけるエンコーダーのみのディープ・トランスフォーマーのダイナミクスに焦点を当てている。先行研究では、特定の行列構造（例：特定の行列構造やソフトマックス・アテンション）という限定的な仮定の下で、トークンの同期や「ランク崩壊」（単一の点への収束）を特徴付けてきたが、より一般的なパラメータ選択の下でのこれらのシステムの挙動は依然として不明なままである。

著者らは、連続する線形自己注意層を通じて進化するトークン表現 $x_k(t)$ の長時間挙動を調査している。ダイナミクスは、単位球面 $S^{d-1}$ 上の結合常微分方程式（ODE）系としてモデル化される：
$\dot{x}_k(t) = P^\perp_{x_k(t)} \left( \frac{1}{n} \sum_{j=1}^n \beta \langle x_k(t), A x_j(t) \rangle V x_j(t) \right)$
ここで、 $A = Q^\top K$ および $V$ は、それぞれキー/クエリおよびバリューのパラメータ行列である。中心となる問いは、どのような行列 $A$ および $V$ の選択において、システムはコンセンサス（クラスタリング）に収束し、またどのような選択において、他の長時間挙動（振動、分岐）が出現するのか？ということである。

手法

著者らは、相互作用粒子系（interacting particle system）の観点に基づき、トークンを粒子としてモデル化を採用している。彼らの手法は、先行文献で使用されているワッサースタイン・勾配流（Wasserstein gradient flow）のアプローチとは異なり、次元 $d=2$ における**線形自己注意（LSA）**モデル（ $h(y)=y$ ）に焦点を当てている。

蔵本モデルへの再定式化: 著者らは、 $d=2$ において LSA ダイナミクスが、純粋な第2高調波結合を持つ一般化された蔵本モデルとして再定式化できることを示している。トークンを単位円上の角度 $\theta_k$ （ $x_k = e^{i\theta_k}$ ）として表現することで、ダイナミクスは第2次パラメータ $R_2(t) = \frac{1}{n} \sum e^{i2\theta_j}$ にのみ依存する。
次元削減: この純粋な第2高調波構造を利用して、著者らはワタナベ–ストロガッツ（WS）変換を適用している。これにより、 $n$ 個の粒子系は、 $n$ によらず、わずか2つのマクロ変数（ $\alpha, \eta$ ）によって支配される本質的に低次元なものであることが明らかになる。
オット–アンツェン（OA）仮説: 特定の初期化（二重角 $\Xi = 2\Theta$ の分布が「OA多様体」、具体的にはラップド・コーシー分布上に乗る場合）において、WS系はさらに、オーダーパラメータ $R_2(t)$ に関する単一の複素数値 ODE へと簡約される。
安定性解析: OA仮説の限界（特定の初期化を必要とする点）に対処するため、著者らは構造的安定性の結果を確立している。彼らは、特定のパラメータ領域において、OA多様体の「近く」に初期化されたダイナミクスが、多様体上に初期化されたものと同じ長時間挙動を示すことを証明しており、これにより理論的結果をより広い初期条件クラスへと拡張している。
数値的検証: $d=2$ における理論的知見は、線形自己注意および非正規化ソフトマックス・アテンション（USA）の両方について、高次元（ $d=100$ ）での数値実験を通じて検証されている。

主な貢献

本論文は、主に4つの貢献を行っている：

純粋な第2高調波蔵本モデルの定式化: 著者らは、 $d=2$ における線形自己注意が、任意の 行列 $A$ および $V$ に対して、純粋な第2高調波結合を持つ蔵本–ダイド（Kuramoto-Daido）モデルと等価であることを示している。これにより、特定のパラメータ値に依存しない、固有の低次元構造が確立される。これは、ワッサースタイン勾配流の枠組みとは異なるものである。
OA多様体上の多様な長時間挙動: $R_2(t)$ $R_{2} (t)$ に関する簡約された ODE を分析することにより、著者らは $A$ $A$ と $V$ $V$ の特性に基づいた4つの異なる動的レジームを特定している：
- 収束を伴うクラスタリング: トークンが2つの固定された対蹠点（antipodal points）に集まる（例： $V=I$ であり、 $A$ が特定のトレース/行列式条件を満たす場合）。
- 収束を伴わないクラスタリング: トークンは2つの対蹠クラスターを形成するが、クラスターの位置は無限に回転する（非収束的な振動）。
- 振動: システムは、安定したクラスターを形成することなく、持続的な周期振動を示す。
- 分岐: システムはサドルノード分岐を起こし、 $V$ の小さな変化が長期的な挙動（例：振動からクラスタリングへの遷移）を劇的に変化させる。
- 注記: これらの挙動には、著者らがトランスフォーマーのダイナミクスにおいてはこれまで特徴付けられていないと指摘する、振動や分岐が含まれる。
OA多様体を超えた構造的安定性: 著者らは、特定のパラメータ領域（例： $A$ の対称部分が正定値である $V=I$ 、または $\lambda_{\max}(V) > 0$ である $A=I$ ）において、長時間挙動（対蹠点への収束）が頑健であることを証明している。初期分布が有界リプシッツ距離において一様分布に十分に近ければ、OA多様体の近くに初期化されたダイナミクスは、多様体上のものと同じ状態に収束する。
高次元における持続性: 数値実験は、2Dの理論的分析で特定された定性的挙動（クラスタリング、非収束クラスタリング、および振動）が、線形およびソフトマックス・アテンションモデルの両方において、高次元の設定（ $d=100$ ）でも持続することを示唆している。

結果

論文は、 $R_2(t)$ （およびその結果としてのトークン分布）の長時間挙動を以下の3つのタイプに分類している：

タイプ 1 (収束): $|R_2| \to 1$ かつ $\arg(R_2) \to \text{const}$ 。トークンは2つの固定された対蹠点に収束する。
タイプ 2 (回転するクラスター): $|R_2| \to 1$ だが $\arg(R_2)$ は収束しない。トークンは、連続的に回転する2つの対蹠クラスターを形成する。
タイプ 3 (振動): $|R_2|$ も $\arg(R_2)$ も収束しない。システムは持続的な振動を示す。

具体的な知見には以下が含まれる：

ケース 1 ( $V=I, A$ は任意): $\text{tr}(A) > 0$ または $\det(A) \le 0$ の場合にクラスタリングが発生する。 $A$ の対称部分が負定値である場合、システムは内部の点に収束する（クラスタリングは起きない）。
ケース 2 ( $A=I, V$ は対称): $\lambda_{\max}(V) \ge 0$ の場合にクラスタリングが発生する。 $\lambda_{\max}(V) < 0$ の場合、システムはクラスタリングなしに収束する。
ケース 3 (非可換な $A, V$ ): 著者らは、トークンが2つの対蹠クラスターを形成し、それらが無限に回転する領域を特定している（収束を伴わないクラスタリング）。
ケース 4 (隠れたハミルトニアン構造): 特定の歪対称に近い $V$ に対して、システムは周期軌道（振動）を導く隠れたハミルトニアン構造を示す（ $v_{11} < v_{12}$ の場合）。 $v_{11} \ge v_{12}$ の場合は収束する。

意義と主張

本論文は、トランスフォーマーモデルにおける多様な動的挙動（特に振動と分岐）を、重み行列の明示的なパラメータ選択に関連付けた最初の理論的特徴付けを提供すると主張している。

クラスタリングを超えて: 本研究は、トランスフォーマーのダイナミクスが主にトークンの一様性やランク崩落を導くという支配的な見解に異議を唱えている。線形トランスフォーマーが、 $A$ と $V$ に応じて、複雑で非収束的なダイナミクス（振動、回転クラスター）を維持できることを実証している。
分析的枠組み: トランスフォーマーのダイナミクスを蔵本型のモデルに結びつけることで、著者らは、ワッサースタイン勾配流のアプローチとは異なる、新しい分析的枠組みを提供している。この枠組みにより、従来の勾配流の仮定下では扱いきれなかった、一般的な行列 $A$ および $V$ の分析が可能となる。
頑健性: 構造的安定性の結果は、これらの多様な挙動が理想化された初期化（OA多様体）の産物ではなく、幅広い初期条件に対してシステムが持つ頑健な特徴であることを示唆している。
実用的な関連性: 著者らは、「収束を伴わないクラスタリング」（回転クラスター）という挙動が、「ループ・トランスフォーマー」（再帰的に適用されるLLM）で観察される周期的な軌道と定性的に類似していることを指摘しており、これは深い、あるいは再帰的なトランスフォーマーの応用におけるダイナミクスを理解する上での潜在的な意味合いを示唆している。また、これらのダイナミクスがパラメータの摂動に対して敏感であることも強調しており、これはモデルの量子化に関連する可能性がある。

著者らは、厳密な低次元への簡約が現在は $d=2$ および線形アテンションに特有であることを認め、これらの手法を高次元および非線形（ソフトマックス）カーネルへと拡張することは、依然として未解決の課題であるとして、研究の拡張性については控えめな姿勢を保っている。