🤖 machine learning

A Mechanistic Analysis of Transformers for Dynamical Systems

本論文は、単層Transformerを力学系の観点から分析し、ソフトマックス・アテンションが過度な平滑化を通じて線形システムのモデリングを制限する一方で、非線形で部分観測的なシステムにおける状態を再構成するための効果的な適応的遅延埋め込みメカニズムとして機能することを明らかにしている。

原著者： Gregory Duthé, Nikolaos Evangelou, Wei Liu, Ioannis G. Kevrekidis, Eleni Chatzi

公開日 2026-08-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Gregory Duthé, Nikolaos Evangelou, Wei Liu, Ioannis G. Kevrekidis, Eleni Chatzi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは未来を予測しようとしているところだと想像してください。例えば、次に跳ねるボールがどこに落ちるかを推測したり、天気を予測しようとしたりしているかもしれません。長い間、科学者たちはこれを行うための信頼できる道具を持ってきました。例えば、物事が次にどのように動くかを推測するために、過去数秒間の動きを見る、といった方法です。これらの道具は、厳格なレシピのようなものです。もし物理法則を知っていれば、何が起こるかを正確に伝える数学の方程式を書くことができます。しかし最近、物語を書いたり株価を予想したりすることから、あらゆる予測を行う「スーパーブレイン」と呼ばれる新しい種類の「Transformer（トランスフォーマー）」が有名になりました。これらのTransformerは、出来事の全履歴を一度に見て推測を行う、魔法のブラックボックスのようなものです。ここで大きな疑問が生じます。このブラックボックスは、物事が動く物理学を本当に理解しているのでしょうか、それとも単に非常に優れた「推測屋」に過ぎず、状況が複雑になると失敗してしまうのでしょうか？この論文は、これらのTransformerが物理システムの動きを予測しようとする際、本当に正しく機能しているのかを確認するために、そのエンジンの内部へと踏み込みます。

グレゴリー・デュテ（Gregory Duthé）率いる研究チームは、Transformerを謎めいたブラックボックスとして扱うのをやめ、代わりに単純な動的システムを用いて、それがどのように機能するかを解体して調べることにしました。彼らは、理解を容易にするために、非常に薄く単純な（わずか1層の深さしかない）特定のタイプのTransformerに焦材を絞りました。彼らはこう問いかけました。「もしこの機械に、揺れる振り子や流れる川のデータを入力したら、それは実際に何を学習しているのだろうか？」

以下に彼らが発見したことが記されていますが、それは「素晴らしい成果」と「高い壁にぶつかる」という両面を持っています。

まず、彼らは単純な直線運動（線形システム）、例えば上下に跳ねるバネのような動きを調べました。そこで彼らは、Transformerには奇妙な盲点があることを発見しました。Transformerが過去に対して注意を払う方法は、まるで「材料を加えることはできるが、決して取り除くことはできないシェフ」のようです。過去の瞬間を混ぜ合わせることはできますが、それらを減算することはできません。もしシステムが、揺れ（例えば前後に跳ねるバネ）を作り出すために過去の瞬間を差し引く必要がある場合、シングルヘッド（単一の注意機構）のTransformerは混乱してしまいます。それはすべてを滑らかにしようとし、跳ねるバネを、鈍くゆっくりと動く塊のように見せてしまいます。それは、前進することしかできないブラシを使ってジグザグの線を描こうとするようなもので、結局は直線になってしまいます。論文は、もしTransformerに2つの「ヘッド」（異なる方法で注意を向ける仕組み）を与えれば、これを修正でき、ついにジグザグを正しく描けるようになることを示しています。

次に、彼らはより複雑で、うねるような動き（非線形システム）、例えばカオス的な振り子や、円柱の周りを流れる流体へと進みました。ここでは、Transformerは輝きを放ちますが、それは特定の条件下においてのみです。研究者がTransformerにシステムの全体像（物体の位置と速度の両方）を与えたとき、それは単純な計算機と大差ありませんでした。それは、探偵にコンパスだけが必要なのに、完全な地図を与えてしまうようなものでした。

しかし、研究者が情報を一部隠し、Transformerに位置の情報だけを与えて速度を隠したとき、Transformerはスーパーヒーローへと変貌しました。それは「タイムトラベルをする探偵」のように振る舞い始めたのです。過去の位置のシーケンスを見ることで、隠された速度を特定し、システムの完全な状態を再構築することができました。それは、数秒前の位置を見ることで車の速度を推測できるのと同様に、欠けているピースを埋めるための「遅延メモリ」を構築していたのです。論文は、Transformerが最もよく機能するのはこの方法である、つまり、観察された履歴をつなぎ合わせることで、現在の完全な姿を作り出すことであると示唆しています。

しかし、落とし穴があります。研究者たちは、Transformerがこれを行うためには、脳の中に十分な「スペース」が必要であることを発見しました。もし複雑な履歴のすべてを極めて狭い空間に圧縮しようと強制すれば、その絵は、大きな地図を小さな封筒に詰め込もうとする時のように、乱れて折り畳まれてしまいます。論文は、システムが複雑であれば、Transformerは異なる可能性を分離して保持するために、より大きな内部空間を必要とすることを示しています。また、もしシステムが隠れた設定（風速など）に基づいて変化する場合、その設定を明示的に伝えない限り、Transformerは混乱する可能性があることも分かりました。その追加のヒントがないと、短期的には似ているが、その後は全く異なる挙動を示す2つのシナリオを混同してしまう可能性があるのです。

結局のところ、この論文はTransformerが壊れていると言っているのではなく、それらが「魔法ではない」と言っているのです。それらは物理システムを予測することを学習できる強力な道具ですが、従わなければならない特定のルールを持っています。彼らは記憶における単純な減算に苦しみ、複雑な形状を展開するための十分なスペースを必要とし、時には、彼らが観察している世界の隠れた設定を理解するために、私たちからの助けを必要とします。これらのルールを理解することで、科学者たちはこれらのモデルを謎めいたブラックボックスとして扱うのをやめ、現実の動いている世界を予測するために、より信頼性の高いものとして構築できるようになるのです。

技術要約：ダイナミカルシステムにおけるTransformerのメカニズム的解析

問題提起

Transformerアーキテクチャは、時系列予測において顕著な経験的成功を収めており、流体力学から神経科学に至るまで、ダイナミカルシステムへの応用が急速に進んでいる。しかし、その内部メカニズムは、ダイナミカルシステムの観点からは未だ十分に理解されていない。安定性、観測可能性、識別可能性に関する確立された理論的基盤を持つ古典的な自己回帰（AR）モデルや状態空間モデルとは異なり、Transformerはしばしばブラックボックスとして扱われている。

このギャップは、アテンションベースのモデルが多様なダイナミカル・レジームに対して汎用的な、あるいはゼロショットの予測を行うために展開されている現状において、極めて重要である。具体的には、Transformerがどのようなクラスのダイナミカルな挙動を忠実に表現できるのか、どのような条件下で成功または失敗するのか、そして彼らの内部計算が、遅延座標埋め込みやアトラクタ再構成といった非線形ダイナミクスの確立された概念とどのように関連しているのかが不明確である。既存の文献では、アテンションと数値積分やオペレータ学習との関連性が探求されているが、単層Transformerの操作と、古典的なダイナミカルシステム（例：ARモデル、タケンスの定理）との間の直接的なメカニズム的リンクは、まだ確固たるものとして確立されていない。

手法

著者らは「ボトムアップ」的なメカニズム解釈アプローチを採用し、その解析を単層、シングルヘッド、デコーダーのみのTransformerに限定している。この最小限のアーキテクチャにより、特定のコンポーネント、すなわち因果的自己アテンション機構とフィードフォワードネットワーク（MLP）を分離して抽出することが可能となる。

本研究では、主に2つの動作レジームを調査している：

線形システム： 著者らは、アテンションを線形かつ時変の自己回帰演算子として分析している。残差接続とMLPを除去した状態（アテンションのみのアブレーション）において、アテンション機構によって誘導される実効的なAR係数の閉形式の式を導出している。これらを、物理系（例：単自由度および2自由度の振動子）から解析的に導出されたAR係数と比較している。
非線形システム： 著者らは、全状態が観測可能ではないシナリオ（部分観測性）を検討している。ここでは、Transformerを適応的な遅延座標埋め込みのメカニズムとして捉えている。アテンション層は過去の観測値を集約して暗黙的な状態を再構成し、その後、MLPが非線形フローマップを近似する。

本研究では、以下の3つの代表的なダイナミカルシステムを利用している：

線形： 単自由度および2自由度の構造振動子。
非線形常微分方程式（ODE）： Van der Pol振動子。
非線形偏微分方程式（PDE）： Chafee-Infante反応拡散方程式、および円柱背後の2次元Navier-Stokes流。

解析では、モデルが部分観測性をどのように扱うか、時間的コンテキスト（入力トークン数 $n$ ）の役割、位置エンコーディング（PE）の影響、およびアトラクタの固有次元（ $d_A$ ）に対する潜在空間の次元（ $d_{lat}$ ）の影響に焦点を当てている。

主な貢献と結果

1. 線形システム：凸性の制約

シングルヘッド、アテンションのみの設定において、著者らは、softmax正規化が学習された自己回帰演算子に対して凸性の制約を課すことを示している。

メカニズム： アテンションの重み $\alpha_{t,\ell}$ は厳密に非負であり、総和は1となる。その結果、実効的なラグ演算子は、単一の行列の非負のスカラー倍となる。
失敗モード： 混合符号の自己回帰係数を必要とする線形システム（例：位相反転を表現するためにAR係数が逆符号である必要がある、弱減衰振動子）の場合、単一のアテンションヘッドはダイナミクスを忠実に表現できない。これは「オーバースムージング（過度な平滑化）」を招き、共振ピークやコヒーレントなモード減衰リッジの回復に失敗する原因となる。
成功モード： ターゲットとなるダイナミクスが同符号の係数を持つAR表現を許容する場合、アテンション機構は振動挙動と減衰特性を正常に捉えることができる。
スケーラビリティ： 多自由度システムにおいて、アテンションは、空間的な観測の欠落を補うために時間的コンテキスト（ $n$ ）が十分に長ければ、複数の相互作用するモードを回復できる。これは、実質的に遅延座標埋め込みとして機能している。ただし、根本的な符号の制約は、シングルヘッド・アーキテクチャにおける限界として残る。

2. 非線形システム：遅延埋め込みと状態再構成

非線形システムにおいて、Transformerの有用性は部分観測性の下で最も顕著になることが著者らによって示されている。

完全観測性： 全状態ベクトルが利用可能な場合、単純なフィードフォワードMLP（時刻1のマップを学習するもの）は、Transformerと同等の性能を示す。システムがすでにマルコフ的であるため、アテンションは有意な優位性を提供しない。
部分観測性： 変数のサブセットのみが観測される場合（例：位置は観測できるが速度は観測できない）、TransformerはMLPを大幅に上回る性能を示す。アテンション機構は適応的な遅延埋め込みとして機能し、過去の観測を集約することで、同じ瞬時値を持つが位相が異なる状態を判別する。
潜在次元とアンフォールディング（展開）： 状態再構成の質は、潜在次元（ $d_{lat}$ $d_{l a t}$ ）に決定的に依存する。
- Chafee-Infanteシステム（固有次元 $d_A=2$ ）において、 $d_{lat}=2$ に設定すると、潜在表現が狭い曲線へと崩壊し、システムの対称性とアーキテクチャの制約により、多様体を「アンフォールド（展開）」することに失敗した。
- $d_{lat}$ を3に増やすことで、アテンション機構がまず遅延座標をより豊かな中間表現へと展開し、その後MLPがそれを固有の2次元多様体へと投影することが可能となった。これは、 $d_{lat}$ が早期の圧縮や折り畳みを避けるために $d_A$ を超える必要があることを示唆している。
パラメータ条件付け： Navier-Stokes円柱流の実験において、レイノルズ数（$Re $）を明示的に入力せずに訓練されたモデルは、異なる$ Re $におけるリミットサイクルが重なり合う潜在空間を学習した。この非単射性が、特に後流領域における完全な流れ場の再構成を妨げる原因となった。$ Re$ を明示的な入力として提供することで、潜在空間が分離され、連続的なパラメータ依存多様体に沿ってリミットサイクルが分離され、正確な全視野再構成が可能となった。

意義と主張

本論文は、Transformerの経験的な性能と古典的なダイナミカルシステム理論との間の溝を、なぜ、そしていつこれらのモデルが成功または失敗するのかというメカニズム的説明を提供することで埋めるものであると主張している。

解釈可能性： 著者らは、Transformerを単なる汎用的なシーケンス・トゥ・シーケンス回帰器としてではなく、データ適応型の状態空間モデルとして捉えるべきだと主張している。アテンション機構は過去の観測から暗黙的な状態を構築し、MLPは局所的なフローマップを近似する。
理論的限界： 本研究は、根本的な表現上の限界を特定している。具体的には、softmaxの凸性により、シングルヘッド・アテンションが混合符号の依存関係をモデル化できないことである。これは、特定の物理的レジームに対して、マルチヘッド・アーキテクチャや代替の正規化スキームが必要であることを示唆している。
設計指針： 本研究の結果は、ダイナミカルシステムのためのアテンションベースのモデルを設計するための実用的なガイドラインを提供している：
- 部分観測性に対しては、時間的コンテキスト長（ $n$ ）が $n \ge 2d_A + 1$ （タケンスの定理）を満たすようにすること。
- 潜在次元（ $d_{lat}$ ）は、特に対称的な多様体の場合、投影前にアトラクタをアンフォールドするために十分に大きくすること。
- 潜在空間が異なるダイナミカル・レジームを特異に分離できない場合は、システムパラメータ（例：レイノルズ数）を明示的に条件付けること。

著者らは、Transformerは汎用的な時間積分器として機能し得るものの、その帰納バイアス（特にスペクトル・フィルタリングと多様体のトポロジーに関するもの）は、モデル化する物理システムと慎重に整合させる必要があると結論付けている。彼らは、これらの根底にあるメカニズム的制約を理解することなく、Transformerを普遍的な「ブラックボックス」近似器として扱うことに対して警鐘を鳴らしている。