💻 computer science

Infrared Universality of Collective Dynamics across Transformer and State-Space Architectures

本論文は、TransformerとMambaの両アーキテクチャが、微視的なメカニズムは根本的に異なるにもかかわらず、スローモードの連続体によって特徴付けられる共通の近赤外集団力学を発展させていることを示し、それによってこのような組織化の普遍性をTransformerを超えて拡張するとともに、認知場理論からの予測を支持するものである。

原著者： Byung Gyu Chae

公開日 2026-08-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Byung Gyu Chae

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

人工知能という広大な風景の中で、研究者たちは、機械がいかにして記憶することを学ぶのかを理解しようと長年努めてきました。情報のシーケンス（文章の中の単語やビデオの中のフレームなど）を扱うために、二つの支配的なモデルの系統が登場しました。第一の系統である「トランスフォーマー（Transformers）」は、自己注意（セルフアテンション）と呼ばれるメカニズムに依存しており、これにより、モデルはあらゆる情報の断片の重要性を、他のすべての断片に対して同時に重み付けすることができます。第二の系統は、Mambaのような新しいモデルに代表されるもので、状態空間力学に基づいた異なるアプローチを採用しています。そこでは、モデルは時間の経過とともに進化する内部状態を維持し、新しいデータが処理されるたびにそのメモリを更新します。長年、科学者たちは、時間と記憶に関するこれら二つの根本的に異なる考え方が、実は機械の奥深くにおいて同じ基礎的な振る舞いへと導くのではないかと考え続けてきました。この問いが重要なのは、もし異なるアーキテクチャが同じパターンへと収束するのであれば、学習し記憶する能力は、設計者の特定のエンジニアリング上の選択肢ではなく、普遍的な原理によって支配されていることを示唆するからです。

ある研究者が、訓練されたMambaモデルの内部を調べ、そのメモリが実際にどのように機能しているかを確認することで、この仮説を検証しようと試みました。彼らは「状態密度の時間スケール（time-scale density of states）」と呼ばれる特定の特性に焦点を当てました。これは、本質的には、モデルがどれほど多くの異なる記憶の速度を保持しているかを示すマップです。本が主題別ではなく、読者の記憶からどれくらいの速さで消えていくかによって分類されている図書館を想像してみてください。数秒で忘れられる本もあれば、数分で、あるいは数年間にわたって残り続ける本もあります。研究者は、Mambaモデルにおけるこれら「消えゆく速度」の分布を確認したいと考えました。彼は、Mambaには層ごとに検証可能な、組み込まれたメモリメカニズムがあることを知っていました。第一に、その設計にエンコードされた生の内部メモリ速度、第二に、特定の入力に応じてそれらの速度がどのように変化するか、そして最後に、すべての複雑な計算が終了した後のブロック全体の集合的なメモリ速度です。

研究者は、これら三つの層は同一ではないことを発見しました。Mambaモデルの生の内部メモリは、広範な速度の範囲から始まりますが、モデルが情報を処理するにつれて、読み取っている内容に基づいてこれらの速度を選択的に再スケールします。この入力依存の調整はMambaのユニークな特徴であり、文脈に応じて内部時計を遅らせたり早めたりすることを可能にします。しかし、最も驚くべき発見は、研究者がモデルブロック全体の最終的な集合的出力を見たときに起こりました。内部で起きている複雑な速度の再編成にもかかわらず、最終的な結果は非常に特定の、安定したパターンへと落ち着いたのです。異なるシーケンス長にわたってメモリ速度を測定したところ、モデルは一貫して、非常に遅いメモリの広範かつ連続的な範囲を発達させていることがわかりました。これらの遅いメモリは消失するのではなく、代わりに滑らかで予測可能な連続体（コンティニュアム）を形成し、モデルがより長いシーケンスのデータを処理するにつれて、より明確かつ定義されたものとなりました。

これがMambaのデザインによる特異な現象なのか、それとも知的なシステムの一般的な規則なのかを理解するために、研究者は自身の知見をトランスフォーマー・モデルの振る舞いと比較しました。トランスフォーマーは、Mambaのような内部の状態空間メカニズムを持っておらず、代わりに注意メカニズムに依存しています。しかし、研究者がトランスフォーマーの集合的なメモリ速度を測定したところ、驚くほど類似したパターンが見つかりました。両方のアーキテクチャは、情報の処理方法という微視的な手法こそ全く異なるものの、非常に遅い、最も長く持続するメモリにわずかに重みがかかった、ほぼ平坦な分布を発達させたのです。物理学の言葉を借りれば、これは「準臨界（near-marginal）」状態であり、モデルが無限のメモリを持つ境界のすぐそばに位置しており、情報が停滞することなく長期間保持できる状態にあることを意味します。

この研究は、この遅いメモリの組織化が、特定の種類のニューラルネットワークだけの機能ではないことを裏付けています。研究者は、Mambaがトランスフォーマーとは異なる数学的構造を用いて明示的にメモリを構築しているにもかかわらず、両方のシステムが最終的に同じ方法で集合的なダイナミクスを整理することを明らかにしました。Mambaモデルのメモリの振る舞いは特定の値の周囲で安定することを見出しており、これは、全容を明らかにするのに十分な長さのシーケンスであれば、シーケンス長に関わらず、頑健で再現可能なパターンが生じることを示しています。このことは、長期的なメモリを維持する能力が、学習されたシーケンス処理の根本的な特性であり、異なるアーキテクチャの形態において自然に発生するものであることを示唆しています。これらの知見は、人工知能がどのように機能するかについての私たちの理解を広げるものであり、設計上の表面的な違いの下に、これらの強力なモデルが時間とメモリを扱うための共通の深い構造を共有していることを示しています。

タイトル：Transformerおよび状態空間アーキテクチャにおける集団力学の赤外普遍性

問題提起
深層学習における根本的な未解決問題は、異なる微視的な計算メカニズムを用いているにもかかわらず、異なるニューラルアーキテクチャが共通の集団的力学挙動を発展させるのかどうかである。Transformer言語モデルの最近の解析では、緩和スペクトルにおいて、準臨界的な長期的記憶（ $K(t) \sim 1/t$ ）に関連する、ほぼ平坦で弱く赤外強化されたタイムスケール状態密度（TDOS）が明らかになった。しかし、この赤外組織化が自己注意（self-attention）メカニズムに特有のアーティファクトなのか、あるいは学習されたシーケンス処理のより一般的な原理なのかは不明なままである。これを検証するためには、時間的計算において質的に異なるメカニズムを採用しているアーキテクチャとの比較が必要である。状態空間モデル、特にMambaは、入力依存の選択的な状態空間力学を利用することで、そのような対照を提供している。

手法
本研究では、微視的な状態空間メモリとマクロな集団組織化を区別するために、学習済みMamba-370Mモデルを用いたマルチレベル・スペクトル解析を採用している。手法は以下の3つの異なる動的レベルで進行する：

固有状態空間スペクトル： 著者は学習された状態空間生成器（ $A$ ）の固有値スペクトルを解析し、固有の緩和率を $\lambda^{int}_i = -\text{Re}(a_i)$ と定義する。これは、入力による条件付けが行われる前の、モデルパラメータに直接エンコードされたタイムスケールの階層を表す。
入力条件付き有効スペクトル： 本研究では、有効緩和率 $\lambda^{eff}_{i,t} = \Delta_t(x) \lambda^{int}_i$ を検討する。ここで、入力依存の選択的なタイムステップ $\Delta_t(x)$ は、推論中に固有の緩和率を再スケーリングする。これは、選択的メカニズムが入力シーケンスに基づいて緩和スケールを動的に再編成する方法を捉えている。
フルブロック集団スペクトル： 著者は、完全なMambaブロック変換のヤコビ行列（ $J_\ell = \partial \text{vec}(H_{\ell+1}) / \partial \text{vec}(H_\ell)$ ）を計算する。集団緩和率は、フルブロック・ヤコビ行列の固有値を $\zeta_\alpha$ としたとき、 $\lambda^{block}_\alpha = -\ln |\zeta_\alpha|$ として定義される。これは、投影、ゲーティング、非線形性、および残差伝播を含む、ブロック全体の集団的な応答を測定するものである。

集団的なタイムスケール状態密度 $\rho(\lambda)$ は、これらの率から構築される。解析では、赤外セクターの収束性と安定性をテストするために、保持されるシーケンス長（ $L$ ）を8から512トークンまで系統的に変化させる。赤外スケーリング指数 $\beta$ は、ビンニングによるアーティファクトを避けるため、固定された解像度の高い区間における累積モード統計（ $N(<\lambda) \propto \lambda^{1+\beta}$ ）を通じて決定される。これらの結果は、同じフルブロック・ヤコビ行列構成を用いて、以前のTransformerモデル（具体的にはPythia-410M）からの測定値と直接比較される。

主な結果

階層的再編成： 固有、有効、およびフルブロックのスペクトルは同一ではない。学習されたSSM生成器は広範な固有の緩和率の階層を含んでいるが、選択的メカニズムとそれに続くブロック変換は、この階層を大幅に再編成する。フルブロックの集団スペクトルは、微視的なSSMスペクトルの直接的なコピーではなく、明確に創発した特性である。
集団的赤外連続体の出現： フルブロックのMamba力学は、再現可能な低速モードの連続体を形成する。シーケンス長が増加するにつれ、赤外セクターはより漸進的に解像され滑らかになり、より小さな緩和率へと拡張していく。
赤外スケーリング指数： 累積スペクトル解析により、弱負のべき乗則スケーリング $\rho(\lambda) \sim \lambda^\beta$ が明らかになった。長いシーケンス（ $L \ge 64$ ）において、指数は $\beta_M \simeq -0.17$ 付近で安定する。これは、メモリカーネル $K(t) \sim t^{-(1+\beta)} \approx t^{-0.83}$ に相当し、準臨界的な $1/t$ の領域に近い。
アーキテクチャ独立性： 根本的に異なる微視的メカニズム（自己注意 vs. 選択的状態空間）にもかかわらず、TransformerとMambaは密接に関連した集団的赤外組織を示す。Transformerは代表的な指数 $\beta_{Tr} \sim -0.1$ を示す一方、Mambaは $\beta_M \sim -0.17$ 付近で安定する。両アーキテクチャは、広範でほぼ平坦だが、弱く赤外強化されたTDOSによって特徴付けられる「準臨界」領域を占めている。

意義と主張
本論文は、明示的な微視的状態空間メモリと集団的赤外組織を分離できることを示し、異なるシーケンスアーキテクチャが、密接に関連した準臨界的な低速モード力学を発展させ得ることを実証している。主要な意義は、この赤外組織化がTransformerの自己注意メカニズムに固有のものではなく、異なる計算的ルーツを持ちながらも、状態空間モデルにおいても創発することを示した点にある。

著者は、このことは、準臨界的な低速モード力学が、学習されたシーケンス処理の一般的な動的原理を象徴している可能性を示唆していると主張しており、赤外的な集団緩和モードの組織化という観察をTransformerを超えて拡張している。この知見は、長寿命のマクロな記憶を集団緩和モードの赤外組織に関連付ける認知場理論（Cognitive Field Theory）の動的構造に対する独立したテストを提供するものである。結果は、微視的な実装は異なっていても、学習されたシーケンスモデルのマクロな集団力学は、同様の物理的に意味のある領域へと収束し得ることを示している。

関連論文