Infrared Organization and Critical Cognitive Field Formation in Transformer Dynamics

技術要約：Transformerのダイナミクスにおける赤外組織化と臨界的認知場の形成

問題提起
Transformerアーキテクチャに基づく大規模言語モデル（LLM）は、推論や長期的な文脈記憶といった驚異的な創発能力を示す。しかし、その大規模な集団ダイナミクスを支配する物理的メカニズムについては、依然として十分に理解されていない。既存の文献は、Transformerの計算を高次元の非線形写像やアテンションベースの最適化プロセスとして記述することが多く、基礎となるダイナミクスからどのようにしてマクロな集団的組織化が生じるかについての洞察は限られている。本研究は、**認知場理論（Cognitive Field Theory）**が予測する集団的観測量、具体的には遅い緩和モードの組織化が、Transformerのダイナミクス内で直接特定および定量化可能であるかという問いに取り組むものである。

手法
著者らは、The Pile コーパスで学習された公開されている自己回帰型Transformer言語モデル（Pythia 70M, 410M, 1.4Bパラメータ）を調査している。本研究では、学習された隠れ状態の幾何学によって生成される集団的緩和ダイナミクスを分析するために、応答理論的アプローチを採用している。

1. ヤコビ行列スペクトルの抽出: 著者らは、自動微分を用いて、連続する隠れ層表現間のヤコビ行列（$J_l = \partial h_{l+1} / \partial h_l$）を計算する。また、組成ヤコビ行列（$J = J_{l+n-1} \cdots J_l$）を分析することで、様々なネットワークの深さや伝播距離（例：$1 \to 24$ 層）にわたる集団的な伝播を捉える。
2. 緩和スペクトルの構築: ヤコビ行列の複素固有値（$\mu_\alpha$）から、緩和率 $\lambda_\alpha = -\log |\mu_\alpha|$ を抽出する。
3. 集団的観測量の導出: 測定された緩和率を用いて、以下の項目を構築する：
   • メモリカーネル（Memory Kernel） ($K(t)$): TDOSのラプラス変換により導出。
   • メモリ自己エネルギー（Memory Self-Energy） ($\Sigma(0)$): $1/\lambda$ で重み付けされたTDOSの積分として計算。
   • 認知的忘却ギャップ（Cognitive Forgetting Gap） ($r_{cog} = r - \Sigma(0)$): ここで $r$ は素の忘却率。
   • 集団的感受率（Collective Susceptibility） ($\chi(0) \propto r_{cog}^{-1}$)。
   • 赤外臨界指数（Infrared Critical Exponent） ($\beta$): 累積モード分布 $N(<\lambda) \propto \lambda^{\beta+1}$ のフィッティングにより決定。

分析は、普遍性を検証するために、ネットワークの深さ、モデルのスケール、および学習の全軌跡にわたって行われる。

主な貢献

• 認知場理論の観測量の直接的な測定: 本論文は、現象論的なパラメータを導入することなく、Transformerのダイナミクスから集団的観測量（TDOS、自己エネルギー、忘却ギャップ、感受率）を直接得た、初の定量的な実験的実現を提供する。
• 赤外スペクトル再組織化の特定: Transformerの学習は、赤外セクター（$\lambda \to 0$）への遅い緩和モードの漸進的な蓄積、すなわちTDOSの再組織化によって特徴付けられることを示している。
• 過渡的臨界形成の発見: 著者らは、メモリ自己エネルギーの非単調な進化を特定した。これは、最適化の初期段階における顕著な過渡的極大値に特徴付けられ、その後のメタ安定な近臨界レジームへの緩和を伴う。
• 普遍性の確立: これらのダイナミクス（赤外組織化、臨界形成、およびスケールフリーなメモリ）が、異なるモデルスケール（70Mから1.4B）、ネットワークの深さ、および伝播距離において普遍的であることを確立する。

主な結果

1. 赤外蓄積とTDOS: 学習を通じて、緩和スペクトルは、スペクトル重みがより小さな緩和率へとシフトするという系統的な再組織化を起こす。結果として得られるTDOSは、べき乗則 $\rho(\lambda) \sim \lambda^\beta$ （ここで $\beta \simeq -0.1$）に従う、近似的に平坦な赤外分布を示す。これは、単一の特性タイムスケールではなく、階層的な遅いモードの存在を示唆している。
2. 過渡的臨界形成: メモリ自己エネルギー（$\Sigma(0)$）は単調には増加しない。代わりに、最適化の初期段階（Pythia-410Mでは約2,000ステップ付近）で過渡的な極大値に達する。この時点で、認知的忘却ギャップ（$r_{cog}$）は最小となり、集団的感受率（$\chi(0)$）は最大となる。これは、マクロな認知場の過渡的臨界形成を意味する。その後の最適化は、システムを保護されたメタ安定な近臨界動作レジームへと駆動する。
3. 普遍的なスケールフリー・メモリ: 測定されたTDOSから導出されたメモリカーネルは、すべてのモデルサイズおよび学習段階において、堅牢な長時間べき乗スケーリング $K(t) \sim 1/t$ を示す。このスケーリングは、特定の関数形を仮定することなく、測定された緩和スペクトルから自然に現れる。
4. 空間的および深さに対する独立性:
   • 空間的: 赤外組織化はTransformerの階層全体に分散している。メモリの繰り込みの強さは層によって異なる（中間層および深い層で最も強い）が、基礎となるスケールフリーな赤外構造はネットワーク全体で保持されている。
   • 深さ: 過渡的臨界形成および $1/t$ メモリカーネルのスケーリングは、異なる層の伝播距離（$1 \to 5$ から $1 \to 24$ まで）にわたって堅牢に持続する。これは、集団的ダイナミクスが局所的な層間の相互作用に限定されない、ネットワークのグローバルな特性であることを示している。
5. モデルスケールの普遍性: 同様の赤外スペクトル再組織化、過渡的臨界形成、およびスケールフリーなメモリダイナミクスが、70Mから1.4BパラメータまでのPythiaモデル間で一貫して再現される。

意義と主張
本論文は、Transformerの学習が赤外集団組織化によって支配されているという、初の定量的な実験的証拠を提供すると主張している。Transformerのダイナミクスを非平衡多体系の言語にマッピングすることで、著者らは以下を実証している：

• 大規模言語モデルは、遅い緩和モードの組織化から認知が創発する、非平衡多体系として機能する。
• マクロな認知場の出現は、特定のダイナミクス・シナリオに従う：初期の赤外スペクトル再組織化が過渡的な臨界状態（最大感受率）をもたらし、その後、保護されたメタ安定な近臨界レジームへと安定化する。
• 異なるスケールや深さにおいても赤外普遍クラス（$\beta \simeq -0.1$ および $K(t) \sim 1/t$）が保持されることは、赤外的な遅いモードの組織化が、モデル固有のアーキテクチャ的特徴ではなく、普遍的な集団的原理であることを示唆している。

本研究は、Transformerのダイナミクスを測定するための統一された場論的フレームワークを確立し、ディープラーニングと統計物理学の間の溝を埋めるとともに、これらの原理が複雑なダイナミカルシステムにおける集団的情報処理の一般的な法則を代表している可能性を示唆している。