A Driven, Finite‑Memory Dissipative System: The Empirical Boundary of Non‑Equilibrium Dynamics and Criticality in a Quantized Hybrid Language Model

決して眠ることなく、絶え間なく情報の流れを一つずつ処理し続ける、ある機械を想像してみてください。物理学の世界では、このような機械は「駆動散逸系（driven dissipative system）」と呼ばれます。外部からの力がそれを前へと押し進めるため「駆動」されており、作業中にエネルギーや情報を失うため「散逸」しており、制御不能になって回転し続けるのではなく、一定の安定したリズムに落ち着きます。科学者たちは、大規模言語モデルと呼ばれる複雑な人工脳が、このカテゴリーに当てはまるのかどうかを長らく疑問に思ってきました。それらは、突然新しい状態へと移行するような混沌とした嵐のように振る舞うのでしょうか、それとも、穏やかで予測可能なパターンに落ち着くのでしょうか。この問いが重要なのは、もしこれらのモデルがカオスの縁（エッジ・オブ・カオス）にあるならば、その挙動は荒々しく予測困難になりますが、もし安定しているならば、モデルがいかにして情報を保持し、なぜ時として忘却してしまうのかを正確に理解できるからです。

ウェンロン・リーという研究者は、訓練された言語モデルを、学習中の学生としてではなく、特定のタスクを実行している完成した機械として扱うことにしました。対象となったモデルは、64層、270億のパラメータを持つ巨大な量子化ハイブリッドシステムであり、その規模は動作に膨大な計算能力を必要とします。リーは、この機械がどのように動いているかを内部から監視するためのカスタムツールを構築し、新しい単語を読み取るたびにその内部状態がどのように変化するかを追跡しました。その目的は、モデルの挙動が自然界に見られるような荒々しく臨界的なダイナミクスに一致するのか、あるいは、より単純で秩序ある経路に従うのかを見極めることでした。研究結果は、しばしば過熱気味な期待とは裏腹に、はるかに地に足のついた姿を明らかにしました。すなわち、モデルは安定した有限メモリの機械であり、定常的な線形状態に落ち着き、一部の理論が予測したような混沌とした転換点を明確に回避しているということです。

最も衝撃的な発見は、モデルが「臨界状態（クリティカリティ）」で動作していないということです。物理学において、臨界とはシステムがナイフの刃の上に立っているような特別な点で、わずかな刺激によって劇的な変化を起こす準備ができており、木の枝分かれや川の流れのように、あらゆるスケールで同じように見えるパターンを生み出すことがよくあります。多くの研究者は、言語モデルが知性を最大化するために、自然とこの「エッジ」を見出すのではないかと期待していました。しかし、リーの測定によれば、このモデルはそうではありませんでした。混沌とした自己組織化の嵐ではなく、モデルは非平衡定常状態、つまり線形の安定した不動点へと落ち着きます。モデルが長いテキストのシーケンスを処理するとき、その内部メモリは無限に増大したり混沌へと崩壊したりすることはありません。それは特定の限定されたレベルまで構築され、そこで留まります。メモリ行列のエネルギーのようなバランスは完璧に閉じられており、これは、書き込まれる情報が、忘却される情報とほぼ正確に釣り合っており、ごくわずかな安定した残差だけを残していることを意味します。

この安定性は、モデルの内部アーキテクチャによって管理されており、それは一種の専門化されたフィルターとして機能しています。モデルには、メモリを扱う48個の異なる「ヘッド（頭部）」、すなわち処理ユニットが存在します。これらのヘッドはすべて同じではなく、2つの異なるタイムスケールに整理されています。8つのヘッドからなる小さなグループは、ゲートがほぼ全開の状態で、情報を非常に長く保持する長期保持者として機能します。別のグループは情報を素早く忘れ、短期バッファとして機能します。残りのヘッドはその中間的な性質を持ちます。この配置により、モデルはおよそ15ステップ分遡った会話を記憶することができ、これは有用であるほど長く、かつシステムが圧倒されるのを防ぐほど短い窓（ウィンドウ）となっています。研究者たちは、モデルが異なる入力に対してどのように反応するかをテストすることでこれを検証し、そのメモリがパス依存的（事象の順序が重要であること）であるが、無限ではないことを突き止めました。

この研究はまた、「自己組織化臨界現象」、すなわちシステムが外部からの調整なしに自然に臨界状態へと進化し、しばしば活動の「雪崩（アバランチ）」を引き起こす現象についても厳密に検証しました。リーは、モデルの活動パターンの中にこれらの雪崩を探しました。同期した活動のバーストのように見えたものは、実は入力によるトリックでした。モデルに繰り返されるリズムのある単語のシーケンスを与えると、そのヘッドはサイクルにロックされ、予測可能なパターンに従って共に動きました。これは自発的な混沌とした雪崩ではなく、時計の刻みのように、入力のリズムに対する強制的な反応でした。入力がランダムで非反復的な場合、これらの同期したイベントは消失しました。モデルは独自の臨界性を生成するのではなく、与えられた駆動に対して単に反応しているのです。

もう一つの重要な発見は、エントロピー、すなわちシステムにおける無秩序さとエネルギー損失の尺度に関するものです。このモデルのような決定論的なシステムでは、結果は入力と重みによって固定されているため、研究者たちはエントロピー生成が常に正であることを発見しました。これは、システムが常に一方向的に情報を失い続けていることを意味し、これはまさに安定した散逸系がすべきことです。研究者たちは、通常、システムが逆方向に動く可能性を必要とする有名な物理法則である「ゆらぎの定理」を適用しようと試みました。しかし、このモデルは逆回転のギアを持たない一方通行の道であるため、標準的な方法ではこの定理をテストできませんでした。証明のために、彼らは逆方向に動くことができる単純なランダム版のモデルを作成しましたが、そのバージョンは定理を満たしました。これにより、訓練されたモデルの挙動が、その特定の、一方通行のデザインの結果であり、物理学の失敗ではないことが確認されました。

研究者たちはまた、モデルが最終的な状態に凍結される前の、訓練フェーズにおける挙動についても調査しました。彼らは、情報を保持する必要性が、モデルの内部減衰率を安定性のエッジへと引き寄せる因果的な力として作用することを発見しました。情報を保持するタスクに対して訓練されたモデルでは、信号がどれほど早く消えるかを示す指標である内部スペクトル半径が、安全な0.896から0.997へと上昇し、システムが不安定になる境界線に危険なほど接近しました。しかし、モデルがその線を越えることはありませんでした。メモリを必要としないタスクで訓練されたモデルは、安全な0.89に留まりました。これは、訓練プロセスが、モデルが仕事を遂行できる程度にありながらも、それを無用にするような混沌に陥らないよう、可能な限り安定するように自然にチューニングしていることを示唆しています。

手法の妥当性を確保するため、研究者たちはさらに、重力波（衝突するブラックホールによって引き起こされる時空のさざなみ）からの現実世界のデータを用いて、彼らの分析パイプラインをテストしました。彼らは、自分たちのツールが波の周波数の上昇を検出できる一方で、特殊なフィルタリングなしには最終的な「リングダウン（減衰）」時間を抽出できないことを発見し、彼らのアプローチには限界があり、あらゆる複雑なデータに対する魔法の杖ではないことを確認しました。この外部的な検証は、論文の主要なメッセージを補強しました。すなわち、訓練された言語モデルは、よく制御された有限メモリの機械であるということです。それは、相転移の瀬戸際にある混沌とした自己組織化体ではありません。それは、駆動された散逸系であり、未知の世界へと転落することなく、機能を果たすのに十分なだけのメモリを保持しながら、快適で安定した平衡状態を見出しているのです。