Can a Dynamic Internal Field Govern a Transformer's Cognition? Certifiability, not Superiority, in Homeostatic Compute Control

技術要約：動的な内部場はトランスフォーマーの認知を制御できるか？

問題提起
知的なシステムには、推論能力だけでなく、いかに推論するか（計算の深さの決定、停止のタイミング、および異なる難易度の入力に対する労力の分配方法）を統御するメタ認知レイヤーが必要である。生物学的システムにおいて、この役割は皮質ではなく、恒常性維持および神経修飾システム（脳幹や視床下部など）によって果たされている。本論文では、動的な内部場（明示的な物理学に基づき、保証された安定性を備えた低次元の恒常性状態）が、適応型トランスフォーマーにおけるメタ認知的なガバナー（統御装置）として機能し得るかを調査する。核心となる問いは、停止ポリシーをこのような場に固定することで、精度が向上するのか、分布外（OOD）への堅牢性が高まるのか、あるいは学習された再帰的コントローラーに対して独自の利点をもたらすのかという点である。

手法
著者らは、トランスフォーマーのモジュールグラフ（バックボーン・ブロック、推論器、およびワーキングメモリ）上に定義された低次元の場である**恒常性背景プロセッサ（HBP）**を提案する。この場は、ネットワークの深さではなく、グラフのラプラシアン上の「時間」（推論の反復回数）に従って進化する偏微分方程式（PDE）の族に従って進化する。

1. 場のダイナミクス: HBPには以下のものが含まれる：

   • 二階微分（波動）: 逆行的な演算子をジャイロスコピックに配置した、減衰波方程式（強制クライン–ゴルドン方程式）。
   • 一階微分（拡散）: 拡散限界。
   • 非線形変種: KdV型の分散や飽和非線形性を含む。
   • 混合: $\alpha \in [0,1]$ の凸結合により、波動と拡散のレジーム間の連続的な遷移が可能であり、これは内受容信号によってゲート制御される可能性がある。

2. インターフェース: 各モジュールは内受容信号（$s_i$、ボトムアップ：進捗、労力、エントロピー）を提示し、変調（$m_i$、トップダウン：停止閾値、ブロックゲイン、メモリゲート）を受け取る。この場は推論タスクを実行するのではなく、計算ポリシーを変調する。

3. 安定性解析: 著者らは厳密な安定性特性を提示している：

   • 配置の二分法: 非保存的な力学における古典的な不安定性（循環的フラッター）を回避するために、二階ダイナミクスでは反対称演算子は速度に対してジャイロスコピックに、一階ダイナミクスでは位置に対して配置されなければならない。
   • 離散的証明: 速度結合を持つVerlet積分器のための新しい離散Schur–Cohn基準を導出し、演算子間の交換仮定を必要とせずに、各潜在根に対する安定性を証明している。
   • 暗黙的カーネル: 無条件に収縮的な暗黙的カーネル（対数ノルム分解能境界）は、拡散ブランチの安定性を保証する。

4. 実験プロトコル:

   • タスク: 反復計算を必要とする、対称群 $S_5$ 上の非可換状態追跡（NC1困難）。
   • モデル: 小規模なデコーダーのみのトランスフォーマー（4.2–5.6Mパラメータ）。
   • 設計: 新鮮なシードを用いた事前登録済みプロトコル（初期 $n=10$、$n=20$ はデコンファウンディング用）。
   • アブレーション: バニラ、学習されたゲーティング、ワーキングメモリ付きゲーティング、および制御インターフェースの効果を分離するための「一致したインターフェース」を持つGRUガバナーとの比較。
   • バグ修正: 物理パラメータのBF16フリーズという重大な数値精度バグが特定され、修正された。これにより、実験の再実行（v3）が行われた。

主要な貢献

1. アーキテクチャ上の位置付け: 実証的証拠により、動的な内部場は推論レイヤーではなく、メタ認知的な計算ガバナーレイヤーに位置づけられることが示された。これは計算を変調するが、認知能力（精度）自体を向上させることはない。
2. 新しい定式化: モジュールグラフ上の恒常性PDE場の族。一階と二階のブランチ間の連続的な混合と、オプションの内的受容ゲーティングを備えている。
3. 安定性特性: 古典的な結果（Kelvin–Tait–Chetaev配置、Bottemaのフラッター閾値）と、Verlet積分器のための新しい離散Schur–Cohn基準を組み合わせた包括的な安定性解析。これは実行時にチェック可能な安定性の証明を提供する。
4. 実証的知見（実体 vs 構造 vs 証明可能性）:
   • 実体（否）: 物理の種類（波、拡散、KdV、ナビエ–ストークス流）は精度には無関係である。勾配は実質的に変調要求を準静的なセットポイントにラミネートするため、動的レジームの「風味」は無意味となる。非圧縮性流体基質も情報を集中させることはできない。
   • 構造（部分的に）: 二階ダイナミクス（慣性）は、容量が等価である場合、二つの生成器ファミリーのうち一つにおいて、学習されたゲーティングよりも頑健なOOD計算割り当てを提供する。しかし、もう一つのファミリーでは、一致したインターフェースを持つGRUが同等またはより優れた性能を示す。
   • 証明可能性（然り）: HBPの独自の価値は、優れた性能ではなく、証明可能な安定性にある。学習された再帰的ガバナー（GRUなど）は、同様の計算割り当てを実現できる可能性があるが、スペクトル特性と配置制約を通じて提供される、HBPのような明示的で証明可能な安定性保証を欠いている。

結果

• 精度: HBPは、学習されたゲーティングとワーキングメモリを持つベースラインと比較して、分布内および分布外の精度のいずれにおいても改善は見られなかった。ワーキングメモリ自体も、単純な再帰に対して有意な価値を加えていない。
• 計算割り当て: 「隣接互換」の生成器ファミリーにおいて、二階HBPは学習された制御よりも有意に優れたOOD計算適応性（問題の難易度と反復回数の相関）を示した。しかし、この効果はパラメータ上限を等価にした際、「5サイクル」ファミリーでは消失し、隣接ファミリーにおいてもGRUガバナーがHBPの性能に匹達した。
• 物理の無効性: 非局所的結合（ポアソン拘束）および2Dナビエ–ストークス流基質を用いた実験により、物理的レジームが精度を動かさないことが確認された。不圧縮性限界（$\nabla \cdot u = 0$）は、流体基質が情報を集中させることを防ぎ、単なるミキサーとして機能する。
• 証拠蓄積の証拠: 「キルゲート（kill-gate）」実験により、場が時間的な証拠蓄積器として機能するかをテストした。結果は無効であった（$\Delta AUC \approx 0$）。これは、推論器の再帰的状態がすでに自身の履歴を統合しており、場がその役割を担うニッチが存在しないことを示唆している。

意義と主張
本論文は、動的な内部場は実行可能な、かつ証明可能な計算ガバナーであるが、認知の強化因子ではないと結論付けている。

• 役割: それは、推論を行う「皮質」ではなく、ゲイン、覚醒、および予算を設定する、適応型アーキテクチャの「脳幹」として機能する。
• 独自の価値: その主要な貢献は証明可能性である。学習された再帰的ガバナー（GRUなど）は、計算割り当てにおいて同様の性能を達成できる可能性があるが、HBPが提供するような、そのスペクトル特性と配置制約から導かれる明示的で証明可能な安定性保証を持たない。
• 限界: 二階の慣性の構造的利点は、特定の生成器ファミリーに限定されており、物理的積分器に固有のものではない。また、「物理の実体」（波か拡散か）は、テストされた領域における性能には無関係である。

著者らは、あるコンポーネントが「何ができるか」（計算を証明可能な安定性をもって変調すること）を記述することと同様に、「何ができないか」（精度を高めることや、証拠蓄積器として機能すること）を明らかにすることが、適応型アーキテクチャにおける恒常性場の適切なレイヤーを定義する上で極めて重要であると強調している。