技術要約：言語モデルにおける隠れたAPI

1. 問題提起

言語モデル（LM）の内部状態を分析する現在の手法は、多くの場合、現在の出力トークンを予測するために隠れ状態を「プロービング（探索）」することに依存している。しかし、同一の現在の回答であっても、根本的に異なる将来の計算をサポートする隠れ状態から生じることがある。したがって、単一の回答に対するデコーダブルな方向（decodable direction）が見つかったとしても、それが再利用可能な内部インターフェースを確立することにはならない。本論文が取り組む中心的な問いは反事実的である。すなわち、「可能な将来の計算において、どの状態間の区別が不可欠であり続けるのか？」という問いである。本論文は、LMが、操作固有（Local）、ゲート型（Mixture）、あるいは分散型（Distributed）の代替案とは明確に区別される、複数のダウンストリーム計算が再利用可能な、コンパクトで共有された状態を露出しているかどうかを明らかにしようとするものである。

2. メソドロジー

2.1 分岐する未来と因果的シグネチャ

核心となる革新は、**分岐する未来（forked futures）*の定義である。与えられた接頭辞状態 $h$ に対して、操作バンク $\mathcal{K}$ は、その状態が形成された後*に有効な継続（continuations）を生成する。これらの操作に対するモデルの応答分布は、因果的シグネチャ（future causal signature） $\Sigma_{\mathcal{K}}(h)$ を定義する。

• 因果的等価性： 二つの状態が、イェンセン・シャノンダイバージェンス（Future Signature Distortion, FSD）の下でシグネチャが近い場合、それらは経験的に「未来において等価」であるとされる。
• コントロール（対照実験）： 本メソドロジーは、現在の回答を記憶したりプロンプトのテンプレートを記憶したりすることを防ぐために、意味的衝突コントロール（同じ現在の回答だが異なる未来の遷移を持つもの）および語彙的反衝突コントロール（異なる表層形式だが同じ未来のシグネチャを持つもの）を採用している。

2.2 プレケンシャル因果的MDLによるアーキテクチャ競争

本論文は、インターフェースの発見を、反証可能なアーキテクチャ選択問題として定式化している。以下の4つの競合するアーキテクチャを評価する：

1. Shared（共有型）： 操作に依存しない単一のエンコーダ $E(h)$ と、単一のボトルネックコード $c$。
2. Local（局所型）： 各操作に対する独立したエンコーダ・再構成器ペア $(E_k, R_k)$。
3. Mixture（混合型）： 共有コンポーネントと局所コンポーネントを補間する、操作条件付きのゲート。
4. Distributed（分散型）： 特権的なボトルネックを持たず、複数のコンポーネント間に保持される情報。

選択は、**プレケンシャル因果的最小記述長（Prequential Causal Minimum Description Length, MDL）**に基づいて行われる。モデルはデータのブロックに対して逐次的に訓練される。MDLは、先行するデータのみに基づいて、保持されたブロック上の未来のシグネチャを予測するために必要なコード長を測定する。Sharedness Gain (SG) は、厳格な忠実度制約（平均、最悪のファミリー、およびテールのFSD）の下での、非Shared型の最適な代替案に対するSharedアーキテクチャのMDL上の優位性と定義される。

2.3 メカニズムの検証

選択されたインターフェースは、それが単なる統計的な相関ではなく、因果的なAPIとして機能することを証明するために、厳格な介入テストに合格しなければならない：

• 移植（Transplantation）： ドナーのインターフェースコードを、ベースエピソード内のマッチしたプロデューサーの役割に挿入する。成功は、ターゲットの正確性（Target Correctness）（ドナーの関係性を実現しているか）、局所性（Locality）（非ターゲットのベース状態を保持しているか）、およびコピー保存（Copy Preservation）（ドナー固有の表層内容のリークを避けているか）によって測定される。
• 媒介（Mediation）： プロデューサーとコンシューマーの間の「APIに整合した」パスを遮断することで、マッチしたヌルパスと比較して、ターゲット効果が有意に減少するかどうかを確認する。
• モデル生物（Model Organisms）： パイプラインは、既知のグラウンドトゥルース・ルーティング（Shared, Local, Mixture, Distributed）を持つ合成トランスフォーマーを用いてテストされ、偽陽性率と回復精度を測定する。

3. 主要な結果

3.1 アーキテクチャ競争

Qwen2.5-1.5B および Llama-3-8B における評価において：

• Shared は、Local, Mixture, Distributed と比較して、最も低い保持されたプレケンシャルMDLを達成した。
• Sharedness Gain (SG)：
  • Qwen2.5-1.5B: $SG = 0.216$ nats (95% CI: [0.161, 0.278])。
  • Llama-3-8B: $SG = 0.294$ nats (95% CI: [0.208, 0.391])。
• 忠実度（Fidelity）： Sharedアーキテクチャは、代替案と同等またはわずかに優れたFSD（平均、最悪のファミリー、およびテール）を維持した。これは、この利得が予測の優位性ではなく、コーディング効率（再利用性）によるものであることを示している。
• 堅牢性（Robustness）： 5つのバックボーン（Qwen2.5-7B, Mistral-7B, Gemma-2-9B, Phi-3-3.8Bを含む）にわたるスイープにおいても、Sharedness Gainの正の方向性が維持された。

3.2 メカニズムの証拠

• 移植（Transplantation）： Sharedインターフェースは、ターゲットの正確性、局所性、およびコピー保存に関する複合スコアで最高値（0.87）を記録し、Local (0.70), Mixture (0.64), Distributed (0.46) を大幅に上回った。
• 媒介（Mediation）： APIに整合したパスは、ターゲット効果の 0.749 を媒介したが、マッチしたヌルパスでは 0.150 であった。
• 選択性（Selectivity）： 因果グラフは疎であり（スパース性 $\approx 0.79$）、高いクロスシード安定性（Jaccardオーバーラップ 0.83）を示した。64次元のうちBH-FDR補正を生き残ったのは7次元のみであり、選択的な必要性が示された。

3.3 モデル生物による反証

16の合成生物（4つのアーキテクチャクラスごとに4つ）を用いたブラインドテストにおいて：

• 回復（Recovery）： 14/16 のアーキテクチャが正しく識別された。
• 偽陽性率（False-Positive Rate）： 12の非Shared型生物のうち、1つがSharedとして誤分類された（8.3%のfalse-Shared率）。これは、完全な識別可能性の主張を妨げるものであるが、手法が「常にSharedである」という仮説を拒絶できる能力を支持している。

4. 主張と意義

本論文は、テストされたモデルおよび操作バンクにおいて、経済的で再利用可能な因果的インターフェースが存在することを実証していると主張している。

• 主張の性質： この主張は明示的に比較論的かつ条件的である。それは、事前登録された操作ファミリーに関して、モデルが複数のダウンストリーム計算において、操作固有または分散型の代替案よりも効率的に再利用できるコンパクトな状態を露出していることを主張している。
• 範囲の制限： 著者らは、これがすべてのLM計算のための唯一のグローバルなワークスペースを特定するものではないことを明記している。結果は、候補となるアーキテクチャ、介入、および保持された未来の条件に依存する。インターフェースは、整合した因果的ファミリー内では再利用可能であることが示されているが、異なるタスクファミリー（例：関係世界からプログラム状態へ）間での転移性は弱い。
• メカニズム的洞察： 結果は、LMが特定の因果的役割に対して「Shared」なボトルネックを利用しているという仮説を支持している。これは、より短い記述長、高い局所性を伴う移植の成功、および疎で安定したパスを通じた媒介によって裏付けられている。

本論文は、宣言された代替案の下で、テストされた抽象化の中で「Shared」アーキテクチャが最適であると結論付けており、研究者が指定した潜在ラベルに頼ることなく、隠れたAPIを発見するための反証可能なフレームワークを提供している。