技術要約：インコンテキスト決定論のための有限証明と創発の閾値理論

問題提起

本論文は、大規模言語モデル（LLM）を評価する際の根本的な検証ギャップに対処している。経験的な評価は分布、精度、および閾値化されたスコアに依存しているが、これらはしばしば以下の3つの異なる現象を混同してしまう：

1. モデルが正しい出力を高い確率で割り当てているが、文脈がそれを意味論的に含意（entail）していない。
2. プロンプトが、単調な公理を追加することなくデフォルトを上書きしている。
3. 基盤となる意味論的な確信度が緩やかに変化しているにもかかわらず、不連続な観測写像によってベンチマークスコアが跳ね上がる。

著者らは、既存の理論（潜在的ベイズ推論やメカニズム回路研究など）は、共通の「意味論的ターゲット」を提供していないと主張する。すなわち、振る舞いが「論理式」であり、文脈が「更新」であり、スケールの傾向が「限界的なコミットメント」に対してテストされるような論理である。本論文は、ベンチマークのラベルを**有限の意味論的証明（finite semantic certificates）**に置き換えることで、いつ文脈が回答を強制するか（決定性）、そしていつベンチマークの跳ね上がりが真の意味論的遷移を示すのか、あるいはメトリックのアーティファクト（偽像）であるのかを厳密に定義することを目指す。

方法論

著者らは、学習済みLLMを物理的なトランスフォーマーとしてではなく、スケール $\lambda$ における**意味論的プレゼンテーション（semantic presentations）**としてモデル化する：タプル $G_\lambda = (L, K_\lambda, \mu_\lambda, C_\lambda, U_\lambda, D_\lambda)$。

• $K_\lambda$: 潜在的なタスクまたは仮説を表す一次構造のクラス。
• $\mu_\lambda$: 定義可能な事象に対する確率測度（意味論的確信度）。
• $U_\lambda$: 文脈更新ルール（優先的または事後的な制限）。
• $D_\lambda$: 構造を出力に写像するデコーディング核。

分析は、2つの並行したトラックで進行する：

1. 論理的／モデル理論的: コンパクト性、ストーン空間、およびカイセラー測度（Keisler measures）を用い、定義可能な事象に対する有限加法的な確率として意味論的確信度を定義する。
2. 代数的／組合せ論的: 有限体上の線形タスクファミリーを分析し、決定性と証明の複雑さに関する正確な基準を導出する。

主要な貢献

1. 有限決定性と識別曲線

有限体上の線形タスクファミリーについて、本論文は、クエリが文脈によって強制されるための正確な条件を確立している：

• 行空間基準（Row-Space Criterion）: クエリ $q$ が強制されるのは、それが例のデザイン行列 $A_n$ の行空間に含まれる場合、かつその時に限る。
• 残留仮説数: 残存する潜在パラメータの数は $|F|^{d - \text{rank}(A_n)}$ である。
• 識別曲線（Identification Curves）: $n$ 個のランダムな例による完全な意味論的識別の確率は、$Id(n) = \prod_{i=0}^{d-1} (1 - Q^{i-n})$ で与えられる。
• 複雑性: 最小の強制部分文脈を抽出することは、バイナリ出力の場合であっても、ペア・セパレーター・ロッキング問題への帰着を通じて NP完全 であることが証明されている。

2. 創発の閾値理論

本論文は、「創発」（ベンチマークスコアの跳ね上がり）と「意味論的不連続性」を分離している：

• アンチ・ミラージュ定理（Anti-Mirage Theorem）: 閾値化されたメトリック（例：完全一致）における跳ね上がりは、基盤となる意味論的確信度の不連続性を必ずしも意味しない。それは、スコアリング写像の不連続性に純粋に起因する場合がある。
• クロススケール境界（Crossing-Scale Bound）: 収束率 $1 - s_\lambda \le a\lambda^{-\alpha}$ を持つ潜在的コミットメントに対して、特性が閾値 $\tau$ を超えて可視化されるスケール $\lambda_\tau$ は、$\lambda_\tau = (a/(1-\tau))^{1/\alpha}$ によって抑えられる。
• 結合効果（Conjunction Effect）: マルチフィールドの完全一致メトリック（$k$ 個のフィールドがすべて正解であることを要求する）の場合、見かけ上の跳ね上がりは鋭くなり、クロススケールは $k^{1/\alpha}$ 倍に膨張する。

3. カイセラー測度としての意味論的確信度

著者らは、タイプ空間上の**カイセラー測度（Keisler measure）**として意味論的確信度 $s_{\lambda,c}(\phi)$ を定式化している：

• 確率1の論理式は適切なフィルター（状態が決定的な場合は超フィルター）を形成する。
• この表現は定義の拡張に対して不変であり、意味論的なコミットメントが表記上の選択に依存しないことを保証する。
• プロンプトの拡張は**優先的更新（preferential update）**としてモデル化され、これにより非単調性が説明される。つまり、プロンプトを追加することで好ましいモデルの集合が変化し、以前保持されていた帰結が削除される可能性がある。

4. 検証および反証プロトコル

本論文は、**健全でオラクルフリーなチェッカー（sound, oracle-free checkers）**を用いたクローズドループ検証システムを提案している：

• チェッカーは、参照回答（正解）を用いることなく、証明（行空間の組み合わせ、クロススケールの計算など）を検証する。
• 「回避的精緻化スケジュール（aversive refinement schedule）」により、生成器はチェッカーからの方向的なフィードバックに基づいて改善することができ、メトリックのアーティファクトとしての閾値を消去しつつ、真の算術的ギャップを保持することが可能となる。

結果

理論的結果

• コンパクト性: 無限の文脈ストリームによって含意されるあらゆる特性は、有限の証明を持つ（定理 4.7, 7.1）。
• 正確な線形識別: 有限体において、決定性は厳密に行列のランクによって支配される。本論文は、完全な識別の確率およびクエリ局所的な決定に関する閉形式の式を提供している。
• アーティファクトとしての創発: 理論的境界は、「創発的」なジャンプが、滑らかな確信度の収束と不連続なスコアリング関数の相互作用によって完全に説明できることを証明している（定理 6.8, 命題 6.10）。

実証的検証（学習済みモデル）

著者らは、3つのファミリーにわたって、9つの現代的な言語モデル（弱から中程度の能力まで）のパネルに対し、決定論的証明放出ベンチマークを実行した：

1. DET（行空間決定性）: モデルは、クエリが強制されているかどうかを識別し、証拠（witness）を提供しなければならない。
2. THR（閾値横断）: モデルは、滑らかな関数が閾値を横切る正確なスケールを計算しなければならない。
3. PRS（プロンプト保存）: モデルは、新しいプロンプトが以前の帰結を保持するかどうかを判断しなければならない。

知見:

• 段階的 vs 完全一致: 段階的な確信度（正しいフィールドの割合）は、モデルのパネル全体で滑らかに上昇した。一方で、完全一致スコア（すべてのフィールドが正しい）は、単一の強力なモデル（Qwen3 14B）が閾値を越えるまでほぼゼロのままであり、その後跳ね上がった。
• アンチ・ミラージュの確認: この挙動は、命題 6.10 の理論的予測（結合 $k=2$ によるメトリックのアーティファクトであること）と完全に一致した。
• 証明の生成: 最も強力なモデルは、要求された有限の証拠（例：行空間の組み合わせ、包含関係のチェック）を正常に生成することに成功しており、理論的な証明が学習済みシステムにとって到達可能な範囲にあることを示した。

意義および主張

本論文は、メカニズム回路分析や純粋な統計的スケーリング則とは異なる、LLMの振る舞いのためのモデル理論的な言語を提供すると主張している。その意義は以下の点にある：

1. 意味論とメトリックの分離: ベンチマークの跳ね上がりが必ずしも新しい意味論的能力のエビデンスではないことを証明した。それは観測写像のアーティファクトであり得る。
2. 証明の定義: 単なる「精度」を超えて、文脈が回答を「強制する」とはどういうことかを、正確な組合せ論的および代数的な基準を用いて定義した。
3. 反証可能性: 提案された意味論的表現がモデルの振る舞いと一致しているかどうかをテストするための、具体的な検証可能なプロトコル（例：予測1：行空間決定性、予測2：連続なプロキシの滑らかさ）を提供している。

著者らは、この構成が条件的かつ外部的であることを明示している。すなわち、トランスフォーマーが文字通り一次モデルを内包していると主張しているのではなく、もし振る舞いが測定されたモデルクラスによって表現されるならば、導出された決定性、プロンプトの安定性、および創発に関する諸定理が成立しなければならない、という主張である。学習済みモデルとの不一致は、基礎となる論理や代数ではなく、その「表現（representation）」を反駁することになる。