テクニカル・サマリー：LLMが合成したコードによる世界モデルにおける、検証済み世界モデルとプレイ適格性の乖離

1. 問題提起

本論文は、大規模言語モデル（LLM）がゲームの遷移ダイナミクスを表す実行可能なコードを合成し、それを古典的なプランナー（例：MCTS）がプレイに使用する「コード世界モデル（CWM）」パラダイムを調査している。標準的な検証プロトコルでは、ランダムにサンプリングされた軌跡のセット（「ゲート」）に対して、合成されたコードが100%の遷移精度を達成するまで洗練（リファインメント）を行う。

中心となる問題は、このゲートを通過することが、モデルの**プランニングに対する適格性（adequacy）**を保証するかどうかである。著者らは、ランダムなサンプルに対する高い予測精度は、プランニングの適格性を測る指標としては不適切であると主張している。彼らは構造的なギャップを指摘している。すなわち、プランナーは戦略的に重要な（しばしば深く、あるいは稀な）状態に探索を集中させるのに対し、ランダムなサンプリングは浅く、一般的な履歴に集中する。その結果、CWMはゲートにおいて100%の精度を達成しても、ランダムなプレイではほとんどトリガーされないが、有能なプレイでは確実に活用される「稀だが極めて重要な（rare-but-pivotal）」ルールを欠落させているために、プレイにおいて系統的な失敗を招く可能性がある。

2. 手法

本研究は、完全情報ゲームおよび不完全情報ゲームを対象とした、厳密な実験的および理論的フレームワークを採用している。

• 合成パイプライン: LLM（GPT-5.xファミリー：mini, nano, large）に対し、ゲームのルールとランダムな軌跡をプロンプトとして与え、標準的なCWMコントラクト（initial_state, legal_actions, apply_action など）を実装するPythonモジュールを合成させる。
• ゲート: 洗練ループは、合成されたコードを正解の軌跡と照合する。モデルは、サンプリングされたセットに対して100%の遷移精度を達成した場合のみ受理される。
• 計装（Instrumentation）:
  • 完全情報: 著者らは、「material-at-cap（キャプチャ時の駒の状態）」によるタイブレーク・ルールを持つ、変形版のゲーム army5x5a を構築した。このルールはランダムなプレイ下では稀（発生率約2.5%）であるが、有能なプレイ下では決定的（発生率約50%）である。
  • 不完全情報: 著者らは、推論エラーを分離するために設計された、最小限のハンド・インストルメンテッド・ゲームである Beacon を導入した。これは、最適な生存戦略によってのみ到達可能な「深い領域（deep region）」を備えており、ランダムなプレイではほとんど到達しない。
• 指標:
  • ゲートの観点（Gate Lens）: 遷移精度、状態精度、観測率、および推論率。
  • 意思決定の観点（Decision Lens）: 正解の対戦相手に対するアリーナ・プレイでの勝率（Wilson 95%信頼区間を用いて測定）。
  • ギャップの測定: ゲート分布における状態精度と、プランナーの探索分布における状態精度の差。
• 修復の試み: 識別的な例（DAgger、ターゲットを絞ったオンマニフォールド遷移、または人工的な状態を介したもの）を提供することで、LLMが欠落したルールを推論できるかどうかをテストした。

3. 主要な貢献と結果

3.1 「検証済み」と「正しい」の間のギャップ

本論文は、CWMが遷移ゲートを通過し（精度100%）、プランナーの探索分布に対して98%以上の状態精度を達成していても、プレイにおいては系統的に敗北することを示す。

• 証拠: 欠落した「material-at-cap」ルールを持つ army5x5a において、「ルールに盲目な」CWMは、公平なベースラインである 0.495 に対し、勝率 0.404（95% CI [0.384, 0.424]）を記録した。Wilson区間は分離しており、0.091 の統計的に有意な「プレイ・コスト」を確認している。
• 原因: エラーは、そのルールが適用される1%未満の状態に存在する。ランダムサンプリングはこのエラーを希釈するため、状態精度は高く見えるが、プランナーの探索はこれらの決定的な状態に集中する。

3.2 定量的危険法則（Quantitative Danger Law）

著者らは、サンプリング検証から生じる期待される害を規定する閉形式の法則を導出している：
$$\text{danger} = \text{play\_cost} \times (1 - \text{rarity})^N$$

• $(1 - \text{rarity})^N$: ゲートのサイズ $N$（独立同一分布のベルヌーイ・サンプル）が、希少度 $r$ のルールを観測できない正確な確率。
• $\text{play\_cost}$: ルールが欠落している場合の経験的なパフォーマンス欠損。
• 閾値挙動: 法則は閾値を予測する。ルールがゲートによって捕捉されるほど一般的であれば害は無視できるが、ルールが稀になるにつれて急激に上昇し、ルールがほぼ常に検出を逃れるようになると、完全なプレイ・コストへと飽和する。

3.3 推論ではなく「翻訳」

提供された遷移例が欠落したルールを修復できるかどうかを調査した。

• 知見: LLMの合成は、ルールの推論ではなく、**ルールの翻訳（translation）**として振る舞う。
• 証拠: 複数のデータレジーム（ナイーブなDAgger、適切なDAgger、ターゲットを絞ったオンマニフォルドの例）およびモデルサイズにわたり、LLMは識別的な遷移がサンプルに含まれていたとしても、欠落したルールを推論できなかった。
• 証明可能な核: 理論的な命題によれば、もしサンプルにルールが存在しない場合（確率 $(1-r)^N$）、いかなる学習者もそれらの遷移のみからルールを推論することはできない。ルールが存在する場合であっても、テストされたLLM（GPT-5.x）は一貫してそれをエンコードできず、これは例からルールを推論することの限界、すなわち単なる仕様の翻訳ではなく、仕様からの推論における限界を示唆している。

3.4 不完全情報と推論のギャップ

このメカニズムは、不完全情報ゲームにおける推論関数（隠れた状態の再構成）にも拡張される。

• カバレッジ境界: 著者らは、ランダムな推論ゲートが識別的（すべての関連する情報集合をカバーしている）であるための条件が $N \gtrsim b^{d_{max}} \cdot p_{chance}^{-1} \cdot \log |I|$ であることを証明している。これが、クーン・ポーカーのような浅いゲームでギャップが見られない理由である。
• Beacon実験: 構築されたゲーム Beacon において、「検証済みだが誤っている」推論関数は、ゲートを通過した（不一致 0/8156）が、すべてのゲームに敗北した（勝率 0.000 vs. ベースライン 0.500）。エラーは、ランダムサンプリングからは見えないが、最適なプレイによって到達可能な深い領域に限定されていた。
• 信念の盲目性: 遷移精度ゲートは、誤った信念モデル（観測/推論関数）に対して構造的に盲目である。なぜなら、信念の分割は遷移タプル $(s, a, s')$ には現れないからである。

4. 意義と主張

本論文は、ランダムな軌跡における遷移精度が、プランニングのための適格性を保証するかという問いに対し、厳密な否定的な回答を提供することを目的としている。

• 構造的診断: 失敗はモデルの容量の問題ではなく、**到達分布のシフト（reach-distribution shift）**である。検証ポリシー（一様ランダム）と展開ポリシー（有能なプランナー）は、状態空間の互いに素な領域に質量を集中させる。これは、ゲーム理論における「制約のないオフ・エクイリブリアム・パスの信念」の問題に類似している。
• 実用的な示唆:
  1. 検証: 適格性は、サンプリングされた遷移の予測精度ではなく、探索分布または直接的なプレイによって測定されるべきである。
  2. 仕様化: 例を用いてギャップを修復しようとするよりも、仕様を完結させる方が効果的である。モデルは与えられたものを翻訳するのであり、欠落しているものを信頼性高く推論するのではない。
• 範囲: これらの知見は、特定のレジーム下での GPT-5.x ファミリーについて確立されたものである。 「翻訳 vs 推論」の挙動はモデルサイズや修復戦略に関わらず観察されるが、著者らは「いかなるモデルも欠落したルールを推論できない」という普遍的な主張については、データに裏付けられた「コンジェクチャ（推測）」として提示しており、より強力なコード推論モデルやエージェンティックなスキャフォールドがこの結果を変える可能性についても言及している。

結論として、本論文は、「検証済み」と「正しい」の間のギャップが、サンプリングに基づく世界モデルの検証における根本的な限界であることを示している。これは、一様なランダムサンプリングでは、稀だが極めて重要なダイナミクスを捉えることが統計的に不可能であることに起因している。