技術概要：ゲームコード世界モデル生成を軽量大規模言語モデルへ蒸留する

問題定義

AI エージェントが行動の結果をシミュレートすることを可能にする環境の内部表現である世界モデルの構築は、マルチエージェントシステムにとって極めて重要です。近年、自然言語で記述されたゲームの説明を実行可能な Python コードに変換し、モンテカルロ木探索（MCTS）などのソルバーと互換性を持たせる**コード世界モデル（CWMs）**を導入する研究が進められていますが、既存のアプローチには重大なスケーラビリティの障壁が存在します。

既存のゲームコード世界モデル（GameCWMs）生成手法は、Gemini 2.5 Pro や GPT-4 といった「フロンティア」モデルと、広範なテスト時計算に大きく依存しています。これらのアプローチでは、LLM がコードを生成し、ユニットテストや真の軌跡に対して検証し、失敗時にコードを再生成するという反復的な改善ループが用いられます。このプロセスは計算コストが高く、アクセシビリティを制限しています。本研究の中心的な問いは、有効な GameCWM を生成するために必要な能力が、ポストトレーニングを通じてより小さく軽量なモデル（具体的には 30 億パラメータモデル）に蒸留可能かどうか、すなわちフロンティアモデルや推論時の改善ループへの依存を排除できるかどうかです。

手法

著者は、GameCWM 生成能力をQwen2.5-3B-Instructへ蒸留するための 3 段階のパイプラインを提案します。

1. データセットの作成

30 の拡張形式ゲームからなるデータセットを構築しました。これには以下が含まれます：

• 完全情報ゲーム： 例：三目並べ、コネクト 4、一般化チェス。
• 不完全情報ゲーム： 例：ブラックジャック、フーンポーカー、レドックポーカー、ジン・ラムリー。
• 分布外（OOD）ゲーム： 標準的な LLM のトレーニングデータに存在しない新規ゲーム。これには Converge という新しいゲームも含まれます。

データセットは、プロンプトとコードのペア $(P_G, C_G)$ で構成され、プロンプトには API 仕様、自然言語によるゲーム説明、明示的な行動文字列、および例示軌跡が含まれます。ターゲット出力は、ゲームエンジンを実装する真の Python コードです。

2. 階層的検証フレームワーク

新規ゲームにおける真のゲームエンジンなしでトレーニングを可能にするため、生成されたコードを評価する 4 段階の検証フレームワークを開発しました。

• ティア 1（静的解析）： 構文の妥当性、API の完全性（必要なすべてのメソッドが存在すること）、型シグネチャ、および正常なコンパイルを検証します。
• ティア 2（ダイナミクス/ファジング）： 決定性、非終端ロジック、終端ロジック、クラッシュなしの実行、および状態の不変性を確認するために、100 のランダムな合成軌跡を実行します。
• ティア 3（セマンティック規則遵守）： フロンティア LLM がゲーム規則から生成した少数の「シナリオ追跡（ゲーム履歴）」に対して、生成されたエンジンの動作を比較します。これにより、境界条件と典型的なゲームプレイがテストされます。
• ティア 4（情報整合性）： 不完全情報ゲームに特化したこのティアは、resample_history 関数を評価します。ランダムウォークをある状態までシミュレートし、観測値を抽出した後、リサンプリングされた履歴が同じ観測値を生成するか検証することで、認識論的境界が維持されていることを確認します。

3. ポストトレーニングパイプライン

トレーニングプロセスは 2 つの段階からなります。

• 教師あり微調整（SFT）： 基本モデルである Qwen2.5-3B-Instruct を、LoRA を用いてプロンプト - コードのペアで微調整します。この段階は、モデルを必要な API 構造と構文に適合させることを目的としています。
• 検証可能報酬を用いた強化学習（RLVR）： SFT に続き、モデルを**グループ相対方策最適化（GRPO）**を用いてさらに洗練させます。報酬信号は、4 段階の検証フレームワークから導出された合成スコアです。
  $$r_i = \sum_{t=1}^{4} w_t S_t$$
  ここで、$S_t$ はティア $t$ での合格率であり、重み（$w_1=0.15, w_2=0.25, w_3=0.3, w_4=0.3$）は、単なる構文よりもセマンティックな論理と情報処理を優先します。

主要な結果

実験は、OOD および不完全情報ゲームを含む 7 つの保持済みゲームで行われ、ゲームあたり 25 個のサンプルが生成されました。

• 全体的なパフォーマンス： 完全なSFT+RLVRパイプラインが最も強力なモデルを生み出し、平均検証スコア**53.2%**を達成しました。これは基本モデル（47.3%）や SFT のみのモデル（49.0%）を大幅に上回りましたが、GPT-4o（66.7%）などのフロンティアモデルのパフォーマンスには及びませんでした。
• 構文と構造の向上： SFT は**静的（ティア 1）およびファジング（ティア 2）**スコアを大幅に改善し、微調整がモデルに必要な API 構造と堅牢な遷移ロジックを効果的に学習させることを示しました。
• セマンティック遵守： RLVR は**セマンティック（ティア 3）**スコアに最も大きな向上をもたらしました。SFT+RLVR モデルはセマンティックスコアで 14.4% を達成し、基本モデルの 8.5% と比較して、RL が構文を超えたゲーム規則への遵守を助けることを示しています。
• 不完全情報への課題： GPT-4o を含め、すべてのモデルが不完全情報ゲームにおける**情報（ティア 4）の整合性に苦戦しました。最良の Qwen モデル（SFT+RLVR）は5.3%**しか達成できず、GPT-4o の 14.0% と比較して低い結果となりました。
• 観察された限界：
  • SFT における過学習： トレーニングセットに含まれていなかった分布内ゲーム Gin Rummy において、SFT はトレーニング中に学習したリスト内包表記テンプレートを盲目的に適用することで構文エラーを導入し、パフォーマンスを低下させました（49.7% から 31.4% へ）。
  • 推論の境界： モデルはしばしば resample_history ロジックの実装の難しさを認めるコメントを挿入し、複雑な推論パスを生成する代わりに、簡略化されたスタブ（例：最後の行動を返す）を選択しました。これは、基本モデルの潜在空間に、これらのタスクに必要な「心の理論」推論能力が欠けている可能性を示唆しています。

意義と主張

本論文は、GameCWM 生成がポストトレーニングを通じて軽量 LLM に部分的に蒸留可能であると主張しています。この研究の主な意義は、以下の点を示したことです。

1. リソース効率性： 計算負荷をポストトレーニングへ移行させることで、高価なフロンティアモデルや反復的なテスト時改善ループへの依存を軽減することが可能です。
2. 2 段階の必要性： 構造/構文のための SFT と、セマンティック遵守のための RLVR を組み合わせたアプローチは、単独の手法よりも効果的です。
3. スケーラビリティ： このアプローチは、自然言語からの自動環境生成へのスケーラブルな道筋を提供し、GameCWM をより広範なアプリケーションに対してアクセス可能にします。

ただし、著者は現在の技術状態については慎重な見解を持っています。彼らは明確に、複雑なセマンティック推論と不完全情報の処理は依然として課題であり、現在の軽量モデルおよびトレーニングパイプラインの能力を超えると述べています。この研究は、完璧な GameCWM 生成の問題を解決したと主張するものではなく、むしろ現在のフロンティアモデル依存のアプローチに対する、実行可能でより効率的な代替案を提供するものです。