技術的概要：言語モデルの事前知識を用いた観測からの POMDP 世界モデルの学習

問題定義

部分的に観測可能な環境における効果的なエージェントは、自身の行動に対する世界の反応を記述する内部モデルを学習しなければならない。部分的に観測可能なマルコフ決定過程（POMDP）は、そのような世界モデルのための柔軟な形式を提供するが、観測・行動の軌跡のみからそれらを学習することは極めて困難である。古典的なアプローチ（表形式推定器、スペクトル法、深層潜在モデル）は、通常、広範な環境との相互作用、強力な構造仮定、または真の隠れ状態へのアクセスを必要とする。

既存の手法で、世界モデルを誘発するために大規模言語モデル（LLM）を活用するものは、訓練中に特権的な隠れ状態にアクセスできるという重要な単純化仮定に依存していることが多い。最も近い先行研究である『POMDP Coder』でさえ、各エピソード後に真の状態への事後アクセスを仮定している。この制限により、そのような手法は、ロボットが雑多な空間で動作する場合や、不完全情報ゲームにおけるエージェントのように、状態の教師信号が存在しない現実世界のシナリオには適用不可能となる。この研究が扱う中心的な問いは、LLM の事前知識が、隠れ状態ラベルへのアクセスを一切行わず、観測・行動・報酬の軌跡のみを用いて実行可能な POMDP モデルを誘発するのに十分に強力かどうかである。

手法：Pinductor

著者は、観測・行動・報酬の軌跡のみから実行可能な POMDP 世界モデルを誘発するフレームワークPinductor（POMDP-inductor）を導入する。この手法は、予測された状態と真の隠れ状態を直接比較することを避け、生成・評価・洗練・計画のループで動作する。

1. モデル提案

LLM には、自然言語による環境の説明、軌跡の小さなオフラインデータセット、および状態・行動・観測空間を定義するコード API がプロンプトとして与えられる。LLM は、初期状態分布、遷移ダイナミクス、観測モデル、および報酬関数を定義する候補となる実行可能モデル $m = (\rho_0^m, T^m, O^m, R^m)$ を生成する。

2. 信念に基づくモデル評価

隠れ状態は観測されないため、Pinductor は信念に基づく尤度スコアを用いて候補を評価する。

• 粒子フィルタリング: 候補モデルに対して、提案された初期状態分布から粒子の集合をサンプリングし、観測された行動を用いて遷移モデル $T^m$ を通して伝播させる。
• ソフト観測尤度: LLM によって生成された観測モデル $O_{LLM}^m$ はしばしば決定論的である。不一致に対処し、勾配に似た信号を提供するために、この手法は距離カーネルを採用する。予測された観測と実現された観測との間の距離 $d_{obs}$ を、ソフト尤度に変換する：
  $$O^m(o_{t+1} | s_{t+1}, a_t) \propto \exp(-d_{obs}(o_{t+1}^{pred}, o_{t+1}^{real}) / \kappa)$$
• スコアリング: モデルは、粒子フィルタによって誘発された信念分布の下での観測軌跡の期待対数尤度によってスコア付けされる：
  $$L(P^m; \mathcal{D}) = \sum_{\tau \in \mathcal{D}} \sum_{t=0}^{H-1} \mathbb{E}_{s_{t+1} \sim Q_{t+1}^m} [\log O^m(o_{t+1} | s_{t+1}, a_t)]$$
  このスコアは、特権的な状態アクセスなしに、モデル自身のフィルタリングダイナミクスが観測ストリームをどの程度よく説明できるかを評価する。

3. フィードバックと洗練

この手法は、構造化されたデバッグフィードバックを用いてモデルを反復的に洗練する：

• グローバルスコア: スカラーの尤度スコアは、全体的な適合度を示す。
• ローカル診断: システムは、実行エラー、高い観測距離を持つ軌跡セグメント、または報酬の不一致など、特定の失敗モードを特定する。
• 不一致シグナル: 以前に生成された遷移モデルの「委員会」を用いて、投票エントロピーを計算する。候補モデルが次の状態について合意しない高エントロピーのコンテキストを LLM に強調表示し、ダイナミクスにおける曖昧さを解消するよう導く。
• 洗練戦略: Pinductor は、単一の編集チェーンではなく、木構造の洗練プロセス（UCB1 選択）を用いて、ほぼ最適なモデルを選択する前に複数の候補ファミリーを探索する。

4. 計画

選択されたモデルは、オンライン相互作用中に信念空間計画（例：A* スタイルのプランナによる）に使用される。新しい軌跡がデータセットに追加され、さらなる洗練ラウンドをトリガーする。

主要な貢献

1. 観測のみの POMDP 誘発: この論文は、LLM の事前知識が、訓練時または推論時に真の潜在状態の教師信号を必要とせず、観測・行動・報酬の軌跡のみから実行可能な POMDP 世界モデルを誘発するのに十分であることを実証する。
2. 信念に基づくモデルスコアリング: 著者は、フィルタリングされた信念分布の下で候補プログラムをスコアリングするカーネルベースの尤度目的関数を導入する。これは、部分的な観測のみから計算可能なステップごとの修復信号を提供する。
3. エンドツーエンドの検証: この手法は、5 つの部分的に観測可能な MiniGrid タスクで検証された。Pinductor は、特権状態アクセスを有する LLM ベースライン（POMDP Coder）と同等のパフォーマンスとサンプル効率を達成し、特権状態アクセスを許可された表形式 POMDP などを含む非 LLM ベースラインを大幅に上回る。

結果

• パフォーマンス: MiniGrid 環境（Empty, Corners, Lava, Unlock, Four Rooms）において、Pinductor は厳密に少ない情報を使用しているにもかかわらず、特権状態ベースラインと同等の平均エピソード報酬と勝率を達成する。
• サンプル効率: Pinductor は非常に少ないオフライン軌跡（2〜10 程度）で強力なパフォーマンスに達し、状態アクセス手法と同等のサンプル効率を達成する。
• 信念の質: 計画中、Pinductor の信念状態は観測が蓄積するにつれて真の隠れ状態にますます集中し、学習されたモデルが情報豊富な事後更新をサポートすることを示す。
• アブレーション:
  • LLM の能力: パフォーマンスは LLM の能力に比例してスケーリングする。弱いモデルは実用的な世界モデルを合成できず、強力なモデル（Qwen 3.6 Plus, Claude Opus 4.7）は高いパフォーマンスを達成する。
  • 意味情報: 環境の意味的な説明を保持しない場合、パフォーマンスは低下し、この手法がテキスト情報に根ざした LLM の事前知識に依存していることを示す。
  • 確率性: この手法は環境の確率的な変種においても有効であるが、決定論的な設定に比べてパフォーマンスは低下する。

意義と限界

この論文は、言語モデルの事前知識を、部分的な観測性下でのサンプル効率の高い世界モデル学習のための実用的なツールとして位置づける。特権的な状態アクセスの要件を排除することで、Pinductor は LLM によるモデル誘発の適用範囲を、ロボット工学や不完全情報ゲームなど、現実世界の展開に特徴的な設定に拡張する。

著者は謙虚にいくつかの限界を指摘している：

• 範囲: 評価は MiniGrid 環境に限定されており、他のドメインや複雑な現実世界の設定への転移は未検証である。
• 固定コンポーネント: 観測距離関数、プランナ、デモンストレーションバッファは現在固定されており、LLM によって最適化されていない。
• 分散: LLM API 呼び出しへの依存は、実行時間と結果に高い分散をもたらす。
• データ収集: オフラインデータセットは手動で収集されており、自動データ収集戦略の影響は探求されていない。

この研究は、部分的に観測可能な環境における一人称の経験から内部世界モデルを学習できる汎用エージェントへの一歩を表している。