技術要約：世界モデルのためのテキスト的信念状態

問題提起

部分観測環境において、世界モデルは、予測、計画、および推論を可能にするために、相互作用の履歴を要約する潜在表現を維持しなければならない。現代の大規模言語モデル（LLM）ベースのアーキテクチャにおける重要な課題は、**識別可能性の問題（identifiability problem）**である。既存の多くの設計では、潜在状態が他の情報源（完全な観測履歴など）と共存しており、それらが潜在状態の代用となり得る。その結果、モデルは潜在状態を「バイパス」して履歴に直接依存することで、高い予測精度を達成できてしまう。これにより、潜在状態は識別不可能となる。つまり、予測性能が学習された表現の質を制約したり反映したりしなくなるのである。

古典的な世界モデルは、すべての予測が潜在状態と現在の行動のみに依存することを要求する**厳格な潜在状態媒介（strict latent state mediation）**を強制するが、この原則をテキストベースの設定に適用することは困難である。テキストによる潜在状態は離散的かつ非微分的であり、標準的な変分学習（例：ELBO）を阻害する。さらに、このような目的関数で訓練された表現力豊かなLLMデコーダは、ボトルネックを無視する傾向があり、事後分布の崩壊（posterior collapse）を招く。本論文は、潜在状態が履歴の十分統計量として機能することを保証するために、テキスト領域において厳格な媒介を強制する課題に取り組む。

手法

1. テキスト的潜在状態

著者らは、潜在状態を連続的なベクトルではなく、離散的で解釈可能な可変長テキスト文字列（具体的にはJSON形式の述語項リスト）として表現することを提案する。このアプローチには4つの利点がある：

• 整合性（Alignment）: LLMのバックボーンと一致するため、損失の多いモダリティ変換を回避できる。
• 適応型ボトルネック（Adaptive Bottleneck）: 容量が固定次元ではなく、コンテンツに応じてスケールする。
• 解釈可能性（Interpretability）: 状態が直接検査可能であり、正解の事実に対して評価できる。
• モダリティの一致（Modality Match）: 観測は意味的なテキストであるため、テキストによる状態は構造的完全性を保持する。

2. モデルアーキテクチャ

システムは、共有パラメータ $\theta$ を持ち、プロンプトによって定義された3つの明確なステージで動作する、単一の事前学習済み自己回帰言語モデルを利用する：

1. エンコーディング（Encoding）: $\hat{s}_t \sim p_\theta(\cdot | h_t)$。履歴 $h_t$ から潜在状態を生成する。
2. 遷移（Transition/Dynamics）: $\hat{s}_{t+1} \sim p_\theta(\cdot | \hat{s}_t, a_t)$。現在の潜在状態と行動のみに基づいて、次の状態を予測する。
3. デコーディング（Decoding）: $\hat{o}_{t+1} \sim p_\theta(\cdot | \hat{s}_{t+1}, a_t)$。新しい潜在状態から次の観測を生成する。

決定的なのは、$\hat{s}_t$ が生成されると、遷移およびデコーディングのステージは元の履歴 $h_t$ に一切アクセスできないことである。これにより、厳格な媒介が強制される。

3. 分解型GRPO (fGRPO) による訓練

テキストによる状態は非微分的であるため、潜在空間を通じた勾配ベースの最適化は不可能である。著者らは、各生成ステージを確率的方策として扱い、**強化学習（RL）**を用いて最適化を行う。

• 標準的なGRPOの限界: 標準的なGroup Relative Policy Optimization (GRPO) は、単一の自己回帰的な継続操作に基づいて動作するが、これでは共有プロンプト・コンテキストを通じてモデルが履歴にアクセスできてしまい、厳格な媒介に反することになる。
• fGRPOによる解決策: 著者らは、木構造の拡張である分解型GRPO (Factorized GRPO) を導入する。与えられた履歴に対し、モデルは $A$ 個の候補潜在状態をサンプリングし、次に各エンコーディングに対して $B$ 個の次状態候補を、各遷移に対して $C$ 個の観測候補をサンプリングする。これにより、報酬がリーフ（予測された観測と正解の観測を比較）で計算され、上方へと伝播する木構造が形成される。この構造により、遷移およびデコーディングのステップが、元の履歴ではなく、サンプリングされた潜在状態に厳密に条件付けられることが保証される。

4. 報酬設計

報酬信号は、コンパクトで十分な状態を促すために、予測精度と構造的正規化を組み合わせる：

• 観測精度 ($R_{obs}$): 予測された観測と正解の観測から抽出された事実間のF1スコア。
• フォーマット妥当性 ($R_{fmt}$): 潜在状態が有効なJSON構造であることを確認するバイナリチェック。
• 補助的報酬:
  • サポート ($R_{sup}$): 予測された観測と基礎となる状態の事実との間の一貫性を促進する。
  • 重複排除 ($R_{dedup}$): 意味的に冗長な事実に対してペナルティを課す。
  • アブレーション ($R_{abl}$): 事実の除去が予測をどの程度劣化させるかを測定し、必要な情報のみを保持することを促す。

主な貢献

1. 厳格な媒介の定式化: 本論文は、厳格な媒介の下では、最適な予測精度が履歴の十分統計量であることを潜在状態が意味することを証明している（命題1）。逆に、「リーキー（漏れのある）」なアーキテクチャでは、履歴のバイパスが許容されるため、最適精度が情報の乏しい潜在状態によって達成され得ることを示している（命題2）。
2. ロールアウトに関する理論的保証: 厳格な媒介は、訓練条件と推論条件を構造的に一致させる。著者らは、これが履歴ベースまたはリーキーなロールアウトで見られる幾何学的な誤差成長を防ぎ、縮小写像の仮定の下で誤差伝播を限定的にできることを示している（命題3）。
3. fGRPOアルゴリズム: 変分目的関数を用いることなく、離散的で非微分的なテキスト的潜在状態を厳格な媒介制約の下で訓練することを可能にする、分解型GRPOの導入。
4. 実証的検証: TextWorld および ScienceWorld における実験により、厳格な媒介が予測可能かつ識別可能な表現をもたらすことを実証した。

実験結果

著者らは、以下の3つのベースラインと比較して彼らの手法を評価した：

• Stateless（無状態）: 履歴から直接予測する（精度の理論的上限であり、明示的な表現を持たない）。
• LeakyState（リーキーな状態）: テキストによる潜在状態を使用するが、予測中に履歴のバイパスを許容する。
• StrictState-Emb（厳格な状態・埋め込み）: 厳格な媒介を使用するが、連続的な埋め込みを用いる（変分訓練）。

主な知見:

• 予測精度: StrictState-Textは、LeakyStateおよびStatelessベースラインの1ステップ予測精度（obs.F1）に匹敵しており、厳格な媒介が性能を損なわないことを確認している。
• 表現の質: 予測精度を一致させた条件下で、StrictState-TextはLeakyStateと比較して、著しく高い状態レベルのF1スコア（ScienceWorldで最大57%、TextWorldで**30%**の向上）を達成した。これは、リーキーなモデルが履歴バイパスに依存した、情報の乏しい潜在状態を学習していることを裏付けている。
• ロールアウトの安定性: 厳格な媒介は、マルチステップのロールアウト性能を大幅に向上させる。状態レベルのF1の向上は予測ホライゾンとともに増大し、TextWorldのホライゾン9において98%の改善に達した。これは、厳格な媒介が累積的な誤差伝播を抑制するという理論的主張を検証している。
• アブレーション: 補助的報酬（重複排除、アブレーション、サポート）を除去すると、長期ホライゾンの性能が低下した。これは、これらの構成要素がコンパクトで十分な状態を学習するために不可リオであることを示している。

意義と主張

本論文は、厳格な潜在状態媒介が、世界モデルにおいて表現の質を経験的にテスト可能にするための必要条件であると主張している。これがない場合、モデルが履歴に直接アクセスして「ズル」ができるため、予測精度は表現の質に対する不適切な代理指標となってしまう。

fGRPOを用いてテキスト領域における厳格な媒介を成功裏に強制することにより、著者らは以下を実証した：

1. 識別可能性は達成可能である: 潜在状態の質が予測性能から直接診断可能な、離散的で解釈可能な潜在状態を学習することが可能である。
2. テキスト的状態は効果的である: 可変長のテキスト状態は、離散的で構成的な事実に対して、固定次元の埋め込みよりも柔軟で解釈しやすいボトルネックを提供する。
3. 安定性が向上する: 厳格な媒介は訓練と推論を一致させ、リーキーまたはステートレスなアーキテクチャにおいて問題となる誤差の蓄積を防ぐ。

著者らは、評価が制御や計画といったダウンストリームのタスクではなく、表現の質に焦点を当てていること、および実験が合成的で計測された環境（TextWorldおよびScienceWorld）に限定されていることを注記している。また、圧縮の負担が単一ショットのエンコーダに完全に依存していることや、補助報酬のための構造化された事実抽出への依存といった構造的な制限も認めている。しかし、本研究は、テキストベースの設定において信頼でき、解釈可能な世界モデルを構築するための方法論的基盤を確立している。