テクニカル・サマリー：世界モデルによる方策学習と模倣された世界・行動モデル間の能力分離について

問題提起

本論文は、身体化された意思決定における根本的な曖昧さ、すなわち、世界・行動モデル（将来の結果 $Y$ を予測し、その後にアクション $A$ を推論するもの）が、直接的な行動複製方策（履歴 $H$ からアクション $A$ を直接マッピングするもの）に対して、同じ観測デモンストレーションのみから学習した場合に、本質的な制御能力の優位性を持つのかどうかという問題に取り組んでいる。

世界・行動モデルは、ビデオ事前学習、時間的監督、および将来条件付き表現による恩恵を受けるとしばしば称賛されるが、これらの恩恵が、より強い「制御能力」（特定のクローズドループ軌道分布を誘発する能力）へと変換されるのか、あるいは単に同一の行動方策を学習するための異なる因数分解を提供しているに過ぎないのかは不明である。本論文は、アーキテクチャの表現力、集団学習ターゲット、および情報要件を、有限サンプル推定誤差や最適化の困難さから分離することを目的としている。

メソドロジー

分析は、有限サンプル推定誤差、最適化誤差、およびモデルの誤設定を抽象化し、コントローラ・クラスおよび集団学習ターゲットのレベルで行われる。

1. 定義とフレームワーク:

   • 制御能力クラス (Control-Capability Class): 方策クラスが誘発し得るクローズドループ軌道分布の集合として定義される。
   • 集団目的関数 (Population Objective): 有限のデータセットに対する経験平均ではなく、真のデモンストレーション分布 $p_\mu$ の下での期待値である。
   • 3つのパラダイム:
     • 直接的行動複製 ($\pi_A$): $H \to A$。$-\log \pi(A|H)$ を最小化する。
     • 模倣された世界・行動 ($\pi_{WA}$): $H \to Y \to A$。$p(Y|H)$ と $p(A|H, Y)$ をモデル化する。
     • 世界モデル方策学習 ($\pi_{WM}$): アクション条件付きモデル $P(Y | H, \text{do}(A=a))$ を使用して、ユーティリティ関数を介して候補となるアクションを比較する。

2. 仮定:

   • 実現可能性 (Realizability): 方策クラスおよび条件付き分布クラスは、真の集団ターゲットを含んでいる。
   • 厳密な集団最適化: 目的関数はグローバルに最小化される。
   • 分布保存型デプロイメント: 世界・行動コントローラは、周辺分布を変化させる（例：MAPデコーディング）点推定を使用するのではなく、学習された将来分布を周辺化する。
   • 行動の十分性 (Behavior Sufficiency): デモンストレーターのアクション選択は、観測された履歴 $H$ にのみ依存する。

3. 分析的アプローチ:

   • 本論文は、外部表現力（アーキテクチャが同じ方策を表現できるか）と集団ターゲット（学習目的関数が同じ方策に収束するか）を比較する。
   • 因果識別理論（一貫性、条件付き交換可能性、正値性）を用いて、観測的条件付き分布 $p(Y|H, A)$ と介入的分布 $P(Y|H, \text{do}(A))$ を区別する。
   • 観測的学習者と介入的データを持つ学習者の間の後悔（regret）の差を示すために、特定の環境ファミリーを構築する。

主要な貢献と結果

1. アーキテクチャレベルの等価性

本論文は、あらゆる分布的世界・行動コントローラが、全く同じクローズドループ軌道分布を持つ直接的な確率的方策へと「平坦化」できることを確立している。

• 結果: 無制限の確率カーネルクラスの下では、直接的な方策 ($\pi_A$) と世界・行動コントローラ ($\pi_{WA}$) の外部制御能力クラスは同一である。
• 示唆: 内部的な将来変数 $Y$ は、表現可能な行動の集合を拡張するものではなく、単に異なる内部的な因数分解を提供するものである。

2. 観測的模倣下での集団等価性

同じ観測データを用いて厳密な集団最適化を行った場合：

• 結果: 最適な方策は同一である：$\pi^*_{WA}(a|h) = \pi^*_{A}(a|h) = \pi_\mu(a|h)$。ここで $\pi_\mu$ は観測的な行動・アクション条件付き分布である。
• 軌道の等価性: 行動の十分性の下では、これらの方策はデモンストレーターと同じ完全なクローズドループ軌道分布を誘発する。
• 近似的等価性: 本論文は、将来予測、逆アクション予測、および直接的アクション予測の誤差の総和によって、軌道レベルの不一致が制限される連続性境界を提供している。

3. アクション特異的な予測ギャップ

候補となるアクションを条件付けない将来予測器に関する、不可避なギャップを本論文は特定している。

• 結果: 候補となるアクション $a$ を無視する予測器 $g(y|h)$ は、アクションの分岐を平均化しなければならない。不可避な介入的予測誤差は $I^{int}_{\nu, \rho}(A; Y | H)$ によって定量化され、代替的なアクションが異なる結果分布を誘発する場合に正となる。
• 示唆: 標準的な世界・行動モデル（行動分布の下での $Y$ を予測するように訓練されたもの）は、追加の因果的仮定や介入なしには、特定の候補アクションに関する「もしも（what-if）」の問いに答えることは本質的にできない。

4. 表象、識別、およびデプロイメントの分離

• 観測的 vs 介入的: 厳密な世界・行動結合は、観測的条件付き分布 $p_\mu(Y|H, A)$ を決定する。これは、因果識別条件（一貫性、交換可能性、正値性）が満たされる場合にのみ、介入的分布 $P(Y|H, \text{do}(A))$ と一致する。
• デプロイメント・ルール: 同じ学習済み結合分布は、2つの異なるデプロイメント・ルールをサポートできる：
  1. 行動再現: $Y$ を周辺化して $\pi_\mu(a|h)$ を復元する。
  2. アクション比較: 特定の $a$ に対して $P(Y|H, \text{do}(A=a))$ を評価するために結合分布を使用する。
• 決定的な違い: 標準的な「将来・逆転（future-then-inverse）」デプロイメントは、行動方策を復元する。世界モデルによる制御は、アクションを明示的に固定（clamp）し、その結果を比較することを必要とする。

5. 観測的学習者と介入的学習者の厳密な分離

本論文は、以下の特性を持つ2アクション環境ファミリーを構築している：

• 観測的学習者: すべての観測的集団学習者（$\pi_A$ および $\pi_{WA}$ を含む）は、観測的分布が環境ファミリー内のすべての環境に対して最適なアクションを識別できないため、正の最悪ケースの後悔（少なくとも $1/4$）を持つ。
• 介入的学習者: 単一の情報的なアクション介入により、介入的学習者は環境を識別し、ゼロの後悔を達成できる。
• 結論: 分離は方策クラスの表現力にあるのではなく、学習者が利用可能な情報にある。観測データのみでは、サポートされていないアクションの効果や、隠れた交絡が存在する場合の効果を識別することはできない。

意義と主張

本論文は、これらのパラダイムの区別は、コントローラが将来を予測するかどうかではなく、その予測がどのように使用されるかにあると主張している：

1. 模倣 vs 制御: 直接的な行動複製と標準的な世界・行動模倣は、内部的な因数分解においては異なるが、無制限の外部方策クラスおよび集団アクションターゲットにおいては等価である。これらは行動デコーディングの手法である。
2. 介入的推論: 世界モデルによる方策学習は、その決定ルールおよび方策選択に必要な情報において根本的に異なる。これは介入的アクション比較の手法である。
3. 実用的な示唆: 世界・行動モデリングの実用的な利点（例：より優れた時間的表現、ビデオ事前学習）は、集団レベルの等価性と両立する。しかし、これらの恩恵が自動的に介入的推論能力を付与するわけではない。デモンストレーターを超える制御を実現するには、システムは以下のいずれかを行う必要がある：
   • 介入的データにアクセスする。
   • 有効な因果識別仮定を満たす。
   • 単に観測された行動に関連する将来を予測するのではなく、アクション条件付きモデルを使用して、候補となるアクションを明示的に比較する。

本論文は、「世界モデル」に関する経験的な主張は、模倣の質（観測された行動の再現）とアクション効果の予測（観測されていないアクションの結果の予測）を区別しなければならないと結論付けている。介入的制御の証拠を得るには、複数の指定されたアクションの下での予測をテストし、明示的なアクション比較が標準的な「将来・逆転」デプロイメントを超えて価値を向上させることを示す必要がある。