技術要約：形態パラメータの汎化のためのグラフ演算子世界モデル（Graph-Operator World Models）

問題定義

連続制御のための世界モデルは、通常、固定された物理システム上で学習される。物理パラメータ（リンクの長さ、質量、減衰、あるいはアクチュエーションのギア比など）が変化する場合、既存のモデルは性能が低下することが多い。形態パラメータを条件付けとして用いる既存のアプローチも存在するが、学習された遷移ダイナミクスのどの部分が不変（再利用可能）であり、どの部分が新しい形態に適応すべきかを明示的に指定できていない。汎用的なコンテキストベクトルは形態の変化を伝えることはできるが、それらのパラメータが局所的な動的応答の結合をどのように変換すべきかまでは規定できない。

本論文は、次の問いに取り組む：コンパクトな世界モデルは、再利用可能な局所ダイナミクスと、形態に起因する結合を明示的に分離することで、未知の物理的形態パラメータに対して汎化できるか？

手法：GraphOp-WM

著者らは、関連する関節型ロボットファミリー（例：Hopper, Walker2d, HalfCheetah）内において、未知の形態パラメータへの汎化を実現するために設計された構造化世界モデルであるGraphOp-WM (Graph-Operator World Models) を提案する。その核心となる革新は、状態遷移を「形態に依存しない局所ダイナミクスの基底」と「形態条件付きの構造化演算子」へと分解することにある。

1. グラフ表現

ロボットは属性付きグラフとして表現される：

• ノードは各ボディに対応し、静的属性（質量、慣性、形状、タイプ）と動的特徴（位置、速度、接触）を含む。
• エッジはジョイント（運動学的関係）およびアクチュエータ（コマンド）を表す。
• グラフのトポロジーはロボットファミリー内で固定されている。形態の変化は、グラフのサイズ変更ではなく、静的なノード/エッジ属性によってエンコードされる。

2. 遷移の分解

ボディ・トークン行列 $Z_t$ に対する状態遷移は次のように定義される：
$$\hat{Z}_{t+1} = Z_t + A_{m,t} \bar{B}_t$$
ここで：

• $\bar{B}_t$ (共有局所ダイナミクス基底): 形態に依存しないカーネルであり、各ボディの局所的な動的状態、局所的なアクション、およびボディタイプのみを用いて、標準的な増分を予測する。極めて重要な点として、このエンコーダは静的な形態パラメータ（質量、長さ、慣性）を観測することを禁止されている。基点となる基底は、スケールの曖昧さを排除するために正規化される。
• $A_{m,t}$ (構造化形態演算子): 静的な形態パラメータによって条件付けられたグラフ演算子。これは、共有された局所増分を、特定の物理構成に合わせて変換する。

3. 演算子の構造

演算子 $A_{m,t}$ は、関節ダイナミクスの物理的構造を反映するように構築される：
$$A_{m,t} = I + \text{Diag}(d_{m,t}) + E_m \text{Diag}(w_{m,t}) E_m^\top + U_{m,t} \text{Diag}(s_{m,t}) U_{m,t}^\top$$

• 対角成分 ($d_{m,t}$): ボディ局所の応答変調を捉える。
• インシデンス行列成分 ($E_m \dots E_m^\top$): 接続されたボディ間の結合をモデル化するために、運動学的ツリー構造に従う。
• 低ランクグローバル成分 ($U_{m,t} \dots$): 残差的な非局所的結合（例：胴体と肢の相互作用や接触を介した効果）を捉える。
• 状態依存ゲーティング: 静的な係数は、現在のポーズ、速度、および接触状態に基づくゲートによって変調される。これにより、演算子が新しい形態識別子を学習することなく、動的に適応することを保証する。

4. アーキテクチャの制約と監督

再利用可能なコンポーネントと形態依存コンポーネントの分離を確実にするため、アーキテクチャは以下を強制する：

• 情報の分離: 静的な形態属性は、演算子パスウェイにのみ入力される。基底は、動的な状態とアクションのみを観測する。
• 基底の正規化: 演算子が、基底に属すべきスケール変化を吸収してしまうのを防ぐ。
• ペア形態監督: モデルは、整列したポーズで初期化され、同一のアクションシーケンスを持つ形態のペアを用いて訓練される。これにより、共有基底が共通のダイナミクスを予測し、演算子がその差異を説明するように強制される。

5. 制御インターフェース

本モデルは標準的なプランニング・インターフェース（例：TD-MPCスタイル）をサポートする：

• 報酬と価値: ボディ・トークンを集約するグラフレベルのリードアウトを介して予測される。これにより、ボディの数に関わらず固定次元の入力を可能にする。
• アクション表現: アクションはアクチュエータ・エッジに付随しており、現在の形態のアクチュエータ数に対応する可変数のアクションを出力することを可能にする。

ベンチマークおよび評価設定

著者らは、3つのロボットファミリー（Hopper, Walker2d, HalfCheetah）をカバーする制御されたMuJoCoベンチマークを定義している。このベンチマークは、以下の観点での汎化を評価する：

• 補間 (Interpolation): 学習範囲内の未知のパラメータ値。
• 外挿 (Extrapolation): 学習範囲外のパラメータ値。
• 保持された構成 (Held-out Compositions): 学習中に同時に現れなかったパラメータの組み合わせ（例：特定のリンク長と特定のアクチュエータギアの組み合わせ）。
• パラメータ: リンクの形状、ボディ質量、胴体質量、関節減衰、およびアクチュエータのギア。

主な貢献

1. 定式化: 世界モデルにおける形態パラメータの汎化に関する形式的な定義。これは、関節トポロジーを固定したまま、未知の物理パラメータ下でのゼロショット予測とプランニングに焦点を当てている。
2. 遷移の分解: 形態に依存しない局所ダイナミクス基底と、構造化演算子（局所、グラフ支持、および低ランクグローバル結合を組み合わせたもの）を分離する新しいアーキテクチャ。
3. 帰納バイアス: 形態依存の変化が共有基底ではなく演算子に割り当てられることを保証するための、アーキテクチャによる情報の分離、基底の正規化、およびペア形態監督の使用。
4. ベンチマーク: パラメータ効率の高い分布外（OOD）ダイナミクスおよびプランニングの汎化を測定するための、包括的なMuJoCo分割。

意義と主張

本論文は、GraphOp-WMが、関連する関節型ロボットファミリー内でのパラメータ汎化のためのコンパクトな構造的事前知識を提供すると主張している。運動の局所性や、運動学的結合のツリー構造といったロボティクス・ダイナミクスの帰納バイアスを明示的にモデル化することで、本モデルは、これらの関係をゼロから学習するために膨大な容量や汎用的なコンテキストベクトルを必要とすることを回避している。

著者らは、GraphOp-WMを、任意のロボット・トポロジーに対する普遍的なコントローラとしてではなく、運動学的構造は既知であるが物理パラメータが変化する、関連するロボットファミリーのための特化したソリューションとして位置づけている。手法は、再利用可能な局所ダイナミクスと形態に起因する結合を分離することで、新しいパラメータでの再学習を必要とせずに、未知の物理構成（外挿や構成的な変動を含む）への効果的な汎化が可能であることを示している。