技術サマリー：接地された潜在アクション・ワールドモデルを用いた異種混合デモンストレーションからの模倣学習

問題提起

模倣学習は視覚運動操作において大きな成功を収めてきたが、そのスケーラビリティは、ターゲットとなるロボットにおける高品質でアクションラベルが付与されたデモンストレーションのコストの高さと希少性によって制約されている。シミュレーション、携帯型のハンドヘルドデバイス、人間のビデオなど、豊富な異種混合データソースが存在するものの、これらは以下の3つの重要な課題を提示している：

1. アクション空間の不一致： 異なるソース間では、アクション空間が互換性を欠いていたり、アクションラベル自体が欠落していたりすることが多い。
2. 視覚およびエンボディメント（身体性）の差異： データソースは、カメラの視点、ロボットの形態、シーンのコンテキストにおいて大幅な違いを示し、それらは基礎となるタスクの物理学を反映していない。
3. 既存手法の限界： 異種混合データでの共同学習に関する既存のアプローチは、原理的な表現学習ではなく、ヒューリスティックで手作業による調整が必要なアライメント技術（例：最適輸送損失、経験的に調整された混合比、または特定のトークナイザー）に依存している。

本論文は、より原理的なアプローチが必要であると主張している。すなわち、アクションはソースに基づくのではなく、その環境への物理的な影響に基づいて表現されるべきである。2つのアクションがオブジェクトを同じ軌道に沿って動かすのであれば、それが実機ロボット、シミュレーション、あるいはハンドヘルドデバイスのいずれから発生したとしても、それらは共通の表現を共有すべきである。

手法：接地された潜在アクション・ワールドモデル (GLAM)

著者らは、一対の結合された生成モデルを用いて、異種混合データを共有かつソース不変な潜在アクション空間へと統合するフレームワークであるGLAMを提案する。パイプラインは2つのステージで動作する。

ステージ1：GLAM事前学習（ワールドモデル）

核心となるイノベーションは、環境ダイナミクスに接地された共有潜在アクション空間（$z_t$）の学習である。これは、共同で学習される2つの生成モデルを通じて達成される。

1. 異種混合モデル ($p(X, O, Z)$): ターゲットデータ ($D_{tar}$) と補助データ ($D_{aux}$) の混合に対して学習される。$D_{aux}$ にはアクションラベルが含まれていないため、このモデルはアクションを、観測された遷移のみから推論される潜在変数として扱う。

   • これは、観測された遷移（ここで $x_t$ は観測からエンコードされた潜在状態である）から直接潜在アクションを推論するために、逆ダイナミクスモデル (IDM) $q_\phi(z_t | x_t, x_{t+1})$ を利用する。
   • また、将来の観測を予測するために、共有された順ダイナミクスモデル $p_\theta(x_{t+1} | x_t, z_t)$ を使用する。
   • 原理： IDMと順ダイナミクスをすべてのデータソースで共有することにより、モデルは潜在アクションが環境にどのように影響するかによって定義されることを強制し、ソース不変性を確保する。

2. ターゲットモデル ($p(S, A, Z)$): ラベル付きのターゲットデータ ($D_{tar}$) のみに対して学習される。

   • これには、実行可能なロボットのアクションと固有感覚状態から潜在アクションを推論するアクションエンコーダ $q_\eta(z_t | s_t, a_t)$ が含まれる。
   • また、アクション再構成項 $\log p_\theta(a_t | z_t)$ を含み、潜在空間がターゲットロボットの特定の制御セマンティクスに接地された状態であることを保証する。

アライメントメカニズム：
これら2つのモデルを結合するために、著者らは非対称KLダイバージェンス制約 ($C_{KL}$) を導入している。この制約は、ターゲットデータセット上において、IDMの事後分布をアクションエンコーダの事後分布と一致させる。

• 非対称性（ターゲットエンコーダへのストップグラディエントの使用）により、IDMは、補助データからの曖昧な信号によって歪められることなく、ターゲットデータから「特権的な」制御セマンティクスを吸収することを保証する。
• 結合された目的関数は、両方のモデルの負の証拠下限（ELBO）とアライメント制約を最小化し、あらゆる遷移が共有された制御認識の潜在アクションとして再ラベル付け可能な、統一された潜在空間を構築する。

注： 著者らは、操作対象のオブジェクトのダイナミクスに焦点を絞るために、生のRGBフレームの代わりにオブジェクトセグメンテーションマスクを観測として使用するバリアントについても調査している。

ステージ2：ワールドモデルに整合された行動クローニング (BC)

GLAMモデルが事前学習され、凍結された後、それは潜在アクションのアンカーとして機能する：

1. 再ラベル付け： $D_{tar}$ と $D_{aux}$ のすべての遷移は、IDMの事後平均を用いて、推論された潜在アクション $z_t$ で再ラベル付けされる。
2. ポリシー学習： 下流の行動クローニングポリシー（具体的には軽量な回帰ポリシーであるMIP）が、これらの潜在アクションチャンクへの観測のマッピングを学習する。
3. 実行： ポリシーの出力（潜在アクション）は、ターゲットモデルのアクションデコーダを使用して、実行可能なロボットアクションへとデコードされる。

このアプローチにより、ラベルのない補助データがBCポリシーの直接的な教師信号として機能することが可能になり、高価なターゲットロボットのテレオペレーションを効果的に代替できる。

主な貢献

1. 原理的な表現学習： 本論文は、ヒューリスティックなアライメントから、物理的な予測に接地されたアクション表現の学習へとパラダイムを転換させている。アクションは、そのソースに関わらず、同じ環境遷移を生み出す場合にアライメントされる。
2. GLAMアーキテクチャ： 非対称KLアライメントと共有順ダイナミクスによって連結された、デュアルモデル生成フレームワーク（異種混合モデル + ターゲットモデル）の導入。これにより、ソース不変（混合データから学習）であり、かつ制御認識（ターゲットロボットのアクションに接地）された潜在空間が構築される。
3. データ効率： 本手法は、異種混合でラベルのないデータが、ターゲットロボットのデモンストレーションを効果的に代替できることを示しており、信頼性の高い展開のためのデータ要件を大幅に削減する。
4. オブジェクト中心の接地： 操作対象の物理学に焦点を当てることで転移性を高めるために、オブジェクトマスクを観測として使用する探索を行っている。

実験結果

著者らは、5つの操作タスク（実世界の3タスク：リフティング、ピック・アンド・プレース、ノックダウン、およびシミュレーションの2タスク：2キューブおよび3キューブスタッキング）においてGLAMを評価した。

• 性能向上： GLAMに整合されたポリシーは、行動クローニングのベースライン（MIP）および従来の潜在アクション手法（CLAM、LAPA）を大幅に上回った。
  • 同様のデータ不足設定において、タスク成功率で平均 +48% の向上を達成した。
  • 複雑な二腕操作の「stack-three」タスク（通常は数百のデモンストレーションを必要とする）において、GLAMは 72.7% の成功率を達成したが、すべてのベースラインは失敗した（≤4%）。
• クロスソース転移： 定性的な実験により、ラベルのないソース（例：UMIハンドヘルドシミュレーション）から推論された潜在アクションが、アクションラベルなしでターゲットロボット（Kinova）上で正常にデコードおよび実行可能であることが確認された。これは潜在空間のアライメントを検証している。
• データ効率： スケーリング実験において、GLAM-O（オブジェクトマスクを使用）は、500個のターゲット軌跡のみで学習された標準的なBCポリシーの性能に対し、400個の補助軌跡で拡張された100個のターゲット軌跡を用いて同等の性能を達成した。これは、補助データがパフォーマンス向上の観点から、ターゲットデータとほぼ1対1の割合で代替できることを示唆している。
• オブジェクトマスク： オブジェクトマスクを観測として使用することは、特に「knock-down」（+25%）や「stack-three」（+16%）のような複雑なタスクにおいて、性能を一貫して向上させ、オブジェクト中心の接地が転移性を高めるという仮説を支持した。

重要性と主張

本論文は、GLAMが模倣学習におけるデータボトルネックを克服する、異種混合データからの学習のためのパラダイムを提供すると主張している。アクションを環境遷移に接地された潜在変数として扱うことで、本手法は手作業によるアライメントレシピの必要性を排除する。

著者らは、GLAMが以下の特性を持つことを強調している：

• ラベル付きデータとラベルなしデータを、単一のソース不変な潜在空間へと統合する。
• 安価で豊富な補助データ（シミュレーションやハンドヘルドデバイスのデータなど）を、ターゲットロボットの監督として直接使用することを可能にする。
• 大規模な事前学習や大規模なオンライン相互作用を必要とせずに、データ不足の設定において最先端の性能を達成する。

本研究は、多様で不完全なデータソースを活用することで、能力の高いポリシーを現実世界の「ロングテール」のタスクへとスケールアップさせるためのステップとして提示されている。