技術的サマリー：二腕移動マニピュレーションのための形態等変性フローマッチング

問題定義

二腕ロボットを含む移動マニピュレーション（MoMa）は、高次元システムの協調制御を必要とする。模倣学習（IL）、特に行動クローニング（BC）は、これらのタスクを解決する標準的なアプローチであるが、しばしばサンプル効率の低さと汎化性能の欠如に悩まされ、膨大な量の専門家デモンストレーションデータを必要とする。二腕システムにおいて重要でありながら頻繁に見過ごされている帰納的バイアスが両側形態対称性である。人間と同様に、ほとんどの二腕ロボットは、その矢状面に対して反射対称性を有する。現在の IL 手法は通常、この事前知識を無視しており、ある構成でタスクを解決する方策が、本質的にその鏡像の対応物も解決すべきという事実を活用できていない。本論文は、二腕 MoMa におけるサンプル効率、汎化性能、および最適性を向上させるため、この対称性を形式化する課題に取り組む。

手法

著者らは、方策学習の問題を**フローマッチング（FM）**フレームワーク内の対称性制約付き最適化問題として定式化する。

1. 問題定式化

タスクは、部分観測マルコフ決定過程（POMDP）としてモデル化される。核心的な仮説は、そのロボットの形態によって誘発される一意の反射対称性（$g_r$）が POMDP に許容されるというものである。この対称性は、状態（$S$）、行動（$A$）、および観測（$O$）空間に作用する。著者らは、最適方策$\pi_\theta$が$C_2$-不変性制約を満たさなければならないと主張する：
$$\pi_\theta(a|x) = \pi_\theta(g_r \triangleright_A a | g_r \triangleright_X x)$$
これは、入力観測が反射された場合、出力行動分布もそれに応じて反射されなければならないことを意味し、両利きの方策をもたらす。

2. 等変性を伴うフローマッチング

著者らはフローマッチングを利用し、方策を速度場$v_\theta$によって支配される連続時間常微分方程式（ODE）の積分としてモデル化する。目標は、事前分布（ガウスノイズ）を専門家行動分布に変換する速度場を学習することである。

対称性制約を強制するために、速度場$v_\theta$は$G$-等変性でなければならない。本論文は、FM 目的関数内でこれを強制するための 3 つの異なる戦略を提案する：

• データ拡張（SymAug）： 学習データセットに反射された観測 - 行動ペアを追加することで拡張する。これは、学習中にモデルを鏡像の例に曝すことで、制約を緩和する。
• 等変性整合性損失（EquivReg）： 学習損失に正則化項を追加する。この項は、反射された入力に対する速度場の出力と、元の入力に対する速度場の出力の反射との間の距離を最小化することで、等変性からの逸脱にペナルティを課す。
• 明示的等変性ネットワーク（EquivNet）： 速度場$v_\theta$を、新しい$G$-等変性トランスフォーマを用いてパラメータ化する。このアーキテクチャでは、すべてのモジュールが任意のコンパクト群$G$（特に反射のための$C_2$）に対して等変性となるように設計されており、分布外の入力を含むすべての入力に対して等変性制約が保持されることを保証する。

主要な貢献

1. FM における対称性の形式化： 本論文は、フローマッチングフレームワーク内で IL に対する反射対称性誘発等変性を形式化し、これらの制約を強制するための 2 つの主要な戦略（等変性ニューラルネットワークによるもの、または正則化によるもの）を実証する。
2. 新規アーキテクチャ： 著者らは、任意の有限群を処理でき、特に両利きの二腕制御を可能にするために特化された$G$-等変性トランスフォーマを導入する。
3. 実証的検証： 本研究は、形態対称性を活用することがサンプル効率と汎化性能を向上させ、学習分布から欠落していた鏡像タスクへのゼロショット転移を可能にすることを示す。

実験結果

提案された手法は、Push-T ベンチマーク、TIAGo++ ロボットを使用したシミュレーション上の二腕 MoMa タスク（箱の持ち上げ、キャビネットの開け、到達）、および実世界の TIAGo++ タスクにおいて評価された。

• サンプル効率： 共有データレジーム（元のデモンストレーションと反射されたデモンストレーションの両方が利用可能な場合）において、対称性に基づく方策（SymAug、EquivReg、EquivNet）は、対称性を無視したベースライン（FM-BL）を一貫して上回った。平均して、サンプル効率で2 倍の向上を達成した。
• ゼロショット汎化： 元の構成で学習された方策は、追加の学習なしに鏡像構成（$g_r$）へ正常に転移した。
  • シミュレーション： 箱の持ち上げタスクにおいて、ベースラインは鏡像タスクで 0% の成功率であったのに対し、対称性を考慮した手法は約 66–72% の成功率を達成した。キャビネット開けでは、鏡像の成功率はベースラインの 0% から約 83–88% に上昇した。
  • 実世界： 実機の TIAGo++ ロボットでピックアンドプレースタスクを実行した際、左腕（元）で学習された方策は、ゼロショット設定で右腕（鏡像）をテストした際に 100% の成功率を達成した。
• 最適性と難易度スケーリング： 本論文は、対称性制約を最適性制約として強制すること（EquivReg および EquivNet 経由）が、単純なデータ拡張よりも良い結果をもたらすことを指摘している。特に箱の持ち上げのような困難なタスクにおいて顕著であった。さらに、ベースラインに対する性能向上は、タスクの難易度（例えば、より広い目標分布）とともに増加し、対称性の事前知識が複雑さに対してよくスケーリングすることを示唆している。

意義と主張

本論文は、形態対称性が、両利きの生成方策学習のための効果的で、汎用性があり、スケーラブルな帰納的バイアスであると主張する。学習アルゴリズムに両側対称性の物理的現実を明示的に組み込むことで、著者らは、ロボットがより効率的に学習し、追加のデータ収集を必要とせずに未見の鏡像シナリオへ汎化できることを実証する。

この研究は、SE(3) 等変性または移動に焦点を当てた従来の対称性ベースの IL とは異なり、二腕移動マニピュレーションを具体的にターゲットとし、明示的等変性アーキテクチャを備えたフローマッチングを利用する点で区別される。著者らは、対称性を単なるデータ拡張として扱うのではなく、等変性ネットワークによるハード制約、または強力な正則化として扱うことが優れており、より能力が高くデータ効率的なサービスロボットへの堅牢な道筋を提供すると結論づけている。