技術要約：ハイブリッド接触力学下における物理情報に基づく目標条件付き強化学習

問題提起

目標条件付き強化学習（Goal-Conditioned Reinforcement Learning; GCRL）は、疎なフィードバックを用いて任意の目標に対して汎化する方策の学習を目的としている。物理情報に基づくGCRL（Physics-informed GCRL; Pi-GCRL）は、最適制御に触発された帰納バイアス（具体的には偏微分方程式の制約）をナビゲーションや物体フリーの目標到達に適用することに成功してきたが、**接触が豊富なロボット操作（contact-rich robotic manipulation）**への適用においては依然として問題がある。

接触が豊富な環境では、システムのダイナミクスはハイブリッドであり、自由空間での運動、接触を介した相互作用、および物体の搬送の間を交互に遷移する。これらの遷移はモード依存の制御可能性（controllability）を引き起こす。例えば、特定の接触モード（例：把持していないとき）では、特定の状態座標（例：物体の位置）が局所的に制御不能になる可能性がある。著者らは、既存のPi-GCRL手法が（全状態に対するエイケナール正則化を通常適用するため）、接触が豊富な環境では問題が生じると主張している。なぜなら、エイケナール方程式の基礎となる仮定（等方的かつ完全制御可能なダイナミクス）がこれらの設定では崩れるからである。この不一致により、価値関数が歪み、制御不能な座標に沿った妥当な変化に対してペナルティを与えてしまい、方策の性能を低下させる。

手法

本論文は、この失敗モードの原理的な分析を提案し、これに対処するための2つの補完的な定式化、すなわち**接触認識正則化（Contact-Aware Regularization）と階層的分解（Hierarchical Decomposition）**を導入する。

1. 理論的分析：エイケナールの不一致

著者らは、ハイブリッドシステムにおける全状態エイケナール正則化の失敗を定式化する。操作を、制御可能な座標 $x$ と局所的に制御不能な座標 $z$（例：把持していないときの物体ポーズ）からなる状態 $s = (x, z)$ を持つハイブリッドシステムとしてモデル化する。

• 命題 4.1 は、最適コスト・トゥ・ゴー $d^*$ が局所的に制御不能な座標に依存する場合（$\nabla_z d^* \neq 0$）、全状態エイケナール制約（$\|\nabla_s d^*\| = 1$）が局所的なハミルトン・ヤコビ・ベルマン（HJB）の特性付けと矛盾することを示す。
• エイケナール制約は、瞬時的な運動が不可能な方向に対しても誤って勾配予算を割り当ててしまうが、HJB方程式は実行可能な方向にのみ勾配を制約する。

2. 接触認識型物理情報価値学習

この不一致を解決するために、著者らは全状態の勾配ノルム制約を、観測された実行可能な遷移に整合した方向性制約に置き換えることを提案する。

• 勾配ノルム全体を罰する代わりに、経験的な遷移ベクトル $(s' - s)$ を用いて連続時間ダイナミクスの方向を近似する。
• これにより、接触認識HJB型残差（Contact-Aware HJB-style residual）（式 4）が得られる：
  $$\mathcal{L}_{CA-HJB} = \mathbb{E} \left[ \left( \nabla_s d_\theta(s, g)^\top \frac{s' - s}{\|s' - s\| + \epsilon} + 1 \right)^2 \right]$$
• この定式化は、価値勾配が実際に運動が観測された方向にのみ制約されることを保証し、特定の接触モードにおける制御不能な座標を事実上無視する。

3. 物理情報階層フロー（Pi-H-Flow）

著者らは、正則化を制御可能性にさらに適合させるための階層的フレームワークを導入する。

• 高レベル方策 ($\pi_{hi}$): フローベースのモデルが、制御可能な表現 $X$（物体ポーズの座標を除く）におけるサブゴール $x_g$ を生成する。これにより、高レベルの物体中心の推論と低レベルの実行を分離する。
• 低レベル方策 ($\pi_{lo}$): 完全に制御可能な表現 $X$ 内で動作し、現在の状態とサブゴールからプリミティブなアクションへとマッピングする。
• 正則化: 物理情報に基づく制約（エイケナールまたはHJB）は、ダイナミクスが完全制御可能であり等方的な仮定がより妥当な、制御可能な表現 $X$ 内の低レベルにおいてのみ適用される。
• 高レベルのフローは将来の制御可能な状態を生成するように訓練され、低レベルの学習者は接触認識HJB残差を用いて価値関数を学習する。

主な貢献

1. 原理的な分析: 本論文は、全状態エイケナール正則化が、異方的なダイナミクスによる問題とは別に、ハイブリッドダイナミクスに対して構造的に不整合であることを特定し、証明した。
2. 新しい定式化:
   • 価値勾配を、実行可能な遷移方向にのみ制約する接触認識残差。
   • 制御可能なダイナミクスを隔離して物理情報正則化を行うための階層的分解。
3. 実証的検証: 著者らは、シミュレーション（OGBench）および実世界のUR5eロボットを用いたオフライン目標条件付き操作タスクを通じて、提案手法を検証した。

実験結果

提案手法は、OGBenchスイート（ダブル、トリプル、クアドラプル・キューブ再配置タスク）および実世界のピックアンドプレース・タスクで評価された。

• シミュレーション (OGBench):

  • ベースラインの失敗: 標準的なエイケナール正則化手法（Eik-GCIVL, Eik-QRL）は信頼性のある収束に失敗し、理論的な不整合が確認された。
  • 接触認識による改善: 接触認識型のHJBバリアント（HJB-GCIVL）は、特に複雑なマルチオブジェクト・シナリオにおいて、全状態エイケナール手法を大幅に上回った。
  • 階層化の利点: 階層的フレームワーク（Pi-H-Flow-HJB-GCIVL）が最も高い成功率と最速の収束を達成した。
  • アブレーション: 低レベルで制御可能な「関節＋接触（Joints+Contacts）」表現を使用することで、全状態を使用する場合と比較して一貫して性能が向上（成功率で10〜20%の向上）し、状態分解の有用性が検証された。

• 実世界実験:

  • スクリプト化されたMPCポリシーから収集された約6万ステップのオフラインデータセットで訓練。
  • 提案された Pi-H-Flow-HJB-GCIVL は、最も高い成功率（10cm閾値で75%、5cmで60%、3cmで50%）を達成し、非物理情報ベースのベースラインおよび非階層的な物理情報ベースのバリアントの両方を上回った。
  • 定性的な結果は、方策がずれた把持から回復したり、代替の相互作用モード（例：物体のスライド）を利用したりできることを示した。

意義と主張

本論文は、接触が豊富な操作へのPi-GCRLの拡張に向けた原理的な一歩を提供すると主張している。エイケナール制約とハイブリッドダイナミクスの間の幾何学的な不一致を分析することで、著者らは、ナイーブな物理情報バイアスの適用が有害になり得ることを示している。

その意義は以下の点にある：

1. 理論的な欠陥の修正: リプシッツ連続性（エイケナール制約によって強制されるもの）はハイブリッドシステムには不十分であり、制約は局所的な制御可能性を尊重しなければならないことを示した。
2. 実践的なフレームワーク: フローベースのサブゴール生成と接触認識の価値学習を組み合わせた、スケーラブルな階層的アーキテクチャを提供した。
3. 実世界への適用可能性: これらの理論的な洞察が、限られたオフラインデータを用いて、物理ロボットの性能向上に直結することを実証した。

著者らは、現在のアルゴリズムが依然としてデータ要求量が多く、HJB正則化が本質的に安全性やアクチュエータの制限を保証するものではないことを指摘し、限界についても謙虚に述べている。今後の課題として、より明示的な物理モデルや安全制約を統合することを提案している。