Ergodic Imitation for Adaptive Exploration around Demonstrations

技術的概要：実証データ周辺への適応的探索のためのエルゴード模倣

問題提起
ロボティクスにおいて、模倣学習（IL）は、環境変化、不完全な観測、または制御誤差に起因する、訓練条件と展開環境との不一致という重大な課題に直面している。ロボットがそのような不一致下で名义軌道に従おうとすると、しばしば立ち往生し、タスクを完了できなくなる。深層生成モデルは IL に用いられてきたが、それらは頻繁に実証データに過剰適合し、汎化可能な方策を学習するのではなく、特定の動作系列を記憶してしまう。その結果、現在の手法は最小限の分布シフト下でも脆い。さらに、既存の適応的探索手法は主に離散的遷移に制限されており、ロボット組立などのタスクにおける微妙な状態空間調整に必要な連続的な探索能力を欠いている。核心的な問題は、訓練分布から環境が逸脱した際に、硬直した追跡から適応的に探索へ移行できるが、なおかつ実証データに基づいたオンライン戦略の必要性である。

手法
著者は、追跡と探索を単一のコントローラー内で統合する「適応的エルゴード模倣」アプローチを提案する。この手法は、明示的な動作ラベルを省略し、状態空間のカバレッジに焦点を当てるために、専門家状態軌道のデータセット上で動作する。

1. 位相取得と進行度推定:
   再計画の各間隔において、システムは現在のロボット状態に基づいて最も関連するコンテキストを見つけるために専門家データセットを照会する。現在の状態を実証軌道の最も近い点と比較することで、「位相誤差」$e(t)$ を定義する。仮想の基準時計 $\tau(t)$ を用いて進行度を追跡する。

   • 追跡モード: 位相誤差が閾値（$\epsilon$）以内の場合、時計は進み、システムは実証データを追跡する。
   • 探索モード: 誤差が閾値を超えた場合（停滞を示す）、時計は停止し、停滞カウンターがインクリメントされる。この信号は探索への移行をトリガーする。

2. 幾何学ガイド分布生成:
   この手法は、温度のような進行度変数 $\theta$ に基づいて 3 つの成分を混合する確率微分方程式（SDE）を用いて、目標粒子分布 $\{q_j\}$ を生成する。

   • 名义引力: 参照軌道上の最も近い点に向かって粒子を引っ張るドリフト項。
   • ヒートカーネルスコア: 粒子を参照密度の高い領域へ偏らせるスコアベースの項。
   • 異方性拡散: 軌道の接線方向よりも法線方向で大きく設計された拡散項。これは軌道に沿った一貫性を維持しつつ、経路に垂直な方向への探索を促進する。

   位相誤差と停滞カウンターが増加するにつれて、拡散エンベロープは広がり、ロボットが参照軌道のより広い近傍を探索することを可能にする。

3. MMD を用いたカバレッジ認識型エルゴード制御:
   システムは、ロボットの状態訪問の時間平均と生成された目標分布との差を最小化するために、最大平均不一致（MMD）メトリックを用いた再帰的視野コントローラーを採用する。MMD 目的関数に直近の 10 軌道を含めることで、コントローラーは新しい計画が以前にカバーされた領域を再踏査するのではなく、それらを補完することを保証する。この枠組みは、幾何学認識カーネルを利用することで、$SE(3)$ や他の曲がった空間へ自然に拡張される。

主要な貢献
本論文は、4 つの主要な貢献を概説する。

• 適応的エルゴード模倣によって支配される、硬直した模倣から適応的探索までの連続的なスペクトルの挙動を可能にする統合手法。
• 実証データを通じたタスク進行度推定メカニズムによる、目標分布の適応的修正。
• 追跡と探索の両方を誘発する目標分布を合成するための、幾何学ガイド異方性拡散の利用。
• 検索ベースの模倣学習枠組み内への MMD エルゴードメトリックの統合。

結果
この手法は、狭い垂直方向の隙間と散らかった目標領域を特徴とする 2 次元ナビゲーション環境で評価された。

• 実験設定: 成功した実証は、名义レイアウトで収集された。テスト中は、展開の不一致を誘発するために隙間の位置がシフトされた。
• 性能: エージェントが壁によってブロックされた場合（不一致シナリオ）、蓄積された位相誤差を通じてタスク進行度の不一致を検知した。これは異方性拡散を介した目標分布の拡大をトリガーし、エルゴードコントローラーが障害物を探索して迂回することを可能にした。
• 定量的分析: 名义レイアウトの周囲のガウス分布からサンプリングされた 50 のゲート位置オフセットを含むテストにおいて、提案手法は一貫して解を見つけた。対照的に、著者は、シフトした隙間位置を処理する能力が欠如しているため、検索ベースまたは生成ベースの手法はこれらの分布外シナリオにおいて 0% の成功率しか達成しない可能性があると指摘している。

意義と主張
本論文は、エルゴード制御を単なる面積カバレッジや探索のツールとしてではなく、模倣学習における適応的実行のための原理的なメカニズムとして位置づけている。その意義は、純粋な軌道再生から状況適応へのパラダイムシフトにある。追跡を探索の特殊なケースとして扱うことで、この手法は環境が許容するときに実証の時間的特徴を再現しつつ、ロボットが「立ち往生」した際に自律的にエルゴード探索へ移行することを可能にする。このアプローチは、実証データに基づきつつも環境の逸脱に対処可能な連続的な挙動スペクトルを提供することで、現在の IL 手法の脆さに対処する。