テクニカル・サマリー：APEX – 精密な操作のための適応型方策実行（Adaptive Policy Execution）

1. 問題定義：テスト時における実行ギャップ（The Test-Time Execution Gap）

視覚運動（visuomotor）やVision-Language-Action (VLA) 方策を含む現代の模倣学習システムは、通常、高レベルの動作参照（例：関節ターゲットやエンドエフェクタのポーズ）を出力し、それが比例微分（PD）制御などの低レベルコントローラによって実行されます。しかし、方策が指令する参照値と、ロボットが実際に実現する運動との間には、「テスト時における実行ギャップ」と呼ばれる決定的な乖離が存在します。

このギャップは、主に以下の2つの要因から生じます：

1. 不十分な高レベル出力： 方策の出力は、速度や加速度といった高次の参照信号を欠いていることが多く、また不連続性を含む場合があり、これらは精密な低レベル追従には不十分です。
2. 不完全な低レベルダイナミクス： 商用コントローラは、モデル化されていないダイナミクス、パラメータの不確実性、およびアクセス不可能なゲインパラメータ（$K_p, K_d$）を伴って動作することが一般的です。

既存の解決策は、方策アーキテクチャの変更、残差学習による再学習、あるいはコントローラの変更といった、侵襲的な修正を必要とするのが一般的です。これらのアプローチは、方策とコントローラがアクセス不可能な「ブラックボックス」として扱われる大規模な学習済みモデルや、プロプライエタリな商用プラットフォームにおいては、しばしば非現実的です。ここで扱われる中心的な問いは、**「方策もコントローラも変更することなく、実行ギャップを埋めることはできるか？」**という点です。

2. 手法：APEXフレームワーク

著者らは、高レベルの方策と低レベルのコントローラの間に挿入される、プラグアンドプレイ型のフレームワークであるAdaptive Policy EXecution (APEX) を提案しています。高速な感覚運動ループが、高レベルの計画を再生成することなく、オンザフライで偏差を修正するという生物学的運動制御に触発されたAPEXは、方策とコントローラの双方に手を加えることなく動作するオンライン補正層として機能します。

APEXは以下の2段階で機能します：

A. 適応型パッシブフィルタリング（信号再構成）

方策の出力（$a_\pi$）は、動的な実現可能性に必要な速度（$\dot{a}$）や加速度（$\ddot{a}$）の信号を欠いていることが多いため、APEXはまず、適応型パッシブフィルタを用いて、滑らかで動的に実現可能な参照（$\bar{a}$）を再構成します。

• このフィルタは、追従誤差 $e_a = a_\pi - a$ によって駆動されます。
• 内部的に明確に定義された $\dot{\bar{a}}$ および $\ddot{\bar{a}}$ 信号を生成し、コントローラに供給される参照が滑らかで帯域制限されていることを保証します。

B. テスト時の適応型補正

未知のシステムダイナミクス（慣性 $J$）およびアクセス不可能なコントローラゲイン（$K_p, K_d$）を補償するために、APEXはフィルタリングされた参照に適応項を加えます。コントローラに送られる指令 $a_r$ は次のように定式化されます：
$$a_r = \bar{a} + \hat{w}[\hat{J}\ddot{\bar{a}} + \alpha e_a] + \hat{w}_d \dot{\bar{a}}$$
ここで：

• $\hat{w}, \hat{w}_d, \hat{J}$ は、未知のパラメータ（$1/K_p, K_d/K_p, J$）の時変推定値です。
• これらの係数は、生の方策出力を微分することなく、リアルタイムの追従誤差とフィルタリングされた参照速度によって駆動される適応則を通じて、オンラインで更新されます。

理論的保証

本論文では、未知のパラメータと有界な外乱を持つシステムに対して、閉ループシステムの信号が有界であり、追従誤差が残留集合に収束することを証明する安定性解析（定理1）を提供しています。これにより、ロボットのダイナミクスに関する正確な知識がなくても、漸近的な追従性能が保証されます。

3. 主な貢献

1. ブラックボックスへの適合性： APEXは、方策アーキテクチャの変更、再学習、または低レベルコントローラの内部パラメータへのアクセスを必要とせずに、実行ギャップを埋める最初のフレームワークです。
2. 二段階の補正： 高次の信号を再構成するためのパッシブフィルタと、未知のダイナミクスを補償するための適応則を組み合わせることで、方策側のアーティファクトとコントローラ側の制限の両方に対処しています。
3. 証明可能な収束性： 本フレームワークは、標準的な適応制御の仮定の下で、理論的な収束保証を提供します。
4. 汎用性： 本手法は、特定の方策クラス（決定的または生成的）やアクション表現（関節空間またはタスク空間）に依存しません。

4. 実験結果

著者らは、シミュレーションおよび実世界（UR5）の設定において、ACT、Diffusion Policy、Flow Matching、およびVLA $\pi_{0.5}$ の4つの方策クラスを用いてAPEXを評価しました。

• 実行ギャップの分離： 「デモンストレーション・リプレイ」実験（エキスパートの軌跡を直接コントローラに再生し、方策による誤差を除去したもの）において、APEXは追従誤差を41.2%（30.84 mradから18.15 mradへ）減少させ、成功率を62.5%から81.3%に向上させました。これにより、低レベルコントローラの不完全さだけで、かなりの失敗が生じることが確認されました。
• 方策とコントローラの架け橋： 学習済みの方策と組み合わせた際、APEXはテストされたすべての方策クラスにおいて、成功率を4.8〜25.8パーセントポイント向上させました。
  • 特に、PegInsertionタスク（半径3mmのクリアランス）において顕著な利得が見られ、実世界のUR5におけるFlow Matchingの成功率は20%から35%に向上しました。
  • APEXは、変化するPDコントローラゲイン（$K_p, K_d$）に対しても堅牢性を示し、固定パラメータの補正を上回る性能を発揮しました。
• クロスプラットフォーム検証： 本フレームワークは、異なるシミュレータ（ManiSkill, LIBERO）、アクション表現（関節 vs エンドエフェクタ）、および実世界のハードウェアにわたって正常に汎用化されました。

5. 意義と主張

本論文は、テスト時における実行ギャップは、精密な操作において根本的なボトルネックであり、方策のトレーニングの改善に注力するあまり見落とされがちな問題であると主張しています。APEXの意義は、単に実行ストリームを補正することによって、十分に訓練された方策から失われたパフォーマンスを回復できる点にあります。

著者らは以下を強調しています：

• エキスパートレベルのアクション参照であっても、コントローラの制限により、商用のハードウェア上では正確に実行できないことがあります。
• 方策とコントローラのインターフェースにおける軽量で非侵襲的な補正層は、このギャップを埋めるのに十分です。
• APEXの適応的な性質により、システムダイナミクスが未知である場合や、コントローラが「ブラックボックス」である場合でも効果的に機能するため、大規模な模倣学習モデルの実世界への展開において非常に実用的です。

認められた限界： 現在の実装では適応ゲインの手動チューニングが必要であり、外乱項は明示的に推定されるのではなく有界として扱われているため、誤差がゼロに収束するのではなく、有界な範囲に留まることになります。今後の課題として、自己チューニングメカニズムや外乱オブザーバの統合を目指しています。