技術要約: AutoIntervene

問題提起

アクション・チャンキング（action-chunking）型ビジュオモーター・ポリシーは、単一ステップのコマンドではなく、将来の短いアクション・シーケンスを予測することで、模倣学習における時間的一貫性を向上させてきた。しかし、これらのポリシーはデプロイ時の分布シフトに対して脆弱なままである。微細な知覚エラー、接触の失敗、あるいは蓄積された実行ドリフトによって、ロボットがデモンストレーション・データによって十分にカバーされていない状態へと移動してしまうことがある。一度このようなサポートされていない状態に入ると、アクション・チャンキング・ポリシーは観測された現実と矛盾する滑らかなアクション・シーケンスを生成し続け、掴みの不一致やサブタスク遷移の未完了といったタスク失敗を招くことが多い。既存の手法であるDARTは、ノイズ注入を通じてカバレッジを向上させるが、デプロイ時に不支持な挙動を検知したり、修正制御を要求したりするためのメカニズムを欠いている。さらに、標準的なインタラクティブ模倣学習（例：DAgger）は、学習器が訪問したすべての状態に対してエキスパートにクエリを投げるため非効率的であり、また他のランタイム・モニターは、特定の失敗モード（例：軌跡レベルのOODや局所的な摂動）に焦点を当てていることが多く、双方向の制御転送とターゲットを絞ったデータ集約のための統一されたフレームワークを持たない。

手法: AutoIntervene

AutoInterveneは、成功したタスク実行から構築された「視覚・アクション・サポート・メモリ（Visual-Action Support Memory）」に基づき、自律ポリシーと人間オペレーター間の制御権を選択的に転送することで、アクション・チャンキング・ポリシーのデプロイ信頼性を向上させるために設計されたオンライン・フレームワークである。これは、**介入ループ（Intervention Loop）とポリシー適応（Policy Adaptation）**という2つの主要なステージで動作する。

1. 介入ループ

このループはデプロイされたポリシーを監視し、成功したタスク実行から構築された「視覚・アクション・サポート・メモリ」に基づいて制御権を管理する。プロセスは3つのモジュールで構成される：

• 視覚・アクション・クエリ構築: 各評価ステップにおいて、システムは現在のマルチビュー視覚埋め込み（$E_t$）と、ポリシーが提案するアクション・チャンクのプレフィックス（$A_t$）を組み合わせたクエリ $Q_t$ を構築する。
• 視覚・アクション・サポート評価: クエリはメモリ $M$ に対して評価され、2つのスカラー値が生成される：
  • 視覚サポート・スコア ($s_{\beta,t}$): 現在の観測と保存された視覚埋め込みとの間の最小クロスビュー・コサイン類似度を測定する。
  • アクション・リスク・スコア ($\bar{r}_{\beta,t}$): 提案されたアクションと保存されたアクション・チャンクとの間の正規化されたユークリッド距離を測定し、直近の評価値で平均化したものである。
  • モード特異的リトリーバル: システムは、異なる制御状態を扱うために2つの異なるリトリーバル・スコープを採用する：
    • グローバル・サポート（オペレーター制御）: オペレーターが制御しているとき、システムはメモリの全体からリトリーバルを行う。これにより、オペレーターによるリカバリー後に到達した、あらゆる有効なタスクフェーズからポリシーが自律性を回復することを可能にする。
    • フェーズ・ローカル・サポート（ポリシー制御）: ポリシーが制御しているとき、システムはリトリーバルを最も一致度の高い $J$ 個の軌跡の「フォワード・ウィンドウ」に限定する。これにより、現在の状態を、視覚的には類似しているが時間的に誤ったタスクのフェーズに誤って一致させることを防ぐ。
• 双方向制御権選択: 制御の切り替えは、2つの方向に対して個別にキャリブレーションされた閾値によって制御される：
  • ポリシー $\to$ オペレーター: 視覚サポートが閾値を下回るか、アクション・リスクが閾値を超えた場合にトリガーされる。これは、ポリシーがサポートされていない状態に入っていることを示す。
  • オペレーター $\to$ ポリシー: オペレーターが状態を回復し、その後のポリシーの提案がグローバル・スコープ内で一貫してサポート基準を満たす場合にのみトリガーされる。
  • キャリブレーション: 閾値は手動で調整されるのではなく、保持された成功したエキスパート・デモンストレーション（$D_{cal}$）上で計算されたスコアの経験的分位数からオフラインで導出される。これにより、基準が現在の適応ラウンドおよびリトリーバル・スコープに特有のものとなる。
  • 持続性: スコアの短期間の変動による振動を防ぐため、切り替えには連続した一貫した決定（$L_{pol}$ または $L_{op}$）が必要とされる。

2. ポリシー適応

成功したロールアウトからの介入セグメント（オペレーターがロボットを制御していた期間）は、個別の軌跡（$\Delta D^{(k)}$）として保持される。これらは次のラウンドの学習セットに追加される。新しいポリシーは、元のデータと新しい介入データの混合を用いて行動クローニング（Behavior Cloning）により学習される。その後、視覚・アクション・メモリは更新されたポリシーのエンコーダを使用して再構築され、デプロイ前に閾値が再キャリブレーションされる。これにより、学習器が誘発した失敗状態に監督を集中させる、選択的なDAggerスタイルのループが作成される。

主な貢献

本論文は、主に3つの貢献を述べている：

1. 双方向介入フレームワーク: フェーズ・ローカル・サポートを用いてポリシーからオペレーターへの転送（ポリシーの失敗検知）を制御し、グローバル・サポートを用いてオペレーターからポリシーへの復帰（ポリシーが任意の回復状態から再開できることの保証）を制御するシステム。
2. モード特異的視覚・アクション・キャリブレーション: 保持された成功デモンストレーションを用いて、各適応ラウンドにおける介入およびリカバリの閾値を自動的に計算する手順。これにより、スコアのカットオフに関する手動チューニングを排除する。
3. 効率的な反復改善: ターゲットを絞った介入軌跡が、追加のフル・デモンストレーションを収集する場合と比較して、大幅に少ないオペレーター制御時間で、反復的なポリシー改善をサポートすることを示す実証的証拠。

実験結果

著者らは、布製品（タオル、バッグ）の取り扱いや精密な組み立て（ペグの取り外し、箱の梱包）を含む、9つの実世界のバイマニュアル操作タスクにおいてAutoInterveneを評価した。

• ベースラインに対する成功率: 7つのタスクからなるメイン・ベンチマークにおいて、AutoInterveは2回の適応ラウンド（$R2$）後、平均成功率**80.0%**を達成した。これは、初期ポリシー（30.9%）、手動介入（68.6%）、および追加のフル・デモンストレーション収集（56.0%）を上回る数値である。
• データ効率: AutoInterveneは、より高い成功率を達成するために必要な追加のオペレーター制御時間を、追加のフル・デモンストレーション収集と比較して約74%削減した。また、サポートされている領域での「余剰なテール」データの収集を避けるために、自動的に介入を終了することで、手動スイッチングよりもオペレーター時間を削減した。
• 長期的タスク: 2つの長期的タスクにおいて、AutoInterveneは3ラウンドにわたる反復的な改善を示し、最終的な成功率（88%および48%）は、追加のフルデータを用いて学習されたポリシー（それぞれ52%および28%）を大幅に上回った。
• 汎用性: 本フレームワークは、アクション生成ヘッドの変更なしに、異なるアクション・ヘッド（ACT、Diffusion Policy、Flow Matching）間で正常に転移した。これは、モニタリング層がポリシーのアーキテクチャに依存しないことを示している。
• 信頼性: 「蓋付きボックスの梱包（Lidded Box Packing）」タスクにおける制御権受け渡し比較において、AutoInterveneはカットイン（介入開始）およびカットアウト（復帰）の両方の遷移において完璧な再現率と適合率（1.00）を達成し、誤トリガー率も0.00であった。対照的に、従来のモニター（LazyDAgger、RND-DAgger）は、失敗の見逃し、ポリシー制御への時期尚早な復帰、または高い誤トリガー率に悩まされた。アブレーション研究により、信頼性の高い双方向ハンドオフには、視覚サポートとアクション・リスクの両方が必要であることが確認された。

意義と主張

本論文は、AutoInterveneが、デプロイメントにおける模倣学習ポリシーの重要なギャップ、すなわち、ポリシーがデモンストレーションの分布から外れたことを検出し、修正のために人間へ安全に制御を戻すための堅牢で自動化されたメカニズムの欠如に対処していると主張している。アクション生成ヘッドからモニタリング・ロジックを切り離し、双方向のサポートベースのスイッチング・メカニズムを利用することで、AutoInterveneは以下を可能にする：

• ターゲットを絞ったデータ収集: 人間の監督をサポートされていない状態に厳密に限定することで、標準的なDAggerやフル・デモンストレーション収集よりも効率的なデータ集約プロセスを実現する。
• 自律的な回復: オペレーターが修正を行った後、状態がサポートされている限り、ポリシーが即座に制御を再開できるようにする（タスク全体を完了させる必要はない）。
• デプロイの信頼性: 分布シフトが避けられない実世界の接触豊富な環境において、脆弱なアクション・チャンキング・ポリシーをデプロイするための実用的なソリューションを提供する。

著者らは、AutoInterveneを基礎となるポリシー・アーキテクチャの代替物としてではなく、模倣学習システムの堅牢性とデータ効率を高めるために必要な、デプロイメント層のコンポーネントとして位置づけている。