From Action Labels to Sets: Rethinking Action Supervision for Imitation Learning from Corrective Feedback

以下は、「行動ラベルから集合へ：修正フィードバックからの模倣学習における行動監督の再考」という論文の詳細な技術的サマリーです。

1. 問題提起

本論文は、**インタラクティブ模倣学習（IIL）および行動クローニング（BC）における根本的な限界、すなわちポイントごとの監督（pointwise supervision）**の脆さに対処します。

• 課題: 従来の BC は、人間のデモンストレーションや修正フィードバックを、正確なポイントごとの行動目標（$a^*$）として扱います。完全なデータであれば効果的ですが、人間のフィードバックがノイズを含んでいる場合、最適でない場合、または相対的（方向は示すが大きさは示さない）な場合には、このアプローチは失敗します。
• 結果: 表現力豊かな方策クラス（エネルギーベースモデル（EBM）や拡散モデルなど）を使用する場合、ポイントごとの監督は、方策が特定の（おそらくノイズを含む）ラベルに過学習する原因となります。これにより、提供された行動の周りに鋭い局所最小値が形成され、方策が真の最適な行動から逸れてしまいます。
• 代替手段の限界:
  • ペアワイズ選好学習: ポイントごとのラベルよりも堅牢ですが、ペアワイズ比較（例：「行動 A は行動 B より優れている」）は、2 つの行動の相対的な順序のみを制約します。高次元の連続空間において、これは行動空間の残りの大部分をほとんど制約せず、方策が選好制約を満たしつつも、最適でない領域に高い確率を割り当てることを許容してしまいます。
• ギャップ: ポイントごとの BC よりも堅牢（ノイズ/最適性の欠如に対処するため）でありながら、ペアワイズ比較よりも情報豊富（行動空間を効果的に制約するため）な監督目的が必要です。

2. 手法：CLIC

著者らは、ポイントごとのラベルから集合値監督へと移行するフレームワークである**CLIC（Contrastive policy Learning from Interactive Corrections：インタラクティブ修正からの対比方策学習）**を提案します。

中核概念：望ましい行動集合

CLIC は、人間の修正を単一の目標行動として扱うのではなく、**望ましい行動集合（$\hat{A}$）**を定義するものとして解釈します。この集合には、実行された（最適でない）行動を除外しつつ、フィードバックと整合するすべての行動が含まれます。

• 絶対的修正: 人間が新しい行動 $a_h$ を提供する場合、望ましい集合は $a_h$ 周辺の領域（例：球体または多面体）となります。
• 相対的修正: 人間が現在の行動 $a_r$ を改善するための方向 $h$ を提供する場合、望ましい集合はその方向の円錐または半空間となり、特定の大きさにコミットしません。

主要コンポーネント

A. 望ましい行動集合の構築
本論文は、これらの集合に対する 2 つの具体的な幾何学的構築を定義します。

1. 多面体集合（CLIC-Half）: データ拡張から導出された複数の「半空間」制約を交差させることで構築されます。
   • 単一の修正 $(a_r, a_h)$ は、複数の対比ペア $(a^-_i, a^+_i)$ に拡張されます。
   • 各ペアは、$a^+_i$ に近い行動が優先される半空間を定義します。
   • これらの半空間の交差は、多面体（円錐に近似）を形成します。
   • パラメータ: 方向の確信度（$\alpha$）と大きさの確信度（$\epsilon$）が、集合の形状とサイズを制御します。
2. 円形集合（CLIC-Circular）: 絶対的修正に特化しています。
   • 人間の行動 $a_h$ を中心とし、ロボットの行動と人間の行動との距離に比例する半径を持つ球体を定義します。
   • これは、最適な行動が修正の近傍にあるという直観を捉えます。

B. 集約と収束

• 反復的洗練: 単一の修正では最適な行動を特定するには不十分なことが多いため、CLIC は時間経過に伴う複数の修正を集約します。
• 交差: 状態に対する全体の望ましい行動集合は、フィードバックバッファから導出された個々の集合すべての交差となります（$\hat{A}_{D_s} = \bigcap \hat{A}_i$）。
• 収束: 理論的には、教師が最適でない行動に対してフィードバックを提供し、かつ集合が常に少なくとも 1 つの最適行動を含んでいる限り、より多くのフィードバックが集約されるにつれて、これらの集合の交差は最適行動の集合（$A^*_s$）に収束します。

C. 方策形成目的関数
方策 $\pi_\theta$ をこれらの集合に整合させるために、CLIC は現在の方策と目標分布（$\pi_{target}$）との間のKL 発散を最小化します。
$$\ell_{KL} = \mathbb{E} [ KL(\pi_{target}(\cdot|s) \parallel \pi_\theta(\cdot|s)) ]$$

• 目標分布: 観測モデルを用いたベイズの定理を通じて定義されます。
  • 観測モデル: 望ましい集合内の行動に高い確率を、外側の行動に低い確率を割り当てるソフトなメンバーシップ関数（シグモイド）です。
  • 事前分布: 一様分布ではなく、現在の方策を事前分布（$\pi_\theta$）として使用します。これにより「方策重み付きベイズ損失」が作成され、更新が保守的かつ漸進的に行われ、方策が以前に学習した行動から過度に逸脱するのを防ぎます。
• 暗黙的 vs 明示的:
  • 暗黙的（EBM）: 損失は、目標分布が集合への所属に基づいてサンプルを重み付ける対比サンプリング（InfoNCE スタイル）を用いて最適化されます。
  • 明示的（ガウス）: 単峰性のタスクでは、方策の平均が多面体内にあることを保証するヒンジ損失に簡略化されます。

3. 主要な貢献

1. 集合値監督の視点: 修正フィードバックが単一の点ではなく、許容される行動の領域を定義するという新たな定式化を提案し、ポイントごとの BC とペアワイズ選好学習の間のギャップを埋めます。
2. CLIC フレームワーク: これらの集合を構築・集約して方策を反復的に洗練する実用的なアルゴリズムを導入します。絶対的および相対的フィードバックの両方をサポートし、暗黙的方策（EBM）を通じて多峰的な行動を自然に処理します。
3. 理論的解析: 個々のフィードバック信号がノイズを含んでいたり相対的であったりする場合でも、集約された集合値フィードバックが最適行動集合を回復し得ることを示す収束条件を提供します。
4. 包括的な評価: シミュレーションおよび実機ロボット（KUKA iiwa）での広範な検証により、多様なフィードバックタイプに対する堅牢性を実証しました。

4. 実験結果

シミュレーション実験:

• 正確なフィードバック: CLIC は最先端（SOTA）手法（Diffusion Policy、IBC など）と競合する性能を発揮し、データが完全な場合でも集合値監督が性能を犠牲にしないことを証明しました。
• ノイズを含むフィードバック: CLIC はベースライン（IBC、Diffusion Policy、PVP）を大幅に上回りました。ポイントごとの BC 手法はノイズに過学習して収束に失敗するのに対し、CLIC の集合ベースのアプローチはノイズを吸収し、高い成功率を維持しました。
• 相対的および部分的フィードバック:
  • 相対的修正: CLIC-Half および CLIC-Explicit は、ポイントごとの BC 手法が（過去の修正が最適になる「オンポリシー」問題により）完全に失敗する方向性フィードバックから成功裡に学習しました。
  • 部分的フィードバック: 人間が 1 つの腕のみを修正するマルチロボットタスクにおいて、CLIC-Half は修正された次元のみを制約することで卓越した性能を発揮しました。一方、部分的に最適でない完全な行動ベクトルを模倣しようとするベースライン手法は失敗しました。

実機ロボット実験:

• Insert-T（多峰的）: CLIC-Half は困難なタスクで80% の成功率を達成し、Diffusion Policy（30%）や IBC（10%）を大幅に上回りました。これは、CLIC が過学習することなく複雑で多峰的な意思決定を処理する能力を浮き彫りにしています。
• ボールキャッチング（動的/部分的）: 相対的かつ部分的なフィードバックを使用して高頻度タスクを学習し、2 回の試行以内に 100% の成功率を達成しました。
• 水注ぎ（精密）: 訓練中に絶対的修正と相対的修正を切り替える能力を実証し、粗い制御から微細な制御へと方策を洗練させました。

アブレーション研究:

• 方策重み付き事前分布が安定性にとって不可欠であることを確認しました。
• 集合の幾何学を制御するハイパーパラメータ（$\alpha, \epsilon$）は、フィードバック信号の不確実性に合わせて調整する必要があることを示しました。
• 集合の半径がゼロに縮小するにつれて CLIC が過学習する IBC に退化することを可視化し、「集合」定式化の必要性を検証しました。

5. 意義と影響

• 人間の誤りへの堅牢性: 主な意義は、人間の教師の固有の不完全性（疲労、遠隔操作の限界、認知的負荷）に対して模倣学習を堅牢にすることです。
• 統合フレームワーク: CLIC は、絶対的デモンストレーション、相対的修正、部分的フィードバックからの学習を単一の数学的フレームワークの下で統合します。
• 複雑なタスクへのスケーラビリティ: 表現力豊かなモデルがノイズのあるラベルに過学習することを回避することで、CLIC は、データが完全であることが稀な実世界のインタラクティブ環境において、強力な暗黙的方策（EBM）の使用を可能にします。
• 実用性: この手法は、人間の教師の認知的負荷を軽減し（正確な軌跡ではなく大まかな方向を提供できる）、複雑なロボットタスクの学習プロセスを加速します。

要約すると、CLIC は、模倣学習における監督の基本的な単位を単一の点から集合へと再考し、不完全な人間のフィードバックからの学習に対する数学的に堅牢かつ経験的に確かな解決策を提供します。