技術的概要：VE2VF – 視覚利用から視覚非依存への蒸留

問題定義

ロボット組立および接触に富む操作には、多様な部品や環境に対する高精度と適応性が求められます。従来のモデルベースのアプローチは、接触ダイナミクス、摩擦、変形を正確にモデル化することが困難であるため、苦戦を強いられています。一方、強化学習（RL）などの学習ベースのアプローチは有望ですが、以下の重大な課題に直面しています：

• シミュレーションから実世界へのギャップ（Sim-to-Real Gap）： シミュレーターは複雑な接触相互作用を捉えきれないことが多く、実世界へのポリシー転送を困難にします。
• サンプル非効率性： ハードウェア上での直接のモデルフリー RL は、過剰な相互作用時間と安全な探索戦略を必要とします。
• 視覚的過学習： 視覚を利用したポリシーはトレーニング中は効果的ですが、特定の視覚条件（照明、テクスチャ、背景）に過学習する傾向があります。これにより、分布外（OOD）タスクや未見の環境に対する頑健性と汎化能力が制限されます。
• 部分的観測性： 視覚的ガイダンスなしに、プロプリオセプション（姿勢、ツイスト、 wrench）のみから視覚非依存のポリシーをゼロから直接トレーニングすることは困難です。

手法：VE2VF フレームワーク

著者らは、堅牢な視覚非依存操作を実現するための教師 - 学生蒸留アプローチを採用した、人間ループ内（HIL）の RL フレームワークであるVE2VF（Vision-Enabled to Vision-Free）を提案します。このプロセスは主に 3 つの段階で構成されます：

1. 人間ループ内 RL 設定

システムは、RLPD（Prior Data を用いた強化学習）を備えたSoft Actor-Critic（SAC）を利用します。学習ループは以下を統合します：

• 自律的探索： エージェントが自身の遷移を生成します。
• 人間のガイダンス： 人間のオペレーターが、オフラインデモンストレーションとオンラインの遠隔操作介入（エージェントの動作を上書き）を提供し、探索を誘導し報酬信号を提供します。
• 報酬構造： 複雑な報酬設計を避け、スパースな二値報酬（タスク成功で 1、そうでなければ 0）を使用します。

2. 段階 I：視覚利用型教師のトレーニング

「教師」ポリシー（$\pi_t$）は、完全なマルチモーダル入力を用いて一連の代表的なタスクでトレーニングされます：

• 観測： カメラからの画像（$I$）、エンドエフェクタの姿勢（$p$）、速度（$v$）、力（$f$）、トルク（$\tau$）。
• 表現： 反応的な視覚サーボを容易にするため、姿勢はエピソードの初期状態に対する相対的に表現されます。
• 目的： 教師は、豊富な視覚フィードバックを活用してタスクを習得し、高い成功率を達成します。ただし、これは視覚条件に依存したままです。

3. 段階 II：視覚非依存型学生の蒸留

「学生」ポリシー（$\pi_s$）は、教師の動作を再現するようにトレーニングされますが、視覚データを排除し、プロプリオセプション入力（姿勢、ツイスト、 wrench）のみに依存します。

• 蒸留メカニズム： 学生は、教師と整合させるための追加の損失項を備えた同じ HIL-RL フレームワークを使用してトレーニングされます：
  • クリティック蒸留： 平均二乗誤差（MSE）項により、学生の Q 関数（$Q_s$）を教師の Q 関数（$Q_t$）に一致させます。
  • アクター蒸留： クルバック・ライブラー（KL）ダイバージェンス項により、学生のポリシー（$\pi_s$）を教師の動作分布（$\pi_t$）に一致させるよう正則化します。
• 状態表現： 学生は絶対的な空間位置に対する不変性を確保するため、タスク相対座標系（$T_z$）を使用します。
• 結果： 学生は教師が学習した「スキル」と探索戦略を継承しますが、視覚的シフトに対して不変になります。

4. 段階 III：微調整（オプション）

非常に困難なタスクや未見のタスクの場合、視覚非依存の学生を微調整できます。これは、学生をゼロからトレーニングするのではなく、特定のタスクに特化した新しい視覚利用型教師をトレーニングし、その知識を蒸留によって学生に注入することを含みます。

主要な貢献

1. クロスモーダル蒸留フレームワーク： 視覚利用型教師から視覚非依存学生へ知識を蒸留する新規手法。これにより、トレーニング段階における視覚学習のサンプル効率を維持しつつ、視覚条件に不変なデプロイメントポリシーを生成します。
2. 効率的なスキル汎化： 少数の代表的なタスクでの共トレーニングにより、未見の挿入シナリオへの堅牢なゼロショット転送が可能であることを示しています。
3. 実世界での検証： 本手法は、ドメインランダム化やデータ拡張なしに、実世界のハードウェア（Franka FR3）上で完全に検証されました。総ロボット相互作用時間は約 50 分で、高い成功率を達成しました。

実験結果

実験は、様々なピンの挿入、ギア、コネクタ挿入タスクを含むNIST 組立ボード Iベンチマークで行われました。

• パフォーマンス： VE2VF 手法は、トレーニング、攪乱、および分布外タスク全体で95% の総合成功率を達成しました。
• ベースラインとの比較：
  • 視覚利用型 RL（HIL-SERL VPTW）： トレーニングタスクではほぼ完璧な成功率を達成しましたが、分布外タスクでは崩壊（0% 成功）し、視覚的攪乱下では著しく劣化しました。
  • ゼロからの視覚非依存 RL（HIL-SERL PTW）： 中程度の性能（47.1%）を示しましたが、視覚的ガイダンスなしに効果的な挿入戦略を学習することが困難で、完全な成功には至りませんでした。
  • 動的運動プリミティブ（DMP）： 性能は低く（35.7%）、適応的な学習行動の必要性を確認しました。
  • 残差 RL： 良好に機能しましたが（85.7%）、特に回復行動（例：ソケットから滑り落ち再試行）において VE2VF に劣りました。
• アブレーション研究：
  • 蒸留は不可欠であることが証明されました。視覚非依存の学生をゼロからトレーニングしても、時間を延長（最大 75 分）しても、単純なタスクへの過学習と複雑なタスクでの失敗を招きました。
  • 姿勢、ツイスト、wrench 入力を組み合わせることが、これらのモダリティの部分集合を使用する場合と比較して、最も高い頑健性を提供しました。
• 微調整： 困難な DSUB 挿入タスク（ゼロショット成功率 50%）において、タスク固有の教師による蒸留で学生を微調整した結果、わずか 10 分追加で100% の成功率を達成しました。

意義と主張

本論文は、VE2VF が視覚誘導学習のサンプル効率と実世界デプロイメントに必要な頑健性との間の重要なトレードオフを解決すると主張しています。視覚を探索を誘導する「教師」としてのみ使用し、その知識をプロプリオセプションの「学生」に蒸留することで、システムは以下を実現します：

• 頑健性： 照明、テクスチャ、ターゲット姿勢の違いに対して汎化するポリシー。
• 適応性： 教師から学習した反応的行動を通じて、失敗（例：滑り落ち）から回復する能力。
• 効率性： 広範なシミュレーションや手動の報酬設計を必要とせず、複雑な接触に富むスキルを迅速に習得（約 50 分）。

著者らは、このアプローチが視覚条件が予測不可能なハイミックス・ローボリューム組立設定において、堅牢な接触に富む操作スキルを実用的にデプロイするための道筋を提供すると結論付けています。