技術要約: VAIC (Vision-Guided Humanoid Agile Object Interaction Control)

問題提起

ヒューマノイドロボットは、シミュレーションから現実世界の非構造化環境へと移行する際、特に機敏な物体との相互作用において、深刻な「デプロイメント・ギャップ（展開の乖離）」に直面している。近年の深層強化学習やモーション模倣の進展により、全身制御（whole-body control）は向上しているが、既存のコントローラーには以下の2つの根本的な限界がある：

1. 高密度な参照軌道への依存: 現在の手法は、実行時に精密な関節レベルの参照動作を必要とすることが多い。この「運動学的な手助け（kinematic hand-holding）」は、人間が高度な意図（例：速度コマンド）のみを提供できる実世界の自律走行やテレオペレーションにおいては非現実的である。
2. 完全な状態観測可能性への依存: 多くの手法は、グラウンドトゥルースの6D物体ポーズや精密な地形幾何学へのアクセスを前提としている。物理的な展開において、下方を向いたビジョンは運搬中の物体によって遮蔽されることが多く、またセンサーノイズが死角を生み出すため、状態推定が信頼できなくなる。

これらの限界は、ロボットが「重い箱を階段の上で運ぶ」「非ホロノミックなカートを操作する」「スケートボードに乗る」といった、物体の動的な状態がロボットのバランスを根本的に変化させるような、密結合した全身協調タスクを実行することを妨げている。

手法: VAICE フレームワーク

著者らは、オラクルレベルのシミュレーション・トラッキングと、物理的かつ知覚的なデプロイメントの間の溝を埋める統一フレームワークとして、VAIC (Vision-Guided Agile Interaction Control) を提案する。核心となる洞察は、高レベルのユーザー意図と低レベルの相互作用実行を分離することにある。

1. 分離されたコマンドインターフェース

VAICは、高密度な参照動作を、デプロイメントに適した意図駆動型のコマンドインターフェース $u_t = (v_t, c_t)$ に置き換える：

• $v_t$ (速度ターゲット): ナビゲーションの意図（$[v_x, v_y, v_{yaw}]$）を表す多軸速度ターゲット（$\in \mathbb{R}^3$）。
• $c_t$ (相互作用インジケーター): 操作フェーズを指定するフレームごとのバイナリインジケーター（ナビゲーション/接近の場合は $0$、能動的な接触/相互作用の場合は$1$）。

この定式化は「どこへ行くか」と「どのように相互作用するか」を分離しており、特定の関節軌道を追従させる必要なく、直感的なテレオペレーションや自律航行を可能にする。

2. 2段階の蒸留パラダイム

VAICは、特化した2段階のオンライン蒸留プロセスを採用し、特権を持つ教師からデプロイ可能な生徒へとスキルを転移させる：

• ステージ I: 教師のトレーニングと生徒のウォームアップ:

  • 特権教師ポリシー (Privileged Teacher Policy) は、オラクル・シミュレーション設定において強化学習（PPO）を通じて訓練される。これは、正確な物体の運動学 ($s^{obj}_t$)、地形幾何学、および高密度な参照動作にアクセスできる。
  • 同時に、生徒ポリシー (Student Policy) のウォームアップを行う。生徒への入力は、プロプリオセプション（固有受容感覚）と分離されたコマンド ($v_t, c_t$) に厳格に制限され、視覚入力（深度）はゼロ注入される。
  • 蒸留 (Distillation): 生徒は行動クローニング（BC）を通じて教師の動作を模倣するように学習する。同時に、補助モジュール（Object Adapter および Privilege Adapter）は、教師の潜在表現から欠落している特権状態（物体の動力学や幾何学的特徴）を暗黙的に推論するために、教師あり学習を通じて訓練される。

• ステージ II: ビジョン誘導による生徒の探索:

  • 高密度な参照動作と完全な物体状態は、生徒の入力から完全に除去される。
  • 生徒アクター (Student Actor) は、現実的なセンサーノイズがある環境下で、タスク完了とコマンド追従を最適化するためにPPOを用いて全制御を行う。
  • 物体適応モジュール (Object Adaptation Module): 再帰的モジュール（CNN-GRU）が、時間的な深度ストリームとプロプリオセプションの履歴を処理し、観測不可能な物体の動力学 ($\hat{s}^{obj}_t$) を暗黙的に推論する。バイナリインジケーター $c_t$ はモード切り替えの事前分布として機能し、ネットワークが接触力の変化を予測するのを助ける。
  • 特権アダプター (Privilege Adapter): 推論された物体状態と幾何学的テンプレートをロボットのフレームに投影し、ポリシーの潜在空間を再構成する。
  • オンライン適応 (Online Adaptation): アダプターモジュールは、生徒自身のロールアウトデータを用いてオンラインで更新され続け、表現のドリフトを防ぎ、視覚的再構成を実際の物理的相互作用に接地させる。

主な貢献

1. 分離されたコマンドインターフェース: 高密度な参照動作の要求を、高レベルの速度ターゲットとフェーズインジケーターに置き換える制御定式化であり、タスク固有の再学習なしに、直感的なテレオペレーションと多様な動的プロファイルへの汎化を可能にする。
2. 遮蔽に強い蒸留 (Occlusion-Resistant Distillation): 特権的な幾何学的・動的状態を教師から蒸留する、再帰的な物体適応モジュールを用いた手法。これにより、ロボットは深刻な視覚的遮蔽（例：カメラの視野を遮る箱の運搬）やセンサーノイズの下でも、観測不可能な物体の動力学を暗黙的に再構成し、精密な相互作用を実行できる。
3. 統一されたハードウェア検証: 単一のポリシーが、多様な地形シーケンス（平坦、傾斜、階段）に汎化し、未知の物体属性（重量、サイズ、位置の変化）に適応できることを実世界のデプロイメントを通じて実証した。

実験結果

本フレームワークは、Intel RealSense D435iカメラを搭載したヒューマノイドロボットを用い、3つの困難なカテゴリ（箱の運搬（多様な地形上）、カートの操作（非ホロノミックなペイロードの牽引/押し）、スケートボード（衝撃的な動力学下でのバランス保持））において評価された。

• 定量的パフォーマンス: MuJoCoシミュレーションにおいて、VAICはベースライン（PPO, AMP, PhysHSI, VisualMimic）を大幅に上回った。
  • 箱の相互作用: 標準的なPPOが0%、AMPが50%の成功率であるのに対し、66.7%の成功率を達成し、ロボットのルートおよび物体の両方において追従誤差も低かった。
  • カートの相互作用: 91.7%の成功率を達成し、PPO（41.7%）やAMP（58.3%）を大きく引き離し、非ホロノミック制約を効果的に処理した。
  • スケートボードの相互作用: 83.3%の成功率を達成した一方、PPOは完全に失敗（0%）し、AMPは12.5%に留まった。
• 汎化性能: 実世界のハードウェアテストにより、変化する速度コマンド、ペイロードの重量、相互作用の側面、および箱のサイズを含む、分布外（out-of-distribution）の条件に対する堅牢性が確認された。システムは再学習なしに、バランスと相互作用の安定性を維持することに成功した。
• メカニズム分析: 予測された物体状態とグラウンドトゥルースの比較により、深度条件付きのエスティメータが、自己遮蔽が発生している間でも物体の位置と方向を密接に追跡していることが示された。相互作用インジケーター $c_t$ による条件付けは、純粋なプロプリオセプションのみを用いる手法と比較して、時間的なドリフトを有意に減少させることが判明した。

意義と主張

本論文は、VAICが、高密度な関節レベルの参照軌道や完全な状態観測可能性への制限的な依存を排除することで、自律的なヒューマノイドのデプロイメントのための実用的なパラダイムを提示していると主張している。視覚誘導型の蒸留を通じてシミュレーションと現実の間の溝を克服することに成功したVAICは、ヒューマノイドが非構造化環境において、極めて多様で動的、かつ機敏な物体相互作用を実行することを可能にする。著者らは、この統一されたアプローチが、単一のポリシーが劇的に異なる動的プロファイル（運搬、押し、スケートボード）を扱い、未モデルの物理的変動に汎化できることを示すことで、分野を前進させるものであると断言している。

限界

著者らは以下の限界を認めている：

• 深度ベースの物体適応モジュールは、センサーノイズの影響を受けやすく、透明または反射性の高い物体に対して失敗する可能性がある。
• 極端な分布外の物理的変動（例：突然の劇的な質量変化）は、ロボットが適応する前に表現の崩壊（representation collapse）を引き起こす可能性がある。
• 分離されたコマンドインターフェースは、粗いロコ・マニピュレーション（loco-manipulation）には効率的であるが、器用で微細なインハンド・マニピュレーション（手内操作）に必要な粒度には欠けている。