技術概要：ヒューマノイドのための力適応制御を備えた視覚的物体目標プッシング（VOFA）

問題定義

本論文は、オンボードの自己中心視覚のみを用いて、ヒューマノイドロボットが目標指向の物体プッシング（移動操作）を実行できるという課題に取り組んでいる。この能力は、倉庫の在庫再編成などの実世界応用において極めて重要である。本システムは、以下の 3 つの主要な制約条件下で堅牢に動作しなければならない。

1. 未知の物理的特性: ロボットは、質量や地面摩擦係数が異なり、かつ未知である物体を処理しなければならない。
2. ノイズの多いオンボード視覚: システムは、特権的な物体状態情報（真の物体位置や速度など）に依存できず、ノイズの多い深度画像と固有感覚データのみを用いて機能しなければならない。
3. 閉ループ適応性: ロボットは、接触を開始する前に物体と目標に対して自らの位置を再調整する必要がある場合を含む、多様な物体 - 目標構成に対してリアルタイムで適応しなければならない。

既存の解決策は、特権的なセンシングに依存するか、物理的変化に対する堅牢性が欠如しているか、手動によるステージ定義なしに異なる目標構成に適応できないかのいずれかで、これらの基準を同時に満たすことができないことが多い。

手法

著者らは、ヒューマノイドロボット「Booster T1」向けに設計された階層的な 2 段階システムであるVOFA（Visual Object–Goal Pushing with Force-Adaptive Control：力適応制御を備えた視覚的物体 - 目標プッシング）を提案する。

1. 階層型アーキテクチャ

• 高次視覚運動ポリシー: このポリシーは、オンボードの観測（固有感覚と深度画像）と所望の目標位置を処理し、高次コマンドを生成する。動作周波数は 50Hz である。
• 低次力適応コントローラ: このコントローラは、高次コマンドを関節レベルの動作に変換する。これはFALCONフレームワークに基づいており、エンドエフェクタにおける著しくかつ未知の外力を明示的に処理するように設計されており、質量の異なる物体との相互作用中の安定性を保証する。

2. 学習戦略：教師 - 学生蒸留

ノイズの多い視覚入力からの学習という課題を克服するため、VOFA は教師 - 学生フレームワークを採用する。

• 教師ポリシー: 近接方策最適化（PPO）を用いて、特権情報（物体の正確な向き、ベースの線形速度、物体の状態など）を用いて学習する。このポリシーは、目標条件付きプッシングの最適な動作を学習する。
• 学生ポリシー: DAgger（Dataset Aggregation）を用いて教師から蒸留される。学生は特権的な入力を、オンボードの固有感覚履歴と深度画像に置き換える。
• 視覚的拡張: シミュレーションから実世界へのギャップを埋めるため、学生学習には視覚的ランダム化が組み込まれる。これには、遠平面深度の摂動、相関深度ノイズ、ピクセルドロップアウトが含まれ、センサーのアーチファクトや背景の雑音をシミュレートする。

3. 報酬設計

学習には、4 つの主要な項からなる複合報酬関数が使用される。

• 到達報酬（$R_{reach}$）: 両方のエンドエフェクタが物体に接近することを促す。
• プッシング報酬（$R_{push}$）: 物体と目標の間の距離の減少に対して報酬を与える。
• ヘッドトラッキング報酬（$R_{track}$）: ロボットがカメラで物体を視覚的に追跡することを促す。
• 物体 - 目標アライメント報酬（$R_{align}$）: ロボットがプッシングを行う前に、目標の反対側の物体の側へ自らの位置を再調整することを促す新規コンポーネントである。これにより、手動で定義された学習ステージの必要性が排除され、近視眼的な接触戦略よりも長視野の計画が促進される。

4. シミュレーションとドメインランダム化

学習はIsaac Gymで行われ、物体の質量（1〜8 kg）、摩擦、および初期の物体 - 目標配置が広範にランダム化される。視覚におけるシミュレーションから実世界へのギャップに対処するため、システムはカメラの外部パラメータ（並進と回転）をランダム化し、実世界の深度カメラ（ZED 2i）で観測されるセンサーノイズパターンをエミュレートする。

主要な貢献

1. 視覚目標条件付きシステム: オンボード視覚視覚のみを用いて、多様な物体 - 目標構成にわたる閉ループの目標指向プッシングを可能にする VOFA の導入。
2. 未知の質量に対する堅牢性: 再学習なしに、ロボットの体重の半分を超える17 kgまでの負荷を含む、多様かつ未見の質量を持つ物体を成功裏にプッシングするシステムの証明。
3. 実ハードウェアでの検証: 多様なシーン構成と物理的特性において、シミュレーションおよび実世界実験の両方で高い成功率を達成したBooster T1ヒューマノイドロボット上での成功した展開。

実験結果

本システムは、大規模シミュレーションおよび Booster T1 上での実世界試験の両方で評価された。

• 成功率: VOFA はシミュレーションで90% 以上、実世界試験で80% 以上の成功率を達成した。
• 質量に対する堅牢性: 実世界実験において、本システムは最大 8 kg の質量で学習されたにもかかわらず、17 kg の物体（5 kg の箱に 12 kg の追加重量を加えたもの）を成功裏にプッシングした。
• 構成適応性: 本システムは、正面、側面、後方の目標構成において高い成功率を維持した（学生ポリシーで 90% 以上）。
• アブレーション研究:
  • 力適応制御: 力適応低次コントローラを除去すると、成功率が大幅に低下した（例：学生ポリシーで 91.38% から 59.32% へ）ほか、物体を「蹴る」ような不安定な動作が生じた。
  • アライメント報酬: 物体 - 目標アライメント報酬を除去すると、特に再調整が必要な後方目標構成において、早期の接触失敗が発生した。
  • 視覚的ランダム化: 視覚的ランダム化なしで学習すると、背景ノイズやドメインの不一致に対する感度により、実世界の側面および後方シナリオで性能が大幅に低下した。
• 閉ループ機能: 実世界の実演では、ロボットが外部の側方摂動から回復し、重心分布の偏心を補償し、リセットなしに複数の目標へ物体を連続的にプッシングできることが示された。

意義と主張

本論文は、VOFA が構造化されていない環境における堅牢で自律的なヒューマノイド移動操作に向けた重要な一歩であると主張している。高次視覚運動計画と低次力適応制御を分離することで、システムは物理的変化に対する堅牢性を維持しつつ、ポリシー学習を簡素化している。

著者らは、物体 - 目標アライメント報酬が、手動ステージングなしに複雑で長視野の動作（プッシング前の位置再調整）を学習することを可能にするために決定的であると強調している。さらに、重い負荷（17 kg）での実世界ハードウェアへの成功した転送は、力適応制御と視覚的ランダム化の組み合わせがシミュレーションから実世界へのギャップを効果的に緩和することを示している。

本研究は、単一物体シナリオへの焦点と、相対的な目標位置決めのための外部モジュールへの依存という現在の限界を指摘して結論付けている。今後の研究では、このフレームワークを多物体環境に拡張し、生センサー入力からの物体および目標位置推定のための完全なエンドツーエンド推論を開発することを目的としている。