RoSHI: 野外的な環境における人間データ収集のためのロボット向けスーツ

技術的サマリー（日本語）

本論文は、RoSHI（Robot-oriented Suit for Human Data In-the-Wild）という、低コストかつ携帯可能なウェアラブルシステムを提案しています。このシステムは、Project Aria グラスと低コストの IMU（慣性計測装置）を融合させることで、制御された実験室環境ではなく、日常的な野外環境（In-the-Wild）において、人間とロボットの相互作用を含む長期的な運動データを収集することを目的としています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 背景と問題定義

ロボット学習の拡張には、制御された実験室ではなく、現実世界の複雑な環境で収集された「豊かで長期的な人間データ」が必要です。しかし、既存のデータ収集手法には以下のようなトレードオフが存在します。

• マーカーベースシステム（例：Vicon）: 高精度だが、専用空間と高コストが必要で、携帯性に欠ける。
• 商用 IMU スーツ（例：Xsens）: 高価であり、長期的なドリフトによりグローバルな位置推定が困難な場合が多い。
• ビジョンのみのパイプライン: カメラの設置や照明条件に依存し、被写体の遮蔽（オクルージョン）や高速運動時に精度が低下する。

特に、**「携帯性」「遮蔽への頑健性」「グローバルな一貫性（位置・軌道）」**のすべてを兼ね備えた、人間型ロボット（ヒューマノイド）向けのポータブルな全身キャプチャツールは存在しませんでした。

2. 提案手法：RoSHI

RoSHI は、低コストな疎な IMU センサーと、Project Aria グラスからの第一人称視点（Egocentric）センシングを融合したハイブリッドウェアラブルシステムです。

システム構成

• ハードウェア:
  • 9 個の IMU トラッカー: 市販の低コストコンポーネント（BNO085 チップなど）を使用。1 つあたり約 30 ドル、システム全体で約 350 ドル。
  • Project Aria グラス: 広角の RGB 動画と SLAM（同時位置推定と地図作成）データを提供。
  • 同期: 全センサーを Unix タイムスタンプで同期し、100ms 以下のオフセットで統合。
• データ出力:
  1. 3D 人体ポーズ（SMPL モデル）。
  2. グローバルに整合性のある 6-DoF ルート軌道（腰の動き）。
  3. 第一人称視点の RGB 動画。

技術的アプローチ

RoSHI は、視覚と慣性の相補性を活用して、両者の欠点を補完します。

• IMU の役割: 視覚的な遮蔽や高速運動に対して頑健な姿勢推定を提供。
• Aria SLAM の役割: 長期的なドリフトを防止し、グローバルなルート軌道と上半身の姿勢を安定化。

姿勢生成パイプライン:

1. 拡散モデルの活用: 既存の EgoAllo [29] の拡散モデルをベースに使用。
2. 骨の向きによるガイダンス: 従来の手首・足首のキーポイント推定に加え、IMU から得られた**骨の向き（Bone Orientations）**を拡散モデルの条件付け（Guidance）として利用。
   • 肘、股関節、膝の関節角度を直接比較。
   • 観測不可能な関節については、骨の相対的な回転関係を利用。
3. キャリブレーションの革新:
   • 従来の IMU キャリブレーションは、T ポーズなどの決まった姿勢や専用ボックスが必要で、再キャリブレーションが困難でした。
   • RoSHI は、IMU ケースに取り付けたAprilTagと、iPhone で撮影した短い動画、そして SAM 3D Body モデルを用いて、装着したままで簡易かつ高精度なキャリブレーション（骨とセンサーのオフセット、重力方向の整合）を行う方法を提案しています。

3. 主要な貢献

1. ポータブルで低コストなキャプチャパイプライン: 疎な IMU と第一人称視覚を融合し、野外での同期された 3D 人体ポーズ、メトリックなグローバル軌道、および第一人称 RGB 動画の収集を可能にした。
2. 遮蔽に頑健な軽量姿勢生成手法: SLAM 姿勢を条件付けとし、骨の向きによってガイダンスを行うことで、視覚的遮蔽下でもロバストな姿勢生成を実現。
3. オープンソース化とデータセット: ハードウェア設計、データ収集スタック、および多様な全身運動の注釈付きデータセットを公開。

4. 実験結果

2 人のデータ収集者による 11 種類の運動シーケンス（屋内・屋外、歩行、ジャンプ、スポーツ動作など）を用いて評価を行いました。

定量的評価

• 比較対象: 第三視点ビジョン（SAM 3D Body）、IMU のみ、EgoAllo（第一人称ビジョンのみ）、IMU+EgoAllo（ルートのみ置換）。
• 結果:
  • RoSHI は、すべてのデータセット（遮蔽が少ないもの、グローバル移動があるもの、高速運動を含むもの）において、MPJPE（関節位置誤差）と JAE（関節角度誤差）の両方で最良または同等の性能を示しました。
  • 特に、視覚ベースの手法が遮蔽や視野外移動で失敗する Dataset 2 や、高速運動でモーションブラーが発生する Dataset 3 において、RoSHI の優位性が明確でした。
  • IMU のみではドリフトが大きく、ビジョンのみでは遮蔽に弱いため、RoSHI の融合アプローチが有効であることが示されました。

定性的評価

• 歩行ダイナミクス、足のスケーティング（滑り）の抑制、関節の整合性において、ベースライン手法よりも優れた結果を示しました。
• IMU データにより、手が隠れた場合でも姿勢推定が安定しました。

ヒューマノイド制御への応用（Sim-to-Real）

• 収集されたデータを Unitree G1 ヒューマノイドロボットにリターゲティング（転送）し、強化学習による制御ポリシーを学習させました。
• 結果: 単脚ジャンプ、お辞儀、テニスのバックハンドなど、動的で複雑な動作をロボットが成功して実行しました。
• 知見: 人間のルート軌道（移動経路）を条件として学習させることで、ロボットは人間の歩行パターンだけでなく、前方への移動距離も正確に再現し、より高速で精密な動作を実現しました。

5. 意義と結論

RoSHI は、**「低コスト」「携帯性」「長期的な安定性」**という、ロボット学習におけるデータ収集の重要な要件を満たすシステムです。

• インフラ不要: 外部カメラやキャリブレーション空間が不要であり、現実世界のあらゆる場所でデータ収集が可能。
• スケーラビリティ: 安価なセンサーを使用しているため、大規模なデータ収集プロジェクトへの展開が容易。
• 実用性: 収集されたデータは、ヒューマノイドロボットの制御ポリシー学習に直接適用可能であり、シミュレーションから実世界への転移（Sim-to-Real）を成功させました。

限界と将来展望:
未観測の関節（肩と腰の間の関節など）の再構成品質が低下する可能性や、矛盾する制約によるねじれアーティファクトの発生が課題として挙げられています。しかし、RoSHI は人間型ロボットのための野外データ収集における新しい標準となり得る可能性を秘めています。

---

プロジェクトページ: https://roshi-mocap.github.io/