技術要約: BEAVR

問題提起

現在のロボット遠隔操作システムは、特定のハードウェア、独自のデータ形式、またはカスタムフレームワークに紐付けられていることが多く、著しい断片化に直面している。このような標準化の欠如は、再現性を妨げ、人間とロボットの相互作用（HRI）およびポリシー学習の進展を遅らせている。近年のVR（仮想現実）ベースの遠隔操作システム（OpenTeachやBunny VisionProなど）は没入型のインターフェースを提供しているが、学習曲線の急峻さ、ドキュメントのアクセシビリティの低さ、非標準的なデータロギング、および学習用データセットへの標準化されたブリッジの欠如といった問題を頻繁に抱えている。さらに、既存のソリューションは、レイテンシのペナルティを受けたり、特殊なネットワークインフラを必要としたりすることなく、ヘテロジニアス（異種混合）なロボットプラットフォーム（7自由度の腕からフルボディの人型ロボットまで）にスケールさせることに苦慮する場合が多い。

手法

BEAVR（Bimanual, multi-Embodiment, Accessible, Virtual Reality Teleoperation System for Robots）は、リアルタイム制御、データ記録、およびポリシー学習を統合するために設計されたオープンソースフレームワークである。システムアーキテクチャは、主に以下の3つのモジュールで構成されている：

1. 遠隔操作モジュール:

   • 入力: Meta Quest 3S VRヘッドセットを利用して、90 Hzで24個のOpenXR準拠の手のキーポイントをキャプチャする。
   • 処理: ZMQチャネルを介して通信する3つの異なるプロセスを持つ、モジュール化されたコンポーネントベースのデザインを採用している：
     • Detector（検出器）: 生のキーポイントデータとセッションコマンドをキャプチャする。
     • Operator（オペレーター）: 入力データをロボットに関連するコマンドに変換する。これには、グラム・シュミットの直交化を用いた安定した手のフレームの構築、座標変換（VRのY-upからロボットのZ-upへ）、および特定のエンボディメント（例：手 vs グリッパー）に基づいたスケール調整が含まれる。
     • Interface（インターフェース）: 高レベルのアクションをロボットの制御システムに送信する。
   • 制御ソルバー: 8つの指先位置を最適化するために、減衰最小二乗法（DLS）を用いたマルチターゲット逆運動学（IK）ソルバーを実装している。安定した低ジッター制御を実現するために、衝突回避ルーチンと時間的平滑化（移動平均およびクォータニオンのSLERPブレンディング）を組み込んでいる。

2. データ収集モジュール:

   • LeRobotフレームワークと直接統合されており、観測、アクション、およびメタデータの同期ストリームを記録する。
   • データを標準的なLeRobotデータセットスキーマ（テーブルにはArrow/Parquetを使用し、ビデオにはMP4を使用）としてエクスポートし、模倣学習への即時利用を可能にする。
   • 市販のカメラによるリアルタイムのRGBおよびRGB-Dビデオストリーミングをサポートする。

3. モデル学習モジュール:

   • 強化された非同期「think–act（思考・実行）」制御ループを備えたLeRobotの学習パイプラインを活用する。
   • 専用の制御ループが一定のレートでアクションをストリーミングし、別の推論スレッドがリソースが許す限りポリシー出力を計算する。これにより、計算とリアルタイム実行を分離し、高負荷時でもパフォーマンスを維持する。

4. 通信アーキテクチャ:

   • ZMQ上に構築されたゼロコピーかつスレッドセーフなネットワークAPIを利用し、パブリッシャー・サブスクライバーおよびリクエスト・リプライのパターンを管理する。
   • データレースやシステムクラッシュを起こすことなく、複数のロボットと高頻度のコマンドストリームを処理できるように設計されている。

主な貢献

本論文は、4つの主要な貢献を提示している：

1. ハードウェアに依存しないインターフェース: 単一のインターフェースを使用して、7自由度の卓上アーム（xArm7など）からフルボディの人型ロボット（RX-1など）、および器用な手（LEAP Handなど）までスケール可能なVR遠隔操作インターフェース。
2. 低レイテンシ・ストリーミング・アーキテクチャ: 市販のネットワーク上でエンドツーエンドの遅延を35 ms以下、ジッターをサブミリ秒単位で実現するゼロコピー設計。
3. データセットネイティブ・ロガー: デモンストレーションをLeRobotスキーマに直接エクスポートし、最新の模倣学習フレームワークへの即時統合を容易にするシステム。
4. オープン・ベンチマーク・スイート: 6つの操作タスク、50個のエキスパート・デモンストレーション、および学習済みベースライン・ポリシー（ACT, DiffusionPolicy, SmolVLA）を含むリリース。

実験結果

著者らは、タスク性能、ポリシー学習、およびシステムの拡張性の3つの次元でBEAVRを評価した。

• タスク性能: システムは6つのタスク（スタッキング、キューブの反転、注ぐ、テープの操作など）でテストされた。10回の試行設定において、BEAVRは60%（テープ・タスク）から100%（キューブ反転、ピック・アンド・プレース）の範囲の成功率を達成した。特定のタスク（「Flip cube」および「Pick and place」）において、OpenTeach、Holo-Dex、Any-Teleopといったベースラインと比較した場合、BEAVRは競争力のある、あるいは優れた成功率を示したが、完了時間はハードウェアの違い（例：標準的なグリッパー vs LEAP handの使用）によって変動した。
• ポリシー学習: BEAVRを通じて収集された50のエキスパート・デモンストレーションを使用し、著者らはAction-Chunking Transformers (ACT)、Action Diffusion、およびSmolVLAを訓練した。「Pickup Box」タスクにおいて、ACTは成功率100%（平均時間9.16秒）を達成し、Diffusionは80%（23.88秒）、SmolVLAは70%（33.84秒）を達成した。人間による操作は、成功率100%（12.08秒）であった。
• システム性能と拡張性:
  • レイテンシ: 90 Hzにおいて、BEAVRは約10 msの一方向レイテンシとサブミリ秒のジッターを達成した。30 Hzでは、レイテンシは約33 msであった。これらの指標は、一般的なWi-Fiベースの遠隔操作システムよりも優れた性能を示しており、VicariosのようなVRベースのインターフェースとも競争力がある。
  • 周波数安定性: シングルアーム、バイマニュアル（両腕）、およびマルチロボット（最大4つのエフェクター）の構成において、制御周波数は目標レートの99.2%～99.4%を維持した。
  • ジッター: 複数のロボットへのスケールアップやコマンドレートの増加時においても、ジッターは一貫して低く保たれた（アームで<0.90 ms、手で<0.22 ms）。これは、ボトルネックがBEAVRアーキテクチャではなく、ローカルの制御ループに局在していることを示している。
  • コスト: 完全なセットアップ（VRヘッドセット、ロボット、サーボ、プリント部品）は、約1,080ドルと見積もられ、システムの低価格性を強調している。

重要性と主張

本論文は、BEAVRが遠隔操作とデータ駆動型ポリシー学習の架け橋となる、統一されたオープンソースプラットフォームを提供することで、ロボット研究における重要な障壁に対処すると主張している。その重要性は以下の点にある：

• 民主化: 高品質な器用な遠隔操作およびポリシー学習への技術的・コスト的な参入障壁を下げること。
• 標準化: カスタムのデータフォーマットを不要にし、コミュニティ全体のベンチマークを容易にする標準化されたデータ収集パイプライン（LeRobot）を提供すること。
• 拡張性: 単一のVRインターフェースが、レイテンシのペナルティや特殊なネットワークインフラを必要とせずに、ヘテロジニアスなロボット（アーム、手、人型ロボット）を制御できることを実証すること。
• モジュール性: 変換行列とソルバーのターゲットを更新するだけで、新しいエンボディメントを統合できる柔軟なアーキテクチャを提供すること。

著者らは、BEAVRを単なる遠隔操作ツールとしてではなく、アクセシブルで再現可能、かつスケーラブルなデータ収集を通じて、器用な操作とマルチロボット協調の研究を進展させるための基礎的なフレームワークとして位置づけている。