Ego-OSCAR: Egocentric Open source Stereo CAptuRe System

技術要約: Ego-OSCAR

問題提起
Vision-Language-Action (VLA) モデルおよびワールドモデルの開発は、現実世界の相互作用を捉えた多様かつ大規模なマルチモーダルデータセットの不足によって、ますますボトルネックに直面しています。テレオペレーション（遠隔操作）は高忠実度のデータを提供しますが、スケーラビリティに欠けます。シミュレーションはsim-to-realのギャップに苦しみ、自律型ロボットファームは安全性の制約によって制限されます。一人称視点（エゴセントリック）のデータ収集はスケーラブルな代替案となりますが、既存のソリューションにはトレードオフが存在します。コンシューマー向けデータセット（例：Ego4D）は、ハードウェア同期された慣性ストリームを持たない単眼のローリングシャッターカメラに依存しています。一方で、高忠実度な研究用プラットフォーム（例：Project Aria）は、ソースが非公開で高価であり、より広いコミュニティによる自由な配布や再現ができません。その結果、大規模に同期されたステレオ・慣性データをキャプチャできる、オープンで低コストなヘッドマウントデバイスが存在しない状況にあります。

手法
Ego-OSCARは、分散型の展開を目的として設計された、オープンハードウェアかつ低コストなキャプチャシステムと、それに対応するソフトウェアスタックを通じてこのギャップを解消します。

• ハードウェア設計: 本デバイスは、市販品（COTS）と3Dプリント部品のみで構成され、部品構成表（BoM）が200米ドル未満の、重量約280gのヘッドマウントユニットです。

  • センサー: 単一のASICを介してハードウェア同期された2つのOmnivisionグローバルシャッターセンサーを備えたDexcin USBステレオカメラモジュールを使用しています。これにより、マイクロ秒レベルの同期が保証され、急速な頭部の動きによるローリングシャッターアーティファクトが排除されます。また、120 Hzでサンプリングされる6軸IMU（ICM-20948）を搭載しています。
  • 演算および制御: Radxa Rock 5C（Rockchip RK3588 SoC）が、ハードウェア加速されたビデオエンコーディング（MJPEGからH.264へ）とストレージを処理します。Seeed Studio Xiao ESP32-S3 マイクロコントローラは、ユーザーフィードバック（RGB LEDステータス）、ウォッチドッグ機能（システムのハングアップ検知）、そして極めて重要な「時刻同期」を管理します。
  • 同期メカニズム: カメラとIMUの独立したクロックを橋渡しするため、ESP32は割り込みを介してカメラの露光開始（SoE）信号をキャプチャします。各フレームの露光に対する単調増加のタイムスタンプを記録し、それらをIMUデータと統合します。オフラインの整列プロセスでは、視覚的なアンカー（60回目の割り込み時に点滅する青色LED）を使用して、IMUストリームをビデオフレームインデックスと決定論的に整列させ、残留ラグを700 µsに抑えます。
  • 堅牢性: システムには、SBC（シングルボードコンピュータ）のハングアップを検知（1 Hzのハートビートによる）し、エラー状態をトリガーするウォッチドッグが含まれており、サイレントなデータ損失を防ぎます。

• ソフトウェアパイプライン: オープンソースのスタックには、ハードウェア加速されたレコーディングデーモン、IMUサンプリングサービス、時刻同期ツール、およびウォッチドッグファームウェアが含まれます。データは、電源断時の損失を最小限にするために5分間のクリップに分割され、整合性検証を行った上でアップロードされます。

• データセット収集: 著者らは、インドの25人のコントリビューターによる分散ネットワークにこのシステムを展開し、6ヶ月間で1,462セッション、合計約550時間のステレオビデオ（1,100カメラ時間）を収集しました。データは多様な屋内環境をカバーしており、キッチンでの活動に焦点を当てつつ、裁縫や仕立てなどの活動も含まれています。

主な貢献

1. オープンハードウェアデバイス: CADファイル、配線図、組み立て手順を備えた、完全に文書化され再現可能なヘッドマウント式ステレオ慣性キャプチャリグ。
2. オープンソースソフトウェアスタック: レコーディング、同期、およびデータ管理のための完全なパイプラインを提供し、コミュニティがキャプチャプロセスを再現することを可能にします。
3. Ego-OSCAR-550h データセット: 同期されたIMUデータを持つ約550時間のエゴセントリック・ステレオビデオのキュレートされたデータセット。生のセンサーストリームとは異なり、本リリースには以下が含まれます：
   • 自由形式のアクションキャプション: 全タイムラインをカバーする、オープン語彙による約209,315のセグメント。
   • 3D手部再構成: WiLoRによって生成された、フレームごとの3D手のポーズ。
   • セッションごとのキャリブレーション: 公称値としての工場内特性ではなく、セッションごとの個別キャリブレーションファイル。

結果と評価
論文では、以下の3つのティアでシステムを評価しています：

• センサーの忠実度: セッションごとのキャリブレーションにより、再投影誤差は0.03ピクセル未満となっています。ハードウェア同期されたグローバルシャッターとIMUにより、保持された20個のテストシーケンスのうち12個で視覚慣性オドメトリ（VINS-Fusion）に成功し、視覚慣性間の残留ラグは700 µsでした。IMUのノイズフロアはコンシューマーグレードとして特徴付けられており、重力方向の整列や動作分類には適していますが、より高品位な交換を行わない限り、長期の慣性積分には適していません。
• データの有用性: ステレオ深度推定（SGBM, RAFT-Stereo）は、126°の全視野角にわたって成功しています。手部の検出率は94%に達しており、これはヘッドマウントのジオメトリが、ほとんどの相互作用において手を視野内に留めていることを示しています。
• 展開規模: システムは1,462セッションにわたり、96%の利用可能セッション率を達成しました。失敗モード（熱停止、SDカードのI/Oエラー、ケーブルの張力）は特定され、ハードウェアの改訂（ヒートシンク、機械的補強）およびソフトウェアの検証を通じて軽減されました。

意義と主張
本論文は、Ego-OSCARを、単位あたりの忠実度においてProject Ariaのような研究グレードのシステムに取って代わるものではなく、「クラウドソースによるエゴセントリック・キャプチャのための、最も安価で防御可能な基盤」として位置付けています。その主な意義は、エゴセントリックなデータを大規模に収集するための「活性化エネルギー」を下げることにあります。完全にオープンで再現可能かつ手頃な価格のプラットフォームを提供することで、Ego-OSCARは、既存の単眼またはクローズドなプラットフォームのデータセットを補完しつつ、高品質で同期されたステレオ慣性データの収集を民主化することを目指しています。著者らは、このデータからエンドツーエンドのポリシー向上が得られることを実証することは今後の課題であると明言しており、現在の貢献は、そのような研究を可能にするためのインフラストラクチャとデータセットであるとしています。