Extending Deep Event Visual Odometry with Sparse Point-Cloud Export

技術概要：スパース点雲エクスポートによるディープイベント視覚オドメトリーの拡張

問題定義
ディープイベント視覚オドメトリー（DEVO）は、スパースパッチ追跡、学習されたパッチ選択、再帰的対応関係の精緻化、および微分可能なバンドル調整を組み合わせることで、単眼イベントのみのオドメトリーが高速運動や困難な照明条件下でも堅牢な性能を達成できることを実証した。しかし、DEVO は主に軌道推定システムとして設計されている。カメラ姿勢の最適化のために追跡されたパッチの位置と推定深度というスパースな幾何構造を内部的に維持しているものの、この 3 次元情報は最適化ループ内に潜在したままとなり、明示的な出力として露出されていない。多くのロボット工学、デバッグ、可視化タスクにおいて、軌道推定だけでは不十分であり、シーン検査や下流処理のためにエクスポート可能な 3 次元点雲が必要とされる。既存のイベントベースの 3 次元再構成手法（例：EMVS）は、再構成を別個の問題として扱い、専用のパイプラインや追加のセンサーモダリティを必要とすることが多い。

手法
提案される研究は、コアの視覚オドメトリー定式化を変更することなく、スパース点雲エクスポートパイプラインを追加することで DEVO を拡張する。このアプローチは、DEVO がすでに 3 次元再構成に必要な要素（カメラ姿勢と追跡されたパッチに関連するスパース深度変数）を推定しているという観察に基づいている。

1. 内部可視化: 核心的な変更は、DEVO 推論パイプラインの内部観測量を露出させることである。システムは、ヘルパー関数（run_rgb、run_voxel_norm_seq、run_voxel）にオプトインフラグ（return_observables=True）を追加して拡張された。これを有効にすると、これらの関数はカメラ姿勢とタイムスタンプだけでなく、現在のスパース点雲と深度推定値も返す。
2. 3 次元生成: エクスポートプロセスは標準的な逆投影を利用する。画像座標 $(u, v)$ と推定深度 $z$ を持つ有効な追跡パッチごとに、カメラ座標系における 3 次元点は内在行列 $K$ を用いて計算される（$p_c = zK^{-1}[u, v, 1]^T$）。これらの点は、最適化されたカメラ姿勢を用いて共通の世界座標系に変換される。
3. パイプラインと後処理: データ抽出、形式変換（.ply、.npy へ）、およびクリーンアップを処理するための実用的なワークフローが実装された。パイプラインには、基礎となるオドメトリー推定値を変更することなく、スパースでノイズの多い出力の実用性を向上させるための統計的および半径アウトレイヤー除去などのオプションの後処理ステップが含まれる。
4. 実装: この拡張は元の DEVO コードベースの構造を維持し、専用のエクスポートスクリプト（scripts/export_pointcloud.py）とオーケストレーションスクリプト（scripts/start_pipline.py）を追加した。異なる環境間での再現性を確保するため、Docker コンテナが提供された。

主要な貢献

• スパース表現の露出: 本プロジェクトは、DEVO を拡張してその内部的なスパース 3 次元表現をエクスポート可能な点雲データとして露出させ、軌道のみのシステムを幾何学的シーン出力を提供するシステムへと変換する。
• 実用的なエクスポートパイプライン: 点雲生成、形式変換、およびクリーンアップの完全なワークフローの実装。FPV、RPG、VECtor などのさまざまなデータセットタイプへのサポートを含む。
• 限界の分析: イベントベースの視覚オドメトリーフレームワークからスパース点雲を抽出することの有効性と限界に関する実証的分析。特に密度、完全性、および累積されたオドメトリーノイズに対する感度に関する点。

実験結果
システムは、高コントラストの幾何学的パターンを持つ平面校正ボードを特徴とするBOARD SLOWイベントカメラシーケンスで評価された。エクスポートされた DEVO SLAM 点雲は、DEVO 姿勢と真値姿勢の両方を使用して生成された EMVS 再構成と比較された。

• スケールの分離: 真値姿勢 EMVS と DEVO 姿勢 EMVS の間の再構成品質の差は、グローバルスケールの不一致（DEVO 軌道は約 1.42 倍大きかった）に起因しないことが実験で確認された。軌道と深度範囲を一貫してスケーリングしても、DEVO 姿勢による再構成品質は向上しなかった。
• 姿勢密度: 再構成品質に影響を与える主要な要因は姿勢密度であった。真値軌道は 4,171 の姿勢を提供したのに対し、DEVO は 985 の姿勢であった（約 4.2 倍の差）。この高密度なサンプリングにより、EMVS はより多くの独立した視点を得ることができ、結果として鮮明な再構成が可能となった。
• 幾何学的整合性: エクスポートされた DEVO SLAM クラウドは、EMVS 再構成と高い局所的整合性を示した。5 cm の閾値において、ICP 整合後の F スコアは 0.491 であり、精度は 98.4% であった。これは、ほぼすべての EMVS 点がエクスポートされた DEVO クラウドの近くに位置することを示している。ただし、カバレッジ特性の違いによりリコールは低く（31.7%）、DEVO は全軌道にわたってスパースな点を蓄積するのに対し、EMVS は局所的な半密構造を再構成するためである。
• 平面性とノイズ: 両手法とも支配的な平面ボード幾何を回復したが、DEVO SLAM クラウドはより高い平面適合残差（EMVS の 13.5 mm に対して 93.2 mm）を示し、より多くの孤立したアウトレイヤーを含んでいた。これは、全シーケンスにわたるスパースオドメトリー状態と姿勢ドリフトの蓄積に起因する。
• 視覚的検証: 投影された 3 次元点は、ボード上の印刷された形状（菱形、正方形、円）の可視境界と整合しており、エクスポートされた点が輝度変化によってトリガーされた実際のシーン幾何に対応していることを確認した。

意義と主張
本論文は、既存の高性能オドメトリーフレームワーク内の潜在幾何情報を露出させることで、提案された拡張が純粋な視覚オドメトリーと完全な 3 次元再構成の間のギャップを成功裏に埋めたと主張している。システムは、DEVO の元の強み（高速および低照度条件における堅牢性）を維持しつつ、シーン検査や下流処理のための有用性を追加する。

著者は、出力を EMVS のような専用のマルチビューステレオ手法と比較可能な密な表面再構成ではなく、スパース構造表現として謙虚に特徴づけている。意義は、イベントベースの視覚オドメトリーパイプラインが、コア最適化ロジックを置き換えることなく、使用可能な 3 次元シーン幾何を提供するように拡張できることを実証した点にある。この研究は、結果として得られる点雲は本質的にスパースでオドメトリーノイズに敏感であるが、局所的に幾何学的に有効であり、軽量な幾何表現を必要とするロボットワークフローにとって貴重な中間ステップとして機能することを強調している。今後の研究は、完全性を向上させるために、より密な時間的融合と専用の再構成手法との緊密な統合に焦点を当てるべきであると示唆されている。