技術サマリー：ESAM++：エッジにおける効率的なオンライン 3 次元知覚

問題定義

リアルタイムのオンライン 3 次元シーン知覚は、ロボット工学、AR/VR、自律システムにおいて不可欠であり、特に計算リソースが限られデータプライバシーが最重要視されるエッジコンピューティング環境において重要です。EmbodiedSAM (ESAM) などの最近の最先端手法は、Segment Anything Model (SAM) を活用して微細なインスタンスセグメンテーションを実現することでオンライン 3 次元知覚の可能性を実証していますが、これらは重大な展開の障壁に直面しています。

ESAM において特定された主なボトルネックは、点群特徴抽出のために3 次元スパース UNetに依存している点です。このコンポーネントは、3 次元推論時間の大部分とモデルサイズの大部分を占めており、GPU 加速を欠くリソース制約のあるエッジデバイスでは実用的ではありません。3 次元スパース UNet は、以下の特定の非効率性に悩まされています：

1. 高い計算コスト：高解像度データで動作する最終層でのみ最終出力を生成するため、入力解像度や出力チャネル数が大きい場合に多大なコストを要します。
2. モデルサイズ：エンコーダがダウンサンプリングを行うにつれてチャネル数が増加し、低解像度層に多数のパラメータが生じます。
3. 未利用の特徴：デコーダは階層的特徴を段階的にアップサンプリングしますが、予測は最高解像度でのみ行われるため、中間のマルチスケール特徴が未利用のまま残ります。

手法：ESAM++

著者らは、計算コストの高い 3 次元スパース UNet を**3 次元スパース特徴ピラミッドネットワーク (SFPN)に置き換えるように設計された軽量でスケーラブルなフレームワークESAM++**を提案します。このシステムは ESAM のコアとなるオンライン処理パイプラインを維持しつつ、エッジ展開のためにバックボーンを最適化します。

コアアーキテクチャ：3 次元スパース特徴ピラミッドネットワーク (SFPN)

SFPN は、スパースな 3 次元点群からの効率的なマルチスケール特徴抽出のために特別に設計された軽量なエンコーダ - デコーダアーキテクチャです。

• エンコーダ：スパース 3 次元畳み込みと残差ブロックを通じて入力を段階的にダウンサンプリングし、4 つの空間解像度にわたって階層的特徴を捉えます。特徴チャネルは $C_1$ から $C_4$ へ増加します。
• デコーダ：スパース転置畳み込み (ConvTr) と残差ブロックを使用してエンコーダを鏡像のように模倣し、特徴を段階的にアップサンプリングします。チャネルは $C_4$ から $C_8$ へ減少します。
• マルチスケール集約：最上層からのみ予測を行う標準的な UNet と異なり、SFPN はデコーダのマルチスケール出力を活用します。すべてのデコーダ段階からの特徴を元の解像度にアップサンプリングし、それらを統合された高解像度特徴マップに連結し、マルチレイヤーパーセプトロン (MLP) を通じて処理して最終的なポイントごとの特徴を生成します。
• 最適化：このアーキテクチャは、計算コストを削減するために高解像度層の出力チャネル数を制限し、モデルサイズを削減するために過剰なチャネル数を持つ中間層を削除します。

インスタンスセグメンテーションとの統合

ESAM++ は、3 次元インスタンスセグメンテーションのための ESAM のメカニズムを維持します：

1. クエリのリフティング：ビジュアルファウンデーションモデル (VFM、実験では特に FastSAM) によって生成された 2 次元マスクが、SFPN 出力から特徴をプーリングすることで 3 次元スーパーポイントへリフティングされます。
2. 精緻化：これらのスーパーポイントは 3 次元インスタンスクエリを初期化し、トランスフォーマーベースのデコーダ層を通じて精緻化されてインスタンスマスクを予測します。
3. マージ：現在のフレームのマスクは、時間的整合性を維持するためにペアワイズ類似度計算（行列乗算）を用いて、以前に蓄積されたマスクとマージされます。

主な貢献

1. ボトルネック分析：本論文は、3 次元スパース UNet をオンライン 3 次元知覚における主要な効率ボトルネックとして特定する詳細な計算分析を提供し、特に解像度、チャネル数、遅延間のトレードオフを浮き彫りにしています。
2. 新規アーキテクチャ (SFPN)：GPU 加速なしのエッジデバイスに特化して設計された、効率的なマルチスケール表現と予測を可能にする 3 次元スパース特徴ピラミッドネットワークの導入。
3. 性能向上：UNet を SFPN に置き換えることで、サイズが2 倍小さく、CPU 上での推論速度が最大3 倍高速になりながら、競争力のある精度を維持するモデルの実証。
4. 堅牢性と汎化：低データ環境でも良好に機能し、カメラ姿勢ノイズ（最大 5%）に対しても堅牢であることを示す証拠。これは RGB のみのオンライン再構築モデルとの統合の可能性を示唆しています。

実験結果

著者らは、ESAM++ を 4 つの困難なベンチマークScanNet、ScanNet200、SceneNN、3RScanで評価しました。

• クラス非依存セグメンテーション (ScanNet200)：
  • Ours-Large は AP 43.7 を達成し、以前のオンライン最先端 (ESAM-E の 43.4) およびオフライン手法を上回りました。
  • 推論速度：Intel Xeon Silver 4314 CPU において、Ours-Large モデルはフレームを326msで処理し、ESAM の934msと比較して約 3 倍の高速化を実現しました。
  • モデルサイズ：Ours-Large モデルは41.2Mパラメータであり、ESAM の44.6Mと比較して小型です。Ours-Small 変種はわずか14.1Mパラメータで、遅延は211msです。
• クラス依存セグメンテーション (ScanNet & SceneNN)：
  • ESAM++ はオンライン手法の中で最先端の性能を達成し、Ours-Large は ScanNet で43.7 AP、SceneNN で34.1 APに達しました。
• クロスデータセット汎化：
  • このモデルは SceneNN および 3RScan への強力な転移性を示し、3RScan のノイズの多い高速運動データに苦しむゼロショット手法やオフラインアプローチを上回りました。
• エッジデバイス評価：
  • iPhone 15 (A16 Bionic) でテストしたところ、小型モデルはフレームあたり190msの遅延と4.5Wの電力消費を達成し、モバイル展開の実用性を検証しました。
• アブレーション研究：
  • アップサンプリングされた融合、ピラミッド構造、またはスキップ接続を除去すると、精度が大幅に低下しました（例：ピラミッドを除去すると AP は 43.7 から 33.8 に低下）。これはマルチスケール設計の必要性を確認するものです。
• ノイズへの堅牢性：
  • この手法は最大5% のカメラ姿勢ノイズに対して堅牢であり remained（AP は 43.7 から 42.4 にわずかに低下しましたが）、20% のノイズでは性能が大幅に低下しました。

意義と主張

本論文は、ESAM++ が GPU 加速なしでエッジデバイスにオンライン 3 次元シーン知覚を展開するための実用的な解決策であると主張しています。3 次元スパース UNet の計算的非効率性に対処することで、著者らは速度、モデルサイズ、精度のバランスが取れたリアルタイムかつ微細な 3 次元インスタンスセグメンテーションを可能にします。

著者らは、現在の研究が点群バックボーンの最適化に焦点を当てている一方で、このフレームワークは既存のビジュアルファウンデーションモデルと互換性があることを強調しています。彼らは控えめに、示されたカメラノイズへの堅牢性が将来の作業への有望な方向性を浮き彫りにしていると示唆しており、ESAM++ を RGB のみのオンライン再構築モデル（CUT3R など）と統合することで、RGB 入力のみを用いた完全なオンライン 3 次元知覚を実現し、リソース制約のあるシナリオへの適用性をさらに拡大することを提案しています。