技術的概要：FSTM – 室内再構築のための効率的な幾何学と意味学習

問題定義

ニューラルサーフェス再構築、特に符号付き距離関数（SDF）を用いた手法は、室内の 3 次元再構築の標準となっています。しかし、ロボティクス、編集、インタラクションなど多くの下流アプリケーションでは、幾何学的忠実度だけでなく、物体ごとの意味的理解も必要とされます。意味性を統合する既存のアプローチは、各物体を個別の SDF で表現するマルチ SDF 定式化（例：ObjectSDF++、RICO）に依存することが多いです。これらの手法は、以下の 3 つの主要な限界に苦しんでいます：

1. 計算オーバーヘッド: 正則化項（Eikonal、滑らかさ）を各物体 SDF ごとに計算する必要があり、トレーニング時間がシーン複雑度に対して非効率的にスケーリングします。
2. 最適化の不安定性: 物体 SDF をシーン表現にマージするために min-プーリングを使用すると、勾配の不連続性が生じ、トレーニングの不安定化と収束の遅延を引き起こします。
3. 雑多なシーンでのスケーラビリティの欠如: マルチ SDF 構造は、複雑な多物体環境において詳細と再現率を維持するのが困難であり、小さな物体を見逃したり、観測が不十分な領域で幾何学を過度に単純化したりすることがよくあります。

さらに、単一のネットワーク内で幾何学と意味性を単純に結合最適化すると、再構築品質が低下する傾向があります。これは、初期の意味的監督が、幾何学的精度を犠牲にして幾何学ネットワークを意味的一貫性へと偏らせるためです。

手法：FSTM

著者は、FSTM（First Shape, Then Meaning：まず形状、次に意味）を提案します。これは、2 段階のトレーニング戦略を用いて、単一のグローバル SDFを通じて幾何学と意味を学習する統合フレームワークです。

1. 統合表現

マルチ SDF アプローチとは異なり、FSTM は学習可能な単一の SDF（$SDF_\theta$）でシーン全体を表現します。意味推定を可能にするため、アーキテクチャは MonoSDF のバックボーンに意味デコーダヘッドを拡張します。3 次元クエリ点 $x$ に対して、幾何学 MLP は SDF 値と特徴ベクトル $g(x)$ を出力し、これが意味ログオッズ $s_C(x)$ にマッピングされます。これらの分布は、ボリュームレンダリングを介してカメラ光線に沿って統合され、高密度な光線ごとの意味的監督を可能にします。

2. 2 段階トレーニング戦略

幾何学的最適化と意味的最適化の間の対立に対処するため、FSTM は段階的なアプローチを採用します：

• ステップ 1：幾何学的ウォームアップ: ネットワークは、意味的監督を無効化（$\lambda_5 = 0$）した状態で、幾何学的手がかり（RGB、単眼深度、および法線事前知識）のみでトレーニングされます。これにより、幾何学は、潜在的にノイズの多いまたは矛盾する意味信号によって偏ることなく、高忠実度の状態に収束することが保証されます。
• ステップ 2：結合最適化: 意味的監督が導入され、残りのトレーニング予算全体にわたり、幾何学と意味の両方に対してネットワークが結合最適化されます。

3. 3 次元セグメンテーション

テスト時には、軽量な後処理ステップを通じて物体レベルのセグメンテーションが達成されます。等値面抽出（例：マーチングキューブス）により、単一 SDF のゼロレベルセットからメッシュが生成されます。各メッシュ面に対して、面の中心から法線方向に光線を投射し、学習された意味フィールドを照会します。面には、統合された確率が最も高いクラスが割り当てられ、個別の物体固有のネットワークを必要とせずに、高密度な物体レベルのラベリングが可能になります。

主要な貢献

• 単一 SDF 定式化: 複雑なマルチ SDF 構造ではなく、単一のグローバル SDF が、高品質で物体認識可能な再構築に十分であることを実証しました。これにより、勾配の不連続性が回避され、計算オーバーヘッドが削減されます。
• 2 段階最適化: 初期の意味的勾配による破壊的干渉を防ぐ幾何学優先のトレーニングスケジュールを導入し、結合最適化と比較してより安定した収束と高品質な再構築を実現しました。
• 効率的な意味統合: 適切にスケジュールされた場合、意味的事前知識は単に再構築の副産物として機能するのではなく、幾何学的忠実度を積極的に洗練させることができることを示しました。
• スケーラビリティ: この手法はシーン複雑度に対して効率的にスケーリングし、マルチ SDF 設計における物体数に比例するトレーニング時間の増加を回避します。

実験結果

この手法は、Replica（合成データ）とScanNet++（実世界データ）のデータセットで評価されました。

• Replica における性能: FSTM は、シーンレベルおよび物体レベルの両方の指標（チャーマー距離、F スコア、法線整合性）において、最先端の手法（ObjectSDF++、RICO、MonoSDF）を上回ります。マルチ SDF ベースラインと比較して、トレーニング時間で2.3 倍の高速化を達成しました。
• ScanNet++ における性能: FSTM は、実世界の不完全性（ぼやけたフレーム、ポーズ誤差）に対する優れた頑健性を示します。ベースラインよりもはるかに多くの物体を回復し（高密度なシーンでは最大 6 倍）、高い再現率を維持します。
• 定性的な改善: FSTM は、マルチ SDF 手法がしばしば見逃したり過度に単純化したりする、椅子の脚などの微細な幾何学的詳細や小さな物体を回復します。
• 限定的な監督: 疎な意味的監督下でも、FSTM は安定したシーンレベルの再構築品質を維持しますが、単純な結合最適化やマルチ SDF 手法は著しく劣化します。

意義と主張

本論文は、FSTM がスケーラブルで意味的に情報に富んだ 3 次元シーン理解のための合理化された基盤を確立すると主張しています。幾何学と意味の学習を分離することで、著者は以下のことを示しています：

1. 意味は幾何学を強化する: 適切に統合された意味的監督は、特に曖昧または観測が不十分な領域において幾何学的忠実度を向上させます。
2. 単純さは効果的である: 高品質で物体認識可能な再構築のために、複雑な多物体調整は必要ありません。構造化されたトレーニングスケジュールを持つ単一の SDF で十分です。
3. 効率性: このアプローチは、3D ガウススプラッティング手法のリアルタイム推論を犠牲にすることで、産業検査や手術計画に必要な高忠実度でトポロジカルに正しいサーフェスを実現しつつ、既存のマルチ SDF ニューラルサーフェス手法よりもはるかに高速で頑健であるという実用的なトレードオフを提供します。

著者は限界を認め、この手法は個々の物体の防水メッシュをネイティブに生成しないこと（3D プリンティングなどのアプリケーションには後処理が必要）と、2 次元意味注釈が極めて不足している場合（例：10 未満のビュー）、幾何学的改善が減少することを指摘しています。