技術要約：マルチビュー画像からの堅牢な3D体積および表面積推定のための軽量ニューラルフレームワーク

問題提起

物体の体積および表面積を視覚データから正確に推定することは、海洋生態学（サンゴの成長モニタリング）から医学的診断（人体計測、食事計画）から産業分析に至るまで、幅広いアプリケーションにおいて極めて重要である。しかし、既存のアプローチには以下のような重大な限界が存在する：

• 計算コスト： Structure-from-Motion (SfM)、高密度Multi-View Stereo (MVS)、または明示的なウォータータイト・メッシュ生成（例：COLMAP, PMFS）に依存する従来のパイプラインは、計算負荷が高く、広範な後処理を必要とする。
• データへの敏感性： これらの手法は、入力データが疎（少ないビュー数）であったり、ノイズが含まれていたり、正確なキャリブレーションを欠いていたりする場合、性能が著しく低下または失敗することが多い。
• ワークフローの非効率性： 最先端のディープラーニングシステムは、中間タスクである幾何学的再構成や画像合成に焦点を当てることが多く、メトリック（計量値）の推定は、別途、エラーが発生しやすい後処理ステップへと追いやられている。
• スケール曖昧性： 制約のないRGBマルチビューキャプチャにおいて、絶対的なスケールは曖昧であり、物理的なメトリックを直接回帰することを困難にしている。

手法

著者らは、反復的な最適化や明示的なメッシュ生成をバイパスし、マルチビューRGB画像からスケール正規化された体積および表面積（ならびにそれらの不確実性）を直接回帰する、完全なフィードフォワード型の軽量ニューラルフレームワークを提案する。

パイプライン・アーキテクチャ

システムは主に4つのステージで動作する：

1. 前処理およびセグメンテーション： 高度なプロンプト可能なセグメンテーションツール（Grounding DINOとSAM 2を組み合わせたGrounded-SAM2）または合成画像生成を用いて、対象物を背景から分離する。これにより、マスクされたマルチビュー画像が得られる。
2. 3Dブランチ（幾何学的バックボーン）： 汎用的なマルチビュー再構成器（効率性のためにMapAnything、またはVGGTを使用）が、マスクされたビューを処理して、融合された疎なポイントクラウドを生成する。各点は信頼スコアによって補強される。ポイントクラウドは、スケールの曖昧性を処理するために、単位外接球に正規化される。
3. 2Dブランチ（視覚的特徴）： 固定された最先端の2Dエンコーダ（DINOv3 ViT-S/16）が、マスクされたRGB画像からビューに整合した特徴を抽出する。これらの特徴は、3D幾何学を補完するテクスチャやエッジ情報を捉える。
4. 融合および回帰：
   • 3Dエンコーディング： ポイントクラウドはGraph Isomorphism Network (GIN) によって処理され、コンパクトな3D潜在ベクトル（$z_{3D}$）を生成する。
   • 2Dエンコーディング： マルチビュー2D特徴は、浅いMLPと平均/最大プーリングを介して、グローバル記述子（$d_{2D}$）へと集約される。
   • 融合： 3D記述子と2D記述子を結合し、全結合（FC）回帰ヘッドに入力する。
   • 出力： 単一の点推定値ではなく、ネットワークはNormal-Inverse-Gamma (NIG) 事前分布を定義する4つのパラメータ（$\gamma, v, \alpha, \beta$）を出力する。これにより、モデルはメトリック（$\gamma$）を予測し、アレアトリック（データノイズ）およびエピステミック（モデルの不確実性）な不確実性を明示的に定量化できる。

学習戦略

• データセット： 汎化性能のためにObjaverseデータセットで事前学習を行い、その後、ドメイン固有のデータセット（Synthetic Corals（Infinigenにより生成）、THuman2.1（人間のスキャン）、MetaFood（実際の食品画像））でファインチューニングを行う。
• グラウンドトゥルース（正解値）： メトリックは、単位境界球に正規化されたウォータータイト・メッシュ（ManifoldPlusで処理）から導出される。
• 損失関数： 以下の要素を組み合わせた複合目的関数を用いる：
  • エビデンシャリー負の対数尤度 (NLL)： NIG事前分布から導出されたStudent-t分布のNLLを最小化する。
  • エビデンシャリー正則化： 大きな誤差を持つ領域における高い信頼性にペナルティを課す。
  • 決定論的ペナルティ： 堅牢な点推定と安定性を確保するために、L1（平均絶対誤差）およびMAPE（平均絶対パーセント誤差）を含む。

主な貢献

1. 合理化されたエンドツーエンド回帰： 本フレームワークは、ウォータータイト・メッシュ生成や反復的な最適化を排除し、単一パスでの高速な推論を可能にする。
2. 統合された2D-3D特徴融合： 2D特徴（DINOv3）をGINを介した3Dポイントクラウド表現と融合することで、モデルは単一のモダリティに依存する手法よりも、疎なビューやノイズに対して堅牢になり、性能が向上する。
3. 深いエビデンシャリー不確実性推定： モデルは、体積および表面積の測定値に対して較正された信頼度推定を提供し、アレアトリックおよびエピステミックな不確実性を区別する。これは科学的な信頼性において極めて重要である。
4. 広範なクロスドメイン評価： 本手法は、サンゴのモニタリング、食事分析、人体計測を含む多様な現実世界のシナリオで検証されており、既存のベースラインと比較して優れた汎化性能を示している。

実験結果

本フレームワークは、合成および実世界のデータセットにおいて、最先端の手法（例：VolETA, ININ, Trellis, 2D Gaussian Splatting, Agisoft）と比較して評価された。

• 精度： モデルは低い平均絶対パーセント誤差（MAPE）および中央値絶対パーセント誤差（MdAPE）を達成している。例えば、THumanデータセットにおいて、2D特徴を組み込むことで、3D特徴のみを使用した場合の体積MAPEは約20%から約8%へと減少した。
• 疎なビューでの性能： モデルは低データ環境において優れている。MetaFoodデータセットでは、単一の入力画像であってもベースラインを上回り、他の手法（Trellisなど）が大幅に失敗した場面（MAPE > 200%）でも高い性能を発揮した。
• 実世界への汎化： 実物のサンゴ標本や人間を対象としたテストにおいて、ファインチューニングされたモデルは、限られた入力ビュー（20〜30）においても、商用ソフトウェア（Agisoft）や3D再構成ベースライン（2DGS, Trellis）を一貫して上回る平均および中央値の誤差を示した。
• 不確実性の較正： リスク・カバレッジ分析により、推定された不確実性に基づいて予測を閾値処理することで、エラーが大幅に減少（0.6のカバレッジでリスクが70%以上減少）することが示され、モデルが信頼できない予測をフラグ立てできる能力が確認された。
• 効率性： フレームワークは非常に効率的であり、5万点のポイントクラウドに対して、NVIDIA A100 GPU上で0.1秒未満のフォワードパスを実行できる。メモリ使用量は約3GBであり、これは従来の再構成パイプラインに要する数分から数時間と比較して極めて高速である。

意義と主張

本論文は、このフレームワークを堅牢で適応性が高く、高速な定量的形状解析の代替案として位置づけている。その主な意義は以下の通りである：

• スケーラビリティ： 従来のメソッドでは時間がかかりすぎる、あるいはリソースを大量に消費する大規模な調査（例：リーフモニタリング）の効率的な処理を可能にする。
• 堅牢性： 疎なビュー、ノイズ、遮蔽といった「不完全な」シナリオにおいても高い性能を維持し、古典的なMVSやメッシュベースの手法が失敗しやすい状況でも機能する。
• 実用性： ウォータータイト・メッシュや重い後処理を必要としないことで、視覚データから幾何学的メトリックへの直接的な経路を提供し、リソースが制限された環境での実世界への応用を容易にする。

著者らは、スケール正規化された予測への依存（絶対的な測定には外部のヒントが必要）や、特定のドメインにおける大規模で注釈付きのリアルワールドデータセットの不足といった限界も認めているが、限られたファインチューニングデータ（例：360個の食品サンプル）であってもモデルが強力な性能を示すことについても言及している。