論文要約：単眼 RGB ビデオからの計測可能な乳房表面再構築のための局所化ニューラルパラメトリック 3D 乳房形状モデル

1. 背景と課題 (Problem)

乳房の 3D 形状モデルおよび再構築技術は、整形外科、形成外科、乳腺外科、およびカスタムブラの設計など、医療および臨床応用において重要な役割を果たしています。しかし、既存の技術には以下の重大な課題が存在します。

• 高コストとアクセシビリティの欠如: 高精度な 3D 乳房スキャンには、Artec や Canfield 社などの商用システム（数万ドル〜ユーロ）が必要であり、大規模病院以外では利用困難です。
• ハードウェアとソフトウェアの制限: 低コストな代替手段として iPhone の LiDAR や TrueDepth カメラを用いた研究がありますが、これらは特定のデバイスに限定され、多くの場合クローズドソースのソフトウェアに依存しており、透明性やプライバシーの面で懸念があります。
• 既存モデルの限界: 従来の PCA（主成分分析）ベースのメッシュモデルは、非剛体登録の難しさや、隠れた部分（乳房下部など）の対応付けエラーに悩まされています。また、最近提案された implicit なニューラルモデル（iRBSM）は、単一のグローバルなニューラル Signed Distance Function (SDF) を使用しているため、皮膚のしわや乳頭といった微細な解剖学的構造の再構築に不十分でした。
• データとコードの非公開: 多くの既存手法はコードや学習済みモデルが公開されておらず、研究の進展や臨床応用を阻害しています。

2. 提案手法 (Methodology)

著者らは、単一の単眼 RGB ビデオから高精度かつ計測可能な（メトリカルな）3D 乳房表面を再構築するための、低コストかつオープンソースのパイプラインを提案しました。この手法の核心は、**局所化されたニューラルパラメトリック乳房モデル（liRBSM）**と、構造から運動（SfM）を組み合わせた再構築パイプラインにあります。

2.1 局所化ニューラルパラメトリック乳房モデル (liRBSM)

既存の iRBSM（グローバルな SDF）の限界を克服するため、顔面モデル（NPHM）のアーキテクチャを乳房形状に適用しました。

• 空間分割と局所 SDF: 乳房領域を解剖学的ランドマーク位置にアンカーされた複数の小さな領域に分割します。各領域は、局所的なニューラル SDF（MLP）によって表現されます。
• アンカーポイント: 6 つの解剖学的ランドマーク（胸骨切痕、へその位置、左右の乳頭、左右の鎖骨突起）をアンカーポイントとして使用します。
• モデル構成:
  • グローバル潜在コード ($z_{glob}$): 形状全体のバリエーションを制御。
  • 局所潜在コード ($z_{k}$): 各アンカー領域の微細な形状を制御。
  • アンカー予測 MLP: グローバル潜在コードからアンカーポイントの位置を予測。
  • 背景 MLP: アンカーから遠い領域のコンテキストを捉えるための追加ネットワーク。
  • 融合: 各局所 MLP の出力を、アンカーからの距離に基づくガウス重み付けでブレンドし、最終的な SDF を生成します。
• 利点: この「局所化」アプローチにより、皮膚のしわや乳頭といった高周波数の詳細な構造を、グローバルモデルよりもはるかに高い精度で表現・再構築できます。

2.2 単眼 RGB ビデオからの表面再構築パイプライン

入力として単一の RGB ビデオ（例：iPhone で撮影）を受け取り、以下のステップで処理します。

1. フレーム選択: ビデオから鮮明で時間的に均等分布したフレームを自動選択。
2. Structure-from-Motion (SfM): 選択されたフレームから VGGSfM（最先端のオープンソース SfM パイプライン）を用いて、カメラパラメータとスパースな 3D 点群を復元。
3. アライメントとプルーニング:
   • ユーザーが単一の画像上で 6 つのランドマークをマウスクリックで指定。
   • 推定されたカメラパラメータに基づき、2D ランドマークを 3D 点群に逆投影。
   • 点群をモデルの平均形状にアライメントし、背景のノイズ点を除去（プルーニング）。
4. モデル適合 (Fitting): 前処理された点群に対して、liRBSM の潜在コードを最適化（Eq. 8）し、最適な形状を推定。
5. スケール復元: 再構築されたメッシュを現実世界のスケールに変換。
   • 厳密な計測：実測したランドマーク間距離（例：乳頭間距離）を使用。
   • 近似計測：学習データから得られた統計的な平均スケールを使用（実用上は厳密な計測と同等の精度）。

3. 主要な貢献 (Key Contributions)

1. liRBSM の提案: 局所化されたニューラル暗黙的表現を用いた新しい 3D パラメトリック乳房モデル。168 人の被験者データで学習され、微細な解剖学的構造の再現性を大幅に向上。
2. 低コスト・オープンソース再構築パイプライン: 専用ハードウェアや商用ソフトウェアを必要とせず、市販のデバイス（スマートフォン等）で撮影した単眼 RGB ビデオから、6 分未満で計測可能な 3D 乳房を再構築。
3. 完全なオープンソース化: 学習済みモデル、ソースコード、使いやすい GUI を公開（https://rbsm.re-mic.de/local-implicit）。臨床医や研究者へのアクセスを促進。

4. 実験結果 (Results)

168 人のデータセットで学習し、10 人のテスト被験者（Vectra H2 スキャンと iPhone 動画）で評価を行いました。

• モデル性能 (Intrinsic Evaluation):
  • 既存の PCA ベースモデル（RBSM）と比較して、Chamfer Distance (CD) が 4 倍以上改善。
  • 既存のグローバルニューラルモデル（iRBSM）と比較して、CD が 30% 以上改善（0.77mm vs 1.13mm）。
  • F-Score（2.5mm 閾値）で 98.6% を達成。
• 再構築パイプライン性能:
  • 計測精度: 計測モード（メトリカル評価）において、再構築誤差が2mm 未満（CD: 1.96mm）を達成。
  • 詳細の再現: 皮膚のしわや乳頭など、iRBSM では再現できなかった微細な構造を正確に復元。
  • ロバスト性: 動画フレームのノイズや照明条件が悪くても、VGGSfM とモデルベースのアプローチにより安定した結果を得る。
  • ランドマーク感度: ランドマーク選択に 10 ピクセル（実世界で約 5mm）のノイズが含まれても、再構築品質への影響は negligible（無視できるレベル）。
  • フレーム数: 30 フレームで最適。3 フレーム（商用システム同等）でも 3mm 未満の誤差で動作可能。

5. 意義と結論 (Significance & Conclusion)

この研究は、乳房形状モデリングと 3D 再構築の分野において以下の点で画期的です。

• アクセシビリティの劇的な向上: 高額な医療機器がなくても、誰でもスマートフォンで高精度な 3D 乳房スキャンを作成可能にしました。
• 技術的ブレイクスルー: 「局所化されたニューラル SDF」を乳房形状に応用することで、微細な解剖学的特徴の再現性を飛躍的に高め、臨床的に有用な詳細さを達成しました。
• オープンサイエンスの推進: 医療画像分野では珍しく、モデル、データ（学習用はプライバシー保護のため非公開だが、コードとモデルは公開）、パイプラインをすべてオープンソース化し、研究の透明性と協力を促進しています。
• 臨床応用の可能性: 乳房体積推定、対称性の評価、手術シミュレーション、カスタムブラ設計など、広範な臨床および非臨床応用への道を開きました。

著者らは、この手法が臨床現場での日常的な使用や、さらなる研究開発の基盤となると期待しています。