論文要約：ArchSym: 野外における3D接地型建築対称性の検出

1. 背景と問題提起 (Problem)

対称性（Symmetry）は、3D再構成や物体生成において、欠損した幾何学情報を補完するための強力な事前知識（Prior）として機能します。しかし、既存の単一画像からの3D対称性検出手法には、主に2つの大きな課題がありました。

1. データの偏り: 既存の学習ベースの手法は、背景が単純な「物体中心（Object-centric）」のデータセット（ShapeNetなど）で訓練されており、複雑な背景、照明の変化、遮蔽物（オクルージョン）が存在する「実世界の風景（In-the-wild）」には対応できませんでした。
2. スケール曖昧性: 単一のRGB画像から3D平面を特定する場合、スケール（大きさ）が定まらない「不良設定問題（Ill-posed problem）」が生じます。そのため、多くの既存研究は平面の「向き（法線）」の予測に留まっていました。

本研究は、これらの課題を解決するために、建築的なランドマークに焦点を当て、実世界の画像から3D空間に接地（Grounded）した反射対称性を検出するフレームワークを提案しています。

2. 提案手法 (Methodology)

本論文の提案は、大きく分けて「データ生成パイプライン」と「対称性検出モデル」の2つの柱で構成されています。

A. 自動アノテーション・パイプラインとArchSymデータセット

実世界の3D対称性アノテーションを手動で行うのは困難であるため、著者らはSfM（Structure-from-Motion）再構成を利用した自動生成パイプラインを開発しました。

• 原理: 3D再構成における「Doppelganger問題（視覚的に似ているが物理的に異なる構造を誤ってマッチングしてしまう現象）」を逆手に取ります。
• 手法:
  • Within-view matching: 画像とその反転画像の間でマッチングを行い、視界内の対称性を抽出。
  • Cross-view matching: 異なる視点から撮影された、視覚的に類似した画像同士を反転させてマッチング。これにより、単一の視点からは見えない（例：建物の表裏の対称性）構造も抽出可能にします。
• 結果: これにより、93のランドマークシーン、34,177枚の画像からなる大規模データセット**「ArchSym」**を構築しました。

B. 単一視点3D対称性検出器

構築したArchSymを用いて、単一画像から3D対称性を予測するモデルを訓練しました。

• 幾何学的接地 (3D-Grounded): 3D基盤モデルである「VGGT」をバックボーンとして採用。VGGTが予測する点群（Point map）を基準座標系として利用することで、単一画像特有のスケール曖昧性を解消し、3D空間に正しく接地した予測を可能にしました。
• 符号付き距離関数 (Signed Distance Map, SDM) による定式化: 平面パラメータを直接回帰するのではなく、各ピクセルの予測点から対称平面までの「符号付き距離」を予測するデンス（密）なタスクとして定式化しました。これにより、学習が安定し、精度が向上しました。
• アーキテクチャ:
  • Symmetry Identification Module: Transformerデコーダを用いて、シーン内の潜在的な対称平面の候補（インスタンス）を特定。
  • Dense Map Synthesis Module: DPT（Dense Prediction Transformer）構造を用い、FiLM層（Feature-wise Linear Modulation）を通じて特定されたインスタンス情報を注入しながら、高精度なSDMを生成。

3. 主な貢献 (Key Contributions)

1. ArchSymデータセットの構築: 実世界のランドマークにおける3D反射対称性を大規模かつ自動的にアノテーションするスケーラブルなパイプラインを提案。
2. 初のEnd-to-End実世界モデル: 予測されたシーン幾何学に基づき、3D空間に接地した対称性を検出する、実世界の複雑なシーンに対応可能な初のフレームワークを提示。
3. 新しいベンチマークの確立: 建築物の対称性検出における厳格な評価基準を確立。

4. 実験結果 (Results)

• 定量的評価: 既存の最先端手法（REFLECT3D）および単純なベースライン（DIRECT）と比較して、法線の角度誤差（Geodesic distance）および密な対称性誤差（Dense symmetry error）の両方において、提案手法が大幅に優れた性能を示しました（Table 1参照）。
• 定性的評価: 提案手法は、遮蔽物がある場合や、建物の一部しか見えていない場合でも、建築学的に妥当な対称平面を正確に特定できることが確認されました。
• 応用例: 検出した対称性を利用して、単一画像から得られた不完全な点群（建物の裏側が欠損している状態）を「鏡像反転」によって補完し、完全な3D形状を生成（Point cloud completion）できることを実証しました。

5. 意義 (Significance)

本研究は、コンピュータビジョンにおける古典的な課題である「対称性検出」を、制御された物体レベルから、複雑で予測不可能な「実世界の建築環境」へと大きく拡張しました。提案されたArchSymデータセットと、幾何学的な接地を重視した学習手法は、今後の3D再構成、自己位置推定、およびデジタルツイン構築における強力な幾何学的事前知識として活用されることが期待されます。