技術的概要：Pro-DG：建築ファサード生成のための手続き的拡散ガイダンス

問題定義

元のデザインの核心アイデンティティを保持しつつ、構造原則に準拠した現実的な建築ファサードのバリエーションを生成することは、依然として大きな課題です。コンピュータグラフィックスおよびビジョンにおける既存の手法は、通常、プロシージャルモデリング（フォトリアリズムのために多くのアーティスト介入を必要とする場合が多い）または拡散ベースの画像合成（正確な構造制御とグローバルな整合性に苦慮する）のいずれかに焦点を当てています。最近のニューロシンボリックアプローチはこのギャップを埋めようと試みていますが、シンボリックで階層的なプロシージャル構造と拡散モデルを効果的に組み合わせ、ソース画像の視覚忠実度を失うことなく、制御可能かつ大規模な構造編集（例：階の複製、窓の再配置）を可能にするフレームワークは不足しています。現在の拡散ベースの編集手法は、画像空間全体の再構成ではなく、局所的な物体操作に焦点を当てることが多いです。

手法

提案されるフレームワーク Pro-DG は、シンボリックなファサード文法と拡散ベースの画像合成を、5段階のパイプラインを通じて統合します。

1. 逆手続き的再構成:
   システムは、入力ファサード画像（$F_{in}$）とそのセグメンテーションから手続き的表現を抽出することから始まります。これには、階層的な分割文法導出木（$P_{in}$）を推論するために、トランスフォーマーベースのニューロシンボリック手法である FaçAID が利用されます。この木は、画像空間をセマンティック領域（例：階、壁、窓）と非終端記号に分割し、ファサードの構造階層を捉えます。

2. 構造編集:
   ユーザーは、ターゲット構造（$P_{out}$）を作成するために手続き的表現を修正することで編集を定義します。編集には、パラメータの調整（例：階数）や階層の変更（例：特定の要素の削除）が含まれます。ペア $(P_{in}, P_{out})$ が望ましい変換を定義します。

3. 階層的マッチング:
   新規のマッチングアルゴリズムが、ソース（$P_{in}$）とターゲット（$P_{out}$）の構造間の対応関係を作成します。このステップでは、2 つのカスタム指標に基づいて、ターゲット木の記号をソース木にペアリングします。

   • SVD 指標: 特異値分解を用いて画像領域の構造複雑度と対称性を比較し、要素数は異なるが類似した構造パターンを持つ領域を同一視します。
   • ヒストグラム指標: 強度ヒストグラムに対するヘリンガー距離を用いて、コンテンツの認識を確保します（例：壁と窓の区別）。
     アルゴリズムは親子の整合性を強制し、マッチングされたノードが文法の階層的制約を尊重することを保証します。

4. 拡散再構成（逆転）:
   システムは、入力画像に対して Null-Text 逆転 を実行し、$F_{in}$ を再構成するために必要な初期ノイズベクトルとネットワーク活性化（$\Psi_{in}$）を復元します。同時に、キャニーエッジマップ（$C_{in}$）が抽出されます。このステップは、元のファサードの「アイデンティティ」を捉えます。

5. ガイデッド推論:
   核心的な合成ステップでは、拡散モデル（Canny エッジ ControlNet を備えた Stable Diffusion 1.5）をガイドして出力（$F_{out}$）を生成します。

   • 制御入力: 階層的マッチングを用いて、確立された対応関係に基づいてソースからセグメントをコピーおよびリサイズし、新しいキャニーエッジマップ（$C_{out}$）とターゲットネットワーク活性化（$\Psi_{out}$）を構築します。
   • 最適化: 拡散プロセスは、ターゲット構造を強制するために ControlNet 経由で $C_{out}$ によってガイドされます。さらに、最適化目的関数は、現在の潜在活性化と $\Psi_{out}$ の間の L2 距離を最小化し、局所的な外観とテクスチャの保持を確保します。

主要な貢献

本論文は、3 つの主要な貢献を提示します。

1. 階層認識型マッチングアルゴリズム: SVD ベースの構造分析とヒストグラムベースのコンテンツ分析を組み合わせた新規指標により、プロシージャル木間の構造および視覚的手がかりを整合させながら、親子の整合性を強制します。
2. 統合された ControlNet パイプライン: 階層から導出された制御信号（キャニーエッジ）と活性化ターゲットを合成し、拡散プロセスのすべてのステップをガイドするシステム。これにより、局所的な編集ではなく、画像空間全体の再構成が可能になります。
3. 包括的な評価: 50 枚の多様なファサード画像を用いた評価により、最先端のベースラインと比較して、構造忠実度と視覚的整合性において一貫した向上が実証されました。

結果と評価

この手法は、50 枚の現実世界のファサード画像からなるデータセットで評価され、そのうち 20 枚が定性的分析とユーザー調査に使用されました。

• 定性的結果: システムは、複雑な構造編集に従いながら、元のデザインの核心アイデンティティを保持する編集済みファサードを正常に生成します。出力は、基盤となる Stable Diffusion 1.5 モデルと同等のフォトリアリズムを示します。
• ベースライン: 著者は、以下の手法と比較しました。
  • ControlNet ベースライン: Null-Text 逆転を使用した標準的なセグメンテーションベースの ControlNet アプローチ。
  • Photoshop ベースライン: Adobe Firefly を使用した半自動のコラージュベースのインペインティングアプローチ。
  • 合成レンダリング: 真値の代理として使用される、修正されたファサードモデルの 3D レンダリング。
• ユーザー調査: 105 人のユーザーと 3,045 件の評価を含む調査において、Pro-DG はリアリズムと外観保持の点で ControlNet ベースラインよりも有意に好まれました。また、Photoshop ベースライン（より高度な生成塗りつぶしモデル Firefly を使用）よりも、編集の遵守とアイデンティティ保持において優れていました。
• 定量的指標:
  • スライスド・ワッサーシュタイン距離（SWD）: Pro-DG は最低の SWD（0.1185）を達成し、ControlNet（0.1844）および Photoshop（0.124）のベースラインと比較して、局所的な外観とテクスチャの保持が優れていることを示しました。
  • CLIP コサイン距離（CCD）: Pro-DG は強い意味的類似性（0.118）を示し、ControlNet ベースライン（0.2146）を上回りました。Photoshop ベースラインはわずかに低い CCD（0.0936）を示しましたが、これは指標が好むベースラインの物体の直接コピーに起因します。
• アブレーション研究: 実験により、ControlNet と活性化ガイダンスの両方が必要であることが確認されました。いずれかを除去すると、幻覚やぼやけた出力が生じました。また、終端記号（例：壁）に対する階層的マッチングが、テクスチャ忠実度の維持に重要であることが強調されました。

意義と限界

本論文は、Pro-DG がシンボリックなプロシージャル構造と拡散モデル間の未開拓のギャップに対処し、建築的完全性を維持する高品質で制御可能な画像生成のフレームワークを提供すると主張しています。特定の物体を変換するほとんどの拡散ベースの編集手法とは異なり、Pro-DG は元のデザインのアイデンティティを保持しつつ、画像空間全体の再構成を可能にします。

著者が認める限界には以下が含まれます:

• 新規要素の生成: ターゲット構造が元のデザインに存在しない要素（例：ドアのないファサードにドアを追加する）を導入する場合、この手法は困難に直面します。階層的なペアリングには有効な対応関係が存在しないためです。
• 文法の表現力: 基盤となる文法（FaçAID）が特定のファサードの複雑さを表現できない場合、逆再構成は失敗し、不一致が生じます。
• 視覚的ノイズ: 障害物（木、看板など）を含む入力画像は、キャニーマップや活性化に非構造的なノイズを導入し、不整合な出力をもたらす可能性があります。
• モデルの制約: 現在の実装は Stable Diffusion 1.5 とその ControlNet に依存しており、最新で専門的な拡散バックボーンと比較して達成可能な忠実度が制限されています。

著者は、シンボリックな手続き的表現とデータ駆動型合成の相乗効果が、ファサード修復や対話型建築設計の応用において有望であり、構造化された画像編集におけるニューロシンボリック統合の可能性を実証していると結論付けています。