CustomTex: High-fidelity Indoor Scene Texturing via Multi-Reference Customization

本論文は、参照画像に基づいて室内 3D シーンの各インスタンスに高忠実度かつ一貫性のあるテクスチャを生成し、既存手法が抱える解像度やアーティファクト、影の焼き付きなどの課題を克服する新しいフレームワーク「CustomTex」を提案するものである。

要約

CustomTex：3D 室内空間を「写真」からリアルに塗りつぶす魔法の技術

この論文で紹介されている**「CustomTex」という技術は、一言で言うと「3D の部屋に、好きな家具や壁の『写真』をそのまま貼り付けて、本物そっくりの質感を作る魔法」**のようなものです。

これまでの技術にはいくつかの悩みがありました。それをどう解決したのか、わかりやすく解説します。

---

1. 従来の技術が抱えていた「3 つの悩み」

3D 空間に模様や色をつける（テクスチャリング）作業は、これまで以下のような問題がありました。

• 悩み①：「言葉」だけではイメージが伝わりにくい
  • 「ソファは茶色の革製で、木目が美しい」という指示を出しても、AI は「茶色なら何でも OK」という曖昧な結果を出しがちです。特定の布地の織り目や、木目の細かい粒まで指定するのは至難の業でした。
• 悩み②：「ぼやけ」や「不自然さ」
  • 生成された画像は、よく見るとボヤけていたり、絵の具を塗りたくったように平らに見えたりすることがありました。本物の写真のような「シャープさ」や「深み」が不足していました。
• 悩み③：「光」まで一緒に焼き付いてしまう
  • これが最大の弱点でした。AI が作った壁紙やソファには、「太陽光が当たっているような影」や「ハイライト」が最初から描き込まれて（焼き付いて）いました。
  • 本物の部屋では、照明を変えれば影も変わりますが、この「焼き付き」があるせいで、別の光の環境で 3D 空間を見せると、不自然に黒っぽく見えたり、光が反射しすぎたりしてしまいます。

---

2. CustomTex の解決策：「2 つの職人」による共同作業

CustomTex は、この問題を解決するために、**「2 人の異なる役割を持つ職人（AI）」をチームとして組み合わせています。これを「二重の蒸留（デュアル・ディスチレーション）」**と呼んでいます。

職人 A：「意味の設計士（セマンティック・ディスチレーション）」

• 役割： 「何を塗るか」を決めます。
• 仕組み： ユーザーが用意した「ソファの写真」「壁の写真」を見て、「ここはソファ、ここは壁」と正確に認識し、それぞれの部分に合ったデザインを提案します。
• ポイント： 単に「ソファ」という言葉だけでなく、**「この写真のソファ」**という具体的なイメージを、3D モデルの特定の部分に正確に配置する技術を使っています。

職人 B：「質感の職人（ピクセル・ディスチレーション）」

• 役割： 「どう見せるか（鮮明さ）」を磨きます。
• 仕組み： 設計士が作った下書きを元に、超解像技術（画像を鮮明にする技術）を使って、布の織り目や木目の細かい粒までくっきりと描き込みます。
• ポイント： ぼやけた絵を、プロの画家が筆で細部まで描き込むように、**「高画質」**に仕上げます。

この 2 人が協力して、**「意味は正しく、質感は最高」**なテクスチャを完成させます。

---

3. なぜ「光の焼き付き」が消えたのか？

ここがこの技術の最もすごい部分です。

• 従来の方法： 1 枚の大きな絵（部屋全体）を一度に描こうとすると、AI は「リアルに見せよう」として、勝手に影や光を全体に描き込んでしまいます。
• CustomTex の方法： 部屋全体を一度に描くのではなく、**「ソファだけ」「壁だけ」「床だけ」と、「インスタンス（個体）ごとに分けて」**描きます。
  • 例えるなら、部屋全体を 1 枚の大きなキャンバスで描くのではなく、**「ソファ用の布」「壁用の壁紙」**をそれぞれ別々の工場で作ってから、部屋に組み立てるようなイメージです。
  • 個々の部品には「光の影」が含まれていないため、完成した部屋にどんな照明を当てても、自然な光と影が生まれます。

---

4. 具体的な効果：どんなことが変わる？

• 写真から直接リメイク：
  • 気に入ったインテリアの写真があれば、それを AI に見せるだけで、3D 空間の家具をその写真と全く同じデザインに塗り替えることができます。
• 驚くほど鮮明：
  • 従来の AI が作った「ぼやけた壁紙」ではなく、**「触りたくなるようなリアルな質感」**が生まれます。
• 自由自在な照明：
  • 作った 3D 部屋を、朝の光、夜のランプ、雨の日の窓際など、どんな光の環境でも見せても、不自然さがありません。

---

まとめ

CustomTexは、3D 室内空間のデザインを、「言葉の曖昧さ」から解放し、「写真の鮮明さ」で実現する画期的な技術です。

まるで、**「好きな家具屋さんのカタログから、好きな家具を選んで、自分の 3D 部屋にそのまま設置し、本物と同じ質感で光まで再現する」**ような体験を可能にします。これにより、建築家やゲーム開発者、あるいは一般のユーザーにとっても、高品質な 3D 空間の作成が、これまで以上に簡単で直感的なものになります。

技術概要

CustomTex: 多参照画像による高忠実度室内シーンテクスチャリングの技術概要

本論文「CustomTex: High-fidelity Indoor Scene Texturing via Multi-Reference Customization」は、3D 室内シーンの高忠実度かつインスタンスレベルで制御可能なテクスチャ生成を実現する新しいフレームワークを提案しています。以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 背景と問題定義

近年、NeRF や 3D Gaussian Splatting などの技術により 3D 幾何形状の復元は進歩しましたが、高品質なテクスチャリング、特に室内シーンにおける細部まで制御可能なマテリアル生成には依然として課題があります。既存の手法には以下の限界がありました。

• テキスト駆動型手法の曖昧さ: テキストプロンプトだけでは、布の織り目や木材の杢目、壁紙の微妙な模様など、インスタンスレベルの細かな視覚的特徴を正確に伝えることが困難です。
• 参照画像駆動型手法の粗さ: 既存の参照画像ベースの手法は、大まかなスタイル制御は可能ですが、個々の物体（ソファ、椅子、壁など）ごとに異なる詳細なアピアランスを指定する「インスタンスレベルの制御」が不十分です。
• 画質とシェーディングの問題: 生成されるテクスチャは解像度が低く、ぼやけやアーティファクトが多い傾向にあります。また、拡散モデルが学習データから照明や深度の手がかりを学習・複製してしまうため、テクスチャに「焼き付けられたシェーディング（baked-in shading）」が含まれ、異なる照明環境でのレンダリングに適さないという問題があります。

2. 提案手法：CustomTex

CustomTex は、未テクスチャリングの 3D 室内シーンと、各オブジェクトインスタンスの望ましい外観を指定する複数の参照画像を入力とし、高解像度の統一テクスチャマップを生成します。

2.1. 全体アーキテクチャ

手法の核心は、**意味レベル（Semantic-level）とピクセルレベル（Pixel-level）の 2 つの蒸留プロセスを統合した二重蒸留（Dual-distillation）**アプローチにあります。これらは Variational Score Distillation (VSD) 最適化フレームワーク内で統合されています。

1. 入力:
   • 未テクスチャリングの 3D メッシュ（UV 座標付き）。
   • 各オブジェクトインスタンスに対応する参照画像セット $\{I_{ref}^i\}$。
2. 出力:
   • 高解像度で、参照画像とインスタンスレベルで整合性が高く、アーティファクトや焼き付けシェーディングの少ないテクスチャマップ。

2.2. 意味レベル蒸留 (Semantic-level Distillation)

参照画像と生成されたテクスチャの間の意味的整合性と、特定のインスタンスへの正確なアライメントを確保します。

• Instance-guided VSD (InsVSD): 事前学習済みの Depth-to-Image 拡散モデルを蒸留します。
• インスタンス交差注意機構 (Instance Cross-Attention): 参照画像の特徴ベクトルを、レンダリングされた画像内の対応するオブジェクトマスク（Instance Mask）を用いて位置合わせします。これにより、特定の参照画像の特徴が、3D シーン内の正しいオブジェクト部分にのみ適用されます。
• LoRA による適応: 軽量な LoRA モデルを学習させ、参照画像のスタイルや意味内容をテクスチャに転写します。

2.3. ピクセルレベル蒸留 (Pixel-level Distillation)

生成されたテクスチャの視覚的忠実度、解像度、シャープネスを向上させます。

• 超解像モデルの活用: 事前学習済みの画像超解像（Super-Resolution, SR）拡散モデルを蒸留します。
• 高周波詳細の保持: 意味レベルの構造を維持しつつ、テクスチャの微細な詳細（高周波成分）を強化します。
• 勾配の統合: 最終的な勾配は、意味レベルの VSD 勾配とピクセルレベルの SR 勾配を重み付けして結合します。これにより、大規模な構造の正しさと微細な詳細の鮮明さを両立します。

2.4. テクスチャ表現

Instant-NGP に由来するマルチ解像度ハッシュグリッドを用いて、UV 空間における潜在的なテクスチャ場 $T(\theta)$ を表現します。これにより、任意の解像度でのテクスチャ生成が可能になります。

3. 主要な貢献

1. 新しいテクスチャ生成フレームワーク: 複数の参照画像をプロンプトとして使用し、柔軟かつインスタンスレベルで制御可能な 3D 室内シーンテクスチャリングを実現。
2. 二重蒸留アプローチ: 意味的な内容の保持と、ピクセルレベルの忠実度の向上を同時に達成する効果的なトレーニング手法。
3. インスタンス誘導型 VSD: 参照画像に含まれる複数のモード（多様な外観）を捉え、インスタンスごとの正確なアライメントを実現する手法。

4. 実験結果

4.1. 定量的評価

• 画像→テクスチャタスク: 既存の手法（Paint3D, HY3D-2.1, SceneTex-IPA など）と比較し、CLIP-I（参照画像との類似性）、CLIP-FID、Q-Align IQA（画質）、Q-Align IAA（審美性）のすべての指標で最高スコアを記録しました。
• テキスト→テクスチャタスク: 複雑なテキストプロンプトから生成された参照画像（GPT-4v 使用）を用いた場合でも、他の手法を上回るセマンティック忠実度と画質を達成しました。

4.2. 定性的評価

• インスタンスレベルの整合性: ソファ、椅子、キャビネット、壁など、各オブジェクトが参照画像と正確に一致するテクスチャを生成します。
• 画質の向上: 既存手法に見られるぼやけ、アーティファクト、および「焼き付けられたシェーディング」が大幅に減少し、非常にシャープで鮮明なテクスチャが得られています。
• アブレーション研究:
  • ピクセルレベル蒸留（SR）を最適化プロセスに組み込むことが、単なるポスト処理よりも画質向上に効果的であることを示しました。
  • 特徴レベルでのマスク適用が、照明の安定性とインスタンスの整合性に不可欠であることを確認しました。
  • 複数参照画像（Multi-ref）を使用することで、オブジェクト間の混同を防ぎ、細かな制御が可能になることを実証しました。

4.3. ユーザースタディ

60 名の参加者による評価において、視覚的品質とプロンプトとの整合性の両面で、CustomTex が他のすべてのベースライン手法を凌駕する高評価を得ました。

5. 意義と結論

CustomTex は、3D 室内シーンの外観編集において、ユーザーが直感的に参照画像を用いて高品質なテクスチャを生成できる、より直接的で使いやすいパラダイムを提供します。特に、インスタンスごとの細かな制御と、照明に依存しない高忠実度マテリアルの生成を実現した点は、VR/AR、建築可視化、映画制作などの分野において大きな意義を持ちます。

今後の課題:

• 4K 解像度テクスチャ生成のためのトレーニング時間の短縮（計算コストの削減）。
• 拡散反射率（Albedo）以外のマテリアルマップ（法線、粗さなど）の生成機能の拡張。

本論文は、拡散モデルを 3D テクスチャリングに応用する際における、意味制御と画質向上の両立という長年の課題に対する画期的な解決策を示しています。