CustomTex: High-fidelity Indoor Scene Texturing via Multi-Reference Customization

Each language version is independently generated for its own context, not a direct translation.

想象一下，你是一位室内设计师，手里有一个只有“骨架”和“形状”的 3D 房间模型（就像还没装修的毛坯房）。你的任务是为这个房间贴上墙纸、铺上地板、给沙发和桌子穿上漂亮的“衣服”（也就是纹理）。

以前的方法就像是你手里只有一张模糊的文字描述（比如“我要一个复古风的客厅”），或者一张巨大的拼贴画（把所有想要的风格硬拼在一起）。结果往往是：

指鹿为马：电脑分不清哪张图是给沙发的，哪张是给桌子的，导致沙发长出了木纹，桌子变成了布艺。
画质模糊：贴出来的东西像打了马赛克，或者看起来软绵绵的，没有质感。
自带“假光”：最糟糕的是，以前的方法生成的纹理里，光影是“ baked-in"（烤死/固化）的。就像你在照片上画了阴影，如果你把房间里的灯关掉或换个角度，那个阴影就移不动了，看起来非常假。

这篇论文提出的 CustomTex，就是为了解决这些痛点的“超级装修神器”。

🌟 核心概念：CustomTex 是怎么工作的？

我们可以把 CustomTex 的工作流程想象成**“双管齐下”的装修队**，它有两个核心绝招：

1. 精准的“指哪打哪” (实例级控制)

以前的方法可能给你一张大图，让你自己猜哪里贴什么。
CustomTex 的做法是：你给电脑看多张参考图。

你指着沙发说：“我要这张图里的皮质。”
你指着墙壁说：“我要这张图里的深色木纹。”
你指着地板说：“我要这张图里的地毯。”

它就像一位极其细心的管家，手里拿着标签（实例掩码），严格地把每一张参考图的“灵魂”只贴到对应的家具上。沙发绝不会被贴上地板的图案，墙壁也不会变成椅子的样子。

2. 双引擎驱动：先“懂行”，再“高清” (双重蒸馏)

这是 CustomTex 最聪明的地方。它把装修分成了两个步骤，由两个不同的“专家”负责：

专家 A：语义理解大师 (Semantic-level Distillation)
- 任务：确保“神似”。
- 比喻：就像一位艺术总监。他负责看参考图，理解“这是复古风”、“那是现代风”，并确保沙发看起来真的像复古沙发，而不是一个长得像沙发的奇怪物体。他保证了内容的正确性。
专家 B：高清修复大师 (Pixel-level Distillation)
- 任务：确保“形似”和“质感”。
- 比喻：就像一位像素级修图师。艺术总监把大概的样子定好了，修图师负责把画面变得锐利、清晰，去掉模糊和噪点，让木纹的纹理、布料的褶皱都清晰可见。他保证了画质的高清。

这两个专家在一个统一的框架下工作，互相配合，既保证了“贴对了地方”，又保证了“贴得漂亮”。

🚫 为什么以前的方法不行？(痛点解析)

以前的方法 (文字驱动)：就像你给装修队发微信说“我要一个温馨的家”。装修队可能会给你造一个温馨但全是塑料感的家，或者把沙发做成温馨但形状奇怪的物体。文字太模糊，无法传达“这种特定的木纹”或“那种特定的花纹”。
以前的方法 (单张大图驱动)：就像你把所有想要的图片拼成一张巨大的长图扔给装修队。装修队会晕头转向，不知道哪块图对应哪个家具，导致张冠李戴。
关于“自带光影” (Baked-in Shading)：以前的方法生成的纹理，就像是在照片上直接画了阴影。如果你把房间里的灯关了，那个阴影还在，看起来就像贴了一张假照片。CustomTex 生成的纹理是纯净的（只有颜色和材质，没有光影），所以无论你房间里的灯怎么开、怎么关，它看起来都很真实。

🏆 它的成果如何？

通过实验，CustomTex 做到了：

指哪打哪：沙发就是沙发，椅子就是椅子，完全符合你给的参考图。
高清无码：生成的纹理非常清晰，没有模糊感，细节丰富。
光影自然：去掉了“假阴影”，让房间在不同光照下都能保持真实感。
速度快：虽然训练需要时间，但生成最终的高清纹理（比如 4K 分辨率）只需要几秒钟。

💡 总结

CustomTex 就像是一个拥有“读心术”和“微雕手”的超级装修机器人。
它不需要你写长篇大论的文字描述，你只需要给它看几张具体的参考照片，它就能精准地把照片里的风格“移植”到 3D 房间的每一个家具上，并且保证贴出来的东西既像真的，又清晰漂亮，还没有那种“假假的”固定阴影。

这让普通人也能轻松地把 3D 场景变得像照片一样真实，大大降低了虚拟世界装修的门槛。

Each language version is independently generated for its own context, not a direct translation.

这是一份关于论文 CustomTex: High-fidelity Indoor Scene Texturing via Multi-Reference Customization 的详细技术总结。

1. 研究背景与问题 (Problem)

尽管 3D 重建技术（如 NeRF 和 3D Gaussian Splatting）在几何捕捉和视角相关外观方面取得了进展，但为 3D 室内场景生成高保真、可定制且无烘焙光照（baked-in shading）的纹理仍然是一个重大挑战。现有的方法主要存在以下局限性：

文本驱动的模糊性：基于文本提示（Text-driven）的方法虽然灵活，但难以传达精细的实例级视觉特征（如特定的织物纹理、木纹细节），且往往只能提供全局粗粒度的控制。
图像驱动的实例控制不足：现有的参考图像驱动方法通常只能提供全局风格控制，无法针对场景中的不同物体实例（如沙发、柜子、墙壁）分别指定不同的参考图像。
质量与伪影问题：现有方法生成的纹理往往缺乏锐度，存在模糊、伪影，且容易包含“烘焙”的光照和阴影（即纹理中自带了训练数据中的光照信息），导致在重新打光渲染时效果不佳。
语义与像素的纠缠：在扩散模型生成过程中，语义感知与像素级保真度往往纠缠在一起，难以同时兼顾语义合理性和高视觉质量。

2. 核心方法论 (Methodology)

CustomTex 提出了一种新颖的框架，通过**多参考图像（Multi-Reference Images）驱动，实现 3D 室内场景的实例级、高保真纹理生成。其核心是将语义生成与像素增强分离，采用双重蒸馏（Dual-Distillation）策略，统一在变分分数蒸馏（Variational Score Distillation, VSD）**优化框架下。

2.1 总体流程

输入：一个未纹理的 3D 场景网格（包含多个物体实例 $\{O_i\}$ ）和一组定义每个实例期望外观的参考图像 $\{I_{ref}^i\}$ 。
输出：一个统一的高分辨率纹理贴图。
优化空间：在 UV 空间中对隐式多分辨率纹理场进行优化。

2.2 双重蒸馏策略

CustomTex 利用两个预训练的 Stable Diffusion 模型进行协同优化：

语义级蒸馏 (Semantic-level Distillation)：
- 目标：确保生成的纹理在语义上与参考图像一致，并实现精确的实例级控制。
- 机制：使用实例引导的变分分数蒸馏 (InsVSD)。
- 关键技术：引入**实例交叉注意力（Instance Cross-Attention）**机制。利用实例掩码（Instance Masks）将每个参考图像的特征 $f_{ref}^i$ 精确对齐到渲染图像中对应的物体实例位置。这使得模型能够学习参考图像中多种模式的分布，并将特定的语义和风格内容精确转移到纹理的对应部分。
- 模型：基于深度到图像（Depth-to-Image）扩散模型，通过 LoRA 微调学习语义先验。
像素级蒸馏 (Pixel-level Distillation)：
- 目标：提升纹理的视觉保真度、清晰度和细节，减少模糊和伪影。
- 机制：利用预训练的**超分辨率（Super-Resolution, SR）**扩散模型。
- 作用：在保持底层结构和语义信息的同时，增强高频细节。该模型本身也基于 VSD 训练，便于无缝集成。

2.3 优化目标

最终的优化梯度由两部分组成：
$\nabla_\theta \mathcal{L} = \nabla_\theta \mathcal{L}_{VSD} + \lambda_{SR} \nabla_\theta \mathcal{L}_{SR}$
其中， $\mathcal{L}_{VSD}$ 负责语义一致性和实例对齐， $\mathcal{L}_{SR}$ 负责像素级细节增强， $\lambda_{SR}$ 为平衡权重。

2.4 纹理表示

采用基于 Instant-NGP 的多分辨率哈希网格（Multi-resolution Hash Grid）来表示隐式纹理，结合交叉注意力纹理解码器，支持任意分辨率的纹理生成。

3. 主要贡献 (Key Contributions)

实例级多参考定制框架：提出了一种新的纹理生成框架，能够利用多张参考图像对 3D 场景中的不同物体实例进行灵活、精细的定制，解决了文本提示模糊和全局控制不足的问题。
双重蒸馏训练方法：设计了一种有效的双重蒸馏策略，将语义内容保持（通过实例交叉注意力）与像素级保真度增强（通过超分辨率模型）解耦并协同优化，显著提升了纹理质量。
实例引导的 VSD 方法：提出了实例引导的变分分数蒸馏，成功捕捉了参考图像中的多模态分布，并有效避免了传统方法中常见的“烘焙光照”问题，生成了更纯净的漫反射（Albedo）纹理。

4. 实验结果 (Results)

4.1 定量评估

在图像到纹理（Image-to-Texture）和文本到纹理（Text-to-Texture）任务中，CustomTex 均优于现有的 SOTA 方法（如 SceneTex, Paint3D, HY3D-2.1 等）：

图像到纹理：在 CLIP-I（语义相似度）、CLIP-FID（分布相似度）、Q-Align IQA（图像质量）和 Q-Align IAA（美学评分）四项指标上均取得最高分。
文本到纹理：在 CLIP-T（文本一致性）和图像质量指标上同样表现最佳。

4.2 定性评估

实例一致性：能够精确地将不同参考图像的风格（如深色木纹、皮革沙发、花卉图案）分别应用到对应的物体上，无风格混淆。
视觉质量：生成的纹理具有更高的锐度，显著减少了模糊、伪影和“烘焙”阴影，视觉效果更接近艺术家创作或物理扫描的纹理。
用户研究：在 60 名参与者的评估中，CustomTex 在视觉质量和提示一致性方面均获得了最高评分（4.008/5 和 4.125/5）。

4.3 消融实验

像素级蒸馏的必要性：移除像素级蒸馏（w/o LSR）会导致纹理模糊和伪影增加，证明了其对细节增强的重要性。
特征级掩码：在特征层而非噪声层应用实例掩码（w/o feature-level mask）能更好地保持光照稳定性。
多参考输入：将多张参考图拼接成一张大图（w/o multi-ref）会导致实例区分困难和光照伪影，证明了多参考输入机制的必要性。
后处理 vs. 蒸馏：直接对生成纹理进行超分辨率后处理（post-SR）效果不如将其融入蒸馏过程，因为 UV 纹理缺乏自然图像的高级语义结构，直接 SR 效果不佳。

5. 意义与影响 (Significance)

更直接的编辑路径：CustomTex 为 3D 场景外观编辑提供了一条更直接、用户友好的路径，用户只需提供目标物体的参考照片即可实现高精度的纹理定制，无需复杂的文本提示工程。
解决行业痛点：有效解决了现有方法中纹理模糊、光照烘焙和实例控制不精细的问题，生成的纹理可直接用于不同光照条件下的渲染，具有更高的实用价值。
应用前景：该方法在虚拟现实（VR）、增强现实（AR）、建筑可视化和影视制作等领域具有广泛的应用潜力，能够显著降低高质量 3D 内容创作的门槛和成本。

局限性：目前训练 4K 分辨率纹理计算成本较高（约 48 小时），且主要生成漫反射（Albedo）纹理，尚未涵盖法线或粗糙度等其他材质贴图。