💻 computer science

HomeDiffusion: Zero-Shot Object Customization with Multi-View Representation Learning for Indoor Scenes

HomeDiffusion 是一种新颖的零样本物体定制框架，它利用扩散模型中的多视图表示学习和交叉注意力机制，生成视觉和谐、高保真的室内场景家具布置，克服了现有方法中存在的细节丢失和姿态不一致问题。

原作者： Guoqiu Li, Jin Song, Yiyun Fei

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Guoqiu Li, Jin Song, Yiyun Fei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一把客厅里最爱的扶手椅，你想看看把它放在一个完全不同的房间里会是什么样子——也许是一个阳光明媚的露台，或者是一个温馨的办公室。你希望它看起来和你原本的椅子一模一样（同样的布料、同样的形状、甚至连那点小划痕也一样），同时你还希望它能自然地坐落在那里，符合地板的角度和光线的方向。

这就是 HomeDiffusion 所解决的问题。这是一款全新的 AI 工具，它能让你将一张照片中的物体“放入”另一个场景中，而不会显得虚假、像贴纸或产生畸变。

以下是它的工作原理，通过简单的概念进行拆解：

问题所在：“粘贴感”

之前的 AI 工具就像是一个笨拙的画家。如果你要求它把一把椅子放入一个新房间，它可能能把颜色弄对，但椅子看起来就像一张扁平的贴纸。

透视问题： 如果你的椅子是不对称的（比如左侧带有贵妃榻的沙发），而你试图把它放入一个需要向右转动的房间，旧工具只会拉伸或扭曲图像。它们并不理解椅子具有“3D 形状”，需要进行旋转，而不仅仅是拉伸。
细节问题： 它们经常会丢失精细的细节。织物的纹理可能会变得模糊，或者扶手的特定曲线可能会消失。

解决方案：HomeDiffusion

研究人员构建了一个系统，这个系统就像一位既懂木工又精通 3D 几何学的老师傅。他们使用了一个包含从各种角度（顶、侧、前、后）拍摄的海量家具照片库来训练它。

该系统分为两个主要的“训练营”进行工作：

1. “心理旋转”训练营 (MORL)

在 AI 放置物体之前，它需要深度理解这个物体。

类比： 想象你正试图通过电话向朋友描述一个复杂的雕塑。如果你只给他们看一张照片，他们无法猜出背面长什么样。但如果你展示了正面、侧面和顶部的照片，他们就能在脑海中构建出一个完美的 3D 模型。
HomeDiffusion 的做法： 它获取同一件家具从不同角度拍摄的多张照片，并教会 AI 如何“预测”物体在任何角度下的样子，即使是它从未见过的角度。这确保了当 AI 将沙发放入新房间时，它知道沙发背部应该是什么样子，而不仅仅是正面。

2. “无缝集成”训练营 (BOCL)

一旦 AI 理解了物体，它就需要将其放入新场景中，而不让它看起来像个漂浮的贴纸。

类比： 这就像是一个高科技的照片拼贴过程。但 AI 不仅仅是剪切和粘贴，它还使用了一种理解光照和阴影的“神奇胶水”。
“高清视觉编码器” (HD Visual Encoder)： 为了保持细节锐利（如地毯的编织纹理或靠垫的缝线），AI 不仅仅观察整幅图，它还会放大并观察微小的局部，以捕捉高清细节。
“合成图像”技巧： AI 会创建一个临时的“假”图像，将参考物体粘贴到新房间中。然后，它会将这个假图像作为引导。
“像素对齐交叉注意力” (Pixel-Aligned Cross-Attention)： 这是核心秘诀。想象 AI 正在画一幅画，它会不断检查参考照片。它不仅仅是扫一眼参考图，而是使用一套激光制导系统，将参考图中的每一个像素与新画作进行匹配。这确保了新房间中椅子的特定图案与原图完美契合，即使角度发生了变化。

结果

论文在家具（床、沙发、灯具）甚至服装（虚拟试穿）上测试了该系统。

优于竞争对手： 与“Paint-by-Example”或“AnyDoor”等其他工具相比，HomeDiffusion 能更好地保持物体的身份特征。它不仅能还原颜色，还能保持纹理和形状的准确性。
无需“训练”： 与某些需要你花费数小时向 AI “教授”特定椅子的方法不同，HomeDiffusion 是“零样本 (zero-shot)”的。你只需提供照片，它就能立即工作。
多功能性： 尽管它主要是在室内家具上进行训练，但它展示了处理户外场景甚至将衣服穿在人身上的能力（虚拟试穿）。

总结

HomeDiffusion 就像是一位虚拟室内设计师，它可以拍下你最爱的椅子的照片，理解其在各个角度下的 3D 形状，并将其放入一个拥有完美光照、阴影和纹理的新房间中，使其看起来仿佛一直就在那里。它通过教会 AI 在 3D 空间中真正地“观察”物体，解决了“扁平贴纸”的问题。

技术摘要：HomeDiffusion

问题陈述

零样本物体定制旨在将参考物体无缝集成到目标图像的特定区域，同时确保在布局、光照、透视和空间关系上保持一致，并保留物体的身份特征和固有细节。虽然现有的基于扩散的方法已展现出潜力，但它们在室内场景定制中面临两个主要挑战：

多视角表示（Multi-view Representation）： 现有方法通常依赖单视图参考图像。对于非对称物体，单视图缺乏生成与背景场景朝向相协调的姿态所需的全面 3D 信息，从而导致透视不匹配。
高保真细节保留（High-Fidelity Detail Preservation）： 使用标准编码器（如 CLIP）甚至先进编码器（如 DINO-V2）的方法，在生成过程中往往难以保留细粒度细节（图案、纹理、曲线），导致生成的物体与原始参考物发生偏离。

方法论

作者提出了 HomeDiffusion，一种专门为室内场景设计的创新零样本框架。该流水线由两个截然不同的训练阶段组成：

1. 多视角物体表示学习 (MORL)

此阶段侧重于在不需要测试时训练的情况下，学习鲁棒的多视角物体表示。

HD 视觉编码器： 为了在不导致 GPU 显存爆炸的情况下捕捉精细细节，作者引入了一种从全局和局部两个视角处理图像的编码器。将 448×448 的图像缩放为 224×224 用于全局特征提取，并将其分割为四个 224×224 的补丁用于局部高分辨率细节提取。这些特征被拼接并通过 MLP 映射为一个统一的标记集（token set）。
自生成训练（Self-Generative Training）： 模型通过给定一组 $N$ 个多视图参考图像，来预测家具项的目标视角。
ControlNet 集成： 为了引导特定视角的生成，该方法使用以目标视图的 Canny 边缘图作为条件布局引导的 ControlNet。
输出： 一个封装了多视角物体信息的学习型标记 $C_o$ 。

2. 背景驱动的物体定制学习 (BOCL)

此阶段训练模型将学习到的物体表示插入到背景场景的特定区域中。

复合图像引导（Composite Image Guidance）： 通过将参考物体粘贴到掩码背景区域来创建一张复合图像。该图像同时包含了场景上下文和高保真物体细节。
潜空间对齐（Latent Space Alignment）： 将复合图像编码到潜空间中，以确保与生成图像的像素对齐。
像素对齐交叉注意力（Pixel-Aligned Cross-Attention）： 为了将高保真细节从复合图像转移到生成过程中，作者在复合图像的特征图与 U-Net 编码器的多个层级之间引入了一种交叉注意力机制。这使得模型能够有效地提取并保留精细细节，即使复合图像中参考物体的视角与最终生成中的目标视角不同。

核心贡献

HomeDiffusion 框架： 一种用于室内场景的零样本物体定制方法，确保了高保真细节保留和和谐的透视融合。
HD 视觉编码器： 一种能够从全局和局部视图提取精细物体细节的新型编码器，平衡了分辨率与计算效率。
多视角物体表示学习 (MORL)： 一种自生成训练过程，使模型能够从多视角图像中学习鲁棒的多视角表示，从而实现从未知角度生成物体。
背景驱动的物体定制学习 (BOCL)： 一种利用复合图像引导和像素对齐交叉注意力将参考物体集成到背景场景中的方法，以维持高保真细节。
ZOC-Indoor-Eval 基准测试： 构建了一个包含 18 亿以上合成室内场景图像及多视角家具数据（8 个类别）的新基准，用于评估零样本定制性能。

实验结果

作者在 ZOC-Indoor-Eval 基准和 Viton-HD 基准上对 HomeDiffusion 进行了评估，并将其与最先进的零样本和少样本方法（Paint-by-Example, AnyDoor, DreamBooth）进行了对比。

定量性能： 在 ZOC-Indoor-Eval 基准（单视图参考）上，HomeDiffusion 实现了 89.4 的 CLIP 分数和 86.2 的 DINO 分数，优于 AnyDoor (87.1/83.3) 和 Paint-by-Example (83.4/78.5)。
多视角优势： 与需要微调的少样本方法 DreamBooth 相比，HomeDiffusion 在一个、三个和五个视角场景下均取得了更高的 DINO 分数（分别为 86.2、87.5 和 88.1），证明了其在无需测试时训练的情况下利用多视角信息的能力。
定性分析： 视觉对比显示，HomeDiffusion 能够成功为非对称物体生成正确的透视，并比竞争对手更好地保留精细细节（例如床头板上的图案、枕头数量），后者经常出现透视不一致或细节丢失的问题。
消融实验： 实验证实了 MORL 阶段对于处理视角变化的重要性，以及 HD 视觉编码器和像素对齐交叉注意力在细节保留方面的有效性。
泛化能力： 尽管是在室内数据上训练的，该模型仍展示了推广到室外自然场景和虚拟试穿场景 (Viton-HD) 的能力。

重要性与主张

论文声称 HomeDiffusion 解决了当前物体定制方法的关键局限性，特别是无法处理来自单视图的非对称物体以及高保真细节丢失的问题。通过利用多视角表示学习和一种用于细节传输的新型注意力机制，该方法在零样本设置下实现了卓越的性能。作者强调，他们的方法允许用户以高度的保真度和透视和谐度，将电商家具虚拟放置在个人生活空间中，在无需进行大规模逐个物体训练的情况下，弥合了参考物体与目标环境之间的差距。