MatReplace: A Reference-Free, Conditioning-Aligned Benchmark for Material Replacement in Interior Scenes
本文介绍了 MatReplace，这是一个旨在从四个可验证维度和三个条件轨道评估室内场景中材料替换情况的无参考基准测试，研究表明，尽管顶尖的闭源模型在渲染命名材料方面表现出色，但从视觉引用中进行材料落地仍然是一个重大挑战。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，走进一家家具店，要求看一款用特定海军蓝天鹅绒装饰的沙发，或者一个顶部采用了某种特定绿色大理石的厨房中岛。在现实世界中，这需要寻找材料、运输它们并物理性地重新构建物体。在数字世界中，设计师们长期以来一直希望能够通过输入一个请求或展示一张材料的照片，就能让计算机瞬间为房间更换这种新纹理，同时保持家具的形状、光影以及房间的其他部分完全不变。这就是生成式图像编辑（generative image editing）的愿景：这些工具可以像画家更换笔触一样轻松地改变照片。然而，尽管这些工具已经变得很常见，但目前还没有一种可靠的方法来测试它们是否真的完成了任务。挑战在于，一次完美的编辑不仅要让新的材质看起来正确，还要确保图像的其他部分不发生变化，阴影自然地落在新表面上，且物体不会变形或融化成其他东西。如果没有一个清晰的标准，就无法知道计算机是真的理解了请求，还是仅仅在瞎猜。
来自新加坡国立大学、南洋理工大学和文莱大学的研究团队创造了一种衡量这种能力的新方法，称为 MatReplace。他们并没有要求计算机将其生成的新图像与数据库中存储的单一“正确”答案进行对比，而是设计了一项测试，旨在检查每次编辑的四个特定方面。首先，涂抹的区域是否真的看起来像请求的材料？第二，房间的其他部分是否保持完全不变？第三，物体的形状是否保持完整，还是计算机不小心改变了家具的形状？第四，新表面看起来是否融入了房间，即是否具有正确的照明和阴影？通过在不需要预先存在的完美照片进行对比的情况下检查这四点，研究人员建立了一个基准，可以公平地评判不同的计算机程序，即使这些程序是由不同的公司开发的。
研究人员在超过 1,400 个不同的室内设计任务上测试了这个系统，范围从将床头板改为海军蓝麂皮到将地板更换为鱼骨纹橡木。他们将测试分为三种不同的指令输入方式。在第一种设置中，计算机仅接收文本描述。在第二种设置中，它接收文本加上一个显示图像中具体要修改部分的数字轮廓。在第三种设置中，它接收轮廓加上一张用于参考的材料照片。结果显示，最先进的闭源系统与开源系统之间存在明显的差距。最强大的商业工具（这些工具不对公众开放）在仅给定文本描述时表现得异常出色。它们可以完美地改变材质，同时保持场景的其他部分不受影响，这证明了对于最好的系统来说，仅仅命名材料就足够了。
然而，研究发现，增加更多信息并不总是会有帮助。当研究人员给计算机一个用于修改区域的数字轮廓时，它仅能改善那些在保持房间稳定性方面本就挣扎的系统的结果。对于最强的系统而言，轮廓并没有带来任何区别；而对于一些较弱的系统，轮廓甚至让结果变得更糟了。最令人惊讶的发现来自第三种设置，即计算机接收的是一张材料的照片而非文本描述。在这种情况下，每一个系统表现都变差了。计算机并没有利用图片来理解纹理，而是简单地将图片复制到屏幕上，没有根据光影或形状进行调整，或者根本未能应用该材料。甚至有一个系统直接把参考图片本身画了出来，而不是画在房间里。这表明，虽然计算机已经非常擅长理解像“海军蓝麂皮”这样的词汇，但在需要将一张图片的视觉参考应用于新物体时，它们仍然难以理解这张图片所代表的含义。
研究人员还将他们的新评分方法与旧的评估方式进行了比较，旧的方法通常依赖于将结果与存储的参考图像进行对比，或使用文本匹配工具。他们的新方法比旧方法更接近人类专家的判断。人类评分者同意该系统的排名，证实了这种四部分检查法是衡量质量的一种可靠方式。研究结论指出，基于文本描述来改变材质的问题对于最先进的工具来说已基本得到解决，但利用图片来引导这种改变的问题仍未解决。在计算机能够更好地将视觉参考转化为真实的、三维的变化之前，设计师通过文字命名材料可能会获得更好的效果。这项工作提供了一个清晰、公平的方式来追踪该领域的进展，确保未来的工具在评判时，关注的是它们是否真正保留了场景和光影，而不仅仅是看它们在多大程度上模仿了某种特定的风格。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。