Code-as-Room: Generating 3D Rooms from Top-Down View Images via Agentic Code Synthesis
本文提出了 Code-as-Room，这是一个基于多模态大语言模型的智能体框架，它通过具有跨阶段记忆的、结构化的多阶段流水线合成可执行的 Blender 代码，从而从俯视图生成逼真的 3D 室内场景，以克服现有方法在空间精度和稳定性方面的局限。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一张房间的平面二维图纸——就像房地产 listings 中常见的那种蓝图。现在，想象你希望瞬间将这张平面图纸转化为一个完全布置好、可步入的三维房间，就像在电子游戏或虚拟现实头显中那样。
这正是论文《Code-as-Room》所做的事情。它是一个新系统，能够接收单张房间的俯视图，并在流行的三维软件 Blender 中构建出完整、可交互的三维版本。
以下是其工作原理，通过简单的类比进行解释：
问题：那根屡屡失效的“魔法棒”
此前，研究人员尝试使用人工智能（特别是大型语言模型）来完成这一任务。他们会将图片展示给 AI，并指令它：“建造这个房间。”
- 问题所在：这就像让一个混乱的实习生去建造一栋房子。有时 AI 会忘记墙壁的位置，把床放在天花板中央，或者陷入无限循环，不断试图修正自己的错误。它极不稳定，常常生成毫无逻辑的房间。
解决方案：拥有严格蓝图的“首席建筑师”
作者们创建了一个名为Code-as-Room的新系统。他们不再只是让 AI“把它做出来”，而是赋予它一份严格、分步的工作说明书。请将 AI 视为一位首席建筑师，它必须编写一套指令（代码）来建造房间，而不是一根魔法棒。
该系统将“建造房间”这一庞大而令人畏惧的任务，分解为更小、可管理的阶段，就像施工队分阶段作业一样：
- 测量员（图像分析）：首先，AI 观察平面图片并识别主要元素：“那是墙，那是门，那是个大沙发。”它构建出房间的思维导图。
- 框架组（布局）：接下来，它在家具应放置的位置摆放“幽灵盒子”。此时它不关心颜色或纹理，只需确保沙发在地板上，而不是悬浮在空中。
- 检查员（视觉反馈循环）：这是关键秘诀。在放置家具后，系统会实际渲染一张它构建内容的快速图像，并将其反馈给 AI。AI 充当自己的批评者：“等等，桌子与椅子重叠了。让我修正一下。”它会重复几次这种检查与修正的循环，直到布局完美。
- 室内设计师（细节处理）：一旦布局稳固，AI 会回头添加细节。它决定沙发是“天鹅绒”材质，地板是“木质”，灯具是“黄铜”材质。它编写代码来生成这些具体的形状和材质。
- 灯光技师（最终润色）：最后，它设置灯光和相机，使房间看起来逼真，并准备好供人观看。
“记事本”（跨阶段记忆）
此前 AI 尝试中最大的问题之一是遗忘。AI 可能在墙壁部分做得很好，但等到处理家具时，它已经忘记了墙壁的位置。
为了解决这个问题，研究人员为 AI 提供了一本共享记事本（称为“跨阶段记忆”）。每当 AI 完成一个步骤，它就将结果写在记事本上。当下一步开始时，它会阅读记事本，以准确记住之前发生了什么。这确保了整个团队步调一致，防止 AI 迷失方向或自相矛盾。
结果
论文表明，这种方法比之前的尝试有效得多。
- 稳定性：AI 不会陷入循环；它遵循结构化的步骤。
- 准确性：家具保持在正确的位置，房间看起来与原始图纸一致。
- 可用性：最终输出是可在 Blender 中运行的实际代码。这意味着房间不仅仅是一张静态图片；它是一个真实的、可编辑的三维场景，设计师后续可以对其进行调整。
简而言之，Code-as-Room通过扮演一支纪律严明的施工队，将平面平面图转化为三维世界。这支队伍在每一步都检查工作，并保留共享的进度日志，确保最终的建筑坚固、准确且立即可用。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。