💻 computer science

RoomPilot: Controllable Indoor Scene Synthesis via Multimodal Semantic Parsing

RoomPilot 是一个统一框架，它通过将文本和 CAD 平面图等多模态输入映射到结构化的室内领域特定语言（IDSL），并采用分层流水线来生成物理一致且语义连贯的 3D 环境，从而实现可控的室内场景合成。

原作者： Wentang Chen, Shougao Zhang, Yiman Zhang, Tianhao Zhou, Ruihui Li

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Wentang Chen, Shougao Zhang, Yiman Zhang, Tianhao Zhou, Ruihui Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是 RoomPilot 论文的解读，将其拆解为简单概念并辅以富有创意的类比。

核心理念：“数字建筑师”

想象一下，你想建造一座房子，但不想雇佣一支由建筑师、工程师和室内设计师组成的团队。你只想说：“我想要一个舒适的客厅，沙发正对着电视”，或者递上一张粗略的平面图草图，然后让计算机瞬间构建出一个完美、逼真的 3D 版本。

这就是 RoomPilot 所做的。它是一个全新的计算机系统，能够将文本描述或 CAD（计算机辅助设计）平面图转化为完全布置好的 3D 室内场景。

问题所在：为什么这很难？

以往尝试解决这一问题的方法，就像蒙着眼睛盖房子：

旧的“规则”系统 就像僵化的机器人。它们能盖房子，但无法理解你是在要求一种“舒适”的氛围还是一种“现代”的风格。它们只是机械地执行严格的脚本。
旧的"AI"系统 就像缺乏物理常识的创意艺术家。它们能让房间看起来很美，但可能会把沙发悬浮在半空中，或者把床塞进墙里。
旧的"LLM"系统（使用大型语言模型）就像伟大的故事讲述者却不会画画。它们能用文字完美地描述一个房间，但当试图构建它时，家具无法契合，房间之间的逻辑连接也讲不通。

解决方案：“通用翻译器”（IDSL）

RoomPilot 的核心魔力在于一种被称为 IDSL（室内领域特定语言）的技术。

将 IDSL 想象成一种 通用翻译器 或 蓝图语言，它介于你杂乱无章的人类指令与计算机僵化的构建规则之间。

你说： “我想要客厅里放一张大沙发。”
翻译器（IDSL）将其转换为：“对象：沙发。位置：客厅。关系：在地板上。尺寸：大。”
构建者：接收这份清晰、结构化的列表，并据此构建场景。

这一点至关重要，因为它让计算机能够确切地理解你的需求，而不会被模糊的词汇搞糊涂。

工作原理：三步组装流水线

RoomPilot 像一支由外向内作业的施工队，分三个明确的层级来建造房子：

骨架（建筑层级）
首先，它审视大局。如果你给它的是文本描述，它会分析出：“好的，这是一套三居室公寓。厨房在客厅旁边，有一扇门通向室外。”如果你给它的是 CAD 图纸，它会读取线条以获取完全相同的信息。它首先构建墙壁和平面图。
大脑（房间层级）
接下来，它为每个房间填充细节。它会问：“卧室里通常有什么？一张床、一个床头柜、一个衣柜。”它在概念上放置这些物品，确保它们符合房间的形状。
肌肉（物体层级）
最后，它挑选实际的 3D 家具。它不是凭空猜测；它拥有一个巨大的真实家具模型库。它会找到一张符合你描述的沙发，检查它是否适合该空间，然后将其放置到位。

秘密武器：“自调节”优化器

这是最巧妙的部分。有时，计算机会犯错。也许它把桌子放在了门中间，或者椅子悬浮在空中。

RoomPilot 使用一种 自调节优化 过程。想象一位非常严格、看不见的室内设计师，不断在房间里走动并修正问题：

“结构”检查： “这张桌子是不是撞到了墙？那盏灯是不是悬浮着？修正它！”（这确保了物理真实性）。
“语义”检查： “电视是不是正对着沙发？床是不是靠近窗户？修正它！”（这确保了房间的合理性）。

该系统使用一种称为 自适应退火 的技术。这就像冷却热金属一样：

起初（高温）系统非常活跃，尝试巨大而疯狂的改变，以寻找良好的布局。
随着冷却：它变得更加谨慎，进行微小而精确的调整，以完善细节，直到一切锁定到位。

结果：为什么这更好？

论文将 RoomPilot 与其他方法进行了测试，发现：

它听得更准：如果你要求 5 把椅子，它就会放正好 5 把椅子。其他方法经常猜错。
它建得更好：房间在物理上是可行的。没有悬浮的家具，也没有穿墙而过的墙壁。
它能处理复杂性：它可以构建整个多居室公寓，厨房连接餐厅，卧室位于正确的位置，所有这一切都基于单个句子或一张平面图。

一言以蔽之

RoomPilot 就像拥有一位超级聪明、超级快的建筑师，它懂你的语言，理解物理原理，并且拥有无尽的家具供应。它将你模糊的想法或粗略的草图转化为一个组织完美、逼真的 3D 家园，并在过程中自我修正错误，以确保一切看起来和感觉起来都恰到好处。

技术摘要：RoomPilot：基于多模态语义解析的可控室内场景合成

问题陈述
生成可控的室内场景对于游戏开发、建筑可视化和具身智能等应用至关重要。然而，现有方法难以同时满足多房间支持、细粒度可控性、显式空间关系以及物理合理性等要求。

基于模型的方法（例如 ATISS、DiffuScene）往往缺乏多样性，且由于数据稀缺，难以泛化到新颖场景。
基于规则和程序化的系统（例如 Infinigen Indoors、ProcTHOR）能保证物理有效性，但在语义细节和用户意图的可控性方面有限。
基于视觉的方法难以精确控制场景布局。
基于大语言模型（LLM）的方法增强了开放词汇理解能力，但经常缺乏对物体间空间关系的精确控制。
主要障碍在于缺乏一种统一的场景表示，能够将异构输入（文本或 CAD）与可解释、可控的 3D 合成连接起来。

方法论
作者提出了RoomPilot，这是一个统一的框架，能够从详细的文本描述或 CAD 平面图中合成可控的室内场景。该框架通过三个紧密集成的模块运行：

跨模态语义解析：
- 输入（文本或 CAD）被转换为初始的**室内领域特定语言（IDSL）**配置（ $S_0$ ）。
- 对于文本，采用分层 LLM 解析策略（使用 GPT-4）提取全局结构（建筑层级）、家具规划（房间层级）和精确的空间布局（物体层级）。
- 对于 CAD，几何解析流水线从向量化表示（例如 SVG）中提取房间轮廓、门和窗，并将其映射到 IDSL。CAD 的物体级内容由 LLM 根据房间类型推断得出。
自调节场景优化：
- 初始 IDSL 通过自调节的基于能量的过程被迭代优化为优化后的配置（ $S^*$ ）。
- 双通道能量： 目标函数分解为结构能量（碰撞、边界、稳定性）和语义能量（功能邻近性、方向对齐）。
- 自适应退火： 与固定调度不同，优化权重和温度由规则对齐分数（ $\rho(t)$ ）自适应调节。随着结构约束得到满足，关注点从几何可行性转移到语义组织。
- 渐进式规则激活： 规则分阶段激活（结构 $\to$ 功能 $\to$ 风格），以防止异构目标的过早耦合。
分层室内场景生成：
- 优化后的 IDSL 被实例化为高保真 3D 场景。
- 建筑层级： 程序化生成基于房间多边形的无缝墙网格。
- 房间层级： 布尔运算实例化门和窗。
- 物体层级： 混合生态系统从经过策划的数据集（9,271 个带注释的资产）或公共数据集（Objaverse、3D-FUTURE）中检索资产。如果检索置信度低，则使用特定类别的程序化生成器（PCG）合成几何体。
- 关系感知细化： 后放置优化步骤强制执行物理稳定性（例如，物体放置在表面上），并消除悬浮或相交的伪影。

主要贡献

RoomPilot 框架： 一个统一的系统，用于可控室内场景合成，支持文本描述和 CAD 平面图作为输入。
室内领域特定语言（IDSL）： 一种结构化、分层的中间表示（建筑、房间、物体层级），将异构输入转换为可解释的语义和几何规范，充当用户意图与 3D 合成之间的可控桥梁。
自调节优化： 一种基于能量的算法，无需固定的冷却调度即可自适应地平衡结构稳定性和语义对齐，从而实现连贯的多房间布局。
高保真数据集： 一个经过策划的资产数据集，拥有丰富的语义注释，以支持逼真的场景合成。

实验结果
作者在开放词汇文本生成和 CAD 条件生成方面，将 RoomPilot 与六种最先进的方法（例如 Holodeck、I-Design、LayoutGPT）进行了评估。

可控性： RoomPilot 在布局保真度（LF）、物体数量约束满足率（CSR $_{count}$ ）和关系约束（CSR $_{rel}$ ）方面显著优于基线方法。
物理合理性： 该方法实现了接近零的越界和碰撞案例，在物理真实感和稳定性方面优于基于扩散或基于检索的方法。
CAD 保真度： 当以 CAD 平面图作为条件时，RoomPilot 以高几何精度保留了房间形状、尺寸和开口位置（墙体精度：0.87，而 Holodeck 为 0.31）。
用户研究： 人类评估者在视觉质量、布局合理性和物理合理性方面对 RoomPilot 的评分最高。
消融研究： 移除 IDSL 或自调节优化模块会导致最显著的性能下降，证实了它们对于高质量、可控合成的必要性。

意义
该论文声称，RoomPilot 通过解决现有范式的碎片化问题，代表了可控 3D 室内场景合成的重要一步。通过引入 IDSL 和自调节优化过程，该框架实现了结构连贯性、语义对齐和物理合理性之间的平衡，这是 prior 方法无法同时满足的。这使得生成结构有效、多房间的环境成为可能，这些环境能够忠实响应复杂的用户指令，从而促进在具身智能和建筑可视化中的实际部署。作者指出，虽然该系统具有鲁棒性，但由于模拟退火在联合优化离散组合和连续关系时的固有行为，仍可能出现失败案例（例如，在复杂关系约束中缺失物体）。