💻 computer science

Beyond Placement and Articulation: Usage-Driven Code Scenes for Embodied Interaction

本文介绍了 RoomWright，这是一个代理框架，它通过将关注点从单纯的视觉放置转向基于使用驱动的对象推理和基于规则的交互建模，为具身智能生成可执行的、基于代码的 3D 室内场景。

原作者： Zijian Xiao, Zipeng Ye, Jinkun Hao, Xiong Yang, Yuchen Xie, Ran Yi

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Zijian Xiao, Zipeng Ye, Jinkun Hao, Xiong Yang, Yuchen Xie, Ran Yi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象这样一个世界：机器人可以走进房间，拿起水壶并将其放在炉灶上；或者虚拟智能体可以拨动开关来打开台灯。为了让这些机器进行学习和行动，它们需要的不仅仅是房间的照片，而是能够真正运作的空间。在这些空间里，物体拥有可以移动的部分，门把手可以转动锁扣，按下按钮可以改变灯光的亮灭状态。直到最近，为这些机器人构建的数字房间大多还是静态的。它们看起来很真实，但表现得并不真实。机器人可能会撞到椅子，但它无法拉开抽屉，也无法理解转动旋钮会改变风扇的速度。挑战在于，如何构建不仅是家具的视觉集合，而且是让因果关系能如物理世界般精准演出的功能性舞台。

一组研究人员推出了一种构建这些交互式世界的新方法，超越了仅仅在场景中放置物体，而是深入理解这些物体的实际用途。他们将该系统称为 RoomWright。RoomWright 并非通过像摆放棋子一样排列 3D 模型来创建房间，而是将整个房间编写成一套计算机可以运行的指令或代码。这种方法使得数字环境具有完全的可编辑性和模拟就绪性。其核心洞察在于，一个房间是由其内部发生的活动所定义的。如果你要冲咖啡，你需要一个柜台、一个水壶、一个电源以及一种开启它的方式。研究人员发现，通过从活动出发，反向推导物体及其连接关系，他们可以生成不仅在视觉上正确，而且在功能逻辑上也合理的场景。

以往的方法通常依赖于观察房间图像来猜测物体应该放在哪里。虽然这对于让事物看起来美观有效，但往往无法捕捉到事物协同工作的隐藏逻辑。机器人可能会看到水壶和炉灶，但如果不懂得其功能，它可能会将水壶悬浮在空中，或者让其朝向错误。新系统通过将每件主要家具视为特定任务的中心解决了这个问题。它会询问：“一个人在这里需要做什么？”然后只引入完成该任务所需的物体。如果任务是烹饪，系统会添加炉灶、柜台和水壶，并确保它们被放置在人类实际可以触及的地方。这一过程被研究人员称为“基于用途的推理”，它确保了房间是围绕人类需求而非仅仅围绕视觉美感来构建的。

该系统更进一步，教导物体如何相互作用。在真实的厨房里，转动风扇上的旋钮会改变叶片的转速，按下微波炉上的按钮会点亮显示屏。这些不仅仅是单个部件的运动，而是由一个动作触发另一个动作的连锁反应。研究人员通过程序编写了这些交互规则。每条规则都像是一个小程序：如果用户按下开关，那么灯就会亮起；如果用户旋转旋钮，那么风扇速度就会改变。通过将这些规则编写为代码，系统可以创建复杂的行为，使多个物体协同工作，例如水壶放在底座上时，当水壶放置到位，底座会激活灯光。这使得数字房间对机器人的动作做出自然且一致的反应。

构建这些房间最棘手的部分之一是确定物体的朝向。烤面包机有正面、背面和顶部，但观察图像的计算机除非看到人正在使用它，否则可能不知道哪一面是正面。研究人员通过利用他们在构建物体时已有的信息解决了这个问题。由于系统是从代码构建房间的，它了解每个部件的细节，比如把手或按钮的位置。它利用这些知识，根据人类的使用方式来决定物体的最佳朝向。这确保了键盘的按键面向用户，鼠标的位置适合右手握持，而以往的方法因为仅依赖视觉猜测，经常在这方面出错。

团队通过创建二十八个不同的房间（涵盖从用餐区到办公室的各种类型）来测试他们的系统，并将结果与其他现有方法进行了对比。测试表明，他们的方法生成的房间更加完整且真实。在模拟中，生成的房间中较少出现物体悬浮在空中的情况，家具支撑更好，且更多物体是实际可触及和可使用的。最重要的是，这些房间包含了更高数量的交互元素。其他方法可能会创建一个带有少量活动部件的房间，而新系统生成的场景拥有许多可以被操纵的物体，例如可以打开的门、可以开关的灯以及可以控制速度的旋钮。研究人员展示了机器人可以进入这些数字房间，并成功执行诸如抓取门把手关闭门或按下按钮点亮显示屏等任务。

这项工作代表了我们构建机器人和人工智能数字环境方式的重要转变。通过关注房间的目的而非仅仅是外观，研究人员创造了一种生成随时可进行现实世界测试的空间的方法。生成的场景不仅是静态图像，更是动态环境，其中每个物体都有其角色，每一次行动都有其后果。这使得机器人可以在一个行为逻辑与我们生活的世界完全一致的世界中学习和练习技能，弥合了数字模拟与物理现实之间的鸿沟。该系统证明，当我们用构建现实家中逻辑的方式来构建数字世界时，我们就能为那些终有一天将与我们共同生活和工作的机器打下更好的基础。

技术摘要：RoomWright

问题陈述

室内场景合成对于具身智能（Embodied AI）、机器人操控以及基于模拟的策略学习至关重要。虽然近期的代码驱动方法（如 SceneCode、Code-as-Room）在生成可编辑、可扩展的 3D 环境方面取得了进展，但它们仍主要侧重于视觉构建和物体级关节化（例如门开合、抽屉滑动）。这些方法往往无法对场景的功能性使用进行建模。因此，生成的场景缺乏实现现实具身任务所需的因果依赖关系和多物体交互（例如，按下开关以打开台灯，或将水壶放在底座上以激活指示灯）。此外，仅从视觉像素中确定可操作物体的正确朝向具有歧义性，这会导致不真实的放置方式，从而阻碍交互。

方法论：RoomWright

RoomWright 是一个代理框架（Agentic Framework），它生成的 3D 场景完全由可执行代码表示，专为具身交互而设计。该系统通过三个主要阶段运行：

1. 场景规划（使用驱动的物体推理）

给定自然语言描述的房间描述，系统构建一个符号化场景状态 $S = (O, F, G_x)$ ：

物体集 ( $O$ )： 系统并非进行顺序枚举，而是执行使用驱动的物体推理。它将主要的落地锚点视为“任务中心”。对于每个锚点，它识别该锚点支持的人类活动，并仅径向引入该任务所必需的伴随物体。这确保了场景构成是基于预期用途而非仅仅基于视觉合理性。
支撑森林 ( $F$ )： 记录物理支撑关系（例如，什么支撑着什么），以确保几何稳定性。
交互图 ( $G_x$ )： 为每个物体详尽地归纳交互边 $e = (s, t, m, \phi)$ ，将控制器（源）通过特定方法连接到目标，捕捉用户可以驱动的示能性（Affordances）。

2. 模拟就绪的资产生成

系统生成的资产是物理可执行的：

关节化代码： 使用后端（Articraft），物体被编译为具有语义部件、碰撞几何体和动态属性（质量、惯性、摩擦力）的模拟就绪资产。转动关节和滑动关节被转换为旋转关节和移动关节。
基于代码的多部件交互： 代码代理将交互边编译为基于结构化物体状态的触发器–条件–效应规则。不同于孤立的关节参数，这些规则捕捉了跨多个物体和部件的因果依赖关系（例如，开关触发台灯状态变化）。运行时将抽象部件名称绑定到模拟中具体的、可寻址的链接。
材质生成： 使用 FLUX.2 生成纹理和 PBR 材质，并通过闭式 UV 投影进行应用，以确保外观一致性且无需显式的 UV 展开。

3. 布局生成

几何求解： 一个以用户为中心的参考系中的符号化布局程序，通过几何求解器被落实为无碰撞的度量位姿。
使用引导的朝向： 为了解决可操作物体的朝向歧义，系统利用基于注释的使用引导朝向。它将语义注释（在建模阶段记录）与渲染视图相结合。视觉语言模型（VLM）根据推断的手部和手臂锚点预测“面向使用”的方向，确保键盘和鼠标等物体能够以正确的方向进行交互。
迭代优化： 视觉环路中的批判者（Vision-in-the-loop critic）评估视觉真实性、功能一致性和物理有效性，通过迭代场景编辑和物理模拟验证来优化布局。

核心贡献

RoomWright 框架： 一种代码场景生成代理框架，可产生用于具身交互的可编辑、模拟就绪的环境，实现了从静态几何到功能性场景的跨越。
使用驱动的物体推理： 一种全新的场景组成方法，通过预期活动和功能关系而非仅仅通过视觉判断来推导物体选择和空间组织。
通过代码实现的多部件交互： 引入了一种代码代理，将交互表示为触发器–条件–效应规则，从而实现协调运动和跨多个物体及部件的因果依赖。
基于注释的朝向引导： 一种通过使用建模阶段的语义注释来引导分配“面向使用”方向，从而缓解可操作物体朝向歧义的方法。

实验结果

针对 28 个多样化的房间级提示词进行了广泛实验，将 RoomWright 与 SceneCode、Code-as-Room 和 SceneSmith 进行了对比。

定量性能： RoomWright 在 Access（功能侧的可达性，65.6% 对比 SceneSmith 的 39.8%）和 ObjAttr（物体属性满足度，64.6% 对比 42.5%）方面取得了最高分。它同时也保持了高水平的无碰撞放置（95.9%）和可导航性（97.3%）。
交互内容： RoomWright 在生成交互式物体（16.4 对比 SceneCode 的 4.4）和复杂非铰链交互（CHI: 6.4 对比其他模型的 0）方面显著优于基准模型。它是唯一支持多部件协调（MPC）的方法。
定性与消融研究： 视觉对比显示，RoomWright 生成的布局具有更高的合理性和更真实的视觉质量。消融研究证实，移除使用驱动推理会导致缺失上下文必要的物体，而移除使用引导朝向会导致可操作物品（如键盘和鼠标）的放置错误。
机器人集成： 生成的场景成功导入 NVIDIA Isaac Sim（通过 OmniGibson），机器人可以在其中成功执行任务，如抓取把手、按下按钮以及观察状态变化（例如灯光开启）。

意义与主张

论文声称 RoomWright 代表了从视觉构建向功能建模的转变。通过将场景视为编码了不仅是几何形状，还包括使用逻辑、因果依赖和交互状态的可执行代码，RoomWright 提供了“可执行、可编辑且模拟就绪”的环境。作者认为，这种方法对于具身智能至关重要，因为它允许智能体与遵循物理定律和功能意图（而非仅仅看起来真实）的环境进行交互。这项工作证明了代码化表示可以有效地捕捉“场景是如何被实际使用的”，弥合了程序化生成与交互式模拟之间的鸿沟。