✨ 要点🔬 技术摘要
想象一下，你拥有一份房屋的数字蓝图。它就像一个幽灵般的骨架：你可以看到墙壁、平面布局，以及门窗应该放置的确切位置。但现在，这座房子只是一个灰色的、未完成的外壳。它没有屋顶、没有油漆、没有砖块，也没有风格。这是一座等待着被“穿衣”的房子。
ShellMaker 是一款全新的计算机程序，旨在为这个骨架穿上衣服。它接收那个光秃秃的结构和一个简单的文本描述（例如“让它看起来像一家温馨的维多利亚式面包店”），然后构建出一个完整且美观的 3D 建筑外观，并与之完美契合。
以下是它的工作原理，分为几个简单的步骤：
1. “严厉的裁缝”（结构约束）
大多数 AI 艺术生成器就像狂野的艺术家；如果你要求它们画一座房子，它们可能会改变墙壁的形状或移动窗户的位置，只为了让画面看起来更“漂亮”。但对于真实的建筑，如果窗户的位置变了，原本为它们布置好的室内家具就对不上了。
ShellMaker 扮演的是一个严厉的裁缝 的角色。它承诺：“我会给你一件漂亮的衣服，但我绝不会 改变你的肩宽或手臂的长度。”它接收现有的骨架并说道：“墙壁就在这里，门也就在那里。我只会在这些固定点周围添加屋顶和‘皮肤’（材料）。”
2. 三步配方
论文将 ShellMaker 的过程描述为一个三阶段的装配线：
第一步：建造屋顶（结构阶段）
第二步：为房屋“穿衣”（风格阶段）
翻译官 (LLM)： 计算机读取你的简单句子，并将其转化为一份详细的“购物清单”。它不仅仅是说“农舍风”；它会将其拆解为：“我们需要用于墙壁的特定类型砖块、用于屋顶的特定种类的木材，以及一扇带有玻璃嵌板的华丽门。”购物者 (检索)： 系统不会尝试从零开始绘制砖块（因为那样往往看起来很糟糕），而是前往一个现实世界的纹理数字库。它会挑选出看起来很搭的砖墙和屋顶瓦片（就像搭配衬衫和裤子一样）。它使用一种智能算法来确保红砖不会与绿色的屋顶产生冲突。艺术家 (3D 生成)： 对于门框和窗框等具体细节，它使用 AI 来生成符合你所要求的风格的 3D 模型。
第三步：最终组装（装配阶段）
它会在门窗需要的位置精确地在墙上切割出洞口。
它会确保“包装纸”（纹理）能够对齐，这样在屋顶与墙壁交接处就不会看到难看的接缝。
它会添加一些细小的修饰，如排水沟或烟囱，确保它们正确地坐落在屋顶的坡度之上。
为什么它很特别？
论文将 ShellMaker 与其他 AI 工具进行了对比。
其他工具 就像是一个忽视你蓝图的画家。它们可能会画出一座美丽的房子，但窗户的位置会出错，或者屋顶太大了。如果你试图把这座房子盖在你现有的室内结构之上，它将无法匹配。ShellMaker 则像是一位尊重蓝图的建筑大师。它创造出的房屋外观完全符合你要求的风格，但又能完美地覆盖在你现有的骨架之上。
结果
研究人员在超过 200 个不同的建筑骨架（从公寓到商店）和 60 种不同的风格请求（从“哥特式”到“斯堪的纳维亚式”）上测试了该系统。他们发现 ShellMaker：
保持结构完美： 它几乎从不破坏墙壁或窗户的位置（准确率达 99%）。外观时尚： 它创造的建筑外观看起来完全符合你所要求的风格。兼容性强： 它可以接收来自不同类型软件（如 CAD 图纸或 CityGML 数据）的输入，并依然能出色完成任务。
简而言之，ShellMaker 是一个让你能够瞬间为光秃秃的建筑骨架“穿上”任何你能想象到的建筑风格，同时又绝不破坏房屋原始形状规则的工具。
技术摘要：ShellMaker：结构约束下的语言引导外部补全
问题陈述
方法论
结构生成阶段：
脚手架解析： 将异构输入（室内场景图、CityGML、BIM/CAD）转换为包含墙段、楼板多边形和开口元数据的统一模式。轮廓分解： 使用直骨架分解（中轴线）或贪婪矩形分解将复杂的轮廓划分为更简单的子区域，以利于屋顶生成。参数化屋顶生成： 系统根据五种标准类型（平顶、歇山顶、金字塔顶、四坡顶、半歇山顶）生成屋顶几何体，并受坡度角和悬挑等参数控制。屋顶可以作为单一整体生成，也可以在复杂轮廓上作为细分的组合体生成。
风格化阶段：
部件感知提示词精炼： 通过经过指令微调的大型语言模型（LLM）将粗略的用户提示词（例如“维多利亚式面包店”）精炼为针对单个建筑元素（墙壁、屋顶、窗户、门）的结构化、部件特定提示词。这确保了 LLM 能生成详细的几何和装饰线索，而不会包含会使合成过程复杂化的环境上下文。两阶段文本生成 3D 合成： 精炼后的提示词由 Nano Banana 处理以生成参考图像，随后通过 Trellis-2 重建为带有 PBR 材质的纹理网格。墙-顶联合纹理检索： Shell-Maker 并非从零开始生成纹理，而是采用了一种兼容性感知检索机制。它基于材料共现性、色彩和谐度（La b*）、频率对齐（2D FFT）和语义相似度（CLIP）预计算兼容性矩阵。在运行时，它选择能使提示词对齐度和跨表面兼容性最大化的墙壁与屋顶纹理对。
组装阶段：
几何感知组装： 系统将脚手架、生成的屋顶和资产集成到单个网格中。形状拟合切割： 从生成的资产中提取 2D 边界多边形，用于驱动布尔减运算以处理墙体开口，从而确保与预定义的门窗位置精确对齐。UV 参数化： 分配世界空间平面 UV，并根据纹理的主导空间频率进行自动缩放，以保持不同材料间一致的感知纹理密度。细节化： 可选的程序化生成可添加屋顶构件（檐沟、落水管）和装饰物（烟囱、老虎窗），并进行裁剪以符合屋顶几何形状。
核心贡献
任务形式化： 本文提出了在硬性脚手架约束下进行语言引导的外部补全问题，将部分建筑脚手架转化为完整的、风格一致的资产。模块化流水线： 一种新型流水线，集成了程序化结构生成、LLM 驱动的部件级风格化以及兼容性感知的材料检索。这种模块化方法限制了跨阶段误差的传播，并促进了资产复用。几何感知组装： 引入了一种强制保留轮廓、墙体边界和开口位置的组装过程，从而产生可编辑的、具有部件结构的外部网格。
结果
定量指标： ShellMaker 实现了 0.992 的轮廓 IoU 和 0.091 的开口中心 L2 误差，显著优于基准模型（Trellis-2、SpaceControl、SAT-Skylines），后者难以维持结构完整性（例如，Trellis-2 的轮廓 IoU 为 0.492）。ShellMaker 在风格对齐指标（CLIP-Sim 和 UNI3D）上也达到或超过了基准模型。感知评估： 在使用 GPT-4.1 作为评判者的 2AFC 研究中，ShellMaker 对阵所有基准模型的胜率超过 70%，在结构合理性方面得分尤为突出（84.1% 对比 Trellis-2）。泛化能力： 系统在不同输入格式下表现出一致的性能，尽管具有噪声几何形状的 CAD 输入在结构指标上略低。
意义与主张
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。