💻 computer science

Recognizing and Reconstructing a Multi-Unit Floor Plan

本文提出了一种结合改进的 MDA-Unet 与 MACU-Net 分割架构以及基于向量化的重建模块的新型流水线，用于从 2D 建筑平面图自动合成 3D 数字孪生模型，并在 CubiCasa 基准测试上实现了最先进的性能。

原作者： Lukas Kratochvila, Gijs de Jong, Monique Arkesteijn, Simon Bilik, Tomas Zemcik, Karel Horak, Jan S. Rellermeyer

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Lukas Kratochvila, Gijs de Jong, Monique Arkesteijn, Simon Bilik, Tomas Zemcik, Karel Horak, Jan S. Rellermeyer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正冲进着火建筑的消防员或应急响应人员。你的手里拿着一张扁平的、二维的建筑平面图。这张图可能杂乱无章，墨迹可能已经褪色，而且在奔跑时，很难瞬间将它在三维空间中的墙壁、门和楼梯可视化。现在，想象一下如果你能瞬间将那张扁平的纸质地图变成脑海中（或平板电脑上）一个悬浮的、三维的全息图，清晰地展示你应该往哪里跑以及出口在哪里。

这就是这篇论文试图解决的问题。

问题所在：“平面图”与“现实世界”的脱节

城市正在扩张，像火灾或洪水这样的突发事件也变得越来越复杂。虽然应急团队拥有二维平面图，但这些绘图往往因绘制者或所使用的软件不同而呈现出差异。将一张扁平、杂乱的图纸转化为清晰的三维模型，通常需要人工手动构建，这非常耗时。现有的多数三维模型仅存在于新建建筑中，或者是由昂贵且充满噪声的激光扫描（如点云）生成的，这类数据对于快速应对紧急情况来说过于沉重且速度太慢。

解决方案：“神奇翻译官”流水线

作者构建了一个数字化的流水线，充当了一个超级智能的翻译官。它接收一张杂乱的二维平面图（输入），并自动将其转化为一个干净的三维模型（输出）。他们将这个过程分为两个主要阶段：识别（Recognition）与重建（Reconstruction）。

1. 识别： “火眼金睛的侦探”

首先，系统需要观察这张扁平的图纸并理解其中的一切。那是墙壁？是窗户？是滑动门？还是楼梯？

为了实现这一点，他们构建了两个新的“侦探”（名为 CAB1 和 CAB2 的 AI 模型）。你可以把这些侦探想象成戴着特殊的眼镜：

非对称卷积（Asymmetric Convolution）： 这些侦探不再使用标准的正方形镜头观察图像，而是使用“L型”或“T型”镜头。这有助于它们比标准工具更好地捕捉长而细的墙壁或转角。
注意力机制（The Attention Mechanism）： 想象一位知道该看哪里的侦探。这个功能告诉 AI：“忽略背景噪声；专注于门铰链和墙壁边缘。”它突出了图纸中的重要部分。
多尺度跳跃连接（Multi-Scale Skip Connections）： 这就像是一个侦探团队在协同工作。一个观察大局（整个楼层布局），另一个则放大细节（一个小窗户）。它们会立即共享笔记，从而确保最终的图像完美无瑕。

AI 不仅仅是在猜测；它通过观察成千上万个案例进行学习，努力尽可能提高其“得分”（即识别墙壁与门的准确度）。

2. 重建： “建筑师的雕塑家”

一旦 AI 识别出了每一面墙和每一扇门，它就拥有了一个杂乱、像素化的掩码（就像一本每个颜色代表不同物体的涂色书）。第二阶段是雕塑家。

清理： 雕塑家会对那些杂乱的像素进行平滑处理，去除微小的凸起和错误。
矢量化： 它将那些模糊的像素转化为清晰、具有数学意义的线条和形状（多边形）。这就像是用完美的直尺在粗糙的草图上进行描摹。
构建三维模型： 最后，它将这些二维形状赋予高度。它知道墙壁会向上延伸，门有门框，楼梯则向上呈阶梯状。它构建出一个可以在三维软件（如 Blender）中查看的三维模型。

结果：它奏效了吗？

作者使用了一个著名的平面图数据集 CubiCasa，将他们的“神奇翻译官”与其他顶尖方法进行了对比测试。

得分： 他们的模型（CAB1 和 CAB2）取得了 0.86 的得分（在 1.0 为完美的量表中）。
竞争对手： 其他最优秀的方法得分仅在 0.74 左右。
结论： 他们的系统在寻找墙壁、门、窗户和楼梯方面表现得显著更好，即使这些平面图来自不同的国家或采用了不同的绘图风格。

他们还在一个全新的、极其复杂的巨型建筑数据集（MURF）上进行了测试，证明了该系统可以处理其他系统难以应对的大型且杂乱的平面图。

下一步是什么？（根据论文所述）

作者承认他们的系统目前尚不完美。

楼梯： 目前，三维楼梯看起来有点像块状的台阶，因为系统会将曲线转化为直线。它目前还不知道楼梯的朝向。
圆形物体： 如果建筑有一个圆柱形塔楼，系统会将其转化为一个多边形（多边形形状），看起来像个停止标志而非完美的圆形。
旧纸质图纸： 他们希望训练他们的系统去读取那些尚未数字化的旧手绘纸质平面图。

核心总结

这篇论文展示了一种将扁平的二维建筑图纸自动转化为三维模型的新方法。通过使用先进的 AI “侦探”来识别部件，并利用“雕塑家”来构建形状，他们创建了一个比现有方法更快、更准确的系统。其目标是帮助应急响应人员更好地、更快地了解建筑，从而在危机期间潜在地挽救生命。该系统的代码现已开放，供他人使用和改进。

技术摘要：识别与重建多单元楼层平面图

问题陈述
数字孪生（DT）在城市管理中具有巨大潜力，特别是在应急规划、逃生路线设计和救援干预方面。然而，由于现有的 3D 表示形式稀缺（通常仅针对新建建筑），创建这些数字孪生的过程在很大程度上仍处于手动阶段。虽然市政当局可以广泛获取 2D 建筑平面图，但这些平面图存在挑战：其渲染方式各异（纸质版与电子版之间存在文本和图形差异）、缺乏 3D 空间的清晰度，且通常以栅格格式而非矢量格式存在。此外，现有的自动化方法通常假设输入为矢量数据（不适用于旧建筑），或者仅侧重于小型单单元公寓而非多单元楼层平面图。本文解决的核心挑战是：如何可靠地识别 2D 栅格平面图中的关键结构元素（墙壁、窗户、楼梯、栏杆），从而自动合成用于集成到数字孪生中的 3D 表示（由于其估算了楼层高度，因此被称为 2.5D 模型）。

方法论
作者提出了一个分为两个主要阶段的新型流水线：识别与重建。

识别（语义分割）：
识别阶段利用了基于 MDA-UNet、MACU-Net 和 U-Net3+ 架构的定制卷积神经网络（CNN）。提出的模型命名为 CAB1 和 CAB2，并结合了以下几项特定增强功能：
- 非对称卷积 (AC) 模块： 使用 $k \times k$ 、 $1 \times k$ 和 $k \times 1$ 算子的聚合来取代标准的正方形卷积，以更好地捕捉骨架特征。
- 注意力机制： 结合通道注意力和空间注意力模块，根据特征图的重要性进行加权，并从中间特征中推断映射。
- 多尺度特征跳跃连接： 这些架构利用跳跃连接来缓解标准 U-Net3+ 设计中的缺陷。CAB1 使用常规连接，而 CAB2 则采用全连接多尺度跳跃连接，将解码器层与之前所有的编码器层和解码器层相连。
- 多任务训练目标： 损失函数是三个组成部分的加权和：
  - 非对称统一焦点损失 (Asymmetric Unified Focal Loss)： 通过抑制背景损失并增强前景损失来处理类别不平衡问题。
  - 亲和场损失 (Affinity Field Loss)： 捕捉标签中的语义结构。
  - 热图回归损失 (Heatmap Regression Loss)： 源自分割掩码，用于预测开口（门、窗）的端点。
- 输入处理： 模型使用不同尺寸的输入图像进行训练，以作为多尺度检测器运行。
重建（矢量化与可视化）：
重建阶段通过以下步骤将像素级分割掩码转换为 3D 模型：
- 后处理： 对掩码中的连通分量进行精细化处理，直到达到不确定性阈值。
- 矢量化： 通过推导最小面积旋转矩形的端点，将精细化后的分量转换为多边形。如果顶点足够接近或共线，则进行合并。
- 可视化： 使用 Blender 对生成的多边形集合进行可视化。楼梯被可视化为具有固定提升高度的多边形，尽管目前的方法尚未考虑楼梯的方向。

核心贡献

新型流水线： 开发了一个端到端的框架，用于从传统的 2D 栅格楼层平面图生成 3D 建筑表示，特别针对多单元结构。
架构创新： 提出了两种新的分割模型（CAB1 和 CAB2），其特点是具有非对称卷积、注意力机制和改进的多尺度跳跃连接。
全面评估： 该框架在多个数据集（CubiCasa、R3D、CVC-FP 和专有的 MURF 数据集）上进行了测试，并与最先进（SOTA）技术（特别是 DFPR 和 CubiCasa5K）进行了比较。
开源： 作者已公开其代码，以支持该领域的进一步研究。

实验结果
所提方法在 CubiCasa 基准数据集上使用召回率（Recall）、F1 分数和交并比（IoU）指标进行了评估。

性能： CAB1 和 CAB2 模型实现了 0.86 的平均 F1 分数和 0.76 的平均 IoU。
对比： 这些结果优于修改后的 SOTA 基准模型，即 DFPR $\beta$ （F1: 0.74, IoU: 0.61）和 CubiCasa5k $\beta$ （F1: 0.74, IoU: 0.60）。
泛化能力： 模型在不同数据集（CubiCasa、R3D、CVC-FP）上表现出一致的性能，其中 CAB2 在 CVC-FP 数据集上的表现略好。
特定类别性能： 模型在墙壁（0.90/0.90）、窗户（0.91/0.90）和楼梯（0.87/0.89）方面取得了高召回率和 F1 分数。

意义与主张
论文声称，所提出的流水线成功弥合了现有 2D 平面图与对 3D 数字孪生需求之间的差距，为计算密集型的点云方法提供了一种可扩展且经济的替代方案。通过自动从多样化且往往较旧的 2D 图纸中提取结构元素，该方法支持了在不断增长的城市环境中更安全、更高效的应急服务。

作者也谦虚地指出了局限性，包括目前无法可视化楼梯方向，以及在将圆形物体转换为多边形时产生的伪影。他们承认，由于源代码不可用，无法直接与更新的 SOTA 框架（例如来自 [18], [23], [24] 的框架）进行比较，尽管其墙壁识别召回率（0.94）与 [24] 中报告的结果（0.89）相比具有竞争优势。未来的工作确定为：多楼层对齐、收集大型公共及医疗建筑的数据集，以及改进对旧纸质平面图的分割。