GRIHA: Synthesizing 2-Dimensional Building Layouts from Images Captured using a Smart Phone

本文提出了一种名为 GRIHA 的框架，利用普通智能手机的 RGB 图像和内置 SLAM 技术（如 ARCore），在无需深度相机或全景无遮挡图像的情况下，快速高效地生成室内 2D 建筑布局，且实验结果表明其性能优于现有方法。

要点

这篇论文介绍了一个名为 GRIHA 的有趣项目。简单来说，它的目标是：让你只用一部普通的智能手机，拍几张普通照片，就能自动画出房间的“户型图”（平面布局图）。

以前，如果你想画户型图，要么得请专业测绘员拿着激光测距仪到处跑（又贵又慢），要么得用那种很贵的带深度摄像头的特殊手机（像早期的 Google Tango），或者得拍那种没有遮挡的 360 度全景图（在家具堆满的房间里很难拍好）。

GRIHA 就像是一个**“聪明的侦探”**，它不需要特殊装备，只需要你像平常一样拍照，它就能通过“脑补”和“推理”把房间的结构还原出来。

下面我用几个生活中的比喻来拆解它是怎么工作的：

1. 核心难题：普通照片是“平”的，但房间是“立”的

想象一下，你拍了一张客厅的照片，照片是二维的（只有长和宽），但真实的房间有深度（进深）。

• 以前的方法：就像你需要一把“魔法尺子”（深度相机）直接量出距离，或者让你把房间拍成一个没有死角的全景球。
• GRIHA 的方法：它像一个**“会读心术的画家”**。它看着你拍的普通照片，利用人工智能（深度学习）去猜测：“哦，这个沙发离墙大概 2 米，那个门框大概有 2 米高”。它不需要真的去量，而是通过“猜”（深度估计）来重建三维空间。

2. 工作流程：四步走，像拼乐高

GRIHA 的工作流程可以比作**“拼图 + 整理”**的过程：

第一步：收集线索（拍照）

你不需要像扫雷一样把整个房间走一遍。你只需要走到房间的四个角落，对着每个角落拍一张照片。

• 比喻：就像你在玩侦探游戏，你只需要在四个关键位置拍张照，告诉侦探（GRIHA）：“看，这是墙角，那是门”。
• 优势：即使房间里堆满了家具（遮挡），你换个角度拍一张，GRIHA 也能通过多张照片拼凑出全貌，而全景图在家具遮挡时就会“失明”。

第二步：给照片“透视”（深度估计与 3D 重建）

GRIHA 拿到照片后，会做两件事：

1. 猜距离：它用 AI 模型（基于 DenseNet 和编码器 - 解码器网络）给照片里的每个像素点“猜”一个距离值，生成一张“深度图”。这就好比给照片加了一层隐形的“海拔高度”。
2. 找线条：它识别出哪里是墙，哪里是边缘。

• 比喻：这就像给平面的照片戴上了一副"3D 眼镜”，把原本扁平的图像变成了立体的“点云”（由无数个小点组成的空间模型）。

第三步：利用“导航仪”定位（SLAM 技术）

这是 GRIHA 最聪明的地方。当你拍照时，手机里的 ARCore（谷歌的增强现实库）就像一个**“隐形导航员”**。它知道手机在房间里移动了多少、转了多少度。

• 比喻：当你拍完四张照片，GRIHA 不仅知道照片里有什么，还知道这四张照片在真实空间里是怎么排列的。它利用手机自带的传感器，把四张分散的“局部地图”拼成一张完整的“大地图”。

第四步：整理与修正（正则化）

AI 猜出来的东西通常有点歪歪扭扭，不像真实的房子那样横平竖直。

• 比喻：想象你刚拼好的乐高模型有点歪，GRIHA 会做一个“整形手术”。它假设房子通常是“曼哈顿风格”的（即墙壁大多是垂直或平行的，像城市街道一样）。它会强行把那些歪歪扭扭的线拉直，把角度修正成 90 度，把门的位置对齐。
• 门在哪里？：它还会专门用 AI 识别照片里的门，并根据门在照片里的相对位置，把它准确地画在户型图上。

3. 为什么它很厉害？（对比一下）

特性	传统 APP (如 Magic Plan)	GRIHA (本文方法)
操作方式	像**“扫雷”**：你需要拿着手机在房间里慢慢走，扫描每一面墙，还要手动点击确认墙角。	像**“拍立得”**：你只需要在四个角落拍四张照片，剩下的交给 AI。
遇到家具遮挡	很头疼：如果沙发挡住了墙角，你就得手动去“脑补”墙角在哪，容易出错。	很淡定：换个角度再拍一张，AI 会自动把被挡住的部分“补”回来。
光线要求	挑剔：光线太暗或墙壁太单调（没纹理），它就找不到特征点，无法工作。	皮实：即使在光线不好的房间，它也能靠 AI 推理出大概结构。
人工干预	需要大量手动调整（加墙角、测高度）。	几乎零干预：拍完照，自动生成。

4. 实验结果：它准吗？

作者找了两个不同的手机（Google Pixel 2 XL 和 Samsung A50）在教室、实验室和办公室做了测试。

• 结果：GRIHA 画出的户型图，在面积和长宽比例上，和人工测量的真实数据非常接近（误差很小）。
• 对比：虽然有些商业软件在特定条件下可能更准，但它们需要用户花更多时间、更多手动操作。GRIHA 在**“省事”和“准确”**之间找到了一个极好的平衡点，特别是在那些家具乱糟糟、很难拍全景图的房间里，它的表现甚至优于其他软件。

总结

GRIHA 就像是一个随身携带的“魔法建筑师”。
你不需要它是专业的测绘员，也不需要特殊的硬件。只要你有一部普通的安卓手机，走进一个房间，拍几张照片，它就能利用手机里的“导航员”（ARCore）和“超级大脑”（AI 深度估计），在几秒钟内为你生成一份整洁、准确的 2D 户型图。

这项技术的未来，就是让每个人都能轻松地把家里的布局数字化，无论是为了装修、卖房子，还是玩增强现实游戏，都变得非常简单。

技术摘要

GRIHA 论文技术总结

论文标题：GRIHA: Synthesizing 2-Dimensional Building Layouts from Images Captured using a Smart Phone
作者：Shreya Goyal, Naimul Khan, Chiranjoy Chattopadhyay, Gaurav Bhatnagar
时间：2021 年 3 月

1. 研究背景与问题陈述 (Problem Statement)

核心问题：
从室内场景图像自动生成 2D/3D 建筑信息模型（BIM）或平面图（Floor Plan）是一个广泛研究的问题。现有的主流方法通常存在以下局限性：

1. 依赖深度硬件：大多数高精度方法需要 RGB-D 相机（如 Kinect、LiDAR）来获取深度信息，这限制了其在普通用户中的普及。
2. 依赖全景图像：部分基于单目图像的方法依赖于全景（Panorama）或 360 度图像，并假设场景无遮挡。然而，在真实的室内环境（如办公室、家庭）中，家具和装饰物往往会造成严重的遮挡，导致全景图难以获取完整信息或重建失败。
3. 人工成本高：现有的商业应用（如 Magic Plan）通常需要用户进行连续扫描或手动标记墙角，过程繁琐且容易因人为操作失误导致误差。

研究目标：
提出一种名为 GRIHA (Generating Room Interior of a House using ARCore) 的框架。该框架旨在仅使用普通智能手机拍摄的普通 2D RGB 图像（无需深度相机，无需全景模式），在存在遮挡的情况下，快速、高效地生成准确的 2D 室内平面图。

2. 方法论 (Methodology)

GRIHA 系统的工作流程主要包含以下几个关键步骤，如图 5 所示：

2.1 数据采集与姿态估计 (Data Acquisition & Pose Estimation)

• 输入：用户通过手机拍摄房间各个角落的普通 RGB 图像（通常每个房间拍摄 4 个角落及门的图像）。
• 姿态获取：利用 Google ARCore 库内置的 SLAM（即时定位与地图构建）算法。ARCore 结合手机 IMU 传感器数据和图像特征点，实时估计相机的 3D 位姿（位置和朝向）。
• 优势：无需额外硬件，利用现有安卓设备即可获取精确的相机轨迹数据。

2.2 深度估计 (Depth Estimation)

• 由于输入仅为 RGB 图像，系统首先需要通过深度学习网络从单张图像中恢复深度图。
• 模型：采用基于 DenseNet-169 的编码器 - 解码器（Encoder-Decoder）架构（参考 [6]）。
• 过程：编码器提取特征，解码器通过卷积层和双线性上采样生成高分辨率的深度图。

2.3 布局与边缘估计 (Layout & Edge Estimation)

• 目标：识别图像中的墙壁、边缘和角落。
• 模型：采用改进的 LayoutNet 架构（参考 [31]）。
  • 编码器：7 层卷积层。
  • 解码器：包含两个分支，分别预测边界边缘图（Boundary Edge Maps）和角落图（Corner Maps）。
  • 输入增强：除了 RGB 图像，还引入曼哈顿世界（Manhattan World）的线段作为额外输入特征，以提高角落预测的准确性。

2.4 3D 重建 (3D Reconstruction)

• 将 RGB 图像像素与生成的深度图结合，利用相机内参（焦距 $f$，主点 $C_x, C_y$）和 ARCore 提供的相机位姿，将 2D 像素转换为 3D 点云坐标。
• 公式：$Z = D_{u,v}/S$, $X = (u-C_x)*Z/f$, $Y = (v-C_y)*Z/f$。
• 结果：生成每个局部场景的 3D 点云。

2.5 点云变换与正则化 (Point Cloud Transformation & Regularization)

这是生成最终平面图的核心步骤：

1. 局部正则化：
   • 将 3D 点云投影到 2D 平面。
   • 利用 K-means 聚类提取点云均值，构建局部线段。
   • 假设场景为曼哈顿世界（墙壁相互垂直），强制调整线段角度为 90 度，消除噪声。
2. 全局变换：
   • 利用 ARCore 提供的旋转和平移矩阵，将所有房间的局部点云转换到统一的全球坐标系中。
3. 全局正则化：
   • 构建凸包（Convex Hull）作为边界。
   • 检查多边形边之间的角度，强制非垂直边变为共线或垂直，确保整体布局的几何一致性。
4. 门检测与放置：
   • 使用 YOLO 网络在 DoorDetect 数据集上训练，检测图像中的门。
   • 根据检测到的门在图像中的位置比例，将其映射并放置在生成的 2D 平面图中。

3. 主要贡献 (Key Contributions)

1. 纯 RGB 图像输入：首次提出仅使用普通手机拍摄的 2D RGB 图像（非全景、非 360 度）来估算 2D 平面图，无需深度相机。
2. 抗遮挡能力：通过拍摄多个局部视角而非单一全景，有效解决了家具遮挡墙角和边缘的问题，这是现有全景方法难以克服的。
3. 基于 ARCore 的 Android 应用：开发了基于 Unity3D 和 ARCore 的移动应用，利用内置 SLAM 进行姿态估计，大幅降低了计算成本并提高了实时性。
4. 低用户交互：相比其他应用需要连续扫描或手动标记，GRIHA 仅需拍摄少量（如 4 张）角落照片，无需手动干预即可生成布局。
5. 跨平台验证：在 Google Pixel 2 XL 和 Samsung A50 等多种硬件上进行了测试，验证了系统的鲁棒性和平台无关性。

4. 实验结果 (Experimental Results)

实验在 IIT Jodhpur 的教室、实验室和办公室三个数据集上进行，并与 Magic Plan, Tape Measure, Measure, AR Plan 3D 等主流应用进行了对比。

• 定量评估：
  • 面积误差 (Area Error)：在教室数据集上，GRIHA 的平均绝对误差为 3.12%，优于 Magic Plan (4.53%) 和 AR Plan 3D (3.15%)。在办公室数据集上，GRIHA 误差为 3.25%，表现最佳。
  • 长宽比误差 (Aspect Ratio Error)：GRIHA 在教室数据集上为 2.21%，表现优异。
  • 深度估计：在实验室（遮挡严重）场景下，深度估计的 SSIM 为 0.7528，PSNR 为 17.55，虽然受遮挡影响较大，但整体仍保持可用精度。
• 定性评估：
  • 用户交互：GRIHA 仅需 4 次交互（拍摄 4 张图），而其他应用需要连续扫描。
  • 人工干预：GRIHA 无需手动添加墙角或高度，完全自动化；其他应用通常需要用户手动修正被遮挡的墙角。
  • 环境适应性：在低光照、纹理单一（如平滑白墙）的环境中，传统基于特征点匹配的应用（如 Measure, Magic Plan）往往失败，而 GRIHA 利用深度学习估计深度，表现更鲁棒。
• 能耗：在 Samsung A50 上能耗略高于 Pixel 2 XL，但整体效率可接受。

5. 意义与局限性 (Significance & Limitations)

意义：

• 普及性：消除了对昂贵深度硬件的依赖，使得普通智能手机用户也能轻松生成建筑平面图，极大地降低了 BIM 生成的门槛。
• 实用性：解决了真实室内环境中普遍存在的遮挡问题，提高了在复杂场景下的可用性。
• 自动化：减少了人工测量和手动修正的工作量，提高了效率。

局限性与未来工作：

• 曼哈顿假设：当前方法假设场景遵循曼哈顿世界（墙壁垂直/平行），对于非正交结构的房间（如斜墙）处理尚不完善。
• 数据集限制：由于缺乏公开的部分场景遮挡数据集，无法在更多公开数据集上进行基准测试。
• 未来方向：计划放松曼哈顿世界假设，以支持更通用的场景布局生成，并进一步优化在极度遮挡或低纹理环境下的表现。

总结：
GRIHA 提出了一种创新且实用的解决方案，通过结合深度学习（深度估计、边缘检测）和移动 AR 技术（SLAM 姿态估计），成功实现了仅用普通手机照片生成高精度 2D 平面图的目标。它在准确性、易用性和抗遮挡能力上均优于现有的商业应用，为房地产、室内导航和增强现实应用提供了强有力的技术支持。