💻 computer science

Balancing Real and Synthetic Data for CNN-based Masonry Crack Detection

本文表明，将合成的砌体裂缝图像与少量真实数据（具体为 80% 合成数据与 20% 真实数据的比例）相结合，可以显著提升基于 CNN 的裂缝检测模型的性能，使其获得比仅使用真实数据进行训练更高的 F1 分数和 mIoU。

原作者： Mattia Forlesi, Alfonso Esposito, Ivan Zyrianoff, Alessandro Marzani, Marco Di Felice

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Mattia Forlesi, Alfonso Esposito, Ivan Zyrianoff, Alessandro Marzani, Marco Di Felice

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人如何识别旧砖墙上的裂缝。这是一项至关重要的工作，因为裂缝就像建筑物的“发烧”症状；及早发现它们可以防止建筑物“生病”，或者更糟——发生坍塌。

通常情况下，要教会一个机器人（具体来说是一种被称为“卷积神经网络”或 CNN 的人工智能），你需要给它看成千上万张真实裂缝的照片。但问题在于，寻找并拍摄足够多的真实裂缝就像是在大海捞针。这既费时又费钱，而且你在网上找到的照片可能不足以让机器人进行有效的学习。

解决方案：“裂缝贴纸店”
研究人员想出了一个聪明的变通方法。他们没有仅仅去搜寻真实的裂缝，而是构建了一个数字工具，充当“贴纸制作器”。他们拍摄了正常、健康的砖墙照片，然后将看起来逼真的裂缝数字式地“粘贴”在上面。这创造了一个庞大的合成（虚假但逼真）裂缝图像库。

实验：真实与虚假的混合
团队想要测试，如果他们主要使用这些“贴纸”裂缝，只使用少量的真实裂缝进行训练，效果会如何。他们设置了一场烹饪比赛，共有六种不同的配方（训练场景）：

配方 A： 100% 真实裂缝（传统方法）。
配方 B： 100% 合成裂缝。
配方 C 至 F： 真实与合成数据的各种混合（例如 50/50，20/80）。

他们使用了一个名为 InceptionV4 的特定 AI 模型（可以将其想象为机器人的“大脑”）来对这些配方进行“试吃”。

令人惊讶的结果
他们的发现非常出人意料，甚至有些违反直觉：

“全假”灾难： 当他们尝试仅用合成裂缝来教机器人时，结果惨败。这就像只通过电子游戏来学习驾驶；当他们真正上了马路，就完全不知所措了。机器人无法区分虚假裂缝与真实的墙面纹理。
“黄金比例”： 奇迹发生在混合数据的时候。表现最好的结果来自于一个 80% 合成裂缝和 20% 真实裂缝的配方。
- 这个混合比例的表现甚至优于使用 100% 真实数据进行训练。
- 它达到了 76%（F1 分数）和 80%（平均 IoU）的得分，击败了得分约为 74% 的“100% 真实”组。

为什么这很重要
把这想象成学习绘画。如果你只看杰作（真实数据），你会学到很多，但代价昂贵且难以获取。如果你只在电脑屏幕上练习（合成数据），你只能掌握理论，却缺乏实感。论文表明，如果你大部分时间都在电脑上练习（合成），并加入少量的真实杰作进行观察（20% 真实），你最终会比只看真实杰作的人画得更好。

底线
该论文得出结论：你不需要花费数年时间收集成千上万张真实照片来构建一个优秀的裂缝检测系统。通过使用一个简单的工具生成虚假裂缝，并加入少量的真实数据进行混合，你可以构建出一个同样出色、甚至更优秀的砖石墙体裂缝检测系统。这在保持建筑安全的同时，节省了大量的时间和精力。

技术摘要：平衡真实数据与合成数据以进行基于 CNN 的砖石裂缝检测

问题陈述

识别砖石结构中的裂缝是结构健康监测（SHM）的关键组成部分，它作为建筑健康状况的早期指标，旨在防止损坏和事故。虽然深度学习（DL），特别是卷积神经网络（CNN）和语义分割，为自动化裂缝检测提供了可扩展的解决方案，但这些模型严重依赖大规模且多样化的数据集。收集适用于砖石等复杂表面的充足真实世界数据既耗时又费力。现有的合成数据生成方法存在权衡：生成对抗网络（GAN）可以产生高保真纹理，但往往缺乏领域专家监督，导致裂缝相对于背景结构的表示不符合实际；而 3D 建模方法则需要大量的专业知识，且可能缺乏美学上的精细度。

方法论

作者提出了一个流程，通过生成合成裂缝图像来补充有限的真实数据集，从而解决数据稀缺问题。该方法由四个阶段组成：

数据获取：
- 真实数据： 使用标准智能手机（Oppo Reno 6 Pro, iPhone 12 & 13）在日光条件下，从博洛尼亚及其周边地区的建筑物中收集了一个自定义的砖石裂缝图像数据集。
- 合成数据： 开发了一个带有 Tkinter GUI 的自定义 Python 工具，用于将半透明的裂缝掩码叠加到高分辨率的砖石背景图像上。该工具允许受控的空间放置、任意旋转和尺度一致性，并保持导出时的原始分辨率。
数据预处理：
- 将原始图像裁剪成 $224 \times 224$ 的补丁以标准化分辨率。
- 通过像素级标注创建地面真值（ground-truth）掩码。
- 应用数据增强（翻转和 $90^\circ$ 旋转）以扩大训练集。
- 使用 ImageNet 统计数据对图像进行归一化，以确保与预训练骨干网络的兼容性。
模型架构：
- 研究采用了带有跳跃连接（skip connections）的 U-Net 编码器-解码器架构。
- 评估了七种不同的骨干架构：Custom U-Net, VGG16, MobileNetV2, ResNet50, DenseNet169, InceptionV4 和 DeepLabV3。
- 大多数骨干网络都使用了预训练权重。
实验设置：
- 将真实数据集分为训练集（60%）、验证集（20%）和测试集（20%）。
- 仅在表现最好的模型的训练集中引入合成数据。
- 测试了三种损失函数：F1-Loss、Focal Loss 以及结合了交叉熵和 Dice 损失（CED）的组合。
- 训练上限设定为 100 个 epoch，并采用早停机制。

核心贡献

自定义数据集创建： 团队收集并标注了一个特定的砖石裂缝图像数据集，选择该材料是因为其复杂性可以严格测试深度学习的效率。
合成生成工具： 作者开发了一种简化的自定义图像处理方法，将裂缝掩码叠加到砖石纹理上。与复杂的 GAN 或 3D 渲染不同，这种方法允许以特定参数受控地插入裂缝。
数据比例评估： 研究提出了一个评估框架，用于确定在合成数据增强的情况下，达到或超过仅使用真实数据基准所需的最小真实数据量。

结果

实验分两个阶段进行：

模型选择： 仅使用真实数据对比了各种 U-Net 架构。InceptionV4 脱颖而出，成为表现最好的模型，实现了 74.7% 的 F1 分数和 78.69% 的平均 IoU（使用 F1-Loss）。该模型作为后续实验的基准。
合成数据与真实数据的平衡： 使用不同合成与真实数据比例（从 100% 合成到 100% 真实）对 InceptionV4 模型进行重新训练。
- 100% 合成： 由于合成训练与真实测试之间的领域差距，表现较差（31.6% F1, 57.68% mIoU）。
- 20/80 情景（20% 合成 / 80% 真实）： 该配置产生了最高的性能，实现了 76.82% 的 F1 分数和 80.36% 的平均 IoU。
- 80/20 情景（80% 合成 / 20% 真实）： 该场景达到了与仅使用真实数据基准相当的结果，F1 分数为 73.48%，平均 IoU 为 78.17%。

结果表明，使用合成数据结合适量的真实数据（20%）可以超越仅使用真实数据的训练效果。相反，由 80% 合成数据和 20% 真实数据组成的训练集可以达到 100% 真实数据集的性能。

重要性与主张

论文声称，所提出的方法证明了合成数据具有显著减少数据收集和标注工作量，同时提高裂缝检测准确性的潜力。通过使用简单的叠加工具而非复杂的生成模型，作者展示了平衡的真实数据与合成数据组合可以提高分割指标（F1 分数和 mIoU），甚至优于仅使用真实数据。具体而言，研究强调 20/80 情景（合成/真实）不仅匹配而且略微超过了仅使用真实数据的基准，这表明合成数据可以有效地增强有限的真实世界砖石裂缝检测数据集。

技术摘要：平衡真实数据与合成数据以进行基于 CNN 的砖石裂缝检测

问题陈述

方法论

核心贡献

结果

重要性与主张

类似论文