🤖 machine learning

Enhanced Seam Segmentation for Automated Welding Robot in Construction Through Transfer Learning: Addressing Limitations of Bilateral Segmentation Network

本文提出了一种用于自动化建筑焊接的抗反射焊缝分割框架，该框架通过迁移学习和混合交叉熵-Lovász损失函数增强了 BiSeNetV2 骨干网络，在不增加计算复杂度的前提下，在具有挑战性的反射环境中实现了显著的性能提升。

原作者： Keonvin Park, Yong Ann Voeurn, Hyeokjun Kweon, Doyun Lee

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Keonvin Park, Yong Ann Voeurn, Hyeokjun Kweon, Doyun Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一台焊接机器人去寻找两块金属板交汇处那条细微且肉眼难辨的线，以便它能精准地完成焊接。问题在于，金属表面像镜子一样闪闪发光，而焊接产生的火花会造成令人目眩的强光闪烁。对于机器人的摄像头来说，实际的焊缝看起来往往是断裂、缺失或完全被眩光遮蔽的。

这篇论文介绍了一种新的方法，旨在教机器人的“眼睛”（视觉软件）如何看穿这些眩光，而无需购买更昂贵或更复杂的摄像系统。

以下是他们解决方案的拆解，使用了简单的类比：

问题所在：“眩光”造成的困惑

把机器人的视觉软件想象成一名正在参加考试的学生。在正常的教室里（受控实验室），这个学生表现得非常出色。但在现实世界中，“教室”里充满了令人目眩的聚光灯（反射），而且“考试题目”（焊缝）非常细且模糊。

因为眩光的存在，学生感到很困惑。他们可能会把金属上的一个闪光点误认为是焊缝的一部分，或者因为焊缝被隐藏在强烈的反射光之后而完全错过它。这会导致机器人尝试在错误的地方进行焊接，或者因为找不到线条而停止工作。

旧的方法：构建更大的大脑

通常，当一个学生遇到困难时，你可能会尝试给他们一个更大的大脑（更复杂的计算机模型）或者更多的教科书（更多的数据）。研究人员以前也尝试过这样做，但他们发现，仅仅让软件变得更“聪明”或更“沉重”并不能解决眩光带来的特定问题。这就像是给一个学生一本巨型的百科全书，而他们其实只需要帮助他们专注于面前的具体问题。

新的方法：改变“评分系统”

研究人员并没有选择构建一个更大的大脑，而是决定改变给学生的作业评分的方式。

他们使用了一种特定的软件类型，称为 BiSeNetV2（你可以把它看作是学生的现有大脑）。他们没有改变大脑的结构，只是改变了游戏的规则，以帮助学生学得更好。

“迁移学习”（起跑优势）：
想象一下，这个学生之前已经学习过类似的学科。研究人员采用了一个已经擅长通用任务的模型，并给予它一个针对这项特定焊接任务的“起跑优势”。这被称为迁移学习。这就像是在告诉学生：“你已经具备了阅读能力；现在只需将这项技能应用到这些特定的金属线条上即可。”
“混合评分系统”（CE–Lovász Loss）：
这是核心秘诀。研究人员使用了一种特殊的评分方法，它结合了两种不同的评分方式：
- 逐像素评分（交叉熵/Cross-Entropy）： 它检查学生是否正确处理了每一个微小的点。这种方法对细节很敏感，但容易被眩光干扰。
- 形状与流向评分（Lovász Loss）： 它检查学生是否画出了一条连续且不间断的线。它不太在意每一个点，而更在意整个焊缝是否看起来是一条平滑、连贯的路径。
类比： 想象你在画一条被雾气笼罩的纸上的线。
- 旧的方法（逐像素评分）会说：“你在雾中漏掉了这一个点，你不及格了。”
- 新的方法（混合评分）会说：“尽管雾气遮住了几个点，但你画出了一条连接起点和终点的平滑连续线。你通过了。”
通过将这两者结合，机器人学会了忽略那些令人困惑的闪光点，并专注于保持焊缝的连贯性。

结果：修复“断裂”的线条

研究人员将这种新方法与旧方法进行了对比测试。结果如下：

“零”失败率： 在旧系统中，由于眩光过强，会出现机器人完全看不见任何东西（得分为0%）的情况。新方法修复了 96% 的这类完全失败的情况。这就像是一个曾经在考试中会大脑空白的学生，现在即使在灯光闪烁的情况下也能成功回答问题。
无额外成本： 最棒的一点是，他们不需要更快的计算机或更多的内存。其“大脑”的大小保持不变。他们只是教会了现有的大脑如何以不同的方式思考。
速度： 机器人仍然可以进行实时决策（每秒约160次），这对于移动的机械臂来说足够快了。

为什么这对建筑业很重要

在建筑业中，你无法总是控制光照或天气。金属梁是闪亮的，火花到处飞溅。如果机器人焊接器被反射光搞糊涂了，它可能会停止工作或焊接错位置，这是危险且昂贵的。

这篇论文表明，你并不需要制造一个超级昂贵、笨重的机器人来应对这些情况。你只需要教机器人的现有视觉系统去优先考虑保持线条的连贯性，而不是追求每一个像素的完美。这是一种更聪明的学习方式，而不是更繁重的计算方式。

技术摘要：通过迁移学习增强建筑自动化焊接机器人的焊缝分割

问题陈述

由于金属表面的固有特性，特别是强烈的镜面反射、饱和高光和动态照明，自主机器人焊接在建筑环境中面临着重大挑战。这些因素经常会掩盖细微的焊缝边界，导致预测结果出现碎片化、掩码不连续以及中心线提取不稳定等问题。此类分割失败可能会传播到不可靠的机器人轨迹中，导致端点检测失败或不安全的焊接执行。

虽然现有的基于深度学习的分割模型（如 BiSeNetV2、DeepLabV3+）在准确性和效率之间提供了平衡，但它们往往难以应对现实世界施工场景中的反射鲁棒性和几何连续性问题。以往的方法主要试图通过增加架构复杂度（例如添加注意力机制或更深的编码器）或依赖专用硬件来解决这一问题。然而，这些方法往往无法在不引入对于边缘部署机器人平台而言过于沉重的计算开销的情况下，解决高度反射条件下学习不稳定的核心问题。

方法论

本研究提出了一种反射鲁棒型焊缝分割框架，该框架通过迁移学习和混合交叉熵–Lovász (CE–Lovász) 损失函数对 BiSeNetV2 主干网络进行增强，而非修改网络架构。

核心组件

主干架构： 该框架采用了标准的 BiSeNetV2，这是一种轻量级的实时架构，具有双分支设计（细节分支和语义分支），并通过双边引导聚合模块进行集成。不对网络进行任何结构性更改，从而保持完全相同的 FLOPs、参数量和推理速度。
迁移学习策略：
- 初始化： 模型首先使用在线硬样本挖掘 (OHEM) 损失进行 1,000 个 epoch 的预训练，以建立能够处理类别不平衡和反射噪声的稳定初始化。
- 微调： 随后的迁移学习阶段涉及使用提出的混合损失对预训练模型进行单 epoch 的微调。研究评估了三种微调配置：仅解码器微调、部分微调和全量微调。全量微调取得了最佳结果。
混合损失函数：
- 该框架采用交叉熵 (CE) 损失和 Lovász-Softmax 损失的加权组合： $L_{Total} = \lambda L_{CE} + (1-\lambda) L_{Lovasz}$ 。
- CE 损失： 提供稳定的像素级监督。
- Lovász-Softmax 损失： 直接优化区域层级的交并比 (IoU)，从而促进连通的焊缝区域并保持全局结构连续性。
- 优化： 通过敏感性分析调整权重参数 $\lambda$ ，发现最优值为 0.04。这表明，在强反射环境下，维持 Lovász 主导机制（96% 的权重）对于保持焊缝连续性至关重要，而少量的 CE 成分（4% 的权重）则有助于局部边界精细化。
liệu 数据集： 本研究使用了 WJ3600 数据集，它是 WJ1000 数据集的扩展，包含 3,600 幅具有多样化背景、照明变化和镜面反射强度的图像。语义类别被简化为三类：背景、板材和焊缝。

主要贡献

反射感知框架： 开发了一个能够在不扩展架构的情况下，显著提高对镜面金属反射和碎片化焊缝结构鲁棒性的框架。
面向学习稳定性优化的方案： 证明了结合迁移学习与混合 CE–Lovász 损失可以同时提高像素级精度和区域级焊缝连续性。这种方法将反射鲁棒性重新定义为一个学习稳定性问题，而非模型容量问题。
轨迹稳定的表示： 该方法能够生成适用于下游机器人任务（焊缝跟踪、路径点生成）的几何稳定焊缝表示，通过恢复那些通常会导致零 IoU 预测的严重失效案例。
架构依赖的有效性： 对 BiSeNetV2、DeepLabV3+、UNet 和 SegFormer-B0 的全面分析表明，所提出的优化策略对于优先考虑空间连续性而非大规模语义上下文的轻量级实时架构（如 BiSeNetV2）特别有效。
零开销提升： 该框架在保持与基准模型完全相同的计算复杂度（FLOPs、参数、延迟）的同时，实现了显著的性能提升。

实验结果

在相同的训练和评估条件下进行了广泛的实验。

定量性能：
- 所提出的框架（BiSeNetV2 + 全量微调 + CE–Lovász）实现了 81.76% 的焊缝 IoU 和 90.73% 的 mIoU。
- 相比于基于 OHEM 的基准模型（59.40%），焊缝 IoU 提升了 22.36 个百分点。
- 召回率 (Recall) 从 69.86% 提高到了 94.10%。
失效案例恢复：
- 引入了一个关键指标——恢复率 (Recovery Rate)，用于衡量从严重的零 IoU 失效中恢复的能力。所提出的方法在 BiSeNetV2 上实现了 96.33% 的恢复率，成功恢复了基准模型完全失效时的焊缝连续性。
- 相比之下，尽管较重的架构如 DeepLabV3+ 在 IoU 上有适度提升，但其恢复率显著较低（4.84%）。
计算效率：
- 所提出的方法保持了基准模型的 22.26 GFLOPs、3.05M 参数 以及在 NVIDIA A100 上的 161.91 FPS。
- 延迟保持在 6.18 ms，GPU 显存占用保持不变，为 171.13 MB。
定性分析：
- 视觉对比表明，即使在极端眩光下，所提出的方法也能重建几何稳定的连续焊缝结构，而基准模型的预测往往会出现碎片化或缺失焊缝的情况。
- 置信度图分析显示，经过微调后，预测置信度集中在真实的焊缝区域，而不是扩散到反射伪影中。

意义与主张

论文指出，机器人焊接中的鲁棒焊缝分割从根本上是一个学习稳定性问题，而非架构容量限制问题。本研究的主要意义在于证明了：

优化策略 > 架构复杂度： 通过原则性的迁移学习和混合损失优化，可以在不增加模型大小或计算成本的情况下，显著提高对反射的鲁棒性和焊缝的连续性。
失效恢复的关键性： 在机器人焊接中，从孤立的灾难性失效（零 IoU 情况）中恢复，比单纯提高平均重叠指标更为关键，因为单次失败就可能中断整个机器人轨迹。
实际可部署性： 该框架为在具有严格实时约束和反射性建筑环境下的边缘部署机器人系统提供了一个实用的轻量级解决方案。
局限性： 作者承认了包括焊接场景的多样性、严重反射下的标注不确定性，以及当前研究缺乏闭环机器人焊接实验等局限性。然而，改进的几何连续性表明其在机器人轨迹生成方面具有很强的适用性。

研究结论认为，通过专注于学习稳定性和区域级一致性，所提出的框架为在挑战性的工业环境中实现可靠的机器人焊接感知提供了一条高效的计算路径。