A Cross-Modal Detection-Segmentation Framework for Video-Based Process Monitoring in Wire Arc Additive Manufacturing
本研究为电弧增材制造建立了一个实时计算机视觉流水线，确定了 YOLOv8n 是焊接监测的最佳检测器，并提出了一个由 YOLO 引导的 SAM2 分割框架，同时强调了当前基础模型在极端电弧眩光下区分连续焊接特征方面的局限性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代制造业领域，人们越来越渴望不再通过从固体块中切割，而是通过逐层添加的方式来制造大型、复杂的金属零件。这种被称为电弧丝材增材制造（wire arc additive manufacturing）的过程，非常类似于一个使用焊接火炬的机器人3D打印机。机器将金属丝送入高温电弧中，将其熔化并沉积在表面以形成新的形状。整个操作的成功取决于一个微小而转瞬即逝的时刻：熔池（molten pool）。这是金属丝与现有部件接触处的一个微小的、发光的液态金属坑。如果这个熔池过热、过冷或移动过快，最终产品将会强度不足或充满裂纹。由于这部分熔融金属隐藏在刺眼的明亮电弧之下，并被飞溅的火花包围，人类的眼睛很难对其进行密切观察。多年来，工程师们一直依赖于测量电流或声音的传感器，但这些方法只能为金属实际发生的情况提供间接的线索。
来自包括印度理工学院卡拉格普尔分校和罗伯特·戈登大学在内的研究人员的一项新研究采取了不同的方法。他们没有去倾听机器的声音或测量其电信号，而是决定教计算机直接“看到”这个过程。他们构建了一个系统，能够实时观看焊接视频，试图识别两个关键要素：刚刚铺设下的固体金属，即焊道（weld bead），以及位于火炬正前方的活跃液态金属池。挑战在于视频画面非常杂乱。电弧的强光经常会冲刷掉图像，且熔融金属的流动方式使得很难准确判断液态在哪里结束、固态从哪里开始。研究人员致力于寻找一种让计算机识别这些特征的最佳方式，并测试是否可以在不需要人类在每一帧视频上绘制详细轮廓的情况下，利用这些信息来判断焊接质量。
为了测试他们的想法，团队收集了一组工业焊接视频。他们并没有使用其他人工智能领域常见的数百万张图像的大型库，而是精心挑选了从11次真实焊接过程中提取的335帧图像。这些帧既展示了成功的焊接，也展示了有缺陷的焊接，捕捉了包括电弧不稳定或金属表面受污染在内的各种情况。研究人员训练了五种不同类型的计算机视觉模型来充当机器的“眼睛”。他们测试了一系列方法，从旨在在标准硬件上快速运行的轻量级模型，到使用被称为 Transformer 的先进数学结构的更复杂的系统。目标是观察哪种模型能够最准确地在焊道和熔池周围画出一个框，即使图像受到眩光或运动的干扰。
结果明确指向了一种特定的模型类型。一种名为 YOLOv8n 的轻量级系统被证明是这项工作的最有效工具。它成功识别了绝大多数测试图像中的焊道和熔池，在实现高准确度的同时，处理速度超过每秒140帧。这种速度至关重要，因为这意味着该系统理论上可以边进行焊接边进行观察，并在出现问题时立即做出反应。相比之下，那些在计算机视觉其他领域表现出巨大潜力的复杂 Transformer 模型则表现得非常吃力。它们在这一小型专业数据集上的表现差得多，这表明这些强大的系统需要远比此处可用的更多训练数据，才能学会如何观察焊接电弧的细微细节。研究还发现，保持视频为彩色而非转换为黑白，能带来微弱但持续的优势，这表明即使是发光金属中极其微弱的颜色差异也有助于计算机区分各个部分。
在找到了可靠的定位焊道的方法后，研究人员尝试迈出下一步：创建金属形状的详细地图。在许多计算机视觉任务中，一旦找到了物体，就可以使用“基础模型”（foundation model）在物体周围绘制精确的轮廓，将其从背景中逐像素分离出来。团队尝试使用一种名为 SAM2 的尖端工具，该工具旨在理解并分割视频中的物体。他们利用快速检测器为工具提供一个粗略的起始点，然后让工具追踪焊道在视频中移动时的形状。虽然这在追踪焊道的整体区域方面效果良好，但却遇到了一个根本性的障碍。该工具总是将固体焊道和液态熔池合并为一个连续的形状。这是因为，与汽车或人不同，焊道和熔池在物理上是连接在一起的。金属从液态到固态平滑过渡，而电弧的强烈光线使这种过渡变得模糊。受过主要识别动物或车辆等清晰边界物体训练的计算机，无法将这两个连续的部分分开。
这一局限性揭示了将通用人工智能应用于专门工业问题时的一个重要事实。虽然该系统可以可靠地找到焊接发生的位置并测量沉积物的整体大小和形状，但目前还无法在没有人工帮助的情况下完美地分离液态与固态。研究人员得出结论，目前最好的方法是使用快速检测器找到位置，然后将形状数据视为一种近似值而非完美测量。他们现在计划利用这些近似测量值结合原始视频数据，来构建一个能够判断整个焊接序列质量的系统。通过将视频作为一个整体进行观察，而不是试图完善每一帧，他们希望创建一个能够告诉工厂某个零件是合格还是不合格的系统，而无需人类对每一个缺陷进行标注。这项工作为未来奠定了坚实的基础，表明对于观察工业焊接这种剧烈且混乱的现实情况，简单的、快速的计算机视觉目前比复杂的、依赖大量数据的系统更为可靠。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。