Thermal-history and morphology-conditioned multimodal fusion for robotic MAG weld-quality classification
作者提出了 HMCF-Net，这是一种多模态融合网络，通过将视觉、电学和声学特征共同基于计算出的热历史和显式熔池几何描述符进行调节，从而提高了机器人 MAG 焊接质量分类的准确率，在无需直接温度测量或延长观测窗口的情况下实现了 94.72% 的准确率。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在重工业领域，机器人焊接是现代制造业的基石，通过连接钢板来建造从轮船到摩天大楼的一切建筑。为了让这些机器可靠地工作，它们必须能够瞬间判断焊缝是否正在正确形成，或者是否存在缺陷。一个完美的焊缝要求熔融金属流动得恰到好处，既能将部件熔合在一起，又不会烧穿它们或留下薄弱、不完整的结合部。传统上，机器人依靠摄像头和麦克风来“看”和“听”焊接电弧，但这些传感器只能捕捉到过程中的极短瞬间。它们错过了发生在那一刻之前的完整故事。焊接不仅仅是一个快照；它是热量随时间积累的结果，如果不知道热量的历史，机器人可能会将金属外观的突然变化误认为是缺陷，而实际上这只是过程中的正常现象。
上海交通大学和厦门CCRE集团的研究人员开发了一种新方法，帮助机器人理解这个完整的故事。他们创建了一个系统，将机器人的即时感官数据与计算出的热输入历史以及对熔池形状的精确测量相结合。通过将这些组合信息输入到一个智能计算机模型中，他们在分类机器人焊接质量方面实现了显著的精度飞跃。该系统不需要昂贵的温度传感器或更长的观察时间；相反，它利用机器人现有的功率数据来重建热历史，并将其与熔池清晰的几何描述相匹配。
研究人员解决的挑战在于，机器人的摄像头只能看到焊接过程中最后几百毫秒的情况。在那个短暂的窗口期内，由于电弧的变化，熔融金属看起来可能很奇怪，但机器人无法判断这种变化是由于新出现的问题，还是仅仅是几秒钟前热量的残留影响。为了解决这个问题，团队构建了一个数字模型，根据机器人自焊接开始以来所使用的电功率，计算热量如何在金属板中扩散。这种计算充当了“记忆”的角色，告诉系统在当前时刻之前金属中积累了多少热量。同时，系统使用计算机视觉工具在每一帧画面中绘制出熔池的精确轮廓，测量其尺寸、位置以及金属的分散程度。
这两部分信息——计算出的热历史和熔池的显式形状——随后与原始视频、声音和电信号一起被输入到神经网络中。网络利用这些额外的上下文来更新其对当前情况的理解。这就像是给驾驶员提供的不仅是前方道路的视野，还有一段他们刚刚驶过的地形地图以及车辆当前位置的清晰测量。这使得系统能够区分临时波动和真正的缺陷。研究人员在成千上万个真实焊接作业的短时间窗口上测试了这种方法，涵盖了四种不同的结果：完美焊接、渗透不足、烧穿金属以及偏离路径。
结果表明，添加这些上下文信息带来了可衡量的差异。新系统在近95%的测试案例中正确识别了焊接质量，表现优于仅依赖即时感官数据的其他先进方法。具体而言，热历史与形状描述的结合帮助系统更可靠地识别了正常焊接和渗透不足。虽然该系统仍然发现某些烧穿缺陷比其他缺陷更难识别，但整体改进是显而易见的。研究表明，通过明确告知计算机在摄像头开始观察之前的热量积累情况以及它所看到的熔池精确几何形状，机器人可以对自己的工作质量做出更好的决策。
这种方法为工业自动化提供了一条切实可行的路径。它证明了机器人不需要配备更复杂或更昂贵的硬件来看得更清楚；它只需要学会以更聪明的方式去利用已有的数据。通过计算热量的过去并测量几何的现在，该系统弥合了瞬时观察与焊接过程完整现实之间的鸿沟。研究人员发现，同时使用历史和形状比单独使用其中之一更有效，这表明这两类信息能够完美互补。这种方法允许进行高速、高精度的质量控制，而无需减慢生产线速度，也不需要获取在恶劣工业环境中难以获得的直接温度测量。
研究结论认为，将这些计算出的历史和显式形状集成到机器人的决策过程中，是提高焊接质量的有力工具。该系统成功地以高置信度将焊接分为四类，表明机器人现在可以更可靠地分辨正常焊接过程与各种类型的缺陷。尽管在检测特定缺陷（如烧穿）方面仍有提升空间，但核心发现是稳健的：一个理解热历史和熔池精确形状的机器人，是一个更胜任的焊工。这项工作为如何让未来的机器人系统对其自身行为及其物理后果更加感知提供了清晰的蓝图，从而确保更坚固、更安全的金属结构。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。