Multilabel Corrosion Morphology Classification Using Deep Learning with Multimodality Fusion
本研究提出了一种结合了 ResNet-18、CLIP 和 Swin Transformer 与环境元数据的多模态深度学习框架，用于实现准确的多标签腐蚀形貌分类，并证明了类权重损失函数和基于 Transformer 的架构对于处理复杂模式以及提高少数类标签性能至关重要。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
腐蚀是建筑世界中缓慢而无声的敌人。它侵蚀着桥梁、管道和船舶，将坚固的金属变成脆弱的粉尘。虽然有些锈迹会在表面均匀扩散，但最危险的一种发生在暗处。这就是局部腐蚀，微小的坑洞会形成并向金属深处生长，往往在结构突然失效前都隐藏在视线之外。这些坑洞并不尽相同。有些底部平滑，而另一些则发展出锯齿状、交叉纹理，甚至会出现可能导致灾难性断裂的微小裂纹。对于试图预测一块金属能维持多久寿命的工程师来说，准确了解这些坑洞的形态至关重要。如果他们能分辨出无害的平滑坑洞与危险的裂纹坑洞，就能在灾难发生前防止其发生。
几十年来，专家们一直通过高倍显微镜观察这些坑洞，并进行人工分类。但这是一项缓慢且令人疲惫的工作，人类的眼睛可能会忽略细微之处，或者对所见之物产生分歧。来自德克萨斯州、俄亥俄州和科罗拉多州的研究人员组成了一个团队，致力于教计算机来完成这项工作。他们希望建立一个系统，能够观察腐蚀金属的图像，并自动识别出不同的损伤类型，即使在同一张图片中出现多种类型时也能识别。挑战在于数据非常杂乱。某些损伤模式非常罕见，导致计算机难以学习；而且图像通常包含复杂的混合纹理，看起来可能同时具备多种特征。
研究人员收集了数百张由扫描电子显微镜拍摄的图像，这种工具可以创建极其详细的金属表面图像。他们重点研究了暴露在盐水这种受控环境中的不锈钢样本。在实验室中，他们创造了特定的条件来生长不同种类的腐蚀。一些样本形成了平滑、抛光的坑洞，而另一些则形成了复杂的粗糙纹理或微小裂纹。至关重要的是，许多样本显示出这些特征的组合，这意味着单张图像可能属于多个类别。团队还收集了运行实验的科学家所记录的笔记，例如温度、湿度以及金属暴露的时间。他们将所有这些信息——包括图片和书面笔记——输入到三种不同类型的人工智能模型中，以观察哪一种学习效果最好。
团队测试了三种不同的方法。一种是标准的、广为人知的图像识别系统。另一种是在数百万张互联网图像和文本描述上训练的模型，这赋予了它对词汇与图像关系的广泛理解。第三种是更复杂的新型模型，旨在识别不同尺度的模式。他们尝试仅向计算机输入图像，然后尝试加入实验笔记，看看增加这些额外背景信息是否会有所帮助。他们还尝试了一种特定的训练技巧：告诉计算机要格外关注那些在数据中仅出现几次的罕见损伤类型。如果不使用这个技巧，计算机往往会忽略那些罕见的危险裂纹，因为它们正忙于学习常见的平滑坑洞。
结果表明，额外的信息确实很重要，但前提是必须教会计算机去关注那些罕见情况。当模型在没有针对少数类进行特殊处理的情况下进行训练时，添加实验笔记并不会提高性能，有时甚至会使其变差。然而，一旦研究人员调整了训练方式，对稀有标签赋予更高的权重，同时使用图像和笔记的模型就变得最为准确。在图像和文本数据上进行训练的模型在整体可靠性方面表现最佳，尤其是在识别危险裂纹方面。它识别正确损伤类型组合的频率比其他系统更高。另外两种模型在处理平滑纹理方面表现良好，但在处理复杂的裂纹模式时略显吃力。
研究还表明，这些计算机并非完美无缺。在某些情况下，图像本身具有如此大的歧义，以至于即使是人类专家也可能产生分歧。一个坑洞可能底部平滑，但也可能带有难以定义的微弱裂纹。计算机有时会误判存在裂纹，或者漏掉某种细微的纹理。这表明，困难不仅在于机器的学习能力，还在于现实世界固有的模糊性，即自然界并不总是遵循整齐划一的类别。尽管面临这些挑战，该系统仍成功学习了如何以高准确度区分不同的形态学特征，为工程师提供了一种新工具。
这项工作建立了一种结合视觉数据与损伤发生背景的新型腐蚀分析方法。通过证明类别加权训练对于处理罕见缺陷至关重要，研究人员为如何教机器识别最危险的衰减形式提供了蓝图。虽然该系统是在实验室受控环境下针对特定类型的钢材进行的测试，但这种方法为实现关键基础设施检测的自动化提供了路径。它并不取代人类判断的需求，而是提供了一个一致、不知疲倦的“第二双眼睛”，能够在隐患演变为危机之前发现细微的失效迹象。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。