Compass: Degradation-Simulated Reciprocal Learning with Lightweight Needle RWKV for Multimodal Crack Segmentation under Missing Modalities
本文介绍了 Compass，这是一个轻量级多模态裂缝分割框架，它采用退化模拟蒸馏（Degradation Simulation Distillation）、Needle RWKV 骨干网络以及证据拓扑保持融合（Evidential Topology-Preserving Fusion），旨在实现任意模态缺失条件下的最先进性能，同时保持较低的计算成本。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你是一名正在试图破解谜团的侦探，但你的团队丢失了一些关键线索。也许是相机镜头裂了，或者是麦克风坏了，又或者是热感应器起雾了。在人工智能的世界里，这是一个常见的问题，被称为“缺失模态”（missing modalities）。AI 系统通常依赖多种类型的数据——比如普通的照片（RGB）、热力图（红外线）或 3D 深度扫描——来理解世界。当其中一个数据流消失或损坏时，许多 AI 系统会变得困惑并无法履行职责。这对于安全性而言是一个重大问题，尤其是当我们谈论寻找桥梁、道路或建筑物的微小裂缝时。如果 AI 因为传感器失效而漏掉了裂缝，后果可能是危险的。因此，目标是构建一个像资深侦探一样坚韧的 AI：即使在失去一半证据的情况下也能破案，并且不需要超级计算机来完成这项工作。
这正是名为 Compass 的新系统发挥作用的地方。把 Compass 想象成一个专门为寻找工业结构裂缝而设计的超智能、轻量化机器人，即使它的传感器出现故障也依然能胜任。开发 Compass 的研究人员意识到，大多数 AI 模型就像那些只有在所有教科书都在手边时才会为考试做准备的学生。如果你拿走一半的书，他们就会陷入恐慌。然而，Compass 的训练方式不同。它使用了一种巧妙的技巧，叫做“退化模拟互惠学习”（Degradation-Simulated Reciprocal Learning）。想象一个学生通过故意扔掉笔记并尝试凭记忆解题来练习考试，而同时有一个带着笔记的朋友在旁边协助。他们交换角色，互相教导如何处理缺失的信息。这样一来，当真正的测试到来且传感器失效时，AI 不会僵住；它完全知道如何填补空白。
论文将 Compass 介绍为一个“轻量级”网络，这意味着它足够小巧、快速，可以在便携式设备（如无人机或自动驾驶汽车内部的计算机）上运行。它使用了一个特殊的骨干网络，叫做“Needle RWKV”。如果你把标准的 AI 试图观察裂缝的过程想象成同时观察整个房间，那么 Needle 就像一台穿针引线的机器，专门专注于裂缝那长而细、蜿蜒曲折的路径，忽略其余的背景。它被设计用来理解裂缝具有方向和形状，并像追踪一根线一样追踪它们。
为了将所有不同的信息碎片粘合在一起，Compass 使用了被称为“证据拓扑保持融合”（Evidential Topology-Preserving Fusion）的技术。可以把这想象成一场团队会议，每个传感器都汇报它所看到的情况，但同时也对自己的信心程度进行评分。如果深度传感器起雾了（数据缺失），它会说：“我不确定”，于是系统就会更多地听取清晰的红外摄像头的意见。但它不仅仅是选择声音最大的那个，而是使用一种数学规则（Dempster-Shafer 理论）来整合它们的观点，从而确保裂缝看起来是一条连续的线，而不是破碎的碎片。
实验结果非常令人印象深刻。研究人员在包含裂缝图像的三个不同数据集上对 Compass 进行了测试。在一次极端测试中，他们移除了 90% 的深度数据（基本上让 3D 传感器几乎失效）。即便面临如此巨大的障碍，Compass 仍然能够以 0.8216 的 F1 分数和 0.8434 的平均交并比（mIoU）找到裂缝。为了直观理解，在同样的条件下，其他顶尖方法都表现得非常挣扎，经常将裂缝切割成难以辨认的小碎片。而 Compass 仅用 2.58 亿个参数就完成了这一切，与其相比，其他模型的规模要大出数百倍，效率极高。
论文明确反对那些试图从零开始“生成”缺失数据或使用需要庞大服务器的沉重模型的做法。作者指出，这些方法在实际应用中太慢，且在缺失数据过于严重时往往会失败。相反，他们证明了通过在训练期间模拟最坏情况，并使用智能的方向感知骨干网络，你可以构建一个既鲁棒又快速的系统。他们不仅猜测这行得通，还通过在不同数据集和缺失比例下的广泛测量证明了这一点，结果显示 Compass 在使用极少计算能力的同时，始终优于目前的先进方法。这是向着让 AI 能够在混乱、不完美的现实世界中生存迈出的一步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。