Identifying Confusion Trends in Concept-based XAI for Multi-Label Classification
本文评估了基于概念的可解释人工智能（CXAI）方法，特别是 CRP 和 CRAFT，在基于 MS-COCO 数据集训练的多标签分类深度神经网络上的表现，揭示了这些技术能够有效识别模型的学习弱点、展示概念区分度如何减少混淆，并暴露数据集引起的偏差。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代人工智能的世界里，计算机在观察图像并命名其所见内容方面已变得异常出色。它们识别狗、汽车或人的准确度往往超过了人类视觉。然而，为了让这些系统在自动驾驶汽车或医疗诊断等高风险场景中获得信任，我们需要的不仅仅是一个正确的答案；我们需要理解机器是如何得出该结论的。这就是可解释人工智能（Explainable AI）的领域，该领域致力于打开深度神经网络这个“黑盒”。在该领域内，一种被称为“基于概念的可解释性”（concept-based explainability）的具体方法脱颖而出。这种方法不再仅仅是强调最重要的像素，而是试图识别计算机所学习并识别出的有意义的思想或“概念”。它不仅询问计算机在看哪里，还询问它认为自己看到了什么。挑战在于，当这些系统在复杂的现实环境中运行时，物体会发生重叠，背景会变得杂乱，且单张图像中包含许多不同的事物。在这种情况下，即使是高度准确的模型也可能犯下微妙的错误，将一个物体误认为另一个，或者依赖具有误导性的背景线索。
德累斯顿工业大学的研究人员致力于通过训练两个著名的计算机视觉模型——ResNet50 和 VGG-16，在名为 MS-COCO 的大规模图像集上进行研究，以调查这些混淆模式。该数据集包含超过十万张日常生活场景的照片，每张照片都带有多个标签来描述其中存在的各种物体。研究团队将重点放在这些图像中出现频率最高的二十种物体上，例如人、汽车和椅子。为了确保测试的公平性，他们将模型训练到了不同的性能水平，创造了计算机表现极佳或表现挣扎的两种情景。随后，他们应用了两种不同的生成解释的方法：一种是追踪特定特征重要性的方法，另一种是将图像分解为更小的、聚焦区域的方法。通过将计算机的最终预测与其做出决策时所使用的内部概念进行比较，团队能够精确地看到模型在哪里产生了混淆。
调查显示，当模型难以区分两个相似物体时，这种混淆并非随机的；它根植于计算机所学习到的特定概念。在模型表现良好的情况下，内部概念是清晰且独特的，能够明确区分人与汽车或椅子。然而，当模型表现较差时，概念变得模糊且重叠。计算机开始依赖那些对于单一物体而言并不唯一的共享特征，从而导致错误。例如，研究发现，模型可能会将“人”与“背包”混淆，并不是因为它看不见那个人，而是因为它学习到将“人”的概念与背包的视觉模式紧密联系在一起，仅仅是因为它们在训练数据中经常一起出现。这表明，混淆源于模型学习到了伪相关性，而非物体的真实身份。
这项研究的一个关键发现是，这些内部概念的清晰度与模型避免错误的能力直接相关。当计算机学习到的概念是独特且区别于其所属类别的时，混淆率显著下降。相反，当概念模糊或与其它类别共享过多信息时，模型就会出错。研究人员测量了这种“区分度”，并发现具有更高区分度得分的模型，其误认物体的实例更少。这表明，通往更优人工智能的路径不仅在于提高获得正确答案的频率，还在于确保计算机学习的是真正属于每个物体的独特特征，而不是依赖于常见的背景模式。
研究还揭示了环境本身是如何欺骗计算机的。在许多现实世界的图像中，某些物体出现的频率如此之高，以至于计算机开始认为它们是同一个东西的一部分。例如，在一个火车站的数据集中，计算机可能会通过寻找站台或楼梯来识别“人”，因为在训练照片中，人几乎总是站在这些结构上。当研究人员在新的图像上测试模型时，即使人站在不同的表面上，模型也会识别出这个人，仅仅是因为背景与它所学到的内容相匹配。这些“环境概念”充当了隐藏的偏见，即模型依赖于环境设置而非物体本身。这在自动驾驶列车的数据集中尤为明显，模型的解释显示它正专注于背景中的轨道和站台，而非人本身。
最终，这项工作证明了基于概念的解释是诊断模型为何失败的强大工具。通过观察计算机使用的概念，研究人员可以判断模型学习的是否正确，或者是否被数据收集方式所误导。研究结果表明，为了构建更稳健的系统，我们必须谨慎对待喂给它们的数据，确保数据的多样性以防止这些误导性的关联。如果一个模型只有在人靠近汽车时才能识别出人，那么当那个人在公园里时，模型就会失败。这项研究证实，提高所学概念的区分度并减少对环境线索的依赖，是创造能够在复杂、不可预测的现实世界中被信任的人工智能的关键步骤。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。