Are Classification Robustness and Explanation Robustness Really Strongly Correlated? An Analysis Through Input Loss Landscape
本文通过一种新颖的输入损失平面分析和专门的训练方法，证明了增强解释鲁棒性并不一定会提高分类鲁棒性，从而挑战了分类鲁棒性与解释鲁棒性强相关的传统观点。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一位非常聪明的保安（一个人工智能模型），他在门口检查人员。这位保安有两个任务：
- 分类： 判定一个人是“贵宾（VIP）”还是“访客（Visitor）”。
- 解释： 指出他做出这个决定的确切原因（例如：“我看到他胸前戴着贵宾证”）。
长期以来，专家们一直认为这两个工作是形影不离的好友。当时的观点是：“如果我们训练保安能够极其严厉地抵御骗子（对抗性攻击），从而确保他们绝不会误认贵宾，那么他们在解释自己的理由时也会自然而然地变得非常稳定和可靠。”
巨大的惊喜
这篇论文指出：事实并非如此。 你可以拥有一个在识别错误方面极其强悍的保安，但在被问及推理逻辑时，却依然非常容易被迷惑。
以下是作者如何利用一些富有创意的思维模型来证明这一点的：
1. “平坦 vs 崎岖”之路的类比
为了理解为什么 AI 具有鲁棒性（稳健性），科学家们经常观察“损失景观（Loss Landscape）”。你可以把它想象成 AI 行走的路径地形。
- 对于分类（贵宾判定）： 如果地形是平坦且平滑的，那么保安就是非常鲁棒的。即使骗子稍微推搡一下，他们也不会跌落路径或改变主意。平坦的道路 = 强悍的保安。
- 对于解释（推理过程）： 论文提出了这样一个问题：“如果我们让解释部分的路径变得平坦，保安的推理能力会变得更强吗？”
转折点： 作者发现，让解释部分的地形变得平坦，并不能让推理过程变得更强。事实上，有时让它变得平坦反而会让推理变得更弱。这就像是为司机铺设了一条平坦顺滑的道路，但这条平滑的道路实际上却让小偷更容易绕过保安的逻辑。
2. “聚类”技巧
为了在不检查每一个可能的图像（这会耗费无穷的时间）的情况下进行测试，作者使用了一种“聚类（Clustering）”方法。
- 想象你有一个装满了各种混杂玩具的大盒子。与其看每一个玩具，不如把它们分成几堆：所有的红车放在一起，所有的蓝马放在一起。
- 他们发现，处于同一个堆（簇）中的玩具通常会得到来自 AI 的相同的“解释”。
- 通过仅测试每一堆中具有代表性的几个玩具，他们可以高效地衡量一个骗子在不改变 AI 最终决策的情况下，有多容易改变 AI 的解释。
3. “魔法训练”（SEP）
作者创建了一种名为 SEP（分离解释鲁棒性，Separate Explanation Robustness）的新型训练方法。你可以把它看作是给保安制定的特殊健身计划。
- 目标： 他们想要看看是否可以在不改变保安“识别”人员能力的前提下，让保安的“推理”变得更强或更弱。
- 结果： 他们成功了！
- 他们训练了一位拥有“尖锐、崎岖”地形进行推理的保安。这位保安在解释事物时更难被骗（高解释鲁棒性）。
- 他们训练了另一位在推理时拥有“平坦”地形的保安。这位保安在解释事物时更容易被骗（低解释鲁棒性）。
- 至关重要的是： 这两位保安在识别贵宾与访客方面的表现是同样出色的。他们的“分类鲁棒性”是完全一致的。
核心结论
论文得出结论：擅长识别事物和擅长解释事物是两种完全不同的技能。
- 旧观念： 如果你让 AI 在决策方面变得强悍，它会自动在解释方面也变得强悍。
- 新现实： 你可以拥有一个在识别错误方面固若金汤，但在解释逻辑方面却如玻璃房般脆弱的模型。
作者表明，你不能假设其中一种能力会自动保护另一种。如果你想要一个既准确又在推理方面值得信赖的 AI，你必须专门针对这两者分别进行训练，因为修复其中一个并不会自动修复另一个。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。