技术摘要：SketchXplain

问题陈述

当前的图像分类可解释人工智能（XAI）方法，特别是显著图（saliency maps），存在“可解释性鸿沟”。虽然显著图能够忠实地突出相关的像素或神经元，但它们往往缺乏语义上下文，表现为不直观的“模糊斑块”，无法传达为什么该区域具有相关性。这迫使用户消耗大量的认知努力来理解模型的行为，从而阻碍了快速且准确的决策。现有的基于概念的方法提高了语义对齐度，但往往缺乏与特定图像实例的视觉连贯性；而简单的线条画或边缘检测则无法捕捉到必要的解释性线索。作者认为，AI 的解释应当是直观的，其定义由三个要素组成：简洁性（清晰且简练）、连贯性（与用户知识和证据一致）以及快速解释（实现快速同化）。

方法论：SketchXplain

作者提出了 SketchXplain，一个生成基于草图的视觉解释的深度神经网络框架。不同于仅仅将照片转换为素描或高亮像素的方法，SketchXplain 整合了显著性、概念瓶颈和草图优化，以生成抽象且具备线索感知能力的绘图。

该架构由三个主要模块组成：

1. 基础预测： 图像编码器 ($M$) 从输入图像 ($x$) 预测类别标签 ($\hat{y}$)。
2. 概念解释：
   • 概念瓶颈： 模型通过多标签二分类预测中间的、人类可解释的概念 ($\hat{\gamma}$）（例如面部动作单元 AU 或皮肤病变 ABCD 标准）。随后利用这些概念来预测最终的类别标签。
   • 线索定位： 使用适配于 Transformer 的 Grad-CAM 生成每个预测概念的显著图。这些显著图通过每个概念对最终预测的重要性权重 ($\hat{w}_\gamma$) 进行加权，从而创建一个统一的概念加权显著图 ($\hat{\epsilon}$)。
3. 草图合理化： 该模块通过两个步骤生成最终的草图：
   • 笔触初始化： 预训练的图像到图像生成器从照片中提取详细线条（边缘、皱纹、纹理）。这些线条被概念加权显著图进行掩模处理，以保留最具解释性的笔触。
   • 笔触优化： 系统基于掩模后的线条初始化一组参数化笔触（二次贝塞尔曲线），并通过梯度下降进行迭代优化，以最小化复合损失函数 ($L$)：
     $$L = -\cos(\hat{z}_s, \hat{z}_x) - \lambda_t \cos(\hat{z}_s, \hat{z}_y) + \lambda_\kappa \kappa(\hat{s}_x)$$
     其中：
     • $\hat{z}_s, \hat{z}_x, \hat{z}_y$ 分别是草图、输入照片和预测标签的 CLIP 嵌入。
     • 第一项确保照片对齐（对图像的忠实度）。
     • 第二项确保语义对齐（对预测标签的忠实度）。
     • 第三项 ($\kappa$) 通过惩罚高曲率来强制执行平滑度（简洁性）。

核心贡献

1. 新颖的模态： 这是首个利用草图作为视觉 XAI 直观解释模态的工作，超越了单纯的归因图或文字概念描述。
2. SketchXplain 框架： 一种通过结合概念瓶颈、显著性定位和可微草图渲染来满足简洁性、连贯性和快速解释要素的技术方法。
3. 实证验证： 在两个截然不同的领域进行了全面的评估：
   • 面部表情识别： 使用动作单元（AUs）作为概念。
   • 皮肤病变诊断： 使用 ABCD 标准（不对称性、边缘、颜色、直径）作为概念。

结果

建模与代理指标

• 简洁性： 与显著图和“显著照片”相比，SketchXplain 草图展示了显著更低的视觉复杂度（通过局部熵和 JPEG XL 文件大小衡量），同时比简单的轮廓保留了更多信息。
• 连贯性： 与 CLIPasso 和显著图等基准相比，SketchXplain 在与 AI 预测标签及解释性概念（AUs/ABCDs）的对齐度上达到了最高水平。它成功保留了任务相关的线索，同时减少了噪声。

用户研究（面部表情）

• 定性研究： 参与者认为 SketchXplain 比显著图（缺乏语义）和简单轮廓（缺乏细节）更直观。用户报告称，SketchXplain 有效地突出了“显著线条”（如显著图），同时保持了可辨识的面部特征（如轮廓）和表达性线索（如 CLIPasso）。
• 定量研究（受限时间）： 在快速感知测试（显示时长为 33.3ms – 500ms）中，与显著图、CLIPasso 甚至原始照片相比，SketchXplain 实现了显著更高的 AI 对齐度（正确识别预测的情绪）和概念召回率（识别特定的 AUs）。显著图的表现最差，可能是由于缺乏特征上下文。

用户研究（皮肤病变）

• 定性研究： 在针对非临床参与者的研究中，SketchXplain 在帮助用户识别 ABCD 标准和诊断黑色素瘤风险方面优于其他可视化方法。参与者指出，SketchXplain 中的“断开线条”和“强调的涂鸦”比平滑轮廓或模糊的显著性掩模更能有效地帮助确认边缘不规则和不对称性。
• 权衡： 虽然 SketchXplain 提高了可解释性，但与简单轮廓相比，它引入了略高的认知负荷，不过用户认为这种权衡对于增加与临床概念的连贯性是值得的。

意义与主张

论文声称 SketchXplain 通过将 XAI 从纯粹的分析性审计转向直观解释来解决可解释性鸿沟。通过利用人类处理抽象草图的快速处理能力（系统 1 思维），该方法支持：

• 更快的解释： 用户可以比使用传统显著图更快地同化相关线索并推断预测。
• 增强的连贯性： 草图架起了空间几何与语义概念之间的桥梁，使 AI 逻辑与人类观察保持一致。
• 隐私保护： 作为副产品，草图固有的抽象性可以在保留诊断效用的同时，保护可识别信息（如身份、性别）。

作者将 SketchXplain 定位为并非所有 XAI 方法的替代品，而是一种通过视觉抽象使 AI 决策对普通用户更易理解的补充方法，特别是在需要快速、直观理解的领域。