LAYA: Layer-wise Attention Aggregation for Interpretable Depth-Aware Neural Networks

技术摘要：LAYA (层级注意力聚合)

问题陈述
深度神经网络 (DNN) 通常仅依赖于由最后一个隐藏层 ($h_L$) 生成的表示来进行预测。这种设计隐含地假设最深层的嵌入已完全封装了通过先前变换提取的所有相关语义信息。然而，经验证据表明，中间层包含丰富的、互补的信息，涵盖了从低级模式到高级抽象的各个层面。通过在输出阶段丢弃这些中间表示，标准架构不仅可能丢失判别性信息，还会掩盖不同抽象层级对最终决策的贡献。此外，现有解释这些贡献的方法在很大程度上是 事后 (post-hoc) 的，即在推理之后需要进行外部分析，而不是将其作为模型预测机制的内在组成部分。

方法论
本文引入了 LAYA (层级注意力聚合器)，这是一种轻量级、与架构无关的输出模块，旨在取代标准的分类器头。LAYA 不仅仅投影最终的嵌入，而是动态地聚合来自所有隐藏层 $\{h_i\}_{i=1}^L$ 的内部表示。

其机制运行如下：

1. 投影 (Projection)： 每个隐藏表示 $h_i$ 通过一个可学习的适配器 $g_i(\cdot)$ 被映射到一个维度为 $d^*$ 的共享潜空间，得到 $z_i = g_i(h_i)$。
2. 评分 (Scoring)： 这些投影后的表示可以选择性地通过一个共享映射 $\psi(\cdot)$（恒等映射或轻量级 MLP）进行转换并进行拼接。一个评分 MLP 处理此拼接结果，以生成未归一化的相关性得分 $s(x) \in \mathbb{R}^L$。
3. 注意力 (Attention)： 使用温度缩放的 softmax 函数将得分转换为输入相关的注意力系数 $\alpha_i(x)$：
   $$\alpha_i(x) = \frac{\exp(s_i(x)/\tau)}{\sum_{j=1}^L \exp(s_j(x)/\tau)}$$
   其中 $\tau$ 控制分布的锐度。
4. 聚合与预测 (Aggregation & Prediction)： 最终的聚合表示计算为加权和 $h_{agg} = \sum_{i=1}^L \alpha_i(x) z_i$，随后被传递至特定任务的输出头进行分类。

至关重要的是，注意力权重 $\alpha_i(x)$ 是作为预测过程的一部分在正向传播期间生成的，从而作为内在层级归因得分 (intrinsic layer-attribution scores)，无需额外的反向计算或外部解释模型。

核心贡献

1. 重新审视输出层： 本研究强调了传统输出头忽略中间表示的局限性，并提出了向深度感知聚合转变的方案。
2. 内在可解释性： LAYA 提供了一种机制，使模型的决策过程具有内在的可解释性。学习到的注意力系数能够显式地量化每一层对最终预测的贡献，从而无需使用集成梯度 (Integrated Gradients) 或 Grad-CAM 等事后解释工具来进行层级归因。
3. 架构无关性： 该模块可以作为标准输出头的即插即用替代方案，使骨干网络（如 CNN、Transformer、MLP）保持完全不变。
4. 全面评估： 本文在三种不同的表示层级上进行了严格评估：用于 Fashion-MNIST 的多层感知器 (MLP)、用于 CIFAR-10 的卷积神经网络 (CNN)，以及用于艺术风格分类任务的冻结视觉 Transformer (ViT)。

实验结果

• 预测性能： LAYA 实现了与标准基准 (LastLayer)、静态拼接 (Concat) 和全局混合 (ScalarMix) 相比具有竞争力、在某些情况下甚至更优的预测性能。
  • 在 Fashion-MNIST 和 CIFAR-10 上，LAYA 在所有测试的输出头中取得了最高的平均准确率。
  • 在 Best Artworks 数据集上，虽然静态拼接表现最好，但 LAYA 显著优于标准的 LastLayer 基准，证明了即使在冻结的预训练骨干网络中，中间表示也包含有价值的信息。
• 解释的忠实度 (Faithfulness)： 使用 忠实度（归因得分与“留一层排除”扰动效应之间的 Spearman 相关系数）和 Deletion@1（移除排名第一的层后置信度的下降程度）进行的定量分析表明，LAYA 的内在得分具有高度的忠实度。
  • 在 Fashion-MNIST 上，LAYA 的忠实度得分 (0.8575) 接近基于梯度的事后方法 (约 0.89)，同时显著优于静态全局权重。
  • 在 Best Artworks 数据集上，LAYA 取得了最高的 Deletion@1 得分 (0.5787)，表明其识别出的最相关层确实是对预测影响最大的层。
• 可解释性模式： 定性分析揭示了任务相关的深度利用模式。例如，在 CIFAR-10 上，注意力几乎完全集中在最后一层；而在 Best Artworks 上，注意力则稀疏地分布在特定的中间层和后期 ViT 模块（如第 7、9、11、12 块）中，并随艺术风格而变化。

意义与主张
本文认为 LAYA 为标准输出阶段的表示“坍缩”提供了一种原则性的替代方案。其主要意义不在于普遍超越分类准确率，而在于其能够将具有竞争力的预测性能与直接可检查的、输入相关的层级归因相结合。

作者声称 LAYA：

• 提供了内在可解释性，使模型对特定抽象层级的依赖变得透明，无需外部工具。
• 揭示了结构化的、任务相关的深度利用模式，表明不同的任务甚至同一任务内的不同类别都依赖于不同的层级深度组合。
• 为未来的应用奠定了基础，例如注意力引导的模型压缩（剪枝注意力极小的层）、自适应早期退出机制以及基于注意力偏移的诊断分析。

研究结论指出，虽然重点在于计算机视觉，但该框架适用于其他序列架构，可能为理解 Transformer 等模型中信息如何随深度演进提供新的见解。