技术摘要：谁该获得功劳或承担责任？现代 AI 系统中的责任归因

1. 问题定义

现代 AI 系统通常通过包含预训练、领域特定微调以及随后的适配或对齐的多阶段流水线进行开发。虽然这种模块化结构促进了性能，但也模糊了问责制：当部署的模型表现出特定行为（无论是益处的、有害的还是令人惊讶的）时，尚不清楚哪个开发阶段对此负责，以及在多大程度上负责。

现有方法在解决此问题方面面临局限性：

• 因果责任分析（Causal Responsibility Analysis）： 通常依赖于为离散、小规模决策设计的结构因果模型，难以处理高维、序列化的训练过程。
• 学习动力学研究（Learning Dynamics Research）： 侧重于对参数演化的描述性理解（例如相位转变），而非将功劳或责任归于特定的开发阶段。
• 数据归因（Data Attribution）： 将行为追溯到单个数据点，但通常假设一个“平均模型”，或依赖于无法捕捉特定模型开发过程及复杂优化动力学（如学习率调度、动量、权重衰减）的简化假设（凸性、置换不变性）。

作者提出了问责归因问题（Accountability Attribution Problem）：将模型行为追溯到特定的训练阶段，以确定因果责任。这涉及回答反事实问题：如果某个特定阶段的更新没有发生，模型的行为会发生怎样的变化？

2. 方法论

2.1 框架：潜在结果形式化（Potential Outcomes Formalism）

作者构建了一个基于潜在结果形式化（Rubin, 1974; 2005）的框架。

• 处理（Treatment, $T^S$）： 一个二元变量，表示特定的开发阶段 $S$（一组更新步骤）是否发生（$T^S=1$）或被跳过（$T^S=0$）。
• 结果（Outcome, $Y$）： 模型在实例 $x$ 上的性能，由函数 $\gamma(x, \theta)$ 量化。
• 因果效应（Causal Effect, $\tau_{K,S}$）： 定义为最终时间步 $K$ 时观察到的结果（包含阶段 $S$）与反事实结果（不含阶段 $S$）之间的差异：
  $$\tau_{K,S} = \gamma(x, \theta_K) - \gamma(x, \theta_K(0^S))$$
  其中 $\theta_K(0^S)$ 表示如果跳过阶段 $S$ 后的参数。

2.2 估计量：AA-Score

为了在不重新训练模型的情况下估计 $\tau_{K,S}$，作者推导出了基于泰勒近似和状态轨迹传播的高效估计量。

• 状态轨迹（State Trajectory）： 模型状态 $\xi_k = (\theta_k, v_k)$ 包括参数和速度（用于动量）。更新规则遵循带有动量和权重衰减的 SGD。
• 单步效应（Single-Step Effect）： 对于单个步骤 $t$，对状态 $\xi_k$ 的因果效应是通过传播由于跳过步骤 $t$ 引起的初始差异来估计的。这涉及一个由损失函数的 Hessian 矩阵和优化器超参数（学习率 $\eta$、动量 $\mu$、权重衰减 $\lambda$）导出的传播矩阵 $M_k$。
• 阶段效应（Stage Effect, AA-Score）： 对于一个阶段 $S = \{t_1, \dots, t_s\}$，总效应被近似为单个步骤效应之和（一阶线性）：
  $$\hat{\tau}_{K,S} = \sum_{t_i \in S} \hat{\tau}_{K, t_i}$$
  单步对性能影响的估计量通过点积计算：
  $$\hat{\tau}_{K,t} = \nabla_\theta \gamma(x, \theta_K)^\top E_t$$
  其中 $E_t$ 是代表在时间 $K$ 时对参数估计影响的向量，它在开发过程中计算一次，并可用于任何测试输入 $x$ 或性能函数 $\gamma$。

2.3 准确性与误差界限

该方法依赖于一阶泰勒近似。作者推导出了一个误差界限（定理 4.1），表明其准确性取决于：

1. 初始状态差异的大小（$D_S$）。
2. 损失 Hessian 的 Lipschitz 常数（$L$）。
3. 优化动力学的稳定性（学习率 $\eta$ 和不稳定常数 $\Lambda$）。
   误差随时间跨度（$K - \min(S)$）和学习率呈指数级增长，这表明该方法在后期微调或稳定的优化机制中最为可靠。

2.4 计算考量

直接计算涉及由于 Hessian 和传播矩阵操作导致的 $O(K|B|p^2)$ 复杂度。作者提出了结构化近似（例如层级或块级计算）以扩展到大型模型，通过牺牲一定的归因保真度来换取可行性。

3. 核心贡献

1. 问题定义： 将问责归因形式化为通过反事实查询将模型行为追溯到特定的训练阶段。
2. 通用框架： 一个基于潜在结果的框架，支持阶段级的反事实分析。
3. 高效估计量： 推导出了考虑复杂优化动力学（学习率调度、动量、权重衰减）的 AA-Score 估计量，且无需重新训练。
4. 实际效用： 证明了该方法能够识别导致伪相关、领域泛化和性能下降的特定阶段。

4. 实验结果

作者在视觉（MNIST, CELEBA, 胸部 X 光片）和语言（CIVILCOMMENTS, Gemma-3）任务上评估了 AA-Score。

• MNIST（受控设置）：

  • 正向归因： 成功识别出一个插入的单个数据点为对该数字分类具有最高正向效应的阶段。
  • 负向归因： 检测到处理错误标记数据的阶段对性能具有显著负面影响。
  • 分布偏移： 正确地将旋转测试集上的性能增益归因于引入旋转数据的特定阶段。
  • 优化动力学： 展示了对学习率、动量和权重衰减变化的敏感性，捕捉了它们对阶段效应的具体影响。
  • 验证： 与通过跳过阶段进行重新训练获得的地面真值（ground-truth）反事实高度相关（平均 ~0.945）。

• 现实世界应用：

  • 伪相关： 在 CELEBA（发色 vs 性别）和 CIVILCOMMENTS（毒性 vs 人口统计术语）上，该方法识别了学习伪相关关系的阶段。跳过这些阶段减少了模型对混淆特征的依赖，这一点通过重新训练实验得到了验证。
  • 对比： AA-Score 在复杂的多阶段设置中优于经过改进的 DVEmb 基准（一种基于过程的数据归因方法），特别是在 CELEBA 和 CIVILCOMMENTS 上，这得益于其对优化动力学的显式建模。

• 鲁棒性：

  • 针对分散式后门攻击（BadNets）进行了测试。该方法可以识别出那些相对集中的中毒批次，但当中毒完全分散在所有批次中时，其判别能力会下降，这突显了在高度混合场景下的局限性。

• 效率：

  • 日志记录开销（保存梯度/状态）根据 I/O 主导程度在 1.1 倍到 6 倍训练时间之间波动。
  • 归因时间是可控的（随数据集和模型大小呈线性缩放），并且在训练后仅需一次传递即可完成。

5. 重要性与主张

本文将问责归因定位为一种实用且有原则的工具，用于模型分析。它声称在实现更具问责性的 AI 开发方面迈出了重要一步，通过：

• 提供一种机制，将功劳或责任分配给特定的开发阶段，而不是将模型视为单一的黑盒。
• 实现针对性的干预（例如，移除特定的训练阶段）以减轻诸如伪相关或偏见等有害行为。
• 提供一种与现有可解释性方法互补的诊断工具，其重点在于模型开发的过程，而非仅仅是最终的参数或数据点。

作者保持了谦逊的态度，承认了局限性：依赖一阶近似可能会在高度混沌的机制中失效；在没有结构化近似的情况下，对于基础模型而言计算成本仍然很高；此外，该方法需要访问训练轨迹和超参数。他们强调，该工具是用于审计和诊断，而非自动修复手段，应当作为更广泛审计实践的一部分。