Interaction-Aware Influence Functions for Group Attribution

技术摘要：面向群体归因的交互感知影响函数

问题陈述
影响函数是近似移除训练样本如何改变目标函数（如保留集损失）的基础工具。估计一组样本影响的标准做法是将其成员的影响相加。然而，这种加性方法假设样本独立贡献，无法捕捉联合效应。实际上，样本可能是冗余的（例如，近重复样本）或互补的（例如，具有不同标签的相似特征）。简单相加个体影响会重复计算冗余样本，并遗漏互补样本的协同效应，从而导致群体归因不佳和数据选择次优（例如，选择高度冗余的子集）。以往尝试解决此问题的方法，如对参数位移的二阶修正，往往忽略了目标函数本身对这些位移的响应。

方法论
作者提出了一种交互感知影响函数，用于刻画样本间的交互如何共同影响目标函数。核心创新在于将目标函数 $f$ 围绕训练参数 $\hat{\theta}$ 展开至二阶，而不仅仅是对参数位移进行线性化。

1. 二阶展开：
   精确的留组外效应 $I^-(S) = f(\hat{\theta}_{D\setminus S}) - f(\hat{\theta})$ 通过将 $f$ 展开至二阶进行近似：
   $$\hat{I}^-(S) \approx \underbrace{\frac{1}{N} \nabla_\theta f(\hat{\theta})^\top u_S}_{\text{一阶影响}} + \underbrace{\frac{1}{2N^2} u_S^\top H_f u_S}_{\text{交互项}}$$
   其中，$u_S = \sum_{z_i \in S} u_i$ 是聚合参数位移，$u_i = H^{-1}\nabla_\theta \ell(z_i, \hat{\theta})$，$H_f = \nabla^2_\theta f(\hat{\theta})$ 是目标函数的 Hessian 矩阵。

2. 成对交互项：
   第二项（交互项）可分解为成对贡献之和 $\kappa(z_i, z_j) = u_i^\top H_f u_j$。

   • 解释： 如果 $H_f$ 是正定的，$\kappa(z_i, z_j)$ 充当内积，衡量两个样本对目标函数影响的对齐程度。
   • 冗余与互补： 当样本将模型推向相似方向时（冗余，收益递减），该项为正；当样本将模型推向相反方向时（互补，有益的联合效应），该项为负。
   • 闭式分解： 对于二元逻辑回归，作者证明了 $\kappa(a, b) = (\sigma_a - y_a)(\sigma_b - y_b) \cdot \langle x_a, x_b \rangle_M$。这形式化地恢复了以下原则：具有不同标签的相似样本是互补的，而具有相同标签的相似样本是冗余的。

3. 贪婪数据选择：
   为了将此应用于数据选择（寻找一个子集 $S$，使其加入后最小化目标函数），作者推导了将候选样本 $z_i$ 添加到已选集合 $S$ 时的边际得分 $m(z_i | S)$。该得分包含一项 $u_S^\top H_f u_i$，用于惩罚与已选样本相似的候选者，从而在不依赖外部多样性启发式方法的情况下，有效平衡个体质量与群体多样性。

主要贡献

• 理论框架： 提出了一种新的影响函数估计器，通过在目标函数的二阶展开中推导出的成对交互项，对标准的一阶求和进行增强。这与以往扩展参数位移的工作（例如 Basu 等人 [5]）不同，提供了更稳定且可解释的成对结构。
• 理论保证： 证明了交互项在逻辑回归的闭式分解中编码了经典的监督学习原则（跨类别相似对的互补性、同类别相似对的冗余性），并可扩展至深度多类分类器。
• 算法效率： 提出了一种贪婪选择过程（算法 1），其复杂度为 $O(KPd)$，通过预计算必要量并更新累加器，使其可扩展至大型数据集和模型。

实验结果
该方法在两个主要场景下进行了评估：

1. 对重训练的忠实度（小规模模型）：

   • 设置： 在六个数据集 - 模型对（逻辑回归、多层感知机、ResNet-9）上评估，涵盖分类和回归任务。
   • 指标： 估计影响与真实留组外重训练效应之间的 Spearman 秩相关系数。
   • 结果： 交互感知估计器（F+I）在所有设置中均实现了最高的相关性，显著优于标准一阶影响（F）和二阶参数位移修正（F+B）。值得注意的是，F+B 表现出不稳定性，证实了在非凸设置中扩展参数位移在理论上是病态的。

2. 子集选择（小规模模型和大语言模型）：

   • 小规模（多层感知机）： 在 MNIST 和 FashionMNIST 上，基于标准影响的选择（F）坍缩到少数几个类别，表现甚至不如随机选择。交互感知方法保持了与随机选择相当的类别熵，并实现了最低的保留集测试损失。
   • 大语言模型（Llama-3.1-8B）： 应用于从约 27 万个样本的池中进行指令微调数据选择。
   • 结果： 所提出的方法在所有七个下游任务（GSM8K, AQuA, ARC-E, HellaSwag, PIQA, ECQA, SQuAD）上均优于随机选择。它在七个任务中的五个上取得了最佳整体性能，超过了基于影响的基线（Additive IF, LESS）和基于表示相似性的基线（RDS+, NV-Embed）。关键在于，基于标准影响的选择（Additive IF）在大多数任务上表现不如随机选择，突显了加性评分在此类场景下的失效。

意义与主张
论文主张，群体归因本质上关乎训练样本如何影响目标，而不仅仅是参数位移。通过刻画交互对目标的联合效应，所提出的方法解决了加性评分的“盲点”，即导致冗余数据选择的问题。作者证明，考虑这些交互对于准确估计群体影响以及选择多样化且有效的训练子集至关重要。该方法提供了一种原则性的二阶修正，它自然地从目标函数的曲率中涌现，而非依赖外部强加的多样性惩罚。

局限性
作者指出了两个主要局限性：

1. 贪婪选择过程虽然有效，但缺乏形式化的最优性保证。
2. 估计器继承了底层 Hessian 近似（例如 EK-FAC、低秩投影）带来的近似误差。未来的工作可受益于可扩展逆 Hessian 估计方面的进展。