技术摘要：LoRIF——用于可扩展训练数据归因的低秩影响函数

问题陈述

训练数据归因（TDA）旨在识别哪些具体的训练样本对模型在给定查询上的预测影响最大。虽然影响函数（IF）通过利用梯度和逆海森矩阵近似留一法重训练，为 TDA 提供了理论坚实的基础，但对于在数百万个样本上训练的现代规模模型（数十亿参数），它们实际上仍无法使用。

现有的可扩展变体，如 TRAK、LoGRA 和 TrackStar，通过存储投影后的单样本梯度并使用阻尼高斯 - 牛顿海森近似，解决了计算瓶颈。然而，这些方法面临两个关键的扩展性瓶颈，导致归因质量与计算可行性之间存在权衡：

1. 梯度存储与 I/O：存储 $N$ 个训练样本的投影后单样本梯度需要 $O(ND)$的空间，其中$D$ 是有效投影维度。在查询时，加载这些梯度主导了延迟（约占查询时间的 96%）。
2. 逆海森矩阵缩放：构建和存储 $D \times D$ 的逆海森矩阵近似需要 $O(D^2)$ 的内存。

增加投影维度 $D$ 对于提高归因质量是必要的，但这会加剧存储/I/O 和内存瓶颈，使得前沿规模模型的高质量归因变得不切实际。

方法论：LoRIF

LoRIF（低秩影响函数）通过利用神经网络梯度中固有的低秩结构来解决这些瓶颈。该方法遵循一个三步流程：

1. 低秩梯度存储（解决 I/O 瓶颈）

LoRIF 不存储完整的投影后单样本梯度矩阵 $\tilde{G}_i \in \mathbb{R}^{d_1 \times d_2}$（其中 $D = d_1 d_2$），而是存储一个秩-$c$ 分解：
$$\tilde{G}_i \approx u_i v_i^\top$$
其中 $u_i \in \mathbb{R}^{d_1 \times c}$ 且 $v_i \in \mathbb{R}^{d_2 \times c}$。

• 机制：该分解通过块幂迭代计算得出。
• 影响：每层每样本的存储和查询时 I/O 从 $O(D)$ 降低到 $O(c(\sqrt{D}))$。实证结果表明，即使 $c=1$，该近似仍能保留有意义的归因质量，且优先选择更大的 $D$ 而非更高的 $c$ 能带来更好的成本效益。

2. 截断 SVD 曲率近似（解决内存瓶颈）

为了避免构建稠密的 $D \times D$ 逆海森矩阵 $(G^\top G + \lambda I)^{-1}$，LoRIF 计算聚合梯度矩阵 $G$ 的秩-$r$ 截断奇异值分解（SVD）：
$$G \approx U_r \Sigma_r V_r^\top$$
利用伍德伯里矩阵恒等式，逆海森项在 $r$ 维子空间中被近似为：
$$(V_r \Sigma_r^2 V_r^\top + \lambda I)^{-1} = \frac{1}{\lambda}I - \frac{1}{\lambda^2} V_r \left( \Sigma_r^{-2} + \frac{1}{\lambda}I_r \right)^{-1} V_r^\top$$

• 机制：仅存储前 $r$ 个奇异向量（$V_r$）和奇异值（$\Sigma_r$）。
• 影响：曲率项的内存复杂度从 $O(D^2)$ 降低到 $O(Dr)$。这使得在固定的内存预算内可以使用显著更大的有效投影维度$D$。

3. 影响分数计算

在查询时，影响分数通过将查询梯度投影到 $r$ 维子空间，并利用存储的低秩因子处理训练梯度来计算。影响分数 $I(x_{tr}, x_{te})$ 近似为：
$$I(x_{tr}, x_{te}) \approx \frac{1}{\lambda} g_{te}^\top g_{tr} - \frac{1}{\lambda^2} (g'_{te})^\top \left( \Sigma_r^{-2} + \frac{1}{\lambda}I_r \right)^{-1} g'_{tr}$$
其中 $g'$ 表示投影到奇异向量 $V_r$ 上的梯度。第一项利用秩-$c$ 因子高效计算，第二项由于中间矩阵的对角性质，仅涉及 $O(r)$ 次运算。

主要贡献

1. 瓶颈识别：论文指出，投影维度 $D$ 是可扩展 IF 风格 TDA 的主要约束，造成了质量 - 扩展性权衡，即准确的归因（大 $D$）目前尚不切实际。
2. 秩-$c$ 分解：提出将投影梯度存储为秩-$c$ 因子，将每样本每层的存储从 $O(D)$ 降低到 $O(c\sqrt{D})$。
3. 秩-$r$ 曲率近似：提出使用截断 SVD 和伍德伯里恒等式来近似曲率项，将每层内存从 $O(D^2)$ 降低到 $O(Dr)$。
4. 扩展性演示：首次展示了在高达 700 亿参数（Apertus-70B）的模型上，针对数百万训练样本进行有效的数据归因，同时保持了实际的成本和延迟。

实验结果

LoRIF 在从 1.24 亿到 700 亿参数（GPT2-small、OLMo-3-7B、Apertus-70B）的模型上进行了评估，数据集包含多达 380 万个样本。

• 存储与延迟：与 LoGRA 相比，LoRIF 实现了 2.3–20 倍更低的梯度存储和 1.3–20 倍更低的查询延迟，同时匹配或超越了归因质量。
  • 在 GPT2-small 上，LoRIF 在中等存储模式下将存储减少了高达 9 倍，延迟减少了 5.6 倍。
  • 在 OLMo-3-7B 上，LoRIF 实现了与 LoGRA 几乎相同的尾部修补（tail-patch）分数，但存储降低了 20.3 倍，延迟降低了 22.0 倍。
  • 在 Apertus-70B 上，LoRIF 在降低存储和延迟的同时，将尾部修补分数比 LoGRA 提高了 1.5–2.2 倍。
• 归因质量：通过线性建模分数（LDS）和尾部修补分数衡量，LoRIF 一致地改进了帕累托前沿。通过启用更大的有效投影维度 $D$（此前因内存限制而不可行），LoRIF 实现了比受限于较小 $D$ 的基线更高的质量。
• 定性评估：在排名前 1 的检索样本上进行的“LLM 作为裁判”评估显示，与 LoGRA 相比，LoRIF 检索到的样本具有更高的语义相关性（OLMo-3-7B 上的平均得分为 3.04 对比 2.49），且完全不相关的检索更少。

意义与主张

论文声称，LoRIF 使得基于梯度的训练数据归因在前沿规模上变得切实可行。通过利用梯度的低秩结构，LoRIF 解决了阻碍影响函数应用于大语言模型的质量 - 扩展性权衡。

作者强调，LoRIF 并不依赖新的低秩原语，而是展示了如何在投影梯度影响方法中系统地利用现有的低秩结构（在单样本梯度和聚合梯度中均观察到）。结果表明，当归因索引在多个查询中重复使用时，基于梯度的 TDA 现在可用于大规模 LLM 审计、调试和安全检查，而无需以往方法所要求的不可接受的存储或 I/O 成本。

论文承认了局限性，指出构建归因索引仍然需要对语料库进行一次梯度传递（预处理成本），且当前的大规模实验侧重于监督微调数据而非完整的预训练语料库。然而，这项工作为可扩展归因确立了新的基准，使得分析此前被认为超出此类方法能力范围的模型成为可能。