💬 NLP

Influence Guided Sampling for Domain Adaptation of Text Retrievers

该论文提出了 Inf-DDS，这是一个轻量级的、由强化学习驱动的采样框架，它能够基于基于影响力的奖励信号，为文本检索模型自适应地重新分配多样化训练语料库的权重，从而在实现优于现有基于梯度的方法的性能的同时，显著降低了 GPU 成本。

原作者： Meet Doshi, Vishwajeet Kumar, Yulong Li, Jaydeep Sen

发布于 2026-01-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Meet Doshi, Vishwajeet Kumar, Yulong Li, Jaydeep Sen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《Influence Guided Sampling for Domain Adaptation of Text Retrievers》（用于文本检索器领域自适应的影响力引导采样）的解释，使用了简单的语言和日常类比。

核心问题：噪声太多，信号不足

想象你是一名正在努力通过一场非常困难考试（文本检索任务）的学生。你可以使用一个巨大的图书馆，里面包含数百万本涵盖各种主题的书籍：烹饪、量子物理、古代历史和流行文化。

标准的学习方法是随机抓取书籍，或者仅仅阅读那些页数最多的书（均匀采样或比例采样方法）。但问题在于：如果你正在参加一场数学考试，即使一本烹饪书再厚，读 1,000 页对你也几乎没有帮助。你需要专注于数学书。

然而，确定究竟该读哪些书以及按什么比例来读是非常困难的。

旧方法 1： 平均分配地阅读所有内容（浪费时间）。
旧方法 2： 请一位专家亲手挑选最好的书籍组合（成本高昂且是静态的；专家可能会出错，或者考试内容可能会发生变化）。
旧方法 3： 使用复杂的计算机算法，试图通过观察微小的数学线索（梯度）来猜测最佳组合。问题在于，这些线索通常是“多噪”的（就像收音机里的静电噪音），这会导致学生学错东西，而且整个过程极其缓慢且昂贵。

解决方案：Inf-DDS（“智能导师”）

作者提出了一种名为 Inf-DDS（影响力引导的动态数据采样）的新方法。你可以把它想象成一位智能导师，他会观察你的学习情况，并根据你在模拟测试中的实际表现，不断调整你的阅读清单。

它是如何工作的，请看以下步骤：

1. “如果……会怎样”测试（影响力）

与其去猜测哪本书好，不如让智能导师进行一个小实验。

场景： “如果我让你多读 10 页‘烹饪’书，你的数学成绩会提高还是下降？”
场景： “如果我让你多读 10 页‘微积分’书，你的分数会提高多少？”

导师测量每本书对你最终得分的实际影响（influence）。如果烹饪书让你的数学成绩下降，导师就会停止分配它。如果微积分书提升了你的分数，导师就会分配更多的这类书籍。

2. “重写计划”（动态采样）

基于这些“如果……会怎样”的测试，导师会重写你的每日阅读计划。

如果“烹饪”书对某种特定类型的问题有帮助，你会得到更多关于它的内容。
如果“物理”书让你感到困惑并降低了你的分数，你得到的就会更少。

这个过程是持续进行的。随着你的学习进度和理解能力的改变，导师会调整阅读清单以匹配你当前的需求。这就是所谓的动态采样。

3. “高效捷径”（Reptile 更新）

通常情况下，针对数百万本书运行这些“如果……会怎样”的测试会耗费极长时间，并且需要超级计算机。作者发现了一个聪明的技巧（使用所谓的 Reptile 更新），让他们能够重复利用已经完成的工作。

想象一下，如果你能从“烹饪”书中吸取教训，并立即将同样的精力应用到“物理”书中，而不需要从零开始。这使得智能导师比以往的方法更快、更便宜，使用的计算资源（GPU）也显著减少。

为什么这篇论文很重要（实验结果）

作者在三种不同类型的“考试”（数据集）上测试了这个“智能导师”：

常识考试 (BEIR)： 他们训练了一个模型来回答各种主题的问题。智能导师帮助模型的表现优于“专家”亲手挑选的列表以及“多噪梯度”方法。
多语言考试 (MLDR)： 他们训练了一个能理解 13 种不同语言的模型。智能导师发现，虽然英语和中文已经很强，但其他语言需要更多关注。它完美地调整了比例，相比标准模型，整体得分大幅提升了 5.03 分。
专家级考试 (Sentence Transformers)： 他们尝试改进一个已经被专家训练过的模型。即使从一个“完美”的专家列表开始，智能导师也能找到细微的调整方案，使模型变得更好。

核心要点

不要只读最大的书： 书籍规模大并不意味着它对你的特定目标最有帮助。
衡量影响，而非仅仅衡量数学： 以前的方法试图通过复杂的数学来猜测最佳组合，但这经常会被噪声干扰。这个新方法则会询问：“这真的对分数有帮助吗？”
它既快速又廉价： 与以往需要巨大计算能力的智能方法不同，这种方法非常轻量且高效。
它具有适应性： 它不会固守计划。如果模型学到了新知识，采样策略会立即发生变化，以支持这种新的知识。

简而言之，Inf-DDS 是一个“学习如何学习”的系统。它不断追问：“哪些数据现在真正有助于我们的进步？”并以此为重心转移注意力，从而打造出更聪明、更快速、更准确的文本搜索引擎。

技术摘要：用于文本检索器领域自适应的影响力引导采样

问题陈述

通用型开放域稠密检索系统通常在大型且多样化的语料库和搜索任务混合体上进行训练。开发鲁棒且泛化能力强的嵌入模型的一个关键挑战在于，如何为这些多样化的数据集确定采样方式。传统的策略——如均匀采样、基于实例数量的比例采样或静态专家定义的权重——往往是次优的。它们无法根据最大化目标领域性能所需的特定数据子集的有效性进行动态调整。尽管已经提出了动态的、基于梯度的方法（如 DDS、DoGE、DoRe Mi）来在线学习采样权重，但这些方法面临着显著的局限性：(1) 由于用于计算奖励的随机梯度估计存在噪声，导致其具有不稳定性且方差较高；(2) 当需要代理模型或昂贵的估计器时，会产生巨大的计算开销。

方法论：Inf-DDS

作者提出了 Inf-DDS（影响力引导的动态数据采样），这是一种新型的由强化学习驱动的框架，旨在自适应地重新分配训练数据集的权重。其核心创新在于使用源自在线代理模型的基于影响力的奖励信号来取代带有噪声的梯度奖励。

1. 问题建模

该任务被构建为一个双层优化问题。目标是学习一个参数化的采样策略 $\psi$ ，该策略通过调整对训练数据集集合 $\{D_i^{train}\}$ 的概率分布 $P_D(i; \psi)$ ，以最大化模型在目标开发数据集 $\{D_j^{dev}\}$ 上的性能。

内层循环： 使用当前的采样分布更新模型参数 $\theta$ 。
外层循环： 更新评分器参数 $\psi$ ，以根据对开发集的影响来优化采样分布。

2. 基于影响力的奖励

与依赖一阶近似或小型代理模型来估计数据影响力的先前方法不同，Inf-DDS 使用在线代理模型来计算精确的影响力得分。

过程： 在每个时间步 $t$ ，模型参数 $\theta_t$ 使用特定的训练数据集 $D_i^{train}$ 进行 $l$ 步梯度下降，从而生成 $\theta_{t+1}^i$ 。
指标： 影响力通过在开发集上的性能变化量来量化： $\Delta M_j^i = M(\theta_{t+1}^i; d_j^{val}) - M(\theta_t; d_j^{val})$ 。
奖励： 最终的影响力得分 $I_i$ 是这些性能变化量在所有开发数据集上的平均值。该得分作为奖励信号，用于增加那些能够显著提升下游性能的数据集的权重。

3. 优化与效率

为了解决计算可扩展性问题，Inf-DDS 利用了 Reptile 式的一阶元更新：

梯度复用： 该方法不为每个数据集维护独立的优化器状态，而是计算更新后参数的加权平均值 $\bar{\theta}_{t+1} = \sum p_i \theta_{t+1}^i$ （其中 $p_i$ 是由影响力得分导出的概率），并执行单次更新步骤。这使得可以复用一组中间梯度和优化器状态，从而显著降低了内存开销。
子采样： 当领域数量 $M$ 很大时，评分器 $\psi$ 会在数据集的随机子集 $S$ 上进行更新，以减少单次迭代的计算量，同时保持条件目标的无偏估计。

核心贡献

新颖算法： 提出了一种影响力引导的强化学习方法 Inf-DDS，该方法能够学习调整不同多样化训练数据集的采样概率，而不依赖于带有噪声的梯度估计来获取奖励。
计算效率： 该方法在 GPU 消耗方面设计得非常轻量。通过将用于更新参数化的采样分布的计算结果也用于更新模型参数，它避免了其他动态采样方法中伴随的沉重代理模型开销。
实验验证： 作者在多个基准测试（BEIR、MLDR 和 Sentence-Transformers 嵌入数据集）中验证了 Inf-DDS，证明了它能产生更稳定的采样轨迹，并且取得了优于或媲比梯度类方法（MultiDDS、DoGE）及代理模型方法（DoReMi）的性能。

实验结果

Inf-DDS 的有效性在三种不同的场景下得到了评估：

BEIR（领域自适应）： 在针对 FEVER 开发集进行优化时，Inf-DDS 在各种初始化温度下始终优于静态采样和 MultiDDS。它展示了稳定的采样轨迹，能够正确地优先考虑具有信息量的数据集（如 MS MARCO 和 FEVER），而梯度类方法则表现出不稳定的动态特性。
MLDR（多语言长文档检索）： 使用 BGE-M3 语料库，Inf-DDS 将基线 bge-m3-dense 模型的性能提升了 5.03 个绝对 NDCG@10 点。值得注意的是，它成功提升了代表性不足语言的权重，同时避免了在主导语言（英语和中文）上的过拟合，在 13 种语言中的 8 种语言上实现了最高的单语言性能。
Sentence-Transformers 嵌入数据集： 在一个包含 32 个领域、共 10 亿个并行句子的挑战性设置中：
- 从均匀初始化开始，Inf-DDS 取得的性能几乎接近现成的专家模型（all-MiniLM-L6-v2），比均匀基线高出 1.83 点。
- 从专家分配的权重开始，Inf-DDS 提供了额外的 0.94 个绝对 NDCG@10 点的提升。
- 相比之下，梯度类方法（MultiDDS、DoGE）在这些设置下未能实现对基线的改进。
- Inf-DDS 实现这些增益所使用的 GPU 计算量比 DoReMi 等方法减少了 1.5 倍至 4 倍。

重要性与主张

论文声称，Inf-DDS 为文本检索领域的自适应提供了一个更鲁棒且在计算上更易处理的解决方案。通过将从梯度导出的奖励转向通过在线代理模型计算的影响力奖励，该方法稳定了采样权重的学习，并提供了关于哪些数据子集能带来最佳可达极小值的更直接估计。作者强调，虽然该算法并不总是收敛到全局最优解，但它能可靠地从合理的初始化出发提供实质性的改进。这项工作凸显了：有效的检索器改进需要超越简单的领域相似性或静态启发式方法，转而采用直接优化下游性能指标的自适应策略。