💬 NLP

Mining Useful General Data for Low-Resource Domain Adaptation

本文提出了 NTK-Selector，一种利用无雅可比神经网络切向核（Jacobian-free Neural Tangent Kernel）近似来识别有益的通用领域思维链样本的新型数据选择方法，与传统的仅领域微调相比，该方法显著提升了大型语言模型在医学、金融、法律和心理学领域的低资源领域自适应能力。

原作者： Pingjie Wang, Hongcheng Liu, Yusheng Liao, Ziqing Fan, Yaxin Du, Shuo Tang, Yanfeng Wang, Yu Wang

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Pingjie Wang, Hongcheng Liu, Yusheng Liao, Ziqing Fan, Yaxin Du, Shuo Tang, Yanfeng Wang, Yu Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教导一名才华横溢、博学多才的学生（一个大语言模型）如何成为某个非常细分领域的专家，比如医疗诊断或法律合同审查。问题在于，你手里只有一小叠关于该特定领域的教科书（一个“低资源”数据集）。

如果你强迫学生只学习这寥寥几页，他们很可能会完美地背诵下来，却无法理解更深层的逻辑，或者会忘记他们原本对世界的认知。这被称为“过拟ment（过拟合）”。

这篇论文提出了一个问题：“我们能否从学生广博的通用图书馆中借用一些有帮助的笔记，来帮助他们学习这项新专业知识？”

答案是肯定的，但你不能随便从通用图书馆里抓取任何页面。你需要找到那些能教授“正确思考方式”的特定页面。

以下是作者提出的 NTK-Selector 如何解决这一问题，通过简单的类比进行解释：

1. 问题所在：噪音太多，信号不足

想象你有一个包含大量通用故事的庞大图书馆（“通用领域数据”）。你想从中挑选 9,000 个故事来帮助你的学生学习合同知识。

随机选择： 随机挑选 9,000 个故事就像对着图书馆墙壁投掷飞镖。你可能会选到一个关于三角恋的故事，而这与合同毫无关系。它增加的是噪音，而不是帮助。
现有方法： 旧的挑选数据的方法试图匹配“主题”（例如，“这个故事提到了钱吗？”）。但有时，一个关于医疗诊断的故事和一个关于法律合同的故事在主题上完全不同，但它们却需要完全相同的逻辑推理步骤（例如，“观察证据，权衡选项，得出结论”）。仅仅匹配主题会错过这种更深层的联系。

2. 核心秘诀：“训练肌肉记忆”（NTK）

作者使用了一个被称为**神经切向核（Neural Tangent Kernel, NTK）**的数学概念。

类比： 把学生的脑子想象成一台复杂的机器。当你教他新知识时，他的大脑会朝着特定的方向发生变化。
洞察： NTK 测量的是这种变化的“方向”。它在问：“如果我教学生这个通用的故事，他的大脑变化方向，是否与我教他一个真实的合同时的变化方向一致？”
神奇之处： 论文发现，尽管学生已经很聪明了（经过预训练），但当他们开始学习新知识时，他们的“大脑变化方向”保持得惊人地稳定。这就像一个跑步者的“跑步”肌肉记忆，无论是在跑道上还是在跑步机上，这种记忆都是一致的。这种稳定性使得作者能够在正式开始完整训练之前，就预测哪些通用故事会有所帮助。

3. 解决方案：两步过滤法（NTK-Selector）

为了从 180 万本书中找到完美的 9,000 个故事，他们构建了一个两阶段过滤器：

第一步：粗略扫描（粗粒度）： 首先，他们使用一种简单、快速的方法（类似于基础关键词搜索）来剔除明显的垃圾内容。这把图书馆从数百万本书缩减到了一个可控的 36,000 本的堆栈中。
第二步：深度扫描（细粒度）： 现在，他们应用“NTK 肌肉记忆”测试。他们查看剩下的 36,000 本书，并询问：“这本书让学生大脑发生变化的方式，是否与一本真实的合同让大脑发生变化的方式相匹配？”
- 他们使用了一个聪明的数学技巧（称为“无雅可比近似/Jacobian-free approximation”）来完成这项工作，而无需超级计算机。这就像使用一台高科技扫描仪来检查书籍的“气质（vibe）”，而不需要读完每一个字。

4. 结果：一个更聪明的学生

当他们在真实任务（医疗、金融、法律、心理学）上测试这种方法时：

“仅领域组”： 只学习那叠微小的专业书籍。他们陷入了瓶颈，或者忘记了原有的通用知识。
“随机组”： 在学习专业书籍的同时，还学习了随机的通用书籍。他们表现稍好，但经常感到困惑。
“NTK-Selector 组”： 学习了专业书籍以及完美匹配的通用书籍。
- 结果： 他们学习专业知识的速度更快，效果更好。在某些测试中，相比于仅提升了 0.8 分的“仅领域组”，NTK-Selector 组提升了 8.7 分。

总结

这篇论文介绍了一种为 AI 挑选“家庭作业”的聪明方法。与其给 AI 随机的额外阅读材料，或者仅仅提供最基本的资料，NTK-Selector 寻找的是那些能以与现实世界任务完全相同的方式，训练 AI “推理肌肉”的特定通用故事。这使得 AI 即使在专业案例非常稀缺的情况下，也能成为一名专家。

技术摘要：挖掘对低资源领域适配有用的通用数据

1. 问题陈述

将大语言模型（LLMs）适配到专门的低资源领域（如医学、金融、法律、心理学）受到高质量领域特定数据稀缺的阻碍。直接在有限的领域内数据集上进行微调往往会导致严重的过拟合、训练不稳定以及通用能力的退化，因为模型在缺乏足够信号进行泛化的情况下，会覆盖掉预训练知识。

虽然存在大量的通用领域数据，但由于缺乏与特定领域任务的显式语义重叠，这些数据通常被视为无关。然而，这些通用数据集通常与领域任务共享相似的问题-回答格式和推理模式（例如，思维链）。这项工作所解决的核心挑战是：如何在不依赖大规模领域内验证集或特定任务候选池的情况下，系统地识别并挖掘最有益的通用领域样本，以改进低资源领域适配？

现有的数据选择方法（如 LESS、DSIR、TSDS）主要针对任务特定设置设计，需要大量的领域内数据池或精心策划的验证集来估计样本影响力。这些假设在低资源、跨领域场景中并不成立，因为在这些场景下此类资源是不可用的。

2. 方法论：NTK-Selector

作者提出了 NTK-Selector，一个基于神经切线核（Neural Tangent Kernel, NTK）原理的、两阶段数据选择框架。其核心假设是：即使没有语义相似性，那些训练动态与目标领域一致的通用领域样本也可以作为有效的辅助监督。

2.1 理论基础：LLM 中的类 NTK 行为

经典的 NTK 理论假设网络具有无限宽度且核函数恒定。本文首先确立了现代有限宽度的预训练 LLM 在微调过程中表现出 类 NTK 行为。实证证据表明，虽然 NTK 矩阵并非严格恒定，但其方向结构在整个训练轨迹中保持得非常稳定（Frobenius 余弦相似度 > 0.99）。

含义： 训练动态可以通过在初始状态 ( $\theta_0$ ) 计算的 NTK 进行近似。这使得在无需重新计算或在训练期间进行枚举的情况下，能够估计样本对目标性能的影响。

2.2 可扩展近似：无雅可比（Jacobian-Free）NTK

由于 LLM 的维度极其巨大，直接计算精确的 NTK 在计算上是不可行的。为了解决这个问题，作者引入了一种 无雅可比 NTK 近似法：

定义： 该方法不是计算完整的雅可比矩阵，而是计算输出维度之和的梯度内积。
合理性： 实证分析显示，不同输出维度的梯度几乎是正交的（相似度 < 0.02）。因此，精确 NTK 展开中的跨输出交互项可以忽略不计，该近似保留了核值的相对大小。
效率： 该方法利用 LoRA（低秩自适应） 将梯度估计限制在低秩子空间内，并采用 随机投影（基于 Johnson-Lindenstrauss 引理）来进一步降低内存和计算开销，同时保留内积关系。

2.3 两阶段选择框架

NTK-Selector 通过两个阶段从大型候选语料库 $\mathcal{C}$ 中选择子集 $S \subset \mathcal{C}$ ：

粗粒度预筛选： 使用基于嵌入的过滤器（使用最后一个 Transformer 层的平均隐藏状态）识别出与小型领域数据集 $\mathcal{D}$ 语义最相似的前 $M$ 个候选样本。这使候选池从数百万规模缩减到可处理的大小。
细粒度 NTK 选择： 对于预选出的候选样本，框架计算 NTK 效用得分。该得分是候选样本与领域数据集 $\mathcal{D}$ 中所有样本之间的平均 NTK 相似度。选取效用得分最高的前 $N$ 个候选样本用于混合训练。

3. 核心贡献

新范式： 本文形式化了一种领域适配范式，即从大规模通用领域语料库中挖掘辅助数据，该范式在不存在特定任务验证集或大规模领域内池的现实约束下运行。
NTK-Selector 框架： 作者提出了首个基于 NTK 理论并适用于微调阶段的 LLM 数据选择框架。
实证与理论进展：
- 首次提供了 LLM 在指令微调期间具有稳定类 NTK 行为的实证证据。
- 引入了无雅可比 NTK 近似法，使基于 NTK 的选择能够在大模型上实现可扩展性，超越了以往仅限于理想化设置的工作。
性能提升： 在四个领域（医学、金融、法律、心理学）的八个任务以及多种模型架构（Llama3-8B-Instruct, Qwen3-8B）上，均展示了持续且显著的性能提升。

4. 实验结果

该方法在四个领域的八个任务上进行了评估，使用了 1K 领域样本和 9K 选定的辅助样本。

性能： NTK-Selector 一致优于仅领域微调以及现有基线方法（Random, Embedding, Gradient, DSIR, LESS, TSDS）。
- 在 Llama3-8B-Instruct 上，相比仅领域微调实现了平均 +8.7 点 的提升（76.6 vs. 67.9）。
- 在 Qwen3-8B 上，实现了平均 +5.1 点 的提升（78.6 vs. 73.5）。
- 相比之下，仅领域微调带来的收益微乎其微（分别为 +0.8 和 +0.9 点），在某些情况下甚至会导致性能下降（例如 Llama3 在 ContractNLI 上下降了 18.8 点）。
鲁棒性： 与其他有时会在特定任务上导致显著性能下降的方法（例如 LESS 在 Qwen3 的 FPB 任务上下降了 49.8 点）不同，NTK-Selector 在评估的所有任务上都提升了性能。
缩放行为：
- 数据量： 随着辅助数据增加超过 10 倍，性能增益呈现收益递减趋势，这表明存在相关跨领域信号的饱和阈值。
- 资源约束： 该方法在资源最受限的设置下提供的相对收益最为显著（例如，仅使用 100 个领域样本时，性能提升了 25.6%）。
消融实验： 即使使用较小的投影维度 (1024) 且没有预热预训练阶段，该框架依然有效，尽管全配置方案能达到最优结果。

5. 重要性与主张

论文声称建立了跨领域数据选择实现低资源适配的新 SOTA（先进水平）。其重要性在于：

理论洞察： 验证了 LLM 在微调过程中的优化动态可以有效地由静态核进行近似，弥合了理论 NTK 分析与实际 LLM 应用之间的鸿沟。
实用价值： 为领域数据稀缺、昂贵或受隐私限制的场景提供了一种可扩展的、有原则的解决方案。通过有效地挖掘通用领域数据，该方法降低了对专门化数据集的依赖，有望使专业领域获得 LLM 能力的过程更加民主化。
泛化性： 该方法被证明在不同的模型架构、微调策略（LoRA, IA3, 全参数微调）以及多样的任务类型（分类、NLU、QA）中都是鲁棒的。

作者强调，他们的方法不涉及新的数据收集或敏感信息的使用，符合 LLM 研究的标准伦理考虑。这项工作表明，通用数据的“推理模式”和“优化轨迹”（而非仅仅是语义内容）对于有效的领域适配至关重要。