📊 statistics

DUET: Optimizing Training Data Mixtures via Feedback from Unseen Evaluation Tasks

本文介绍了 DUET，这是一种新颖的全局到局部算法，它将影响函数与贝叶斯优化相结合，仅利用反馈即可在理论上和实证上针对未见过的评估任务优化大语言模型的训练数据混合比例，而无需事先了解任务数据。

原作者： Zhiliang Chen, Gregory Kang Ruey Lau, Chuan-Sheng Foo, Bryan Kian Hsiang Low

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhiliang Chen, Gregory Kang Ruey Lau, Chuan-Sheng Foo, Bryan Kian Hsiang Low

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《DUET：通过未见评估任务的噪声反馈优化大语言模型训练数据混合》的通俗解读，辅以生动的类比。

核心难题：在黑暗中烹饪

想象你是一位厨师（AI 开发者），试图熬制一锅完美的汤（大语言模型，即 LLM）。你的储藏室里摆满了各种食材：维基百科文章、数学教科书、医学期刊和 trivia 问答。

通常，要做出最好的汤，你需要确切知道顾客想吃什么。如果顾客喜欢辣味，你就多加辣椒；如果他们想要健康饮食，你就多加蔬菜。

但关键在于： 在现实世界中，你往往在端上汤之前，并不知道顾客想要什么。

也许你的顾客是在一个私密、加密的房间里与你的 AI 聊天。你无法看到他们在说什么（即“未见评估任务”）。
你只能在他们吃完后获得粗糙且带有噪声的反馈：星级评分、点赞/点踩，或者他们在聊天中停留的时长。你得不到详细的食谱点评，只得到模糊的“还行”或“很棒”。

这篇论文提出的问题是：当你无法看到顾客的盘子，只能看到他们模糊的评分时，如何找出完美的食材混合比例（训练数据）？

旧方法：盲目猜测与试错

过去，解决这一问题的方法就像试图通过以下方式寻找最佳汤谱：

盲目猜测： 尝试每一种可能的食材组合（成本太高且速度太慢）。
假设你了解顾客： 使用复杂的数学方法，但这要求你能看到顾客的实际订单（由于隐私原因，你无法做到）。
随机挑选“好”食材： 选择高质量的数据点，却不知道它们是否符合特定顾客的口味。

这些方法在这个特定的“盲目”场景中失败了，因为它们需要的信息超出了厨师被允许拥有的范围。

解决方案：DUET（智能品尝循环）

作者提出了 DUET，这是一种新方法，就像一个智能的、迭代的品尝循环。它结合了两种强大的技术：

1. “全局”品尝者（贝叶斯优化）

把它想象成一个智能指南针。它不是随机猜测，而是根据你过去的评分（反馈）指出方向：“嘿，上次我们多加了数学书，评分就提高了。让我们尝试多加数学，少加 trivia。”

它不知道确切的食谱，但它能根据噪声反馈（星级评分）学习移动的方向。
它根据反馈循环不断更新其“什么有效”的地图。

2. “局部”厨师刀（数据选择）

一旦指南针说“让我们尝试 60% 的数学和 40% 的科学”，你仍然需要挑选具体使用哪些数学和科学页面。你不想使用有错别字或内容枯燥的页面。

DUET 使用一种称为影响函数（Influence Functions, IF）的技术。把它想象成一个质量过滤器。
在你开始烹饪之前，过滤器会扫描你的数学和科学储藏室，标记出“最好”的页面（那些最能帮助模型学习的）和“最差”的页面（噪声或胡言乱语）。
当指南针告诉你使用 60% 的数学时，这把刀会切出最好的 60% 数学页面，忽略垃圾内容。

DUET 如何协同工作

DUET 是一个从全局到局部的算法。它在一个循环中运作：

全局步骤： “智能指南针”（贝叶斯优化）查看上一轮的反馈，建议新的食材比例（例如：“尝试 50% 维基百科，50% 新闻”）。
局部步骤： “质量过滤器”（数据选择）从维基百科和新闻中抓取绝对最好的页面，以匹配该比例。
烹饪： AI 在这个新的、高质量的混合数据上进行训练。
反馈： AI 被部署。用户在黑暗中/加密环境中与其交互。系统收集噪声评分。
重复： 指南针利用这些新评分，为下一轮建议更好的比例。

为何它与众不同

它能在黑暗中工作： 它不需要看到实际的用户对话，只需要“星级评分”。
它能处理噪声： 用户评分往往不一致（一个人给 5 星，另一个人对同一个答案给 3 星）。DUET 旨在忽略噪声并找到真正的信号。
它高效： 它不需要尝试每一种可能的食谱，而是迅速缩小范围找到最佳方案。

结果

作者在多种任务上测试了 DUET，包括：

域内（In-Domain）： 训练数据与测试匹配的任务（例如，在 TruthfulQA 上训练并在 TruthfulQA 上测试）。
域外（Out-of-Domain）： 训练数据与测试不同的任务（例如，在维基百科和数学上训练，但在医学问题上测试）。

发现： 即使测试任务与训练数据完全不同（域外），DUET 也能发现，混合某些“不相关”的数据（如通用维基百科文本）实际上能帮助 AI 更好地回答医学问题。它的表现优于所有其他试图在没有这种反馈循环的情况下混合数据的方法。

总结

DUET 就像一位看不见顾客但能听到掌声的厨师。通过倾听掌声并利用智能过滤器挑选最佳食材，厨师最终能熬制出完美的汤，即使从未见过菜单。

关于局限性的说明： 该论文具体关注的是微调（教导现有 AI 新技巧），并未声称此方法适用于从头开始训练 AI（预训练）或临床医疗用途，尽管作者指出未来可能将其调整用于预训练。

技术摘要：DUET——通过未见评估任务的噪声反馈优化大语言模型训练数据混合

1. 问题陈述

大语言模型（LLM）的性能高度依赖于训练数据领域与下游评估任务之间的对齐。然而，在许多实际部署场景中，评估任务的具体数据分布、领域或标签是未知的。这被称为未见评估任务设定。

常见示例包括：

端到端加密对话：由于隐私限制（如企业隐私政策），LLM 所有者无法访问实际的用户 - 聊天机器人对话数据，但可以观察到粗略的反馈，如用户评分或会话时长。
模型市场：模型所有者将模型出售给消费者，消费者提供性能反馈，但不共享消费者使用的敏感评估数据。

在这些设定中，所有者仅收到粗略的、带有噪声的反馈（例如评分、任务完成时间），而非细粒度的数据信息（梯度、标签或分布）。现有的数据混合方法（如 DoReMi、BiMix）和数据选择技术（如 LESS、核心集）通常要求访问细粒度的评估数据，或假设训练分布与任务分布相匹配。因此，当直接应用于评估数据不可访问的设定时，它们会失效或表现次优。核心挑战在于：如何仅利用来自未见任务的多次噪声反馈，高效地优化 LLM 训练数据混合？

2. 方法论：DUET

本文提出了DUET（通过未见评估任务的噪声反馈优化 LLM 训练数据混合），这是一种新颖的全局到局部算法，将数据选择与贝叶斯优化（BO）交错进行。

2.1 问题重参数化

作者对优化问题进行了重参数化。他们不是直接搜索最优数据点集 $X^*$ ，而是搜索 $n$ 个训练数据领域间的最优混合比例 $r \in \mathbb{R}^n$ 。该问题被表述为双层优化：

外层（全局）：寻找最优混合比例 $r$ ，以最小化未见评估任务的损失。
内层（局部）：对于给定的比例 $r$ ，寻找高质量的数据子集 $X \in S_r$ （其中 $S_r$ 是满足比例 $r$ 的数据混合集合），以最小化损失。

2.2 内层循环：数据选择

为了解决内层问题，DUET 采用数据选择策略，根据提议的比例 $r$ 从每个领域检索高质量数据点。

影响函数（IF）：本文主要利用影响函数作为选择机制。对于每个领域，分别微调一个 LLM，并针对验证集计算每个数据点的影响函数（IF）分数。
IF 加权采样：DUET 执行加权采样，而非均匀随机采样，其中选择某个数据点的概率与其 IF 分数成正比。这使得选择偏向于那些在减少模型损失方面更具“影响力”的数据点。
估计量：内层问题的解是通过在选定的混合数据上训练 LLM 并在未见任务上评估来估计的。作者从理论上刻画了该估计量的分布，表明与均匀随机采样相比，IF 驱动的采样降低了方差和偏差。

2.3 外层循环：贝叶斯优化

外层循环使用贝叶斯优化来迭代细化混合比例 $r$ 。

黑盒目标：函数 $f(r)$ 表示给定比例 $r$ 下的未见任务损失。由于该损失是通过有噪声的内层估计量获得的， $f(r)$ 被视为具有噪声观测值的黑盒函数。
高斯过程（GP）：DUET 使用 GP 先验对 $f(r)$ 进行建模。
采集函数：在每次迭代 $t$ 中，DUET 通过最小化下置信界（LCB）采集函数来提议新的混合比例 $r_t$ ，以平衡探索与利用。
反馈循环：提议的比例 $r_t$ 用于采样数据、训练/微调 LLM，并观察来自未见任务的噪声反馈。该观测值被添加到历史记录中以更新 GP 后验，该过程重复 $T$ 次迭代。

2.4 算法流程

初始化：预计算训练领域中所有数据点的影响函数（IF）分数。使用随机数据混合初始化 BO。
迭代：
- BO 提议一个混合比例 $r_t$ 。
- 执行 IF 加权采样以生成满足 $r_t$ 的数据混合 $X_t$ 。
- 在 $X_t$ 上微调 LLM，并观察来自未见任务的噪声反馈（评估损失）。
- 使用 $(r_t, \text{反馈})$ 更新 GP 后验。
终止：经过 $T$ 次迭代后，返回观察到的表现最佳的数据混合。

3. 主要贡献

新颖的问题设定：本文定义了一个评估数据未知（未见任务）但可获得粗略、噪声反馈的现实设定，将其与标准的领域适应或泛化任务区分开来。
DUET 算法：引入了一种全局到局部的框架，将数据选择（特别是 IF 驱动的采样）与贝叶斯优化交错进行，从而在缺乏细粒度任务数据的情况下优化数据混合。
理论保证：作者通过对累积 regret 的界定，提供了 DUET 收敛性的理论分析。他们表明，只要贝叶斯优化的迭代次数增加，DUET 即使在有噪声反馈的情况下也能收敛到最优训练数据混合。
实证验证：大量实验表明，DUET 在域内和域外未见任务设定中，均优于现有的数据混合（DoReMi、Aioli）和选择（LESS）基线。

4. 实验结果

实验使用 Llama-3-8b-Instruct 和 Qwen2.5-7B-Instruct 模型，通过 PEFT（LoRA）进行微调。

数据集：9 个训练领域（例如 Wikitext、GSM8K、PubMedQA、TruthfulQA）和各种未见评估任务（部分为域内，部分为域外）。
基线：与 DoReMi、LESS、Aioli、多保真度 BO 以及朴素方法（均匀混合、随机搜索）进行了比较。
性能：
- 与基线相比，DUET 在所有评估任务中始终取得了更高的性能分数。
- 在域内任务（如 TruthfulQA）中，DUET 成功识别并大幅加权了相关的训练领域。
- 在域外任务（例如在没有 GSM8K 训练数据的情况下进行 GSM8K 任务）中，DUET 有效地利用反馈找到了相关的代理领域（例如 Wikitext、SciQ），优于那些无法适应反馈的方法。
消融研究：
- 数据选择：使用 IF 驱动采样的 DUET（DUET-IF）优于使用均匀随机采样的 DUET（DUET-UR）以及其他选择方法（如 LESS 和对数行列式）。
- 采样大小（ $k$ ）：增加内层循环中的样本数量 $k$ 提高了性能，尽管 $k=1$ 已足以击败基线。
- 组件：研究表明，BO 组件和数据选择组件对于实现最佳性能都是必要的。

5. 意义与主张

本文声称 DUET 是第一项工作，将数据选择与贝叶斯优化交错进行，以基于未见评估任务的反馈迭代优化训练数据混合。

实际相关性：它解决了 LLM 部署中的一个关键差距，即由于隐私或数据所有权问题无法访问评估数据，但仍希望进行迭代改进。
效率：通过使用 BO，该方法具有样本效率，相比对数据混合进行暴力枚举，需要更少的训练/微调轮次。
灵活性：该框架足够灵活，可以根据计算预算纳入不同的数据选择方法（IF、LESS、核心集），尽管在他们的设定中显示 IF 最为有效。
理论严谨性：收敛分析为该算法为何能在噪声和缺乏细粒度数据的情况下工作提供了理论基础。

作者指出，虽然目前的重点是微调，但该做法在理论上可适应于预训练，尽管他们并未声称在本工作中解决了预训练优化问题。他们还承认，计算 IF 分数可能计算密集，但建议通过预计算和代理模型作为实际的缓解措施。