🤖 AI

Learning What to Predict: Downstream-Guided Task Design for Continued Pretraining

本文介绍了 V-pretraining，这是一个利用轻量级任务设计器，在少量下游示例的引导下生成步骤级自监督目标，从而在不使通用表示发生坍缩或直接使用下游标签更新学习器的情况下，优化针对特定能力的持续预训练的框架。

原作者： Shuqi Ke, Giulia Fanti

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Shuqi Ke, Giulia Fanti

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一位才华横溢但非常年幼的学生（即 AI 模型）如何阅读并理解这个世界。你拥有一个巨大的、未标记的书籍库（即 未标记数据），学生需要研读这些书籍。

通常，我们教导这位学生的方法是给他们一个固定且重复的训练： “读完这句话，猜下一个词是什么。” 我们这样做数百万次。问题在于，学生可能会变得非常擅长猜测下一个词，但他们可能并没有在提升你真正关心的特定技能，比如解决数学问题或理解复杂的逻辑。

为了解决这个问题，老师通常不得不停止课程，给学生进行测试，看看他们在哪里失败了，然后说：“好吧，让我们用另一份书单重新开始整个学期吧。” 这既缓慢又昂贵，而且学生对于当前的学习环节是否真的在帮助他们通过期末考试是“盲目”的。

V-pretraining 是一种新的教学方法，它在不改变学生的前提下改变了游戏规则。

两个角色：学生与教练

该论文引入了一个包含两个不同角色的系统：

学习者（学生）： 这是 AI 模型。它被严格禁止直接查看“答案解析”（测试题）。它只能通过尝试解决训练任务（预测下一个词或重建掩码图像）来进行学习。
任务设计者（教练）： 这是一个微小的、轻量级的辅助者。它的唯一工作就是观察学生即将进行的特定“训练任务”，并询问：“如果学生现在做这个特定的训练，会对他们稍后通过数学测试有帮助吗？”

它是如何工作的：“如果……会怎样”的预言水晶球

这就是神奇之处。教练手里有一叠真实的数学题（反馈集），而学生尚未见过这些题目。

教练观察学生即将学习的一页随机文本。
教练询问：“如果我改变这一页呈现的方式——也许是突出显示某个特定的词，或者稍微改变目标答案——这种特定的改变是否会让学生的思维更新方式，从而有助于他们解决数学问题？”
教练计算出一个“价值得分”。这就像是一个预言水晶球，在预测：“进行这次特定的学习环节，会将学生未来的数学错误率降低 X 量级。”
如果得分很高，教练就会调整训练任务（任务构建），使其变得更有用。
至关重要的一点是： 学生从未见过那些数学题。数学题仅用于训练教练，而不是学生。

类比：导航系统

把 AI 模型想象成一辆在漫长且黑暗的高速公路上行驶的汽车（预训练阶段）。

标准训练： 汽车只是向前行驶，遵循车道线（固定的“猜下一个词”规则）。它不知道自己是正朝着目的地（数学测试）前进，还是正走向死胡同。
V-pretraining： 有一个 GPS 导航仪（教练） 坐在副驾驶座上。GPS 拥有目的地的地图（数学测试）。
- GPS 不负责驾驶汽车。
- GPS 不会直接告诉汽车“向左转”。
- 相反，GPS 会微妙地调整汽车看到的路标。它可能会把一个路标从“直行”改为“直行，但注意前方的弯道”。
- 汽车仍然根据路标自行驾驶，但因为路标经过了 GPS 的调整，使其指向了目的地，所以汽车最终到达了一个更好的地方。

他们发现了什么？

研究人员在两种类型的 AI 上测试了该方法：语言模型（如编写文本的模型）和 视觉模型（如识别图像的模型）。

在语言方面： 他们使用了一组包含 1,024 道数学题的微型数据集来训练教练。学生 AI 从未直接看到过这些题目。然而，训练结束后，与标准方法相比，该 AI 在解决数学问题（特别是 GSM8K 基准测试）方面的表现提升了 33%。它在提升的同时，并没有忘记如何进行通用的表达或写作。
在视觉方面： 他们利用该 AI 来学习如何观察图像。教练使用了少量带有“分割”（抠出物体）和“深度”（物体距离远近）标签的图像。结果如何？AI 不仅在这些特定任务上表现得更好，而且在识别通用物体（如猫和狗）的能力上也保持得和之前一样好。

为什么这很重要

该论文声称这是一个突破，因为它解决了一个“粗粒度反馈循环”的问题。与其等到大规模训练运行结束才去观察效果，V-pretraining 为训练本身的设计提供了分步反馈。

这就像是在告诉一位厨师：“不要只管做出菜肴，然后再品尝看是否缺盐。相反，要让一位试吃员在厨师切菜时就在旁边低声提醒，建议说：‘往这个特定的洋葱里加一撮盐’，这样在厨师不需要为了搞清楚问题而吃掉整顿饭之前，最终的菜肴就已经完美了。”

核心要点： 你可以通过使用极少量的特定数据来引导 AI 如何学习，从而使通用的 AI 在特定技能（如数学或医学影像）上变得更强，而无需让 AI 直接去死记硬背这些特定数据。

技术摘要：学习预测什么：面向持续预训练的下游引导式任务设计

1. 问题陈述

持续预训练是将基础模型适配到新领域（如数学推理或密集视觉预测）的标准方法。然而，目前的实践依赖于一种粗粒度的反馈循环。其优化单元是一个单一的自监督更新（例如，下一标记预测或掩码重构），但选择单元则是整个预训练过程在下游基准测试上的评估。

从业者通常会对检查点进行评估，手动修改数据混合比例或目标函数，然后重新开始运行。这个过程使得单个预训练更新对于是否对特定下游能力有贡献变得“盲目”。虽然微调（SFT、RL）使用下游标签直接更新学习器，但这实际上是取代了自监督更新，而非引导它。本文提出的问题是：一小组可验证的下游样本能否在持续预训练期间提供步级（step-level）反馈，从而在不直接监督学习器或损害泛化能力的情况下，提升目标能力？

2. 方法论：V-pretraining

作者引入了 V-pretraining（基于价值的预训练）框架，该框架将学习过程分为两个组件：

学习器（The Learner）： 仅通过无标签流上的自监督损失进行训练。其参数 ( $\theta$ ) 绝不会由下游梯度更新。
任务设计器（The Task Designer）： 一个带有参数 ( $\phi$ ) 的轻量级模块，用于动态构建当前无标签批次的自监督任务（例如，选择目标或视图）。

核心机制：
设计器使用包含下游标签的小型反馈集 ( $D_{fb}$ ) 来估计候选自监督更新的“价值”。

梯度对齐： 令 $g_{pre}$ 为提议的自监督更新的梯度， $g_{down}$ 为反馈集上下游损失的梯度。
价值目标： 本文假设下游损失的一阶变化可以用内积 $V = g_{down}^\top g_{pre}$ 来近似。
训练循环：
1. 设计器为当前的无标签批次构建一个任务（例如，一个软目标分布或特定的视图）。
2. 更新设计器以最大化 $V$ （即，使自监督梯度与降低下游损失的方向保持一致）。
3. 构建的目标或视图被分离（应用 stop-gradient）。
4. 使用这些分离后的目标，通过标准的自监督损失来更新学习器。

具体实现：

语言模型： 设计器学习自适应 Top-K 软目标用于下一标记预测。设计器不再输出硬性的 one-hot 目标，而是输出一个关于小型候选集（包括真实标记和前 $K-1$ 个模型预测结果）的概率分布，并由一个门控常数进行加权。
视觉模型： 设计器学习 DINO 式自监督学习中的实例级视图或掩码，通过修改输入裁剪或增强方式，以更好地对齐下游密集预测任务（分割、深度估计）。

3. 核心贡献

概念层面： 本文将下游引导的持续预训练重新定义为可学习的任务构建。它引入了一个间接引导学习器（通过任务设计）但直接引导设计器的通道，避免了用监督更新取代自监督更新。
算法层面： 提出了一种计算高效的步级目标 ( $g_{down}^\top g_{pre}$ )，作为下游性能提升的一阶代理。这避免了对完整预训练轨迹进行微分（双层优化）所带来的不可行性。
实证层面： 大量的等效计算量实验证明，V-pretraining 在提升目标能力的同时，不会导致通用表示能力的坍塌。

4. 实验结果

作者在语言和视觉模态上进行了计算量匹配（相同的实际运行时间、硬件和初始条件）的实验。

语言（数学推理）：

设置： 在 NuminaMath-CoT 上对 Qwen 模型进行持续预训练，使用 1,024 个 GSM8K 样本作为反馈。
结果： V-pretraining 显著提升了 GSM8K 的 Pass@1。
- Qwen2.5-0.5B： 单次运行增益为 +7.4 点（22.20 $\to$ 29.60），相对提升 33%。
- Qwen1.5-4B： 从 56.48 提升至 58.98。
泛化性： 该方法没有损害更广泛的能力。4B 和 7B 模型的 MMLU 分数保持稳定，尽管 0.5B 模型出现了轻微下降，这表明较小的学习器对狭窄反馈更为敏感。

视觉（密集预测）：

设置： 在 ImageNet-1K 上对 DINOv3 主干网络进行持续自监督训练，使用 ADE20K（分割）和 NYUv2（深度）作为反馈。
结果：
- ADE20K： 对于 ViT-L，mIoU 从 51.33 提升至 52.40。
- NYUv2： 对于 ViT-L，RMSE 从 0.5752 降低至 0.5522。
- 泛化性： ImageNet 线性分类准确率得以保持甚至略有提升，表明模型并未为了密集任务而牺牲全局识别能力。
- 迁移能力： 在 Oxford/Paris 数据集的实例检索任务中，大多数协议均显示出改进，证实了其表示形式依然稳健。

消融实验与对照组：

去污染测试： 从训练流中移除 GSM8K/MATH 的近重复项并未消除增益，排除了简单记忆的可能性。
捷径排除： 增益并非源于通用的平滑处理、自蒸馏或随机噪声。使用随机反馈或均匀平滑的变体表现均差于对齐后的 V-pretraining。
开销： 任务设计器引入了约 9.4% 的 Token 吞吐量下降和约 16.4% 的峰值显存增加，但这些成本已在实际运行时间匹配的比较中予以考虑。

5. 重要性与主张

本文声称 V-pretraining 为直接后训练方法（如 SFT 或 RL）提供了一个计算高效的补充。

效率： 它允许在持续预训练阶段注入下游能力信号，从而可能减少后续昂贵的下游微调需求。
机制： 它证明了下游反馈可以引导自监督任务的构建（预测什么），而非学习器本身（如何更新）。
审慎性： 作者明确指出，价值目标提供的是一个局部、单步的保证（最大化即时下游提升的下界），而非长程收敛定理。他们承认该方法可能会使小型模型过度转向狭窄任务，且对齐信号可能存在噪声。

综上所述，V-pretraining 确立了下游样本可以有效地引导持续预训练中“预测什么”的环节，在提升特定能力的同时，保持了基础模型的泛化特性。