🤖 machine learning

DeltaPrompts: Escaping the Zero-Delta Trap in Multimodal Distillation

本文介绍了 DeltaPrompts，这是一个包含 20 万个合成推理问题的数据集，由一个分阶段流水线生成，该流水线针对“零增量”提示（即教师模型与学生模型达成一致的情况），从而最大化学习信号，并在多种多模态蒸馏场景中实现高达 15% 的相对性能提升。

原作者： Jaehun Jung, Hyunwoo Kim, Brandon Cui, Ximing Lu, David Acuna, Prithviraj Ammanabrolu, Yejin Choi

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jaehun Jung, Hyunwoo Kim, Brandon Cui, Ximing Lu, David Acuna, Prithviraj Ammanabrolu, Yejin Choi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《DeltaPrompts：逃离多模态蒸馏中的零增量陷阱》的解释。

核心问题：“零增量”陷阱

想象你是一名学生，正试图向一位天才老师学习如何解决复杂的数学问题。你想通过观察老师解题，然后自己尝试解题来学习。这个过程被称为蒸馏。

通常，研究人员只是抓取一大堆现有的数学问题（例如来自教科书）用于这种训练。但这篇论文的作者发现这种方法存在一个隐藏缺陷：大多数这些问题对学生来说太简单了。

他们将此称为**“零增量陷阱”**。

场景：你给老师一个问题。老师解出答案。然后，你把完全相同的问题交给学生。
陷阱：学生已经知道如何完美地解决这个问题。他们给出了与老师完全相同的答案。
结果：因为学生和老师的回答 100% 一致，学生什么也没学到。这就像老师向一个昨天已经掌握该概念的学生解释一样。学生的大脑没有活跃起来；没有建立新的连接。

论文发现，在用于图表和文档推理的标准数据集中，高达 69% 的问题属于“零增量”问题。 学生和老师已经处于同一水平，因此用它们进行训练是浪费时间。即使你给学生提供 100 倍多的这类简单问题，他们也不会变得更聪明。

解决方案：测量“差距”（增量）

为了解决这个问题，作者提出了一条新规则：只有当老师和学生意见不一致时，问题才是有用的。

他们将这种分歧称为**“答案分歧”**（或增量， $\Delta$ ）。

高增量：老师用一种方式解题，而学生答错了（或猜得不同）。这是一个学习机会。学生意识到：“哦，我漏掉了那一步！”并从老师的纠正中学习。
零增量：两人都答对了。没有发生学习。

论文认为，要制造一个智能的 AI，你需要的不是更多的数据，而是更好的数据——具体来说，是那些 AI 真正感到棘手的数据。

修复方案：构建“增量”数据集

由于现有的教科书充满了“零增量”问题，作者建立了一个新系统来创建他们自己的问题。他们将这个新数据集称为DELTAPROMPTS。

以下是他们构建该数据集的三步法：

种子引导生成（草图）：他们利用现有的问题，要求一个强大的 AI（“老师”）创建新的、更难的版本。这就像老师看着一道数学题说：“好吧，让我们让它稍微棘手一点。”
技能引导生成（目标）：这是秘诀所在。系统会查看学生 AI 过去在哪里失败。它会问老师：“学生具体漏掉了什么技能？”（例如，“学生无法读取图表上的微小数字”）。然后，老师会生成一个新问题，专门用于测试那个确切的薄弱技能。
拒绝过滤器（守门员）：他们生成了数千个新问题。但在保留它们之前，他们会进行测试：“学生答错了而老师答对了吗？”
- 如果是（高增量）：保留它。
- 如果否（零增量）：扔掉它。

最终结果是一个包含200,000 个定制问题的数据集，其中学生肯定会遇到困难，从而确保最大程度的学习。

结果：为学生超级充电

作者在不同 AI 模型上测试了这个新数据集。结果令人印象深刻：

巨大提升：即使是在训练一个已经非常聪明的 AI 模型时，使用 DELTAPROMPTS 相比使用标准数据集，其性能提升高达15%。
适用于新学生：他们将为一种类型的 AI 制作的问题，交给了完全不同类型的 AI。它仍然有效！这证明这些问题不仅仅是死记硬背特定答案；它们正在教授通用的推理技能。
全面变强：AI 不仅在图表方面变得更好，在阅读文档和理解真实世界图像方面也变得更出色。

核心启示

论文得出结论：在教授 AI 时，瓶颈不在于拥有更多的数据，而在于拥有正确的数据。

类比：
如果你想健身，以 1 英里/小时的速度在跑步机上跑步（零增量）是帮不了你的，即使你跑 10 个小时。你需要以让你感到吃力但仍能坚持的速度跑步（高增量）。DELTAPROMPTS 就像一位私人教练，不断调整速度，确保你始终处于学习的“甜蜜点”，而不是让你在简单的问题上虚度光阴。

通过专注于 AI 已知内容与需要学习内容之间的差距，作者创造了一种更高效的方法来训练更智能、更小型的 AI 模型。

技术摘要：DeltaPrompts——突破多模态蒸馏中的零增量陷阱

问题陈述

知识蒸馏已成为通过利用更强大的教师模型，赋予紧凑型视觉 - 语言模型（VLMs）强大推理能力的关键机制。然而，当前的实践严重依赖现成数据集（例如 ChartQA、SciVQA），其中的提示（prompts）是通过简单的启发式方法选择或从现有池中聚合而来的。作者指出了这种方法中的一个关键低效之处：这些提示中有很大一部分是“零增量（zero-delta）”的。

当教师模型和学生模型对给定输入产生完全相同的回答分布时，该提示被定义为零增量。在这种情况下，蒸馏信号提供的学习价值极小，因为学生并未接触到其需要弥补的能力差距。论文揭示，在标准的图表和文档推理数据集中，高达**69%**的提示实际上是零增量的。在这些提示上进行训练会导致学生性能迅速饱和，无论数据规模如何。此外，简单地过滤现有数据集以仅保留非零增量提示并非最优解，因为这会大幅减少训练数据的多样性（高达 29.4%），导致一种权衡：以牺牲泛化能力为代价换取发散性。

方法论

为了应对零增量陷阱，作者提出从被动数据策展转向由回答发散性（Answer Divergence, $\Delta$ ）原则驱动的主动提示合成。

1. 定义回答发散性

与其测量序列级发散性（由于输出长度可变，这既嘈杂又在计算上不可行），作者定义了在最终答案离散空间上的回答发散性。

指标： $\Delta(x) = D_{KL}(P_\theta(\cdot|x) \parallel P_T(\cdot|x))$ ，其中 $P_\theta$ 和 $P_T$ 分别是学生模型和教师模型的实证回答分布。
估计：通过从两个模型中各采样 $K=16$ 条轨迹来近似这些分布。使用大语言模型裁判（Qwen3-32B）将语义等价的回答分组，以处理表面层面的差异，从而允许对开放型回答进行稳健的发散性计算。

2. DELTAPROMPTS 合成流程

作者提出了一种分阶段的合成流程，将现有数据集重新用作种子而非直接训练资源。该流程包含三个阶段：

阶段 1：种子引导生成：利用现有的图像 - 提示对作为少样本示例，提示教师模型为新的图像生成新颖、更困难的问题。这扩展了候选池。
阶段 2：技能引导生成：为了明确针对学生的失败模式，该流程通过对比具有非零发散性的提示下的教师轨迹（正确）与学生轨迹（错误）来提取“技能”。这些技能（例如“插值对数刻度”）随后被用于调节数据生成器，迫使其创建需要这些特定缺失能力的提示。
阶段 3：零增量拒绝：对所有生成的提示进行回答发散性评估。教师和学生达成一致（零增量）的提示会被拒绝。仅保留教师一致性强且具有非零发散性的提示。

这一过程产生了DELTAPROMPTS，这是一个包含 20 万个合成的高发散性推理问题的数据集，涵盖图表/文档推理以及高分辨率、以感知为中心的推理。

主要贡献

零增量陷阱的识别：论文通过实证证明，标准的多模态推理数据集主要由零增量提示主导，这导致学生在蒸馏过程中性能过早饱和。
作为原则性指标的回答发散性：作者引入回答发散性作为一个可行且关键的指标，用于量化教师 - 学生能力差距，表明它是比单纯的数据规模或多样性更强的蒸馏成功预测因子。
两阶段合成流程：一种生成高质量训练数据的新方法，通过技能引导生成主动寻找学生的失败模式，而不是被动过滤现有数据。
DELTAPROMPTS 数据集：一个大规模、多样化的 20 万提示数据集，专门设计用于最大化回答发散性，在发散性和多样性指标上均优于现有的混合数据集。

实验结果

作者使用 Qwen3-VL 和 GLM-4 模型系列，在三种不同的设置下评估了 DELTAPROMPTS：

在线策略蒸馏（On-Policy Distillation）：当从教师模型（Qwen3-VL-235B-Thinking）蒸馏学生模型（Qwen3-VL-8B-Thinking）时，即使在基础学生已经是高度优化的推理模型的情况下，DELTAPROMPTS 在 10 个基准测试（包括 ChartQA、InfoVQA 和 RealWorldQA）中仍带来了高达15% 的相对提升。
跨家族迁移：该数据集无需重新生成数据即可泛化到不同的模型家族（GLM-4.1V-9B-Thinking），只需在新配对下重新过滤非零发散性即可。
离线策略微调（SFT）：当用于非推理模型（Qwen3-VL-8B-Instruct）的标准监督微调时，DELTAPROMPTS 显著优于在现有数据混合集上的 SFT，并且在域外任务（数学、逻辑、STEM）上表现出比标准 SFT 更好的保留能力。
消融研究：
- 发散性 vs. 多样性：在控制多样性的情况下，在增量提示（ $\Delta > 0$ ）上训练会随着数据量的增加持续提升性能，而零增量提示（ $\Delta = 0$ ）则立即饱和。
- 一致性过滤：教师不一致（即使对教师来说也难以解决）的提示会降低性能，验证了合成流程中基于一致性的过滤的必要性。

意义与主张

论文主张，多模态蒸馏的核心瓶颈不在于聚合更多的提示或轨迹，而在于构建教师和学生具有实质性分歧的提示。

通过将焦点从数据数量转向发散性质量，作者证明，与启发式聚合现有数据集相比，有针对性的提示合成可以用显著更少的数据产生巨大的收益。这项工作表明，回答发散性是蒸馏中有效扩展的基本属性，为更高效地训练有能力的紧凑模型提供了一条路径。作者将 DELTAPROMPTS 不仅仅定位为一个数据集，而是将其作为以数据为中心、更原则化的蒸馏方法的概念验证，该方法主动针对学生模型的具体能力差距。