💻 computer science

Visual-Advantage On-Policy Distillation for Vision-Language Models

本文介绍了视觉优势在线策略蒸馏（VA-OPD），这是一种针对视觉 - 语言模型的新型训练方法，它利用令牌级视觉优势信号在蒸馏过程中区分并优先处理对视觉至关重要的令牌，从而在不同规模的教师模型下显著提升数学推理和视觉理解基准测试的性能。

原作者： Ruiqi Liu, Xiaolei Lv, Gengsheng Li, Ximo Zhu, Zhiheng Wang, Zhengbo Zhang, Junkai Chen, Zhiheng Li, Bo Li, Jun Gao, Shu Wu

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ruiqi Liu, Xiaolei Lv, Gengsheng Li, Ximo Zhu, Zhiheng Wang, Zhengbo Zhang, Junkai Chen, Zhiheng Li, Bo Li, Jun Gao, Shu Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《视觉优势策略蒸馏用于视觉语言模型》的通俗解释，并辅以日常类比。

核心问题：“照猫画虎”的学生

想象你有一位才华横溢的老师（一个大型人工智能模型），它非常擅长利用图表解决数学问题。你希望训练一个更小、更便宜的学生 AI 来做到同样的事情。

通常，你会让学生尝试解决问题，如果它答对了，你就会说：“干得好！现在，看看老师是怎么解决的，并模仿它的步骤。”这被称为蒸馏。

其中的陷阱：
论文发现了这一过程中的一个隐藏缺陷。在典型的带图数学题中，AI 写出的大部分词汇只是“填充”或“脚手架”（例如说“首先，让我们看看图表”或“角度之和是……"）。只有极少数词汇真正基于图片（例如读取一个具体数字："130 度”）。

当使用标准的训练方法时，它会认为学生写出的每一个字都同样重要。这就像老师批改学生的作文时，对单词"The"（定冠词）的关注程度与对关键数字"130"的关注程度完全一样。

结果： 学生学会了完美地模仿文字，但它并没有真正学会看图。它变成了一个“照猫画虎”的模仿者，复制老师的文本却忽略了视觉细节。如果你给它看一张略有不同的图片，它可能会失败，因为它从未学会依赖图像。

解决方案：引入“视觉优势”（VA）

研究人员发明了一种新方法，用来衡量老师实际上在多大程度上需要图片才能写出每一个特定的词。他们称之为视觉优势（Visual Advantage, VA）。

把它想象成一个**“假如”测试**：

老师看着完整、高质量的图片写出一句话。
然后，老师看着同一张图片的模糊、像素化版本（其中小细节已消失），并尝试再次写出同样的句子。
差异所在： 如果老师即使面对模糊图片也能轻松写出单词"The"，那么这个词的视觉优势很低（它只是语言）。但如果老师因为模糊图片隐藏了细节而在数字"130"上卡住或猜错，那么这个词的视觉优势很高。

论文发现，高视觉优势的词汇非常罕见（仅占所有词汇的约 10%），但它们是唯一能真正教会学生去观察图像的部分。

VA-OPD 的工作原理：“聚光灯”方法

这种新方法称为VA-OPD，它改变了训练规则，让学生专注于那些罕见但重要的词汇。它通过两种巧妙的方式实现这一点：

1. “最佳尝试”奖励（生成层面）

有时，学生会针对同一个问题生成几个不同的答案。

旧方法： 平等对待所有尝试。
VA-OPD 方法： 它会检查哪一个尝试最依赖图片（即具有最高的“视觉优势”）。它会给那个特定的尝试一个加权奖励，告诉学生：“这是你真正观察图像的那一次；请格外注意从这一次中学习。”

2. “贵宾区”（词元层面）

在单个答案内部，该方法将词汇分为两组：

贵宾（高 VA）： 依赖图片的词汇（例如从图表中读取的数字）。
普通成员（低 VA）： 填充词汇（例如“因此”、“是”、“和”）。

VA-OPD 不再对所有词汇平均分配学习信号（这会稀释贵宾词汇的重要性），而是单独计算贵宾词汇的学习分数。它确保学生获得强烈的“推动力”去学习视觉部分，而不会被成千上万个无聊的填充词汇淹没。

结果：更聪明，而不仅仅是更快

研究人员在数学和视觉推理任务上测试了这种方法。结果如下：

更高的准确率： 使用 VA-OPD 训练的学生比使用旧方法训练的学生得分更高。
真正的视觉学习： 最重要的发现是，学生们不仅仅是死记硬背答案。当研究人员进行检查时，VA-OPD 学生实际上开始更多地依赖图像来解决问题。随着它们变得更聪明，它们的“视觉优势”分数也随之上升。
可扩展性： 当使用更大、更聪明的老师或更多的训练数据时，该方法效果更好。它不会感到困惑，只是变得更擅长识别重要的视觉线索。

总结类比

想象你在教一个孩子识别篮子里的水果。

标准训练： 你给他们看一张苹果的图片，说：“这是一种红色的、圆形的、长在树上的水果。”孩子记住了句子“红色的、圆形的、长在树上”，但并没有真正学会识别苹果的形状或颜色。
VA-OPD 训练： 你意识到孩子只需要关注“红色”和“圆形”这两个词，因为那是证明它是苹果的部分。你忽略“长在树上”这个词（因为梨也长在树上），并且每当孩子正确识别出“红色”和“圆形”部分时，就给他们特别的奖励。
结果： 孩子学会了真正看见苹果，而不仅仅是复述描述。

简而言之： 这篇论文修复了 AI 训练中的一个盲点，教会较小的模型停止照搬文本，转而真正去观察图片。

技术摘要：面向视觉语言模型的视觉优势策略蒸馏

1. 问题陈述

策略内知识蒸馏已被证明在压缩大语言模型（LLMs）方面行之有效，其通过训练学生模型以匹配教师模型在其自身生成的轨迹上的输出分布。然而，将这一范式应用于视觉语言模型（VLMs）时，揭示了一个关键的不匹配：标准蒸馏方法对所有 token 一视同仁，未能区分语言支架与真正依赖细粒度视觉证据的 token。

作者观察到，在典型的 VLM 轨迹中，绝大多数 token 仅充当语言模板或推理结构，而只有极少数 token 由视觉细节决定（例如图表中的具体数字）。标准 Kullback-Leibler (KL) 散度最小化会在所有 token 上均匀平均梯度。因此，少数视觉关键 token 中存在的强监督信号被周围大量的语言 token 所稀释。结果是，虽然学生模型的输出准确率可能提高，但其对视觉输入的依赖并未增强；学生模型学会了模仿教师模型的表面文本，却并未真正学会关注图像。

2. 方法论：视觉优势策略蒸馏 (VA-OPD)

为了解决这种稀释问题，作者提出了视觉优势策略蒸馏 (VA-OPD)，该方法明确识别并优先处理需要细粒度视觉细节的 token。

2.1 视觉优势 (VA)

核心诊断工具是视觉优势 (VA)，这是一个量化教师模型对视觉细节依赖程度的 token 级指标。对于学生生成轨迹中的每个 token $y_t$ ，VA 计算为教师模型在原始图像 ( $v$ ) 与退化图像 ( $\tilde{v}$ ) 下的得分对数概率之差的非负整流值，其中退化图像通过下采样破坏了细粒度细节（例如 OCR、小符号）：
$a_t = \max(\log p_T(y_t | v, q, y_{<t}) - \log p_T(y_t | \tilde{v}, q, y_{<t}), 0)$
高 VA 值表明该 token 的预测高度依赖细粒度视觉细节，而低 VA 值则表明该 token 依赖语言先验或鲁棒的全局图像特征。

2.2 关键观察

对学生轨迹的经验分析揭示了两个关键属性：

稀疏性：VA 呈现重尾分布；前 10% 的 token 承载了约 93% 的总 VA 质量。
监督集中性：屏蔽高 VA token 上的 KL 损失会导致准确率显著下降，而屏蔽低 VA 或随机 token 则影响微乎其微。这证实了视觉监督信号集中在少数 token 中。

2.3 VA-OPD 目标

VA-OPD 通过在两个粒度上应用 VA 来修改标准的策略内蒸馏目标，以防止信号稀释：

轨迹级重加权：对于为同一提示生成的 $K$ 个兄弟轨迹集合，每个轨迹根据其相对于兄弟轨迹的平均轨迹 VA 分配一个软权重。视觉依赖度更高的轨迹对梯度的贡献更大。
Token 级分组 KL：在每个轨迹内部，token 按 VA 排序并划分为高 VA 组（前一部分，例如 20%）和低 VA 组（其余部分）。每个组内的每 token KL 损失分别取平均，然后再求和。这确保了关键的高 VA token 的梯度贡献不会被总序列长度 $T$ 所缩放。

最终损失函数结合了这些组件：
$\mathcal{L}_{\text{VA-OPD}} = \mathbb{E}_{x \sim D} \left[ \sum_{k=1}^K w^{(k)} \left( \lambda \cdot \frac{1}{|V^{(k)}|} \sum_{t \in V^{(k)}} \text{KL}_t + (1-\lambda) \cdot \frac{1}{|L^{(k)}|} \sum_{t \in L^{(k)}} \text{KL}_t \right) \right]$
其中 $w^{(k)}$ 是轨迹权重， $\lambda$ 平衡高 VA 组和低 VA 组的贡献。

3. 主要贡献

识别稀释问题：作者证明，针对 VLM 的标准策略内蒸馏未能增强视觉依赖，因为均匀的 KL 加权稀释了存在于少数 token 中的集中式视觉监督信号。
引入视觉优势 (VA)：他们提出 VA 作为一种相对于教师的反事实指标，用于量化 token 级的视觉依赖，而无需额外的标注或奖励模型。
VA-OPD 框架：他们引入了一种蒸馏目标，利用 VA 在两个层级（轨迹重加权和 token 级分组 KL）上运作，将学习信号集中在视觉关键位置。
经验验证：该方法在三种教师规模（4B、8B、32B）、两个数据集（Geometry3K、ViRL39K）和八个基准测试上得到了验证，显示出相对于标准基线的一致改进。

4. 实验结果

作者在 Geometry3K 上训练的 Qwen3-VL 系列（8B 教师，2B 学生）上评估了 VA-OPD，并在 ViRL39K 和不同教师规模上进行了泛化测试。

性能提升：VA-OPD 在所有八个基准测试中均优于标准策略内蒸馏 (Standard OPD)。
- 数学推理：平均提升 +2.9 分。
- 视觉理解：平均提升 +1.5 分。
- 特定基准：在严重依赖细粒度视觉细节的任务上观察到显著增益，如 HallusionBench (+2.5) 和 AI2D (+2.4)。允许仅通过文本捷径的基准测试（例如 MMStar）显示出较小的增益，这与该方法专注于视觉依赖的特性一致。
缩放定律：VA-OPD 相对于标准 OPD 的性能增益随着教师规模（从 4B 到 32B）和数据集规模（从 Geometry3K 到 ViRL39K）的增加而单调递增，表明这些因素具有持续的复合效应。
视觉依赖：在训练过程中，VA-OPD 的学生轨迹的平均 VA 随准确率同步上升，而标准 OPD 则表现出准确率上升但 VA 停滞。这表明 VA-OPD 实现了真正的视觉依赖，而非仅仅是输出模仿。
效率：VA-OPD 在挂钟时间上大约以 3.0 倍 的速度达到了标准 OPD 的最终准确率，并在固定的时间预算下达到了更高的性能上限。

5. 意义与主张

该论文声称，VA-OPD 代表了第一种将每 token 对细粒度视觉细节的依赖直接嵌入到 VLM 策略内蒸馏目标中的方法。其意义在于：

机制：它通过在蒸馏过程中明确分离视觉关键 token 与语言支架，解决了“稀释”问题。
效率：它不需要额外的标注、奖励模型或对学生生成过程的更改，仅需每个轨迹增加一次带有退化视觉细节的教师前向传播。
泛化性：该方法在不同模型规模和数据量下均提升了性能，表明它解决了当前 VLM 蒸馏策略的根本性局限，而非特定数据集的伪影。
定性转变：与修改解码的推理时方法不同，VA-OPD 修改了训练目标，以确保学生学会“阅读”图像，定性可视化中数值和图表特征上出现的 VA 热点即为佐证。

作者在局限性方面保持谦逊，指出 VA 是基于教师反事实的视觉依赖代理指标，而非对内部注意力机制的直接测量，且增益在视觉密集型任务上最为显著。