💬 NLP

VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation

本文介绍了视觉归因蒸馏（Visual Attribution Distillation, VAD），这是一种反事实算法，旨在从多模态在策略蒸馏中混合的教师信号中分离出视觉可归因的修正，从而重构出更有效、与证据对齐的训练目标，其在细粒度视觉基准测试上的表现优于现有方法。

原作者： Kangning Zhang, Yixing Li, Shuai Shao, Qingyao Li, Zhengxi Lu, Zhiyuan Yao, Jianghao Lin, Wenxiang Jiao, Yuan Lu, Weiwen Liu, Weinan Zhang, Yong Yu

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kangning Zhang, Yixing Li, Shuai Shao, Qingyao Li, Zhengxi Lu, Zhiyuan Yao, Jianghao Lin, Wenxiang Jiao, Yuan Lu, Weiwen Liu, Weinan Zhang, Yong Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何当侦探。你有一位超级聪明的老师，能完美地观察犯罪现场，还有一个试图学习如何破案的学生机器人。老师观察线索并说道：“嫌疑人戴着一顶红色的帽子！”但有时，老师的大脑会有些嘈杂。也许老师同时还在想：“嫌疑人戴着一顶红色的帽子，而且我也很喜欢红色的帽子，今天天气真不错。”如果你只是照抄老师的原话，学生可能会学会说“红色的帽子”，但也可能不小心开始谈论天气或老师喜欢的颜色。这就是“来源混合”（source-mixed）信息的问题：学生得到正确答案的同时，也混入了额外的、令人困惑的噪音。

在人工智能领域，特别是在多模态大语言模型（能够看图并阅读文本的 AI）中，研究人员正试图教这些模型更加关注视觉细节。一种常用的方法叫做“在策略蒸馏”（On-Policy Distillation）。把这想象成学生机器人在尝试解一个谜题，每当它卡住或做出猜测时，老师都会观察同一个谜题（但视角更清晰），并纠正学生的下一步行动。目标是通过展示正确的路径来让学生变得更聪明。然而，如果老师的纠正是一个“观察这个特定细节”与“仅仅是我的个人观点”的混乱混合体，学生就会感到困惑。这就是为什么研究人员对此非常关注：他们想确切知道老师的建议中，哪一部分是源自视觉证据（图片），哪一部分仅仅是老师自己的习惯或语言技巧。

于是，一种名为 VAD（视觉归因蒸馏，Visual Attribution Distillation）的新方法出现了，它充当了老师建议的“真相过滤器”。VAD 不再盲目地复制老师的整个纠正，而是提出了一个聪明的“如果……会怎样”的问题。它获取学生的当前猜测，并询问老师两件事：“如果我给你看完整且清晰的图片，你会说什么？”以及“如果我把我们正在讨论的特定线索模糊处理掉，你会说什么？”通过比较这两个答案，VAD 可以精确计算出老师的建议中有多少变化是因为那个视觉线索而产生的。

想象一下，老师是一位正在纠正学生汤品配方的厨师。老师说：“多加点盐，而且这碗汤应该盛在蓝色的碗里。”VAD 就像一个神奇的测试，它会问：“如果我们藏起蓝色碗，老师还会说‘加盐’吗？”如果即使没有了蓝色碗，老师仍然说“加盐”，那么 VAD 就意识到“蓝色碗”的评论只是多余的闲聊，而不是视觉上的必要条件。VAD 随后会剔除掉“蓝色碗”的部分，只保留“加盐”的部分来教导学生。它重构了一个更干净、更锐利的教训，专注于图片真正证明的内容。

研究人员在两种不同规模的 AI 模型（一个拥有 40 亿参数，另一个拥有 90 亿参数）上测试了这个想法，涵盖了六种不同的视觉谜题，范围从在高分辨率照片中发现微小细节到识别复杂现实场景中的物体。他们发现 VAD 比以往的方法表现得好得多。对于 40 亿参数的模型，与次优方法相比，它将平均准确率提高了约 2.4 个点；对于 90 亿参数的模型，则提高了 2.8 个点。事实上，使用 VAD 训练的较小的 40 亿参数模型，其表现甚至优于一些规模更大、更昂贵的闭源大型模型。

论文指出，通过将“视觉证据”与“老师的噪音”分离，AI 学会了更多地信任图片，而较少地依赖老师的习惯。当学生犯错时（例如将一种图案误判为“格子纹”，而实际上是“条纹”），VAD 在利用视觉线索将学生从错误答案推向正确答案方面表现得尤为出色。这项研究表明，这种“反事实”（counterfactual）方法——即对比有证据和无证据时的情形——比仅仅复制老师完整的、混乱的纠正，能创造出更好的学习目标。虽然该方法并非完美的魔杖（它仍然依赖于单一的一对视图，且无法完美分离每一种类型的噪音），但结果有力地表明，这种过滤并重建老师建议的方法，是让 AI 视觉变得更敏锐、更可靠的一个强大的新工具。

技术摘要：用于多模态在策略蒸馏的视觉归因蒸馏 (VAD)

1. 问题陈述

多模态大语言模型 (MLLM) 常因微小的感知错误（例如：忽略了一个单词或误读了空间关系）而失败，这些错误会破坏整个生成轨迹。在策略蒸馏 (On-Policy Distillation, OPD) 通过使用具有“特权视图”（即能够获取更好视觉证据的模型，如高分辨率裁剪图）的教师模型来监督学生生成的轨迹，从而解决这一问题。

然而，目前的特权视图 OPD 方法存在来源混合修正 (source-mixed corrections) 的问题。当教师对学生的 Token 进行修正时，这种修正实际上是以下成分的混合：

视觉信号： 源自特权视图的证据。
语言先验： 通用的语言模式。
教师特定效应： 教师模型自身的特性。

现有方法无法区分教师修正中哪些部分确实是由视觉证据所支持的。

Vision-OPD 直接蒸馏教师的完整分布，从而转移了来源混合的噪声。
VA-OPD 和 V-Zero 使用“视觉优势”来为 Token 或轨迹加权，但未能明确地根据哪些证据支持目标来进行重构。至关重要的是，正向视觉优势指标可能会忽略反驳 (refutation)：揭示证据可能会抑制一个错误的 Token，但未必会提升一个正确的 Token，这种动态过程是标准的优势指标无法有效捕捉的。

核心挑战在于如何估计教师修正中的哪一部分可以归因于受控的视觉干预，而不仅仅是确定在哪里或多强地进行蒸馏。

2. 方法论：视觉归因蒸馏 (VAD)

VAD 引入了一种反事实目标重构算法，用以隔离教师修正中具有视觉归因性的部分。该方法在训练期间使用固定的教师和学生策略进行操作，但在推理阶段不需要辅助视图。

2.1 在策略反事实视图

对于每一个学生生成的序列前缀 $y_{<t}$ ，VAD 在三种条件下查询同一个固定教师：

学生视图 ( $p^0_S$ )： 给定全图 $x^0$ 时学生的分布。
证据存在视图 ( $p^+_T$ )： 给定裁剪后的、富含证据的视图 $x^+$ 时教师的分布。
证据移除视图 ( $p^-_T$ )： 给定退化或移除视图 $x^-$ 时教师的分布。

2.2 通过干预代理进行归因

VAD 在中心化对数概率空间中定义了两个向量：

教师修正 ( $r_t$ )： 特权教师 ( $p^+_T$ ) 与学生 ( $p^0_S$ ) 之间的差异。
视觉证据代理 ( $u_t$ )： 证据存在视图与证据移除视图教师视图之间的差异 ( $p^+_T - p^-_T$ )。

向量 $u_t$ 作为视觉证据方向的有符号代理 (signed proxy)。正值表示证据支持该 Token；负值表示证据反驳该 Token。

2.3 目标重构

VAD 并非匹配完整的教师分布，而是通过将原始修正 $r_t$ 投影到视觉代理 $u_t$ 上来重构一个新的目标。

分解： 修正被分为视觉归因成分 ( $r^{vis}_t$ $r_{t}^{v i s}$ ) 和残差成分 ( $r^{res}_t$ $r_{t}^{r es}$ )。
- $r^{vis}_t = \beta_t u_t$ ，其中 $\beta_t$ 是一个非负系数，确保仅保留与视觉方向一致的部分。
- $r^{res}_t = r_t - r^{vis}_t$ （被视为混合残差，而非纯语言成分）。
支持与反驳分支： 该方法分离了支持（正向 $u_t$ ）和反驳（负向 $u_t$ ）分支。它为这些分支分配“视觉修正预算”，并限制支持份额，以防止不确定的证据占据主导地位。
以学生为锚点的目标： 最终的目标 $q^{VAD}_{T,t}$ 通过将精炼后的有符号视觉偏移应用于学生当前的分布 ( $p^0_S$ ) 来构建，而非应用于教师的分布。这确保了目标在进行视觉修正的同时，仍锚定在学生的状态上。

2.4 训练目标

主要的监督信号是学生与重构目标 ( $q^{VAD}_{T,t}$ ) 之间的 Jensen-Shannon 散度 (JSD)。

弱正则化器： 为了防止由于仅关注视觉修正而导致的语言漂移（例如：不稳定的格式或长度），添加了一个源自原始特权教师分布的弱正则化项。这在不覆盖视觉重构的前提下，锚定了语义和格式。

3. 核心贡献

识别了来源混合的局限性： 本文指出，直接的教师匹配和正向视觉优势加权无法明确估计哪些修正成分是由受控视觉干预所支持的。
VAD 算法： 引入了一种利用反事实视觉干预的方法，用于：
- 构建视觉证据的代理方向。
- 将教师修正分解为视觉归因成分和残差成分。
- 重构一个能够分离支持与反驳的支持者/反驳者锚定学生分布的目标。
实证验证： 在 4B 和 9B 参数规模下，在六个细粒度视觉基准测试上展示了持续的性能增益，超越了直接蒸馏和视觉优势加权方法。

4. 实验结果

作者在 Qwen3.5-4B 和 Qwen3.5-9B 模型上对六个基准测试进行了评估。

性能增益： VAD 在两个规模下均实现了最高的平均准确率 (Avg6)，分别比最佳的同规模基线高出 2.40 点 (4B) 和 2.80 点 (9B)。
与 SOTA 对比： 4B 规模的 VAD 检查点显著超越了包括 Gemini 3 Flash、Gemini 3.1 Pro 以及 397B Qwen3.5 在内的更大规模模型。
语义分析： 分解分析证实，归因成分 ( $r^{vis}_t$ ) 在视觉属性、物体和决策 Token（如 "vertical", "metal", "A/B/C/D"）方面更加丰富，而残差成分 ( $r^{res}_t$ ) 则包含语言支架和元内容。
泛化能力： 不同于某些会导致留出集泛化能力下降的后训练方法，VAD 保留甚至略微提升了在留出任务（MMVP, CV-Bench, MMStar, POPE）上的表现，表明视觉专业化并未牺牲广泛能力。
消融实验：
- 目标重构： 分支感知重构提供了最大的增益（比无正则化的单侧投影高出 +1.00 点）。
- 正则化： 弱教师锚点对于稳定输出格式和长度至关重要。
- 散度： 研究发现 JSD 是比前向 KL 或反向 KL 更平衡的默认散度。

5. 重要性与主张

本文声称，反事实目标重构是多模态 OPD 中处理来源混合监督的一种更有效的替代方案。通过明确将修正归因为视觉证据，并将学习目标围绕学生分布进行重构，VAD 确保模型学习的是图像所支持的内容，而不是盲目模仿教师的混合信号。

作者将 VAD 定位为一种能够提高参数效率（小模型超越大模型）和感知接地 (perceptual grounding) 的方法，且无需复杂的推理时搜索或工具调用。该方法被呈现为解决“视觉修正归因问题”的一种原则性方案，提供了一种过滤来自特权监督中噪声的有效方式。

作者承认的局限性：

视觉证据由来自一对视图的单一对比向量表示，这可能会使组合证据产生偏差。
目前的投影实现的是语义增强而非完美的识别分离；归因成分可能仍保留了一些非视觉的教师效应。