💻 computer science

DV-SFT: Direct Vision Supervision for Fine-Grained Visual Understanding

本文提出了直接视觉监督微调（DV-SFT），该方法通过利用源自 OCR 场景的对应文本标签对视觉 token 进行显式监督，从而增强多模态大语言模型的细粒度视觉理解能力，进而在无需架构修改或辅助组件的情况下实现卓越性能。

原作者： Jianfei Zhao, Feng Zhang, Xin Sun, Chong Feng, Bing Wang, Zhixing Tan

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Jianfei Zhao, Feng Zhang, Xin Sun, Chong Feng, Bing Wang, Zhixing Tan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《DV-SFT：用于细粒度视觉理解的直接视觉监督》的解析，将其拆解为简单概念并辅以富有创意的类比。

核心问题：“盲”学生

想象一位天才学生（AI 模型）正在参加考试，他需要看图然后写出答案。

通常的运作方式：老师（训练算法）只给学生的书面答案打分。如果答案正确，学生获得金星；如果错误，则得到红叉。
缺陷：学生从未被告知他们在图片中看对了什么或看错了什么。他们只知道最终句子是否正确。久而久之，学生可能靠运气猜对答案，或通过死记硬背模式来应对，但他们并没有真正“看见”图像的细节。他们本质上对具体的视觉线索是“盲”的，这导致他们会产生幻觉，编造出图中并不存在的物体。

旧方案：复杂的绕远路

之前的研究人员试图通过增加额外步骤来解决这个问题：

“翻译器”方法：他们添加第二台机器将图片翻译成描述，并强迫学生与之匹配。
“重建”方法：他们要求学生尝试凭记忆重绘图片。
问题：这些方法就像为了修复一个小问题，却要求学生建造一间新教室、聘请一位新翻译并学习一门新语言。它们复杂、缓慢，且需要改变学生的大脑（模型的架构）。

新方案：DV-SFT（直接视觉监督）

本文作者提出了一种更简单、“黑盒”式的解决方案，称为DV-SFT。

核心理念：
老师不再等待最终答案来给学生打分，而是在学生看图的过程中就进行打分。

运作方式（"OCR"技巧）：
研究人员意识到，在包含文字的图片中（例如写着"STOP"的标志），图像与文字之间存在完美的对应关系。

设置：他们选取一张带有文字的图片。
标签：他们告诉 AI：“当你看到图像中这个特定的像素块时，你应该‘想’到的词是**'STOP'**。”
训练：他们强迫 AI 仅基于图像中那个微小的像素块来预测"STOP"这个词，使用的数学原理与它写句子时完全相同。

类比：
想象一位老师指着白板单词中的一个字母说：“你正看着这个字母。你的任务是说出'A'。”

旧方式：老师等到学生写完整个句子"Apple"后，才检查他们是否做对了。
DV-SFT 方式：老师指着'A'说：“现在就说'A'。”然后指着'p'说：“现在就说'p'。”

为何这很特别

无需“手术”：你不需要切开 AI 的大脑或添加新部件。它完全按照现有模型的原样工作。
直接反馈：AI 的视觉部分获得了直接反馈，就像文本部分一样。它学会了：“哦，这个特定的视觉模式意味着单词'Tree'。”
“平滑”技巧：有时，图像的一个像素块可能包含两个单词的部分，或者 AI 内部的“眼睛”可能同时观察整张图片。作者添加了一种“平滑”技术（像是一个温和的推动），让 AI 明白一个像素块可能与其所在的单词相关，但也与附近的单词相关。这防止了 AI 感到困惑。

结果：发生了什么？

研究人员在各种任务上测试了这种方法，包括阅读文档、理解图表以及回答关于图像的一般性问题。

更好的阅读能力：AI 在读取图像内的文字（OCR）方面变得强得多。它不再靠猜测，而是开始真正“看见”字母。
更好的通用视觉：即使他们仅在富含文字的图片上训练它，AI 在理解非文本图像方面也变得更擅长（例如识别红球或奔跑的狗）。
- 类比：这就像教音乐家完美地阅读乐谱。即使你只练习乐谱，他们对任何音乐的听觉也会提升，因为他们学会了更仔细地聆听。
跨领域成功：AI 不仅仅死记硬背了训练图片；它学会了一种通用的“观看”技能，这帮助它在从未见过的图片上也能表现出色。

局限性（论文承认的不足）

作者诚实地指出了该方法的局限之处：

文字容易，物体困难：将图像的一个像素块与像"Cat"这样的单词匹配很容易，因为单词就写在图像上。但对于日落或复杂场景的图片，如果没有单词作为标签，要做到这一点就困难得多。
一对一 vs. 一对多：在他们的训练中，图像的一个像素块对应一个单词标签。但在现实生活中，一个像素块可能包含“红球”（两个概念）。当前的方法在处理这种复杂性时稍显吃力。

总结

DV-SFT 是一种巧妙且低成本的方法，它通过给予 AI 关于其所看内容的直接反馈，而非仅仅评判其最终答案，来教导 AI 模型真正“看见”。它利用文字与图像之间易于匹配的关系来训练 AI 的“眼睛”，从而在不重建整个系统的情况下，得到一个更智能、更准确的模型。

技术摘要：DV-SFT（用于细粒度视觉理解的直接视觉监督）

问题陈述

多模态大语言模型（MLLM）通常采用端到端训练，使用下一个词元预测目标，其中监督信号仅应用于文本词元。因此，作为视觉信息主要载体的视觉词元仅作为上下文的一部分被隐式优化。这种缺乏直接语义指导的情况导致粗粒度的视觉理解，细粒度细节往往被忽略或产生幻觉。

现有通过监督视觉词元来提高视觉精度的尝试面临显著局限：

间接性：依赖奖励信号或表示对齐的方法提供的监督粗糙或存在噪声。
目标错位：诸如下一个视觉词元预测或像素级重建等方法，往往与视觉理解的目标不一致。
架构复杂性：大多数方法需要额外的组件（例如解码器、分词器）或额外的前向传递，阻碍了实际适用性并破坏了统一的训练范式。

目前仍缺乏一种直接、直观且架构简单的视觉监督形式，能够无缝集成到标准的 MLLM 训练中。

方法论：直接视觉监督微调（DV-SFT）

作者提出了 DV-SFT，该方法利用与文本相同的下一个词元预测目标，为视觉词元构建显式的词元级监督。核心假设是：描述图像块内容的词语可以作为对应视觉词元的直接标签。

关键组件

视觉标签构建：
为了解决视觉词元标注的挑战，作者利用 OCR 相关场景中的直接视觉 - 文本对应关系，采用两条流程：
- 图像到标签：使用文本检测和识别模型提取单词及其空间位置。单词与其右下角对应的视觉词元对齐。
- 标签到图像：使用绘图工具将单模态数据集的文档渲染到空白图像块网格上，确保单词与视觉词元之间的精确对齐。
- 过滤：丢弃分词长度或高度过大的单词，以确保标注精度。
训练目标：
DV-SFT 将 MLLM 视为黑盒，无需修改架构。总损失函数将标准文本监督（ $L_t$ ）与直接视觉监督（ $L_v$ ）相结合：
$L = L_t + \lambda L_v$
其中 $L_v$ 是使用对应单词标签在视觉词元上计算的交叉熵损失。为了确保并行训练，仅使用视觉标签的第一个词元进行损失计算。
视觉平滑：
由于视觉编码器具有双向特性（不同于 LLM 的因果性质），单个视觉词元可能包含后续词元的语义信息。为解决此问题，作者受标签平滑启发引入了视觉平滑。这允许视觉词元在学习自身标签的同时，也学习图像中存在的其他视觉标签，从而避免信息受限。

主要贡献

新颖的训练范式：提出了 DV-SFT，无需修改模型架构或前向路径即可实现对视觉词元的直接词元级监督，保持了完全统一、端到端的训练范式。
标签构建流程：设计了一个离线流程，利用 OCR 和绘图工具为视觉词元生成细粒度的词元级监督。
实证验证：大量实验表明，DV-SFT 显著提升了视觉能力，并在多个基准测试中优于标准的监督微调（SFT）和基于表示的基线方法（如 BASIC）。

实验结果

作者在三个基础模型（Qwen3-VL-2B、Qwen3-VL-8B 和 Qwen3-1.7B）上评估了 DV-SFT，涵盖八个基准测试。

域内性能：在文档和图表理解任务（DocVQA、InfographicVQA、SQuAD）上，DV-SFT 相比标准 SFT 取得了持续的优势。值得注意的是，它超越了 BASIC 方法，后者由于表示质量次优，在较小模型上出现了模型退化。
域外泛化：DV-SFT 在 ChartQA、OCRBench、OCRVQA 和 TextVQA 等任务上表现出强大的泛化能力。与域内任务（平均提升 0.74%）相比，域外任务的性能提升更为显著（平均提升 1.6%），表明这是视觉理解的实质性增强，而非特定任务的过拟合。
多模态对齐：训练过程分析显示，视觉监督加速了视觉特征的学习，特别是在训练早期以及从头开始学习的单模态模型中。
字符识别：DV-SFT 提高了上下文和非上下文（语义无意义）文本识别任务的字符识别准确率，证实了细粒度视觉理解的增强。
通用视觉能力：在 MME 基准测试（通用视觉感知与认知）上的评估表明，基于文本的视觉监督并未降低通用视觉能力；相反，它略微提升了整体性能，表明所学机制可泛化到非文本场景。

意义与主张

本文主张 DV-SFT 为解决 MLLM 中粗粒度视觉理解问题提供了一种实用且有效的方案。通过将视觉监督视为标准的下一个词元预测任务，该方法：

消除架构开销：无需额外的解码器、分词器或前向传递，使其可立即应用于任何现有的 MLLM 流程。
增强细粒度理解：直接监督迫使模型将视觉词元与特定语义内容对齐，减少幻觉并提高精度。
提升对齐效率：与间接监督方法相比，该方法实现了更高的多模态对齐效率。

作者总结道，虽然目前的实现依赖 OCR 场景进行标签构建，但直接视觉监督的原则是迈向更稳健 MLLM 训练的必经步骤，未来的工作计划将这些方法扩展到文本之外的更广泛视觉领域。