🤖 AI

When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning

本文引入了可视化任务语义（Visualized Task Semantics, VTS）以揭示多模态模型在指令以像素而非文本形式嵌入时存在的显著性能差距，并提出了一种提示区域接地（prompt-region grounding）方法，该方法在推理阶段无需 OCR 或区域元数据即可有效弥合这一语义通道差距。

原作者： Yongxin Wang, Ruizhe Zhou, Yueling Tang, Yingying Zhu, Xuemin Zhao, Xiaojun Chang, Xiaodan Liang

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yongxin Wang, Ruizhe Zhou, Yueling Tang, Yingying Zhu, Xuemin Zhao, Xiaojun Chang, Xiaodan Liang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个超级聪明的机器人解谜题。这个机器人被称为多模态大语言模型（MLLM），它有点像一个既能读懂文字又能同时看懂图片的天才学生。通常情况下，你会给机器人一张数学题的图片，并附上一条单独的文本信息说：“解开这个！”机器人读取文本指令，观察图片，然后给出答案。但如果你的指令不是以文本消息的形式给出的呢？如果你把指令写在图片内部，就像是在墙上画的一个标牌一样呢？

科学家们一直在好奇，这个机器人的表现是否依然同样出色。指令是一个“文本标记”（数字化的单词）还是一个“像素”（屏幕上的一个微小的彩色点）会对它有影响吗？在人工智能领域，有一种怀疑认为，机器人可能非常擅长阅读文字，但在“阅读”图像中的指令时却表现得很糟糕。它们可能可以完美地复制这些文字（就像一台复印机），却无法真正去“理解”这些文字是告诉它们该做什么的“老大”。这篇论文深入研究了这个谜团，旨在观察当规则被写在图片里而不是聊天框里时，机器人是否会感到困惑。

“像素化”问题的谜团

研究人员（来自大学和科技公司的团队）决定通过一个被称为**视觉化任务语义（VTS）**的巧妙实验来测试这个想法。想象一下你正在参加一场标准的数学测试。通常，问题会被输入在图像上方。在他们的实验中，他们拿出了完全相同的问题，擦掉了输入的文本，直接将问题“画”在了图像上，就在问题的正上方。他们甚至用了一句简短、枯燥的便条——“帮我解开这个问题”——来替换原本输入的指令。

他们使用四种不同类型的复杂基准测试（如数学图表和复杂的图表）对六种不同的 AI 模型进行了这项测试。结果出现了巨大的性能下降。平均而言，当问题被“画”在图像中时，模型的准确度比输入文本时降低了 17.8 个百分点。在某些情况下，这种下降幅度高达 28.0 个百分点。

这不仅仅是因为机器人无法读取字母。研究人员进行了检查，发现模型实际上大多时候都能正确转录出这些画出来的文字。问题在于更深层次的地方：模型未能将这些文字作为“指令”来使用。这就像机器人看到了墙上的标牌，能拼出单词，却没意识到：“哦，这个标牌是在告诉我该做什么！”研究人员称之为“语义通道鸿沟”。信息的传递路径（文本 vs 图像）改变了机器人的思考方式，即使文字本身是完全相同的。

解决方案：教机器人“锚定”标牌

为了解决这个问题，团队开发了一种新的训练方法，称为提示词区域锚定（Prompt-Region Grounding）。把它想象成教一个孩子指向一个标牌并说：“这就是规则！”

他们在训练中使用了两个特别的技巧：

PVRD-SG（“意义匹配”）： 他们向机器人展示带有画出问题的图像，以及该问题的另一个干净的文本版本。他们强迫机器人意识到，包含问题的特定像素块所代表的“意义”，与输入的文本是完全相同的。这就像是将墙上的物理标牌与机器人大脑中的“规则概念”连接起来。
PRMLP（“盲区”测试）： 他们拿出了带有画出问题的图像，并用一个黑框遮住部分文本（掩码处理）。然后，他们要求机器人根据图像的其余部分来猜测隐藏的文本含义。这迫使机器人去学习指令的“本质”，而不仅仅是死记硬背精确的像素。

最棒的部分是，这种训练不需要机器人使用任何特殊工具（如 OCR 文字识别）或在实际测试时知道文本框的具体位置。在最终考试期间，机器人只需看到带有画出问题的图像，然后直接回答，就像之前一样。

结果：弥合差距

结果非常令人期待。经过这种新训练后，模型在“画出问题”测试上的准确率从 58.0% 跳升至 66.3%。这是一个显著的进步，缩小了文本指令与图像指令之间的差距。模型在原始的基于文本的测试上也略有提升（从 69.1% 提升到 70.3%），证明了它们并没有丢失原有的技能。

研究人员在超过 1,000 张真实的未知图像（如工作表、表格和屏幕截图的照片）上测试了该方法。新方法在这些真实页面上的准确率提高了 7.9 个百分点。

这意味着什么

论文得出结论：阅读图像中的文本和将该文本作为指令使用是两种不同的技能。仅仅因为机器人能读懂文字，并不意味着它知道在文字作为图像的一部分时该如何“听从”指令。通过教机器人将视觉问题与其意义进行“锚定”，研究人员帮助它弥合了这一鸿沟。

作者们谨慎地指出，虽然他们改善了这种情况，但并未完全解决问题。仍然存在一个小小的差距，且该方法在文本清晰可见且格式标准时效果最好。然而，这项研究证明了我们与 AI 交谈的方式至关重要。如果我们希望机器人真正变得聪明，我们需要教它们：用像素书写的问题，与在聊天框中输入的提问一样重要。

技术摘要：当提示词变为像素：面向多模态推理的提示区域对齐（Prompt-Region Grounding）

1. 问题陈述

多模态大语言模型（MLLMs）越来越多地处理包含截图和文档的任务，其中任务指令本身被渲染为图像中的文本（像素）。虽然高分辨率模型可以高精度地读取此类文本，但目前尚不清楚它们是否能像利用文本提示词那样高效地利用这些视觉化指令。

先前的工作观察到，当指令被视觉化时性能会下降，但这些差距往往混淆了多个因素：画布扩展、图像缩放、渲染伪影以及从文本 Token 到像素的语义转变。至关重要的是，现有的基准测试并未区分模型是无法读取视觉文本（OCR 失败），还是无法将视觉文本作为推理指令进行使用（语义通道差距）。本文认为，阅读承载任务的文本与将其作为指令进行对齐（Grounding）是两种不同的能力，且当前的 MLLMs 存在系统性的“语义通道差距”——即即便在文本被正确转录的情况下，视觉化指令的效果仍低于文本形式的提示词。

2. 方法论

2.1 视觉化任务语义 (VTS)

为了隔离语义通道差距，作者引入了 视觉化任务语义 (VTS) 作为一种受控干预手段。

原始视图（Original View）： 问题 $q$ 以文本 Token 形式提供，图像 $x$ 包含视觉证据。
VTS 视图： 问题 $q$ 被渲染在图像 $x$ 上方的一个白色面板内的文本像素中。原生的文本提示词被替换为一个固定的线索（例如，“请帮我解决这个问题”）。
控制变量： 研究采用了画布几何结构、提示词重复（问题同时出现在两个通道中）以及仅图像输入等控制措施，以排除非语义因素导致的性能下降。

2.2 提示区域对齐 (Prompt-Region Grounding)

为了弥合这一差距，作者提出了 提示区域对齐 (Prompt-Region Grounding) 训练框架，该框架旨在显式地将问题的视觉表示与其文本语义进行对齐。该方法在监督微调（SFT）和强化学习（GSPO）阶段运行，且无需改变推理接口（在测试时不需要 OCR 或区域元数据）。

该框架引入了两个应用于 VTS 和真实世界视觉提示示例的区域级目标：

提示-视觉表示蒸馏与语义对齐 (PVRD-SG)：
- 目标： 将提示区域的视觉表示与冻结的文本问题语义表示进行对齐。
- 机制： 模型从渲染图像中已知的提示区域框 $b_i$ 中聚合视觉 Token。该表示 $z_i^{vis}$ 被优化以最大化与来自打字文本的缓存且冻结的文本嵌入 $t_i$ 的余弦相似度。
- 约束： 文本目标是冻结且停止梯度的，这确保了模型学习从视觉区域恢复任务语义，而不是被迫进行文本转录。
提示区域掩码潜变量预测 (PRMLP)：
- 目标： 确保即使在渲染文本的部分内容被遮挡或难以观察时，提示区域的视觉表示仍保持稳定且可恢复。
  深度
- 机制： 在复合图像中对提示区域的一部分进行掩码处理。模型必须从被掩码的输入中预测出对应干净裁剪图（未被掩码的提示区域）的表示。
- 约束： 这是一个潜变量一致性目标，而非像素重建。它迫使模型维持一个鲁棒的指令区域内部表示。

2.3 训练流水线

平衡重放 (Balanced Replay)： 模型在包含相同问题的“原始视图”和“VTS 视图”的配对数据集上进行训练，两者共享相同的答案目标。
监督微调 (SFT)： 模型最小化组合损失：标准自回归 Next-token 损失 ( $L_{sft}$ ) 加上区域级损失 ( $L_{sg}$ 和 $L_{prmlp}$ )。
强化学习 (GSPO)： 使用组序列策略优化（GSPO）对监督检查点进行进一步精炼，并针对格式正确性和答案准确性设置奖励。

3. 核心贡献

量化语义通道差距： 研究表明，将问题从文本 Token 转移到图像像素会导致六种 MLLM 和四个基准测试出现系统性的准确率下降。平均下降幅度为 17.8 个百分点，部分组合的降幅高达 28.0 个百分点。
解耦读取与推理： 诊断测试显示，模型通常能正确转录视觉问题（精确匹配率为 87.6%），但无法有效地利用它们（准确率为 48.4%）。将转录后的文本重新插入文本通道可以显著恢复准确率，这证明了该差距不仅是 OCR 失败，更是无法将视觉文本作为指令进行对齐的失败。
提示区域对齐方法： 作者引入了一种训练方案来消除这一差距。通过将提示区域的视觉表示与打字语义对齐，并强制执行潜变量一致性，该方法显著提升了 VTS 的准确率，且无需在推理时使用 OCR 或区域检测。
泛化能力： 该方法在留出的真实世界页面（UI、工作表、表单）和独立基准测试（VISTA-Bench, OCRBench v2）上提高了性能，表明所学习到的对齐能力可以超越特定的 VTS 渲染。

4. 实验结果

实验主要在 Qwen3-VL-4B 和 Qwen3-VL-8B 上进行，并在 InternVL3.5-8B 上进行了迁移测试。

基线性能： 在四个基准测试（MATH-Vision, MathVista, ChartQA, MMMU）中，基线（平衡重放）的平均 VTS 准确率为 61.4%，而原始接口为 69.8%（差距为 8.4 个百分点）。
方法性能： 提出的方法（“Ours”）将平均 VTS 准确率提升至 66.3%，同时保持原始准确率为 70.3%。
- 这将语义通道差距从 8.4 个百分点（平衡重放）缩小到了 4.0 个百分点。
- 特定任务的增益：+7.8 (MATH-Vision), +7.0 (MathVista), +6.2 (ChartQA), +12.4 (MMMU)。
组件分析：
- PVRD-SG 提供了最大的单一组件增益（比仅使用 PRMLP 高出 2.6 个百分点）。
- PRMLP 在结合 PVRD-SG 时额外增加了 1.8 个百分点。
- 从**提示面板（prompt panel）**进行读取的效果优于全图或随机区域的汇总。
真实世界泛化： 在 1,000 个留出的真实世界页面上，该方法比标准 SFT 提高了 7.9 个百分点（从 58.0% 提升至 65.8%），展示了对多样化布局和字体的鲁棒性。
成本效率： 这些改进是在与标准 SFT 匹配的训练成本（FLOPs）下实现的，证明了收益来自于特定的目标函数，而非仅仅是增加训练时间。

5. 意义与主张

本文声称，承载问题的通道从根本上改变了 MLLM 的推理能力，即使措辞和答案保持不变。其主要意义在于区分了两个常被视为相同的能力：读取图像中的文本与将该文本作为任务指令进行对齐。

作者认为：

差距是语义层面的，而非仅仅是 OCR： 模型可以读取文本，但无法将其视为权威指令。
区域级监督是有效的： 通过将指令的视觉区域与其文本语义显式连接，模型能够恢复任务的“干净”表示，从而弥合通道差距。
推理简单化： 该方法在推理阶段不需要额外的模块（如 OCR 或目标检测）；模型在训练期间学习隐式地关注相关区域。

论文总结道，虽然将问题移入像素并非新问题，但提示区域对齐这一特定机制为解决语义通道差距提供了一种可扩展的解决方案，使 MLLM 能够像处理文本提示一样有效地对视觉指令进行推理。作者保持了谦逊，指出该方法假设在训练期间已知任务区域，并不声称是一个通用的任意图像任务区域检测器。