🤖 machine learning

Don't Show Pixels, Show Cues: Unlocking Visual Tool Reasoning in Language Models via Perception Programs

该论文提出了一种无需训练且模型无关的“感知程序”（P $^2$ ）方法，通过将视觉工具生成的密集像素级输出重写为紧凑的结构化语言摘要，有效解决了多模态大模型难以利用视觉线索的瓶颈，从而在无需微调的情况下显著提升了其在多种视觉推理任务中的性能并刷新了业界最佳记录。

原作者： Muhammad Kamran Janjua, Hugo Silva, Di Niu, Bahador Rashidi

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Muhammad Kamran Janjua, Hugo Silva, Di Niu, Bahador Rashidi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文的核心思想可以用一个非常生活化的比喻来理解：“不要给大模型看满屏的像素点，而是给它看一张‘导游图’。”

1. 核心问题：大模型是个“近视眼”的翻译官

想象一下，你有一个非常聪明的翻译官（多模态大语言模型，MLLM），他精通人类语言，逻辑推理能力极强，但他看不懂图片。

现在，你给他看一张复杂的图片，并让他回答：“摄像机是向左转还是向右转？”
为了帮他，你找了一位专业摄影师（视觉工具，如光流、深度估计工具）。摄影师拍完照后，没有把照片给翻译官，而是直接扔给他一堆原始数据：比如“第 1 行第 1 个像素动了 0.5 像素，第 1 行第 2 个像素动了 0.3 像素……"（这就是论文里说的“原始工具输出”）。

结果是什么？
翻译官看着这堆密密麻麻、像乱码一样的数字（像素级数据），完全晕了。他虽然很聪明，但这些数据不是他熟悉的“语言”。于是，他只能瞎猜，或者依赖自己的老经验（语言偏见），导致回答错误。这就好比给一个只会说中文的人看一堆二进制代码，让他猜代码的意思。

2. 解决方案：P2（感知程序）—— 把数据翻译成“导游图”

这篇论文提出了一种叫 P2 (Perception Programs，感知程序) 的新方法。

P2 做了什么？
它就像一位超级翻译，站在摄影师和翻译官中间。

摄影师把原始数据（像素运动、深度值）交给 P2。
P2 把这些乱糟糟的数据，提炼成人类能看懂的“导游图”（语言化的摘要）。
- 比如，它不会说“像素 (10,10) 动了 0.5"，而是说：“图片左边的大部分区域都在向右移动”。
- 它不会给出一张深度图，而是说：“图片中间的物体离得近，边缘的物体离得远"。
最后，P2 把这张“导游图”（结构化、语言化的文本）交给翻译官。

结果是什么？
翻译官现在看到的不再是乱码，而是清晰的文字描述：“左边向右动”。他立刻就能运用自己的逻辑推理能力，得出正确答案：“摄像机肯定是向右转的！”

3. 为什么这招这么管用？

论文通过实验发现，这招效果惊人：

不用重新训练：不需要给翻译官（大模型）上补习班，也不需要改他的脑子。P2 是一个即插即用的模块。
小模型也能变强：即使是能力较弱的小模型（如 40 亿参数的模型），只要配上 P2 这张“导游图”，表现就能超过以前那些需要复杂训练的大模型。
效率更高：以前给模型看原始数据，模型要读几万个字（Token）才能看懂；现在看 P2 的“导游图”，只需要读几十个字，既快又准。

4. 生活中的类比

原始工具输出：就像医生给你看一张CT 扫描的原始胶片，上面全是黑白的灰度条，让你自己判断哪里骨折了。普通人（大模型）根本看不懂。
P2 (感知程序)：就像医生先看了胶片，然后给你写了一张诊断报告：“左腿胫骨中段有骨折，右腿正常”。你（大模型）一看报告，立刻就能给出治疗方案。

总结

这篇论文告诉我们：在让 AI 理解视觉世界时，关键不在于给更多的数据或更大的模型，而在于如何“包装”这些数据。

把复杂的视觉信号（像素）翻译成 AI 最擅长的语言（文字摘要），就像给 AI 戴上了一副“语言眼镜”，让它能真正“看懂”图片，而不是被像素淹没。这就是 P2 的魔力。

论文技术总结：《Don't Show Pixels, Show Cues: Unlocking Visual Tool Reasoning in Language Models via Perception Programs》

1. 研究背景与问题 (Problem)

多模态大语言模型（MLLMs）正越来越多地与视觉工具（如深度估计、光流、特征匹配等）结合，以增强视觉推理能力。然而，现有的方法存在一个核心瓶颈：

信息表示错位：当视觉工具生成的原始输出（通常是密集的像素级数据，如深度图、光流场）直接输入给 MLLM 时，这些数据与 MLLM 基于语言的原生推理能力不匹配。
感知利用不足：MLLMs 往往无法有效利用这些丰富的视觉线索，倾向于依赖语言先验（Language Priors）而非真正的视觉感知，导致在需要精细视觉理解的任务（如相对深度、多视图推理）上表现不佳。
现有方法的局限：之前的尝试（如程序合成、思维链工具调用、微调等）要么计算成本高，要么仍然停留在像素级粒度，未能解决“视觉工具输出”与“语言模型推理”之间的根本表示不匹配问题。

核心问题：在视觉工具已能提供必要线索的情况下，MLLM 性能提升的瓶颈究竟是工具调用次数或模型规模，还是视觉信息的表示方式？

2. 方法论：感知程序 (Perception Programs, P2)

作者提出了一种无需训练、模型无关的方法，称为感知程序（Perception Programs, P2）。其核心思想是将密集的像素级工具输出重写为紧凑、结构化、**语言原生（Language-Native）**的摘要，使 MLLM 能够像“阅读文本”一样直接“阅读”视觉模态。

2.1 核心机制

P2 将视觉工具的输出标准化为一种符号框架，包含三个关键要素：

是什么 (What)：感知信号的具体内容（如深度值、运动方向）。
在哪里 (Where)：信号在图像中的空间位置（归一化坐标）。
关系 (How)：局部区域之间的逻辑关系（如“在...前面”、“相邻”）。

2.2 构建流程

原语提取：将图像划分为网格（Patch）或提取关键点。
结构化输出：为每个原语生成结构化条目 $I_p = (p, c_p, r_p, b_p)$ ，其中包含标识符、归一化坐标、模态读数（如深度范围、运动方向）和可选标签。
关系生成：基于统计比较生成符号三元组（如 (A, 在B前面, B)）。
序列化：将上述信息序列化为 YAML 风格的文本块，直接输入给 MLLM。

2.3 多模态实例化

P2 针对不同视觉任务进行了具体适配：

深度估计：将深度图划分为网格，记录每个网格的最小/最大深度值，并生成“前后”关系。
光流 (Optical Flow)：计算网格的平均水平运动分量，输出为离散的“左”或“右”。
视觉/语义对应：将匹配点归一化坐标，输出相似度分数。
拼图 (Jigsaw)：计算候选块与缺失边缘的结构/颜色相似度。
目标检测：直接输出检测框坐标、类别和置信度。

3. 关键贡献 (Key Contributions)

统一的表示框架：提出了 P2，一种将视觉工具输出转化为视觉接地（Visually-grounded）语言摘要的符号框架。它无需微调模型，适用于不同规模和架构的 MLLM。
全面的评估验证：在 BLINK 基准的 6 个感知核心任务（多视图推理、相对深度、视觉对应等）上进行了广泛测试。
- 大幅性能提升：使用 GPT-5 Mini 作为基座，P2 将多视图推理准确率从 41.35% 提升至 86.47%，相对深度从 52.42% 提升至 81.45%。
- 小模型也能强：在较小的开源模型（如 InternVL3.5-4B, Qwen3VL-4B）上，P2 带来了 21-25% 的绝对增益，超越了之前基于强化学习或监督微调的复杂方法。
- SOTA 刷新：在所有测试任务中，P2 均刷新了现有最佳结果（State-of-the-Art）。
瓶颈分析：通过实验证明，MLLM 难以利用原始工具输出（如深度图）是因为其无法从密集像素中提取相对顺序。P2 通过语言化摘要解决了这一“表示瓶颈”，而非依赖更多的工具调用或更大的模型。

4. 实验结果 (Results)

基准测试：在 BLINK 的 6 个子任务中，P2 相比“标准 MLLM"（仅输入图像）和“原始工具增强”（输入像素级工具输出）均取得了显著优势。
对比分析：
- 相比之前的工具使用方法（如 Visual Sketchpad, Thyme, LATTE），P2 在更小的模型上实现了更高的准确率。
- 效率：P2 显著降低了 Token 消耗（相比 Visual Sketchpad 减少了大量 Token），因为它是紧凑的文本摘要而非执行代码或生成大量中间状态。
- 泛化性：在 GPT-5 Mini、Gemini 2.5 Pro 以及多个开源模型（InternVL, Qwen）上均表现出一致的提升。
消融与归因：实验表明，当视觉工具已提供线索时，限制性能的不是工具本身，而是 MLLM 无法“读懂”像素级数据。P2 成功地将证据转化为模型可解析的语言形式。

5. 意义与影响 (Significance)

范式转变：该工作指出，提升 MLLM 视觉推理能力的关键可能不在于开发更复杂的工具或更大的模型，而在于如何表示视觉信息。
即插即用：P2 是一个无需训练、无需修改模型架构的插件模块，可以无缝集成到现有的 Agent 工具调用流程中。
可解释性：通过将视觉信号转化为语言，P2 不仅提高了性能，还增强了模型推理过程的可解释性，使 MLLM 能够明确地“引用”视觉证据。
未来方向：为感知与语言之间的接口设计提供了新的原则，表明将多模态信号转化为语言原生结构是解锁 MLLM 感知能力的关键路径。

总结：这篇论文通过引入“感知程序（P2）”，成功解决了 MLLM 难以利用视觉工具输出的问题。它证明了将像素级数据转化为结构化语言摘要，能让通用 MLLM 在不进行任何训练的情况下，获得接近甚至超越专用感知模型的推理能力，为多模态 AI 的发展提供了高效且通用的新范式。