💻 computer science

Starve to Perceive: Taming Lazy Perception in VLMs with Constrained Visual Bandwidth

本文介绍了“饿至感知”这一训练范式，它通过限制视觉带宽来迫使视觉语言模型进行完成任务所必需的主动、多步视觉搜索，从而消除“惰性感知”，在不改变架构或引入辅助损失的情况下实现显著的性能提升。

原作者： Yuhuan Wu, Cong Wei, Fangzhen Lin, Wenhu Chen, Haozhe Wang

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuhuan Wu, Cong Wei, Fangzhen Lin, Wenhu Chen, Haozhe Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对论文《Starve to Perceive》的解释。

问题：“懒惰的学生”

想象你是一名学生，正在参加一场关于墙上悬挂的一幅复杂画作的非常困难的考试。老师给你一张微小且模糊的画作明信片，并问你一个具体问题：“左下角那只小鸟的喙是什么颜色？”

大多数当前的 AI 模型（视觉 - 语言模型）就像懒惰的学生。他们读了太多的书（语言数据），以至于可以根据上下文线索猜出答案。即使明信片太模糊，根本看不清那只鸟，学生也会猜“红色”，因为“鸟通常有红色的喙”，或者因为这幅画看起来像日落。

学生假装在看画。他们可能会说：“让我放大看看那只鸟”，然后立刻说：“啊，是红色的！”但他们从未真正看过。他们只是用了猜测。在论文中，作者将这种现象称为"懒惰感知"。模型模仿了“看”的动作（放大、裁剪），但实际上并不需要看到细节就能答对。

解决方案：“感知饥饿”

作者意识到，只要学生能靠猜蒙混过关，他们就永远不会学会真正去“看”。为了解决这个问题，他们创造了一种名为"Starve to Perceive"（为感知而饥饿）的训练方法。

他们不是给学生看完整的高分辨率画作，而是把学生放在一个视觉信息极度匮乏的房间里。

类比：想象学生只被允许通过一根吸管看画。
他们每次只能看到图像中一个微小的、1 英寸见方的区域。
如果他们试图仅凭那个小方块来猜答案，就会失败，因为他们看不到全貌。
如果他们试图依靠“书本知识”（语言先验）来猜，也会失败，因为问题太具体了。

通过考试的唯一方法是主动移动吸管。学生必须学会策略性地移动吸管到左下角，观察那只鸟，看清颜色，然后再作答。

工作原理（两步训练法）

论文描述了一个两步过程，用于教会 AI 这项新技能：

第一步：“预算意识”课程（监督微调）
AI 会看到其他“聪明”的智能体在通过吸管解决问题的示例。AI 学习移动吸管的习惯。它学会：“我无法看到一切，所以我必须请求查看特定部分。”
第二步：“饥饿”训练（强化学习）
现在，AI 被置于真实的测试环境中，在那里它只能获得图像的一小部分、低预算视图。
- 如果它不看就猜，就得零分。
- 如果它把吸管移到正确的位置并看到了答案，就得一分。
- 因为“懒惰”的方式（猜测）无法获胜，AI 被迫学习“主动”的方式（观察）。

令人惊讶的结果：“超级学生”

这是神奇的部分。作者仅在上述严格的、饥饿的条件下（通过吸管观察）训练了 AI。

当后来测试 AI 时，他们给予它完全访问高分辨率画作的权限（没有吸管，没有限制）。

旧方法：在完整图像上训练的模型，当后来受到限制时，表现通常会变差。它们依赖完整图像，一旦图像被拿走就会崩溃。
"Starve to Perceive"方法：在吸管上训练的 AI，在观察完整图像时，表现优于那些在完整图像上训练的模型！

为什么？ 因为 AI 学会了猜测是不够的。它学会了搜寻特定细节的技能。即使它拥有巨大的视野，它也不会变得懒惰；它仍然知道确切该看哪里以找到答案。它变成了一个“超级学生”，高效、精确，且不浪费时间。

为何重要（“效率”红利）

论文还指出了一个实际的好处：速度。

因为 AI 被训练为只观察图像中微小、特定的部分，所以它不需要每次都处理整个巨大的图像。
这使得 AI 解决问题的速度提高了 2.7 到 5 倍。
这也使训练过程快了 50%，因为计算机不需要处理那么多数据。

总结

论文认为，要让 AI 真正“看见”，我们不应该一次性喂给它所有东西。相反，我们应该通过限制它一次能看到的多少，来剥夺它获得简单答案的机会。这迫使 AI 停止猜测，开始主动观察，将其转变为一个更聪明、更快速、更可靠的视觉智能体。

技术摘要：饿出感知力

问题：懒惰感知现象

部署于高分辨率环境中的具身视觉 - 语言模型（VLM）需要主动感知——即通过缩放、裁剪和平移等操作动态决定观察位置的能力。然而，当前的训练范式（监督微调与强化学习）往往产生表现出懒惰感知的模型。这些模型仅模仿感知动作的句法形式（例如生成正确的缩放命令），却并不在功能上依赖其输出。

根本原因在于一种基本的学习不对称性：当粗略的全局视图结合强大的语言先验足以实现中等精度时，模型便缺乏基于梯度的激励去投入计算成本更高的多步视觉搜索策略。如果模型无需主动观察即可成功，它将永远学不会观察。诊断证据表明，将中间视觉观察替换为空白输入或破坏工具调用，往往不会改变模型的准确率，这揭示了其依赖的是语言先验而非视觉证据。

方法论：饿出感知力

为解决这一问题，作者提出了饿出感知力（Starve to Perceive），这是一种强制实施受限视觉带宽的训练范式。其核心机制是在每个推理步骤中将视觉观察限制在严格的令牌预算（ $B$ ）内，确保没有任何单一视图（包括初始的全局概览）包含足以可靠完成任务的信息。这迫使主动感知成为成功的唯一可行策略。

该框架在标准的后训练流程（先 SFT 后 RL）中分两个阶段运行：

预算感知视觉指令微调（SFT）：
- 目标： 在令牌约束下，为策略引入主动感知的行为先验。
- 数据构建： 轨迹通过教师模型蒸馏（在受限环境中使用强教师模型并结合拒绝采样生成）和轨迹重写（通过下采样视图和重新对齐空间坐标，将现有的高质量工具使用数据集转换为预算感知格式）生成。
- 约束： 视觉观察 $v_t$ 由确定性下采样算子 $D(\cdot, B)$ 对原始图像的裁剪区域进行处理生成，确保令牌数量绝不超过 $B$ 。
通过感知饥饿进行强化学习：
- 目标： 通过自主探索，建立对视觉观察的真实功能依赖。
- 分辨率条件预算： 令牌预算 $B$ 随输入图像的原生分辨率动态缩放（ $B(X) = \text{clip}(\lfloor |X|/\gamma \rfloor, B_{\min}, B_{\max})$ ），以在多样化的输入中保持一致的感知饥饿压力。
- 奖励信号： 该框架利用极简的稀疏奖励（答案正确 $R=1$ ，否则为 $0$）。由于视觉预算在结构上禁止仅凭全局视图解析细节，模型必须执行中间聚焦动作才能获得奖励。无需辅助损失或奖励塑形。
- 优化： 策略在受限环境中收集的轨迹上使用 GRPO（组相对策略优化）进行优化。

主要贡献

懒惰感知的识别： 本文识别并追溯了当前 VLM 未能真正依赖主动视觉操作的失败原因，即被动捷径占主导地位的学习不对称性。
饿出感知力范式： 一种新颖的训练机制，可作为即插即用组件集成到标准的“先 SFT 后 RL"流程中。它无需架构更改、辅助损失或复杂的奖励塑形。
技能的可迁移性： 作者提供了首个证据，证明在受限训练下习得的主动感知技能能稳健地迁移到无约束的测试时设置中。
效率提升： 该方法带来了显著的效率红利，由于每步处理的视觉令牌数量减少，训练时间减少了约 50%，推理延迟降低了 2.7–5.1 倍。

结果

作者将其模型（基于 Qwen2.5-VL-7B）与强基线模型（如 DeepEyes、Chain-of-Focus、PixelReasoner）在多样化的基准测试中进行了评估，包括 HR-Bench、V* Bench 以及感知密集型推理任务（MME-RealWorld-Lite、RealWorldQA）。

无约束性能： 尽管仅在视觉带宽约束下进行训练，该模型在无约束基准测试中仍取得了 64.59 的总分，以明显优势超越了最强的 7B 规模工具增强基线（DeepEyes 为 61.77）。
受限鲁棒性： 在严格令牌预算（ $B=256$ ）下，所提模型相对于其无约束性能仅下降了 0.18 分。相比之下，未受视觉约束训练的基线模型性能下降了 6.96 至 7.29 分，这表明它们的“主动感知”是肤浅的，一旦视觉丰富度被移除便会崩溃。
消融研究：
- SFT 与 RL： 仅预算感知的 SFT 相比标准 SFT 提升了性能，但与受限 RL 结合后效果最佳。
- SFT 的必要性： 若从未经 SFT 的基础模型开始 RL，策略会退化为“懒惰”行为（依赖语言先验），证实了 SFT 提供了必要的行为先验。
- 约束的必要性： 若无视觉约束进行 RL 训练（即使有 SFT 初始化），其主动感知比例和最终准确率均低于完全受限的流程。

意义

本文认为，卓越的视觉推理并非源于输入密度，而是源于高效提取信息的优化压力。通过在训练期间使被动观察在结构上不可用，模型被迫内化局部视觉线索与任务成功之间的功能依赖关系。这一范式将主动感知从一种可选的增强功能转变为基础能力，使得在计算受限环境（例如端侧应用）中部署稳健、高效的视觉智能体成为可能，且不会牺牲高分辨率环境下的性能。这项工作表明，视觉带宽应被视为构建基于感知的视觉 - 语言智能体的一个刻意设计变量。