技术摘要：基于序贯实验设计的主动推理视觉 - 语言模型

1. 问题陈述：感知带宽瓶颈

现代视觉 - 语言模型（VLM）在全局场景理解方面表现出色，但在细粒度推理任务（如小物体计数、光学字符识别（OCR）和精确空间定位）方面却面临困难。作者指出，其根本原因在于感知带宽瓶颈。标准的 VLM 编码器（例如基于 ViT 的编码器）无论输入分辨率如何，都将高分辨率图像投影到固定数量的视觉标记上。当处理高分辨率场景的全局视图时，这种固定的标记预算会充当有损压缩，将大面积空间聚合为单个标记，从而抹去细粒度细节。因此，关键的语义信息在初始编码阶段丢失，导致模型在架构上无法对其潜在空间中缺失的细节进行推理。

现有的主动视觉策略通常依赖碎片化的启发式方法（例如滑动窗口、潜在思维链），或缺乏统一的理论基础来量化不确定性。它们未能提供一种原则性的方法，让智能体在目标不可见时决定下一步观察何处，特别是在连续的古像素（gigapixel）搜索空间中。

2. 方法论：作为序贯贝叶斯最优实验设计（S-BOED）的主动视觉

本文提出将主动视觉信息获取框架化为**序贯贝叶斯最优实验设计（S-BOED）**问题。这种方法在科学实验与主动视觉感知之间建立了同构关系：正如科学家选择实验以区分假设，主动智能体选择“注视”动作（空间裁剪）以最小化关于用户查询的不确定性。

2.1 生成过程与物理约束

该框架将 VLM 建模为受**感知带宽（$B$）**约束的随机传感器，定义为固定的编码器容量。这引发了密度与面积之间的权衡：

• 分辨率概率（$\phi$）： 细粒度特征被解析的概率是信息密度（$\rho = B / \text{Area}$）的饱和函数。
• 可见性事件（$S$）： 一个二元潜在变量，指示目标是否被成功捕获。可见性需要同时满足空间覆盖（目标位于裁剪区域内）和感知分辨率（密度超过“语义奈奎斯特率”）。
• 观测模型： 观测值 $z$ 是信号与噪声的混合，由可见性事件 $S$ 门控。如果 $S=0$（未解析），观测值仅包含与语义目标无关的背景噪声。

2.2 目标：期望信息增益（EIG）

智能体的目标是选择一系列设计（裁剪）$d_{1:T}$，以最大化关于潜在状态 $\theta = \{\ell, y\}$（空间位置和语义身份）的累积期望信息增益（EIG）。

• 信息悬崖： 作者指出，视觉觅食通常具有超加性。广角视图可能定位目标但无法解析它，而随机缩放可能解析它但错过位置。两者单独产生的增益均接近于零；只有它们的序列才能产生高信息量。这需要非近视（前瞻）规划，而非简单的贪婪选择。

2.3 可处理近似：覆盖 - 分辨率目标

由于在连续古像素空间中进行精确贝叶斯推断是不可处理的，作者在三个关键假设下推导出了闭式近似：

1. 因子化信念： 在规划过程中，空间搜索与语义识别暂时解耦。
2. 校准的可见性： VLM 能够区分“已解析”和“未解析”的内容（即 $H(S|z,d) \approx 0$）。
3. 理想观测者： 如果目标被成功注视并解析，VLM 将以高保真度提取语义信息，将条件熵坍缩为零。

在这些假设下，EIG 简化为最大化覆盖 - 分辨率乘积：
$$J(d) \approx \left( \int_{x \in d} p_t(x) dx \right) \times \phi(d)$$
其中第一项是覆盖度（目标位于裁剪区域内的概率），第二项是分辨率（裁剪区域具有足够高密度以解析特征的概率）。

2.4 算法实现

该框架被实现为一种无需训练的推理策略：

• 隐式信念跟踪： 智能体不使用显式网格，而是利用 VLM 在交互历史上的自注意力机制来隐式更新其后验信念（通过否定证据进行贝叶斯更新）。
• 局部探测： 为了估计效用 $J(d)$，系统生成候选裁剪，并用“可解析性探测”（是/否问题：“此裁剪是否包含足以回答查询的信息？”）查询 VLM。该信号作为理论可见性概率的代理。
• 搜索策略：
  • 贪婪： 使用基于扰动的局部搜索（例如 MCMC 或朴素采样）来最大化即时效用。
  • 前瞻： 模拟未来状态以最大化预期未来价值，通过规划动作序列来解决“信息悬崖”。

3. 主要贡献

1. 原则性框架： 本文引入了 S-BOED 作为主动视觉推理的严格形式化方法，弥合了受分辨率限制的觅食与最优决策之间的差距。它为视场与分辨率之间的权衡提供了理论解释。
2. 可处理求解器： 作者推导出了覆盖 - 分辨率目标作为不可处理 EIG 的代理。他们开发了一个灵活的推理流程，支持高效的近视优化和前瞻规划，而无需重新训练模型。
3. 可扩展验证： 该方法在使用配备多种视觉工具（裁剪、检测、分割、深度、OCR）的智能体进行的古像素级基准测试中得到了验证。

4. 实验结果

该方法在四个基准测试上进行了评估：HR-Bench、MME-RealWorld-Lite、V*Bench 和 CV-Bench，涵盖了细粒度识别、小物体搜索和 3D 推理。

• 性能提升： 使用 Qwen3-VL-30B 骨干网络，S-BOED 框架取得了 77.7% 的平均分数，显著优于 ReAct 基线（75.1%）和标准 Qwen3-Base（73.3%）。它也超过了相关的主动感知基线 RAP（71.9%），并接近专有模型如 Gemini 2.5 Flash（78.0%）的性能。
• 泛化能力： 该策略在较小的 8B 骨干网络上也提高了性能，表明这些增益并非特定于单一模型规模。
• 古像素机制： 在遥感图像的压力测试（MME-RealWorld-Lite）中，前瞻规划器达到了 54.7% 的准确率，缩小了与人工标注的 Oracle（68.0%）的差距，并显著优于贪婪策略（49.1%）。
• 计算 - 准确率前沿： 作者展示了搜索预算（标记数）与准确率之间的单调关系。虽然贪婪策略计算成本更低，但在搜索主导的机制中，前瞻规划能带来更大的增益。

5. 意义与主张

本文主张，通过将主动视觉推理形式化为序贯贝叶斯最优实验设计问题，它为模型与高分辨率数据交互提供了一种更稳健、更原则化的方式。

• 克服带宽限制： 该框架有效解决了现代 VLM 固有的感知带宽瓶颈，使智能体能够解析标准被动模型无法处理的古像素环境中的细粒度细节。
• 超越启发式： 与之前依赖模式匹配或碎片化启发式的方法不同，该方法为量化不确定性和决定下一步观察何处提供了统一的理论基础。
• 效率与规模： 结果表明，实验设计方法提供了一条比单纯增加模型规模或依赖静态工具使用更高效的通往高分辨率理解的路径。

作者承认了局限性，指出性能最终受限于骨干 VLM 固有的识别可靠性（即使有完美的裁剪，模型仍可能产生幻觉），并且随机采样过程会产生额外的延迟。然而，他们将此框架定位为计算 - 准确率前沿，提供了从低延迟贪婪采样到高准确率前瞻规划的一系列策略。