技术摘要：多模态关注度的起伏

1. 问题陈述

视觉语言模型（VLMs）已展现出强大的推理能力，但它们在多步推理过程中经常遭受视觉证据退化的问题。一旦视觉信息被吸收进语言堆栈，其影响力往往会随着深度的增加而减弱，或与语言组织发生纠缠，亦或在生成过程中发生漂移。这导致了“视觉忽视”现象，即模型依赖语言先验而非基于事实的视觉证据，从而导致幻觉和推理失败。

虽然先前的研究尝试通过对比解码、注意力重分配或激活引导来缓解这些问题，但对于视觉证据如何在网络深度范围内进行组织和使用的统一理解仍然不明。具体而言，目前尚不清楚这些失效模式是源于单一的演变过程还是不同的线索，以及干预措施应如何追踪随着推理进展而变化的视觉证据角色。

2. 方法论

2.1 机理分析：视觉接力窗口 (Visual Relay Window, VRW)

作者首先通过机理视角研究了 VLMs 的内部动态。通过追踪 Transformer 层中的两个特定注意力探针，他们发现了一种稳定的三阶段重新分配的多模态关注度模式：

1. 早期阶段（问题驱动的组织）： 模型将视觉输入与查询进行对齐。注意力由问题导向探针（$M_{A \to Q}$）主导，而视觉内部注意力（$M_{I \to I}$）较低。
2. 中期阶段（视觉主导的接力）： 这是一个关键阶段，平衡发生了转移。随着模型整合视觉证据并组装与答案相关的结构，视觉内部注意力显著上升。问题导向探针则逐渐消退。
3. 后期阶段（答案形成）： 计算回归到语言侧，以生成最终答案，并将组装好的视觉支持进行移交。

作者将中期阶段定义为视觉接力窗口（VRW）。他们定义了一个接力支配得分 $R(l) = M_{I \to I}^{(l)} - M_{A \to Q}^{(l)}$（经过联合归一化处理），用以识别视觉整合占主导地位的区间 $[s, e]$。

来自分析的关键发现：

• 任务依赖的几何特性： VRW 并非固定不变；其宽度和终止深度会根据任务需求进行调整。“细节密集型”任务（如计数）表现出更宽、延迟更久的接力窗口，而“推理密集型”任务则表现出较短的窗口和更早的移交。
• 接力失配： 幻觉（无依据）答案与接力几何结构的失配存在因果联系。这些轨迹通常过早退出接力阶段（窗口过窄），或者在移交后未能保持强力的视觉锚定，从而向语言先验漂移。
• 因果验证： 在估计的无依据轨迹的 VRW 内进行状态扰动，可以显著恢复有据可依的响应（恢复率达 41.4%），而对该窗口之外的扰动效果微乎其微。

2.2 TRACE 框架

基于上述发现，作者提出了 TRACE（任务自适应接力锚定与受控证据调度），这是一个由三个轻量化训练模块组成的推理时控制框架：

1. 学习型接力预测器： 一个轻量级的 MLP，基于紧凑的注意力统计数据（视觉自注意力质量、其变化量、问题到视觉的注意力以及层深度）来预测每个预填充（prefill）层的“接力得分”。它用于识别哪些层可能参与接力。
2. 任务感知接力调度：
   • 预填充阶段： 利用预测器的输出，调度器动态调节视觉对视觉的注意力偏差。它可以为对接地敏感的任务扩展接力阶段，或为推理密集型任务收缩接力阶段。
   • 动态选择： 它维持一个与任务相关的视觉 Token 子集（基于问题到视觉的相关性进行 Top-P 筛选），以将干预集中在被招募的证据上。
3. 移交后锚定： 一旦接力阶段结束（通过阈值停止规则识别），框架会对“答案对视觉”的 Logits 应用随深度衰减的加性偏差。这确保了组装好的视觉支持在解码阶段仍可获取，防止模型偏离证据。

该框架通过在监督三元组上对预测器、调度器和锚定损失进行联合优化进行训练，同时保持基础 VLM 参数冻结。

3. 核心贡献

1. 结构化识别： 本文识别了跨深度分布的稳定的三阶段多模态关注度重新分配，并将中间阶段形式化为视觉接力窗口（VRW），为内部证据组装提供了结构化度量。
2. 机理解释： 建立了最优接力时机与有据生成之间的因果联系，证明了幻觉通常源于任务的证据需求与模型的接力几何结构之间的失配。
3. 统一干预（TRACE）： 作者引入了一个在预填充期间重塑接力分配并在解码期间保留支持的框架。该方法通过单一控制原则解决了幻觉缓解和复杂推理问题，而非为每种问题设计单独的修复方案。

4. 实验结果

TRACE 在 四种开源 VLM 主干网络（Qwen3-VL-4B/8B, InternVL3. 5-4B/8B）上进行了评估，涵盖了七个基准测试，涉及接地敏感性、细粒度证据和推理密集型任务。

• 接地敏感型设置： TRACE 在 HallusionBench、VlmsAreBlind 和 CountBench 上取得了显著提升，平均提升 4.33 个百分点，在特定模型-基准对上最高提升达 6.6 个百分点（例如 InternVL3.5-8B 在 HallusionBench 上的表现）。
• 推理密集型任务： 它同样提升了 MathVista 的性能（平均提升 3.05 个百分点），证明了通过调整接力几何结构，可以在证据组织完成后更早地移交给语言侧进行推理，从而使推理任务受益。
• 对比实验： TRACE 的表现优于原始推理、自一致性（Self-consistency）、思维链（CoT）以及各种推理时控制基准（VCD, PAI, MARINE, PTI, DMAS）。
• 消融实验： 移除三个核心组件（预测器、调度器、锚定）中的任何一个都会导致性能下降，这证实了重塑接力几何结构的特定机制至关重要，而不仅仅是增加了可训练参数。

5. 重要性与主张

本文主张，通过跨深度显式控制多模态关注度，提供了一种增强证据驱动推理的统一且有效的机制。通过将多样化的下游任务需求置于单一底层计算节奏（即接力）的视角下观察，TRACE 避免了对特定任务启发式规则的需求。

作者强调，其工作为典型的幻觉（接力过早终止）以及标准模型与“思考型（Thinking）”模型之间的能力差异提供了机理上的解释（更好的接力匹配）。虽然目前的分析依赖于基于注意力的探针和单图设置，但该工作提出了一种通过将模型的内部证据组装过程与特定任务需求相匹配，来实现更可靠多模态推理的通用范式。