Q-Zoom: Query-Aware Adaptive Perception for Efficient Multimodal Large Language Models

论文标题：Q-Zoom: 面向高效多模态大语言模型的查询感知自适应感知框架

1. 研究背景与核心问题 (Problem)

多模态大语言模型（MLLMs）在处理文档理解、密集场景感知等细粒度任务时，通常需要高分辨率的视觉输入。然而，现有的高分辨率处理范式存在显著缺陷：

• 计算冗余与效率瓶颈：当前的全局分辨率缩放方法（Global Resolution Scaling） indiscriminately（不加区分地）将大量视觉上冗余的背景 Token 注入到 MLLM 的二次方自注意力机制中。这不仅浪费了计算资源，还严重限制了推理吞吐量。
• 忽略查询意图与空间稀疏性：现有方法假设所有查询都需要最大化的视觉保真度，忽略了用户查询的意图（许多简单问题仅需粗略特征即可回答）以及图像内容的空间稀疏性（大部分区域是背景）。
• 现有替代方案的局限性：
  • 无训练方法（Training-free）：依赖启发式规则或注意力图提取，通常需要多次冗余的预填充（prefilling）或昂贵的自回归解码，导致推理延迟高且泛化性差。
  • 强化学习方法（RL-based）：如"Think-with-Image"范式，通过让 LLM 生成代码或坐标来定位感兴趣区域（RoI）。虽然有效，但将计算负担转移到了语言模型上，依赖长链式思维（CoT）解码导致延迟剧增，且训练成本高、不稳定。

2. 方法论 (Methodology)

Q-Zoom 提出了一种查询感知（Query-Aware）的自适应高分辨率感知框架，在单次预填充（Prefilling）阶段内，通过“由粗到细”的两阶段策略解决上述问题。

核心组件：

1. 动态门控网络 (Dynamic Gating Network)

   • 功能：作为智能路由器，评估当前查询是否需要高分辨率细化。如果粗略的全局特征足以回答问题，则直接跳过高分辨率处理。
   • 训练策略：采用一致性感知样本生成策略 (Consistency-Aware Sample Generation)。通过在单调递增的分辨率轨迹上评估模型响应，仅当模型在低分辨率下失败但在高分辨率下成功时，才标记为“需要细化”。这避免了人工标注，生成了确定性的路由标签。
   • 架构：轻量级网络，直接复用 MLLM 中间层的预训练权重，仅微调少量参数。

2. 自蒸馏区域提议网络 (Self-Distilled Region Proposal Network, SD-RPN)

   • 功能：当门控网络判定需要细化时，SD-RPN 直接从中间特征空间中精确定位任务相关的感兴趣区域（RoI），而非处理整张高分辨率图像。
   • 训练策略：采用全自监督蒸馏范式。利用 MLLM 内部交叉注意力图（Cross-Attention Maps）作为伪标签，通过去噪（去除 Sink Tokens）和三态标签分配（高置信度前景、背景、忽略区域）来生成监督信号，无需外部标注数据。
   • 推理流程：基于预测的热图裁剪 RoI 并重新编码，仅将细粒度 Token 与原始全局 Token 结合。

3. 连续时空对齐与针对性微调 (Spatio-Temporal Alignment & Targeted Post-SFT)

   • 问题：处理裁剪后的局部 RoI 和全局图像可能导致空间错位，破坏模型的空间推理能力。
   • 解决方案：
     • 连续时空位置编码：引入时间偏移（Temporal Shift）和空间插值（Spatial Interpolation），将局部 RoI 的 Token 映射回原始图像的全局坐标体系中。
     • 针对性后监督微调 (Post-SFT)：通过“LLM-as-a-Judge"挖掘基线模型成功但 RoI 模型失败的“硬样本”，仅对 LLM 骨干进行微调，使其学会融合局部细节与全局布局，恢复空间推理能力。

3. 核心贡献 (Key Contributions)

1. 提出 Q-Zoom 框架：首个在单次预填充阶段内，同时解决查询级冗余（通过门控）和空间冗余（通过 SD-RPN）的自适应框架，将感知保真度与二次方计算成本解耦。
2. 数据高效的优化策略：
   • 设计了一致性感知样本生成方法训练门控网络，无需人工标注。
   • 提出了自监督三态蒸馏范式训练 SD-RPN，摆脱了对昂贵 RL 流程或外部检测器（如 GroundingDINO）的依赖。
3. 解决空间错位问题：设计了连续时空位置编码方案结合针对性 Post-SFT，有效解决了局部 RoI 与全局上下文融合时的空间推理退化问题。
4. 广泛的适用性：在 Qwen2.5-VL、Qwen3-VL、LLaVA 以及新兴的基于 RL 的“图像思考”模型上均验证了有效性，证明了其作为即插即用模块的通用性。

4. 实验结果 (Results)

实验在 Document & OCR（文档与 OCR）及 High-Resolution（高分辨率）基准测试上进行，主要结果如下：

• 性能与效率的 Pareto 前沿：Q-Zoom 在保持甚至超越基线峰值精度的同时，显著提升了推理速度。
  • 文档与 OCR 任务：在 Qwen2.5-VL-7B 上，推理速度提升 2.52 倍，视觉 Token 成本降低 53.0%，且精度匹配甚至超越基线。
  • 高分辨率场景：推理速度提升 4.39 倍，视觉 Token 成本降低 73.2%。
  • 峰值性能：在配置为最大感知保真度时，Q-Zoom 在文档/OCR 和高分辨率基准上分别比基线峰值性能高出 1.1% 和 8.1%。
• 对比优势：
  • 相比无训练方法（如 ViCrop），Q-Zoom 避免了多次预填充，速度更快。
  • 相比 RL 方法（如 Thyme），Q-Zoom 避免了长 CoT 解码带来的延迟，速度提升超过 4 倍，且精度更高。
  • 相比之前的 SD-RPN 工作，Q-Zoom 通过引入门控机制和空间对齐，在 LLaVA 和 Qwen 系列上均取得了显著的性能和效率提升。

5. 研究意义 (Significance)

• 重新定义高效视觉感知：Q-Zoom 证明了 MLLM 不需要盲目地增加全局分辨率，而是可以通过“按需分配”计算资源来实现高效且精准的感知。
• 推动 MLLM 落地：显著降低了推理延迟和显存占用（Token 数量），使得在资源受限设备或高并发场景下部署高分辨率 MLLM 成为可能。
• 方法论创新：提出的自监督蒸馏和一致性样本生成策略，为训练轻量级辅助模块提供了新的范式，减少了对昂贵标注数据和 RL 训练的依赖。
• 通用性：该框架不仅适用于传统 MLLM，还能与最新的 RL-based 推理模型互补，为构建下一代高效、细粒度的视觉语言模型奠定了基础。

总结：Q-Zoom 通过“先判断是否需要细化，再精准定位细化区域”的自适应机制，成功打破了高分辨率感知与推理效率之间的权衡困境，为 MLLM 的细粒度视觉理解树立了新的状态-of-the-art（SOTA）。