💬 NLP

ResAdapt: Adaptive Resolution for Efficient Multimodal Reasoning

ResAdapt 提出了一种输入侧自适应分辨率框架，通过轻量级分配器结合成本感知策略优化（CAPO）动态调整每帧的视觉预算，在保持多模态大模型骨干网络不变的前提下，显著提升了长视频上下文下的推理效率与精度。

原作者： Huanxuan Liao, Zhongtao Jiang, Yupu Hao, Yuqiao Tan, Shizhu He, Jun Zhao, Kun Xu, Kang Liu

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Huanxuan Liao, Zhongtao Jiang, Yupu Hao, Yuqiao Tan, Shizhu He, Jun Zhao, Kun Xu, Kang Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 ResAdapt 的新方法，旨在解决多模态大模型（MLLM）在处理长视频时“既想看清楚细节，又想看得久一点”的矛盾。

为了让你更容易理解，我们可以把整个过程想象成一位侦探在调查一桩复杂的案件。

1. 核心矛盾：侦探的“精力”有限

想象你是一位侦探（也就是AI 模型），面前有一部长达几小时的监控录像（长视频）。你的任务是找出凶手或回答一个具体问题。

传统做法的困境：
- 全看一遍：如果你把每一帧画面都看得清清楚楚（高分辨率），你的大脑（计算资源）会瞬间过载，根本看不完这么长的视频，或者看得很慢。
- 快速浏览：如果你为了看完整个视频，把每一帧都缩得很小（低分辨率），虽然看完了，但关键的细节（比如凶器上的指纹、嫌疑人衣服上的小字）就模糊不清了，导致你答错了问题。
- 现有的“聪明”办法：
  - 事后压缩：有些方法先让 AI 把视频全看完，然后再把“不重要的信息”删掉。但这就像侦探看完录像后，把关键证据的复印件撕掉了，后悔也来不及了。
  - 反复追问：有些方法让 AI 先猜一下，如果不确定，再让 AI 去“放大”某一段看。但这就像侦探在审讯室里反复问同一个问题，效率很低，而且如果一开始猜错了方向，可能永远找不到真相。

2. ResAdapt 的解决方案：聪明的“资源分配官”

ResAdapt 的核心思想是：在侦探开始看录像之前，先派一个“资源分配官”（Allocator）来规划每一帧画面该花多少精力。

这个“分配官”就像一个精明的导演，他手里有一笔有限的“像素预算”（也就是计算资源）。他的工作不是均匀地把钱分给每一帧，而是根据问题和画面内容动态调整：

场景一：无聊的等待
- 如果视频里是几分钟的静态背景，或者两个人在闲聊，分配官会想：“这部分不重要，把画面缩得很小（低分辨率）就行，省下的精力留给后面。”
场景二：关键时刻
- 如果视频里突然出现了文字、快速移动的动作，或者嫌疑人露出了真容，分配官会立刻大喊：“这里很重要！把画面放大，看得清清楚楚（高分辨率）！”
场景三：相似的画面
- 如果连续几帧画面几乎一模一样（比如一个人站着不动），分配官会想：“没必要每帧都放大，选一帧放大，其他的稍微模糊点就行。”

3. 它是如何学习的？（CAPO 与“开环”策略）

这个“分配官”不是靠死记硬背的规则，而是通过强化学习（就像训练一只聪明的狗）自己学会的。

试错与奖励：系统会尝试不同的分配方案。如果分配官把精力花在了关键帧上，并且模型答对了问题，他就得到奖励；如果他把精力花在了无关紧要的地方，或者因为太省劲导致答错了，他就会受到惩罚。
独特的“不对称”奖励：论文提出了一种叫 CAPO 的算法。它的逻辑是：“如果你省了钱（低预算）还答对了，给你大奖励；如果你花了大钱（高预算）却答错了，给你大惩罚。”这迫使分配官学会“把钱花在刀刃上”。
开环策略（Open-loop）：这意味着分配官在视频开始播放前就做好了所有决定。一旦决定，AI 就按这个计划执行，中间不会停下来重新思考。这就像电影拍摄时，导演在开拍前就定好了哪些镜头用特写，哪些用远景，而不是拍着拍着再改。

4. 效果如何？

实验结果表明，ResAdapt 非常有效：

更长的视频：在同样的计算资源下，它能处理16 倍于普通方法的视频帧数。就像侦探原本只能看 1 小时的录像，现在能看 16 小时，而且关键细节一个没漏。
更高的准确率：特别是在需要复杂推理的任务中（比如回答“为什么男孩最后拿起了毛巾？”），ResAdapt 比那些简单粗暴地删除画面的方法准确率高出很多。
兼容性好：它不需要修改 AI 模型的核心结构，就像给现有的汽车装了一个智能导航系统，不需要换发动机就能跑得更快、更省油。

总结

ResAdapt 就像是给 AI 装上了一双会“聚焦”的眼睛。它不再傻乎乎地平均分配精力，而是学会了**“哪里重要看哪里，哪里不重要糊弄一下”**。

这就好比你在看一场精彩的球赛直播：

普通方法：要么把整个球场都看得很清（累死），要么把全场都缩成小点（看不清进球细节）。
ResAdapt：平时看全景（低分辨率），一旦有人带球突破或射门，瞬间把镜头拉近到特写（高分辨率）。

这种方法让 AI 在处理超长视频时，既省了算力，又没丢下关键信息，是迈向“长视频智能理解”的一大步。

ResAdapt：面向高效多模态推理的自适应分辨率技术总结

1. 研究背景与问题定义

核心痛点：
多模态大语言模型（MLLMs）在处理视频理解任务时，面临着高空间分辨率与长时序上下文之间的根本性矛盾。为了获得更强的视觉理解能力，通常需要增加输入帧的数量或提高单帧分辨率，但这会导致视觉 Token 数量呈指数级增长，使得计算成本变得不可接受。

现有方法的局限性：
现有的效率优化策略主要分为两类，但都存在“干预过晚”的问题：

模型侧 Token 压缩（Model-side）： 在视觉编码后对 Token 进行剪枝或合并。
- 缺点： 一旦细粒度的视觉证据在编码后被丢弃，就无法恢复；且改变了 Token 的布局，破坏了底层优化内核（如 FlashAttention）的兼容性。
输出侧代理推理（Output-side）： 通过多轮交互、迭代检索或放大（Zoom-in）来补充信息。
- 缺点： 引入多轮交互延迟，且如果初始视图过于粗糙，可能已经错过了关键的决定性线索。

本文观点：
瓶颈不在于编码后如何压缩表示，而在于编码器最初接收了多少像素。因此，本文提出在**编码前（Input-side）**进行自适应调整，即在编码之前动态分配每一帧的视觉预算（分辨率或帧选择），而非在编码后压缩。

2. 方法论：ResAdapt 框架

ResAdapt 是一个输入侧自适应框架，其核心思想是学习一个策略，根据查询（Query）和视频内容，在编码前为每一帧分配不同的视觉预算（如调整分辨率大小）。

2.1 核心组件

轻量级分配器（Allocator）：
- 一个独立的轻量级网络，接收粗粒度的视觉特征和文本查询。
- 输出每帧的分配向量 $s = (s_1, ..., s_T)$ ，代表每帧的缩放比例或重要性。
- 关键特性： 它不改变 MLLM 的主干架构。主干网络接收的是经过分配器调整（如缩放）后的标准视觉 Token 序列，因此完全兼容现有的优化推理引擎。
视觉预算算子（Visual Budget Operator）：
- 根据分配器输出的 $s_t$ 对原始帧 $f_t$ 进行变换（实验中主要使用双线性缩放 Resize，即 $\tilde{f}_t = O(f_t, s_t)$ ）。
- 这允许模型在关键帧保持高分辨率，而在冗余帧降低分辨率。
训练策略：成本感知策略优化（CAPO）
- 问题： 直接优化“准确率 - 成本”权衡时，简单的惩罚项会导致策略坍缩到最小预算（即所有帧都压缩到最低），或者方差过大。
- 解决方案：
  - 将分配问题建模为上下文多臂老虎机（Contextual Bandit）。
  - 提出 CAPO (Cost-Aware Policy Optimization)：将稀疏的 Rollout 反馈转化为稳定的、非对称的学习信号。
  - 动态成本枢轴（Dynamic Cost Pivot）： 根据当前策略的平均成本动态调整阈值，避免策略过早坍缩。
  - 非对称塑形（Asymmetric Shaping）： 对“低成本且正确”的样本给予适度奖励，对“高成本且错误”的样本给予更强惩罚。
时序相似性正则化（Temporal Similarity Regularizer）：
- 为了防止相邻的相似帧都被分配高预算（冗余），引入正则化项，抑制在相邻相似帧上重复分配高预算，鼓励模型在单向前向传播中实现内容感知的差异化分配。

3. 主要贡献

ResAdapt 框架： 提出了首个将动态每帧视觉预算分配建模为上下文老虎机问题的输入侧自适应框架，完整保留了 MLLM 的原生架构和硬件优化特性。
CAPO 算法： 提出了一种结合时序相似性正则化的成本感知策略优化方法，提供了稳定、非对称的学习信号，无需人工启发式规则即可联合优化准确率与成本。
性能突破： 在多个视频问答（Video QA）和时序定位（Temporal Grounding）基准测试中，ResAdapt 在低预算操作点上显著优于现有方法，经常位于或接近效率 - 准确率的前沿（Pareto Frontier）。

4. 实验结果

4.1 视频问答（Video QA）

低预算下的优势： 在视觉 Token 保留率仅为 10%-12% 的极端压缩条件下，ResAdapt 在推理密集型基准（如 VideoMMMU）上表现优异。
- 例如：在 Qwen2.5-VL-7B 上，32 帧输入且保留率 11.4% 时，ResAdapt 在 VideoMMMU 上达到 45.7 分，显著优于 ToMe (39.2)、VisionZip (39.1) 等模型侧压缩方法。
推理能力增强： 相比感知类任务，ResAdapt 在需要多步推理的任务上提升更为明显，因为它能更精准地保留决定性的细粒度证据。

4.2 时序定位（Temporal Grounding）

鲁棒性： 时序定位任务对压缩非常敏感。ResAdapt 在 16.2% 的预算下，在 Charades-STA 数据集上的 mIoU 达到 35.6，远超随机丢弃（25.7）和固定缩放（24.9）等方法。
长视频扩展： 在 128 帧的长视频设置下，ResAdapt 能够以相同的视觉预算处理 16 倍 更多的帧数，同时保持超过 15% 的性能提升。

4.3 效率与延迟

端到端加速： 在长上下文场景（如 128 帧）下，由于 Token 数量大幅减少（注意力机制的二次方复杂度），ResAdapt 带来了显著的端到端延迟降低（最高减少 59.5%）。
兼容性： 由于主干网络接收的是标准 Token 序列，ResAdapt 无需修改底层推理内核（如 vLLM, FlashAttention），部署成本低。

4.4 learned Policy 分析

涌现的主动感知（Emergent Active Perception）： 模型学会了“开环主动感知”，将高分辨率预算集中在信息密集的帧（如场景切换、文字叠加、快速运动），而对冗余帧进行大幅压缩。
零样本泛化： 训练好的分配器可以零样本迁移到帧选择（Frame Selection）任务，结合帧选择与缩放能获得最佳效果。

5. 意义与局限性

意义：

范式转变： 将效率优化的重心从“编码后压缩”前移至“编码前预算控制”，解决了细粒度信息丢失和推理内核不兼容的问题。
长视频推理的可行路径： 证明了在严格视觉预算下，通过智能分配分辨率，可以实现长视频的高效推理，为处理小时级视频提供了新思路。
即插即用： 不改变主干模型结构，易于集成到现有的 MLLM 生态中。

局限性与未来工作：

前端开销： 分配器本身有固定的计算开销，在极短视频（如 <32 帧）中，节省的 Token 可能无法完全抵消前端开销。
开环限制： 分配是一次性的（Open-loop），一旦分配完成，模型无法在推理过程中根据中间状态修正分配（例如，如果初始分配错过了关键帧，无法回溯重编）。
细粒度线索： 对于极短暂且视觉简单的关键线索（如一闪而过的文字），仅依赖粗粒度特征进行分配仍可能遗漏。

总结：
ResAdapt 通过引入输入侧的自适应分辨率分配机制，结合强化学习（CAPO）和时序正则化，成功解决了多模态大模型在长视频推理中“分辨率”与“上下文长度”的权衡难题，为构建高效、长上下文的多模态推理系统提供了极具潜力的解决方案。