💻 computer science

LDDR: Linear-DPP-Based Dynamic-Resolution Frame Sampling for Video MLLMs

LDDR 是一种无需训练、即插即用的框架，它通过结合查询感知的线性行列式点过程选择与动态分辨率分配，在多模态大语言模型中高效识别并优先处理信息丰富的帧，从而在令牌预算约束下增强视频理解能力。

原作者： Jingfeng Chen, Jiawen Qian, Wendi Deng, Yinuo Guo, Jiaqi Yu, Sicong Leng, Raghuveer Thirukovalluru, Bhuwan Dhingra

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Jingfeng Chen, Jiawen Qian, Wendi Deng, Yinuo Guo, Jiaqi Yu, Sicong Leng, Raghuveer Thirukovalluru, Bhuwan Dhingra

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图向朋友解释一部两小时的电影，但你只有极短的时间和非常有限的“记忆槽位”来描述它。如果你只是均匀地选取帧（比如每 10 秒拍一张快照），你可能会错过精彩的追逐场景或关键线索，并且可能会浪费时间去重复描述同一条无聊的走廊五次。

这就是LDDR为 AI 视频理解所解决的问题。以下是其工作原理，分解为简单的概念：

1. 问题：视频太多，算力太少

多模态大语言模型（MLLMs）就像超级聪明的侦探，既能阅读文本又能查看图片。但当它们观看长视频时，会不堪重负。视频包含数千帧，但 AI 在感到疲惫或耗尽内存之前，只能“观看”几百个“视觉令牌”（微小的图像数据片段）。

当前的方法就像一个懒惰的游客：

均匀采样：每 5 秒拍一张照片。这会错过动作场面，并重复无聊的部分。
简单相关性：只挑选看起来像问题的帧。这通常会选出 10 张同一个人说话的照片，而忽略了上下文。

2. 解决方案：LDDR（智能策展人）

作者提出了LDDR，这是一种“无需训练”的工具。把它想象成一位智能策展人，不需要被教导如何策展；他们只需使用一套巧妙的规则来挑选最佳帧，并决定展示多少细节。

它主要做两件事：

A. “反冗余”过滤器（线性 DPP）

想象你在为旅行打包行李箱，但只能带 10 件物品。

旧方法：你挑选最像目的地的 10 件物品。如果你要去海滩，你可能会打包 10 种不同色调的蓝色泳衣。你没有任何多样性。
LDDR 的方法：它使用一种称为线性 DPP的数学技巧。这就像一条规则，规定：“如果你选了一件蓝色泳衣，就不能再选另一件蓝色泳衣。你必须改选一顶帽子、一条毛巾和一副太阳镜。”

它一次性查看整个视频（而不仅仅是片段），并挑选出一组既与你的问题相关又彼此不同的帧。

神奇之处：通常，进行这种数学运算是缓慢且繁重的（就像试图为整支船队计算完美的行李箱打包方案）。LDDR 发明了一种捷径（线性 DPP），使这种计算快了 3 倍，使其能够在不减速的情况下处理长视频。

B. “动态分辨率”预算（分组 DPP）

一旦策展人挑选了最好的 10 帧，他们必须决定为每一帧花费多少“内存”。

旧方法：给每一帧分配相同数量的细节（例如，每个人都分配 100 个像素）。这是浪费的。为什么要在模糊的背景上花费 100 个像素，而本可以将这 100 个像素花在一个标志上微小的、重要的文字上呢？
LDDR 的方法：它像一位聪明的摄影师。
- 如果一帧包含关键线索（如车牌或人脸），它会放大并使用高分辨率（大量内存令牌）。
- 如果一帧只是无聊的背景或与前一帧非常相似，它会缩小或模糊处理（使用更少的令牌）。

这由一个称为分组 DPP 重要性的指标指导。它会问：“这一特定帧为我们已经挑选的组增加了多少新信息？”如果答案是“很多”，它就获得高预算。如果答案是“没有新东西”，它就获得低预算。

3. 结果：更快、更智能

该论文在四个不同的视频基准测试（从短片到长达一小时的视频）以及各种 AI 模型上测试了这种方法。

速度：由于“线性”捷径，LDDR 比之前尝试进行相同数学运算的方法快得多。
准确性：它始终比其他方法得分更高。
- 在紧张的情况下（AI 内存非常有限），它将分数提高了2.5 分。
- 在宽裕的情况下，它仍将分数提高了1.6 分。
通用性：它像一个“即插即用”的适配器。你无需重新训练 AI 模型。你只需先将视频输入 LDDR，然后让 AI 观看结果。它甚至适用于“黑盒”模型（如 GPT-5-mini），在这些模型中你无法查看内部代码。

总结类比

想象一下，你正在为一场 10 小时的城市之旅聘请导游，但你只有 1 小时的预算用于导游的笔记。

旧导游会每 10 分钟写一条笔记，即使什么都没发生，并且他们会就同一座雕像重复写 5 次相同的笔记。
LDDR是一位这样的导游：
1. 完全跳过无聊的部分。
2. 只挑选最独特和有趣的时刻（没有重复的雕像）。
3. 就魔法发生的那个时刻写一大段详细的描述，而只就无聊的街角写一小段潦草的笔记。

结果？你在相同的时间内获得了对整个一天更好的理解。

技术摘要：LDDR（基于线性 DPP 的视频多模态大模型动态分辨率帧采样）

1. 问题陈述

多模态大语言模型（MLLM）在视频理解方面面临一个关键瓶颈：在严格的计算预算下，如何将数千帧视频压缩为有限数量的视觉 token。现有方法主要存在两大局限性：

低效与冗余：标准的均匀采样忽略了查询相关性，导致包含冗余帧，并可能遗漏关键证据。
计算开销：先进的查询驱动方法（如智能体探索或学习到的选择器）引入了显著的训练和推理成本。此外，现有的基于行列式点过程（DPP）的免训练方法（如 MDP3）依赖于核空间推理，其计算复杂度随视频长度呈二次方增长（ $O(T^2)$ ），使得它们难以应用于长视频。此外，这些方法通常对所有选定的帧分配均匀的 token 预算，未能考虑单帧信息量和视觉复杂度的差异。

2. 方法论：LDDR

作者提出了LDDR（基于线性 DPP 的动态分辨率），这是一种免训练、即插即用的框架，可联合优化帧选择与每帧的 token 分配。

A. 线性特征空间 DPP 选择

为解决标准 DPP 的二次方复杂度问题，LDDR 直接在特征空间而非核空间执行贪心最大后验（MAP）推理。

机制：LDDR 不构建稠密的 $T \times T$ 核矩阵 $L$ ，而是利用查询加权的特征矩阵 $\Phi = \text{diag}(\tilde{r})\hat{F}$ ，其中 $\hat{F}$ 包含归一化的帧嵌入， $\tilde{r}$ 编码查询相关性。核被隐式定义为 $L = \Phi\Phi^\top$ 。
算法：该方法采用贪心选择过程，维护已选帧的正交基，并更新剩余帧的残差增益。这将计算复杂度从 $O(T^2d + TK^2)$ 降低至**$O(KTd) $** 时间复杂度和$ O(Td) $内存复杂度，其中$ T $为帧数，$ K $为预算，$ d$ 为特征维度。
结果：这使得在整个长视频范围内进行全局帧选择成为可能，无需时间分块，有效捕捉长程依赖的同时最小化冗余。

B. 组 DPP（GD）重要性与动态分辨率

一旦选定多样化的候选集，LDDR 引入组 DPP（GD）重要性指标来指导自适应 token 分配。

GD 重要性得分：对于选定帧 $t$ ，其重要性 $I_t$ 定义为该帧对组 Gram 矩阵行列式的边际贡献： $I_t = \exp(\log \det(G_S) - \log \det(G_{S \setminus \{t\}}))$ 。从几何角度看，这衡量了该帧投影到其余选定帧张成的空间后的残差范数的平方，量化了其“残差独特性”。
密度感知评分：为防止过度强调与查询对齐较弱的几何离群点，该得分通过基于帧特征幅度的密度先验进行调制： $\tilde{I}_t = I_t \cdot \rho_t^\tau$ 。
动态分配：帧按其密度感知的 GD 得分排序。二分搜索确定在总预算 $C_{total}$ 内的最优子集大小 $k^*$ 及每帧的 token 分配 $w_t$ 。高信息量、非冗余的帧获得更高分辨率（更多 token），而效用较低的帧则被降采样或剪枝，同时遵守全局预算约束（ $w_{min} \le w_t \le w_{max}$ ）。

3. 主要贡献

线性 DPP 选择：作者证明，在特征空间中执行 DPP 推理可实现相对于视频长度呈线性复杂度的全局、查询感知帧选择，消除了昂贵的核构建和时间分块的需求。
GD 引导的动态分辨率：本文引入组 DPP 重要性得分以量化帧的边际贡献，并以此驱动一种免训练的自适应 token 分配策略，在固定预算下最大化信息密度。
全面的实证验证：LDDR 在四个基准测试（Video-MME、LongVideoBench、LVBench、MLVU）和多个 MLLM 骨干网络（包括 Qwen2.5-VL、Qwen3-VL、LLaVA-OneVision、InternVL 和 GPT-5-mini）上进行了评估。
效率与可扩展性：该方法实现了显著的运行时加速（比标准 DPP 基线快 3 倍），同时保持或提高了准确率，使其适用于开源和闭源模型。

4. 实验结果

性能提升：在预算受限的设置下，LDDR 比次优基线平均提升 +2.5 分。在高预算场景下，仍产生 +1.6 分 的增益。
长视频优势：改进在长视频（例如 3600 秒子集）上最为显著，全局选择有效捕捉了分块方法所遗漏的依赖关系。例如，在 LongVideoBench 上，与均匀采样和分块 DPP 相比，LDDR 显著提高了 3600 秒子集的得分。
模型无关性：该框架成功提升了 diverse 骨干网络的性能，包括 GPT-5-mini 等闭源模型，无需访问内部模型参数或进行额外训练。
消融研究：
- 全局 vs. 分块：全局选择优于分块选择，特别是在长视频上，证实了局部预算可能会在低信息量片段上浪费资源。
- 动态分辨率：与固定分辨率变体相比，动态分辨率分配 consistently 带来约 1.2 分的提升，且在帧预算紧张时增益最大。
- 组件：移除 DPP 核的相关性组件或多样性组件中的任一项都会显著降低性能，验证了平衡两者的必要性。

5. 意义与主张

本文将 LDDR 定位为一种实用的免训练输入构建策略，解决了视频 MLLM 中高效帧采样的架构必要性。作者主张，通过从均匀或点对点选择转向全局、保持多样性且预算感知的框架，LDDR 使 MLLM 能够更有效地对长视频进行推理，而无需承担智能体循环或重新训练的开销。

其意义在于能够：

将选择与训练解耦：它作为一个即插即用的预处理模块，兼容任何支持动态分辨率输入的 MLLM。
优化"Token 预算”：它将视觉 token 分配视为联合优化问题，确保计算资源集中在最具信息量和独特性的视觉证据上。
扩展至长视频：通过将 DPP 复杂度降低至线性时间，使得针对数千帧视频的全局多样性感知选择成为可能，而此前该任务受限于二次方计算成本。

作者得出结论，LDDR 代表了迈向高效长视频理解的稳健一步，在保持高推理效率的同时，为不同的模型架构和视频长度提供了一致的增益。