💬 NLP

A Systematic Evaluation of Positional Bias in Multi-Video Summarization with MLLMs

本文通过一个新的基准测试，系统地评估了九种多模态大语言模型（MLLMs）在多视频摘要任务中的位置偏差，揭示了摘要质量显著受到输入顺序和领域的影响，且目前的缓解策略未能完全消除这些偏差。

原作者： Huangchen Xu, Yuan Wu, Yi Chang

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Huangchen Xu, Yuan Wu, Yi Chang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位正在为四道不同的菜品（汤、沙拉、牛排和甜点）准备品鉴菜单的厨师。你请一位非常聪明但有点分心的 AI 助手，为每道菜写一段完美的描述。

你可能会认为，无论牛排是出现在菜单的第一道还是最后一道，AI 都会完美地描述它。但这一篇题为**《对多视频摘要中 MLLM 位置偏差的系统性评估》的论文发现，AI 实际上对于视频在序列中的位置**非常挑剔。

以下是他们利用简单的类比所做的研究结果分解：

1. “座位问题”

研究人员发现，如果你同时展示给 AI 四个视频并要求它分别总结每个视频，总结的质量会根据视频的位置（第 1、2、3 或 4 位）而发生变化。

“中间孩子”综合征： 就像中间的孩子可能不如长子或幼子那样受到关注一样，列表中间的视频（第 2 和第 3 位）往往得到的总结质量较差。AI 倾向于忘记细节，或者对它们进行更模糊的描述，相比于位于开头或结尾的视频。
“第一印象” vs. “最后的狂欢”： 有时 AI 喜欢第一个视频（“首因效应”），有时它喜欢最后一个视频（“近因效应”）。但通常情况下，它只是忽略了中间的视频。

2. “隐藏偏差”的魔术

论文指出一个棘手的部分：你不能只看平均分来判断 AI 是否存在偏差。

类比： 想象一个学生在第一次测试中得了 A，第二次得了 F，第三次得了 F，第四次得了 A。他们的平均成绩看起来还可以（B），但他们显然在中间的测试中出了问题。
研究人员发现，一些 AI 模型拥有“中性”的平均分，但如果观察得更仔细，它们实际上是在中间的视频上表现糟糕，而在两端的视频上表现出色。他们创建了特殊的工具（指标）来捕捉这种“中间孩子弱点”，而标准的测试会错过这一点。

3. 不仅仅是“眼睛更多”的问题

团队测试了给予 AI 更多资源是否能解决这个问题。

更多帧： 向 AI 展示更多视频画面（帧）。
更多文字： 告诉 AI 它可以写更长的摘要。
结果： 效果并不大。即使 AI 拥有更多的“视觉预算”或更多的书写空间，它仍然会忽略中间的视频。这就像给一个分心的学生一本更大的笔记本；他们仍然不会去写中间的章节。

4. “顺序很重要”的实验

为了证明这并非偶然，他们使用了循环旋转法。

类比： 想象四个朋友（视频 A、B、C、D）轮流坐在四把椅子（1、2、3、4）上。
- 第一轮：A 坐 1 号椅，B 坐 2 号，C 坐 3 号，D 坐 4 号。
- 第二轮：A 坐 2 号椅，B 坐 3 号，C 坐 4 号，D 坐 1 号。
- 依此类推。
通过这种方式，他们确保了每个视频都有机会坐在每一个座位上。他们发现，当视频 A 坐在 1 号椅时，它得到了优秀的总结；但当它坐在 3 号椅时，得到的总结就很差。视频内容没有改变，改变的是“座位”。

5. 尝试用提示词来“教导” AI

研究人员尝试通过提示词来“指导” AI 做到公平。

“要公平”的指令： 他们在 AI 的指令中加入了一句：“请对每个视频给予同等的关注。”
结果： 这并没有真正起作用。AI 仍然偏爱边缘位置。这就像告诉一个疲惫的学生：“请平等地学习所有章节，”而他们最终还是会略过中间的内容。
“一次一个”： 他们尝试让 AI 仅针对一个视频进行总结，尽管它同时看到了全部四个视频。这在一定程度上改善了中间视频的情况，但并不是一个完美的解决方案。

6. “泄露”问题

最后，他们发现有时 AI 会产生混乱并混淆故事。

类比： 如果你要求 AI 描述“甜点”视频，它可能会意外地描述来自“汤”视频的细节，因为它搞混了哪个视频对应哪个内容。当视频以长排形式排列时，这种情况发生得更频繁。

核心结论

论文得出结论，目前的 AI 模型在被要求同时总结多个视频时是不可靠的。它们对展示视频的顺序非常敏感。如果你想要一个好的总结，你不能只是把四个视频堆在一起；每个视频的位置至关重要，而目前的 AI 仍难以做到平等对待它们。

研究人员建立了一个新的“测试轨道”（基准测试），以帮助未来的 AI 开发者修复这种“位置偏差”，从而使 AI 能够总结视频播放列表，而不会遗忘中间的内容。

技术摘要：多视频摘要中多模态大语言模型（MLLM）位置偏置的系统性评估

问题定义

尽管多模态大语言模型（MLLM）在视频理解方面展现出了日益增强的能力，但它们在同时处理多个视频输入时的可靠性仍不为人知。本文研究了多视频摘要任务中的**位置偏置（positional bias）**问题，即模型必须在单个输入序列中为每个视频生成一个独特的、对齐的摘要。

核心问题在于，即使底层视觉内容保持一致，每个视频摘要的质量也会根据视频在输入槽位中的位置（例如：第一、中间或最后）而发生波动。与以往关注长文本中检索或“迷失在中部（lost in the middle）”效应的 NLP 或多图像理解工作不同，多视频摘要提出了一个独特的挑战：模型不仅需要检索信息，还必须将生成的每个摘要与正确的视频源进行绑定，同时在多个输入槽位之间平衡有限的生成能力。

研究方法

基准测试构建

作者利用两个公开数据集构建了一个新的基准测试：ActivityNet（涵盖烹饪、家务和休闲类别）和 News Video Dataset。

场景： 四个类别（烹饪、家务、休闲、新闻），具有不同的视频时长（短：0–1 分钟；长：1–2 分钟）。
输入规模： 实验在成对（2 个视频）和列表式（4 个视频）输入上进行。
排序： 采用了**循环置换（cyclic permutation）**设计。对于 $P$ 个视频，每个视频在所有实验运行中恰好在每个位置出现一次，从而在确保分析平衡的同时，使推理成本保持在可控范围内。
总数据量： 7 零 8 个独特视频，产生了数千个受顺序控制的实例。

评估的模型

评估了九种 MLLM，包括闭源和开源模型：

闭源模型： Gemini-3.1-Pro, GPT-5.4。
开源模型： InternVL3.5 (8B, 14B), Qwen3-VL (8B, 30B-A3B), MiniCPM-o-4.5, GLM-4.1V-9B-Thinking, MiMo-VL-7B-RL。

评估指标

考虑到词汇重叠指标（如 ROUGE）对于高度抽象式摘要的局限性，作者提出了三个互补的指标：

覆盖率（Coverage）： 衡量从人工编写的参考文本中保留关键信息的能力。
- ActivityNet 领域： 使用 LLM 作为评判者（LLM-as-a-Judge）（GPT-5.1）来确定是否覆盖了参考句子（允许改写）。
- 新闻领域： 使用参考片段覆盖率（受 NEWSROOM 启发）来衡量匹配的参考标记（token）比例，因为新闻摘要通常较短且实体密集。
方向性位置偏置（DPB）： 一个量化对早期（首因效应）与晚期（近因效应）位置偏好程度的有符号指标。
- 公式：覆盖率得分的加权和，其中早期位置赋予负权重，晚期位置赋予正权重。
中间-边缘差距（MEG）： 特别针对 4 视频输入，该指标计算中间位置（2 和 3）的平均覆盖率与边缘位置（1 和 4）之间的差异。
- 负的 MEG 表示“中间位置弱势”现象，这种现象可能会被接近于零的 DPB 所掩盖，因为早期的偏向和晚期的偏向可能相互抵消。

对齐策略

为确保摘要能正确归属于其来源视频，采用了两阶段对齐策略：

基于模板： 根据固定标记（如 [video0], [video1]）提取片段。
语义回退（Semantic Fallback）： 如果模板失效，则对句子进行拆分，并将其分配给语义相似度最高的视频。

关键结果

1. 位置效应的异质性

位置偏置并非统一的首因或近因模式，而是依赖于模型和领域的。

DPB 与 MEG： 若干设置表现出接近于零的 DPB（暗示无偏置），但具有显著的负 MEG。例如，InternVL3.5-14B 在 Leisure-4 上的 DPB 为 0.07%，但 MEG 为 -2.65%，这表明尽管边缘性能平衡，但中间位置的表现较差。
规模依赖性： 成对（P=2）的结果并不能可靠地预测列表式（P=4）的行为。某些模型在 P=2 时表现出强烈的近因效应，但在 P=4 时该效应消失或反转，这表明多视频输入中存在复杂的位置交互。

2. 鲁棒性与敏感性

视觉预算： 增加采样的帧数或分辨率并不能统一消除位置不平衡。负 MEG 模式在各种视觉预算配置下依然存在。
摘要长度： 增加请求的摘要长度（例如从 2 句增加到 6 句）并未消除中间位置的弱势。在某些情况下，更大的预算反而使细节分配不均的问题更加明显，因为边缘位置获得了比中间位置更多的覆盖率。
边界格式： 将输入分隔符从黑帧改为文本标签改变了覆盖率曲线，但并未提供一致的改进，也未能消除中间位置的弱势。

3. 缓解与诊断

提示指令： 添加显式的“平衡注意力（balanced attention）”指令未能提供可靠的缓解作用。在某些情况下，它通过降低边缘位置的覆盖率而非提高中间位置的表现，从而使曲线趋于平缓。
单目标生成： 提示模型一次只为一个视频生成摘要（移除自回归前缀干扰）提高了 P=4 设置下弱势位置的覆盖率，但在 P=2 设置下降低了性能。这表明在较大的输入中，联合生成产生的压缩效应导致了偏置。
提示位置： 将任务指令放在视频之后（视频在前）相比于标准的提示在前方式，增加了“跨视频泄漏（cross-video leakage）”的发生率（即一个视频的细节出现在另一个视频的摘要中）。

意义与主张

本文声称，多视频摘要对输入协议和位置仍然非常敏感，这对 MLLM 是位置无关（order-invariant）的假设提出了挑战。

现有指标的局限性： 研究表明，仅靠有符号的方向性偏置（DPB）不足以诊断位置问题，因为它可能会掩盖非单调效应，如中间位置弱势。提出的 MEG 指标对于捕捉这些细微差别是必要的。
协议敏感性： 结果表明，当前的模型对输入顺序并不鲁棒。提示位置或边界格式的小幅变化会显著改变目标绑定（target binding）和泄漏率。
为未来工作奠定基础： 作者提供了一个基准、特定的指标（Coverage, DPB, MEG）以及诊断工具（单目标提示、泄漏审计），旨在为研究和改进多模态系统的顺序鲁棒性提供基础。

文章得出结论，虽然轻量级的提示级干预可以部分重塑位置效应，但它们无法完全解决问题，这表明更鲁棒、位置无关的多模态系统可能需要超越当前推理时控制的架构或训练时干预。