Enhancing Multi-Image Understanding through Delimiter Token Scaling

该论文提出了一种通过缩放分隔符令牌隐藏状态来抑制多图像输入中信息泄漏的方法，在无需额外训练或推理成本的情况下，显著提升了大型视觉语言模型在多图像及多文档理解任务中的表现。

要点

这篇论文提出了一种非常巧妙且“零成本”的方法，用来解决大型人工智能模型（LVLMs）在同时看多张图片时容易“脑子混乱”的问题。

我们可以把这篇论文的核心思想想象成给多张图片贴上“强力标签”。

1. 问题：AI 的“串台”现象

想象一下，你让一个 AI 同时看四张不同的照片：一张是猫，一张是狗，一张是车，一张是树。

• 理想情况：AI 能清楚地把这四张图分开，回答“猫在哪里？”时只盯着猫的照片看。
• 现实情况：现在的 AI 经常“串台”。当它被问到关于猫的问题时，它可能会把狗照片里的细节也混进来，或者把树的颜色安到车上。这种现象在论文里被称为**“跨图像信息泄露”**（Cross-image information leakage）。这就好比你在听四个不同的人同时说话，结果你把甲说的话和乙说的话混在一起，听成了“甲乙丙丁”的乱炖。

2. 现状：现有的“分隔符”不够强

为了解决这个问题，工程师们给 AI 的输入里加了一些特殊的“分隔符”（Delimiter Tokens）。

• 比喻：这就像在四张图之间插上了四块透明的玻璃板，试图把它们隔开。
• 发现：研究人员发现，这些玻璃板虽然存在，但太薄了！光线（也就是信息）还是能穿透过去，导致 AI 还是分不清哪张图是哪张。

3. 解决方案：给“分隔符”注入“超级能量”

这篇论文提出了一种简单得令人惊讶的方法：放大分隔符的“信号”。

• 核心操作：研究人员发现，那些负责分隔图片的特殊符号（分隔符），在 AI 的“大脑”里其实扮演着“吸铁石”的角色。它们会吸引周围图片的注意力。
• 新方法：他们只是简单地把这些分隔符的“信号强度”（隐藏状态）放大了一倍（或者更多）。
• 比喻：
  • 原本的分隔符像是一个普通的路障，车（信息）还能勉强开过去。
  • 放大后的分隔符变成了一堵厚厚的混凝土墙，甚至像强力磁铁。
  • 当 AI 看第一张图时，第一张图里的所有信息都被牢牢地“吸”在第一张图的分隔符上，根本没法跑到第二张图去。

4. 为什么这招这么管用？

这就好比在一个嘈杂的房间里，原本大家说话声音差不多大，你听不清谁在说什么。现在，你给每个说话的人戴上了扩音器，并且规定：

• 如果你要听“猫”的故事，你就必须把注意力集中在“猫”的扩音器上。
• 因为“猫”的扩音器声音太大了，其他人在旁边说话的声音（其他图片的信息）就被完全盖住了。

这样，AI 就能非常清晰地知道：“哦，我现在处理的是图片 A 的信息，图片 B 的信息离我很远，我不用管它。”

5. 惊人的效果：免费且高效

这个方法最棒的地方在于：

• 不需要重新训练：不需要让 AI 重新上学，也不需要给它喂更多的数据。
• 不需要额外时间：AI 看图片的速度没有变慢。
• 不需要额外内存：电脑的显存占用也没有增加。
• 适用范围广：不仅对多张图片有效，对多份文档、多个表格的阅读理解也有效。

总结

这就好比你给 AI 戴上了一副智能眼镜。以前它看多张图时，视野是模糊重叠的；现在，这副眼镜给每张图片都加上了高亮的边框，让 AI 一眼就能分清：“这是图1，那是图2，绝不含糊”。

这是一种用极小的改动（只是调大了一个参数），换取了巨大性能提升的“四两拨千斤”的妙招。

技术摘要

这是一篇发表于 ICLR 2026 的论文，题为 《通过分隔符令牌缩放增强多图像理解》（ENHANCING MULTI-IMAGE UNDERSTANDING THROUGH DELIMITER TOKEN SCALING）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 现状： 大型视觉语言模型（LVLMs）在单图任务中表现优异，但在处理多图像输入时性能显著下降。
• 核心问题： 这种现象被称为跨图像信息泄露（Cross-Image Information Leakage）。即模型难以清晰地区分不同图像之间的信息，导致生成的输出中混杂了不同图像的内容（例如，将图像 A 的特征错误地归因于图像 B）。
• 现有方案的局限： 现有的 LVLM 通常使用特殊的“分隔符令牌”（Delimiter Tokens，如 <|vision start|> 和 <|vision end|>）来标记图像的起止。然而，作者的分析表明，尽管这些令牌在一定程度上有助于区分图像，但它们无法有效阻断跨图像的注意力交互，导致信息泄露依然存在。

2. 核心洞察与分析 (Analysis & Insights)

作者深入分析了分隔符令牌在模型注意力机制中的行为，发现了两个关键属性：

1. 属性一（对应关系）： 第 $i$ 个图像的分隔符令牌主要接收来自第 $i$ 个图像内部令牌的强注意力，形成了一种“一对一”的对应关系。
2. 属性二（图像标签效应）： 分隔符令牌的高注意力充当了“图像标签”。由于注意力输出是值向量（Value Vectors）的加权和，当图像内的令牌强烈关注其对应的分隔符时，它们会共享一个共同的加性项（$p_{d}v_{d}$）。这实际上在图像内部形成了一种局部偏置（Localized Bias），增强了图像内部的交互。

局限性发现： 尽管分隔符令牌存在，但在基线模型中，跨图像的注意力（即图像 A 的令牌关注图像 B 的分隔符或令牌）仍然不可忽视，导致信息泄露。

3. 方法论 (Methodology)

基于上述分析，作者提出了一种简单但有效的方法：分隔符令牌隐藏状态缩放（Delimiter Token Hidden State Scaling）。

• 核心操作： 在 Transformer 层的隐藏状态（Hidden States）层面，对图像分隔符令牌的隐藏状态进行放大。
  • 公式：$h^{(l)*}_t = \lambda \cdot h^{(l)}_t$ （当 $t$ 属于分隔符集合 $D$ 时），其中 $\lambda > 1$ 是缩放因子。
• 工作原理：
  1. 增强属性一： 放大隐藏状态使得分隔符令牌在 Softmax 归一化后获得更高的注意力分数，从而更强烈地吸引其对应图像内令牌的注意力。
  2. 抑制跨图像交互： 由于 Softmax 的归一化特性，当分隔符令牌吸收了更多注意力时，分配给其他图像令牌的注意力比例自然减少，从而有效抑制了跨图像的信息泄露。
  3. 保持属性二： 由于对应图像内的令牌更强烈地关注其分隔符，它们共享的加性偏置项（$p_{d}v_{d}$）被放大，从而增强并保留了图像内部的交互，避免了因抑制跨图像交互而导致的图像内部理解能力下降。
• 优势： 该方法无需额外训练，无需修改模型架构，且不增加推理成本（兼容 FlashAttention 等优化内核）。

4. 实验结果 (Results)

作者在多个基准测试和模型上验证了该方法的有效性：

• 多图像理解基准：
  • 在 Mantis, MuirBench, MIRB, QBench2 等多个多图像基准上，该方法在 Qwen2.5-VL, InternVL3, LLaVA-OneVision 等不同架构和规模（从 0.5B 到 78B）的模型上均取得了显著的性能提升。
  • 例如，Qwen2.5-VL-3B 在 MuirBench 上的得分从 37.31 提升至 42.42。
• 文本-only 任务（泛化性）：
  • 该方法同样适用于需要清晰区分多个文档或表格的纯文本任务。
  • 在 TQABench（多表问答）、MultiNews 和 WCEP-10（多文档摘要）上均观察到性能提升。
• 定性分析：
  • 可视化注意力图显示，应用该方法后，跨图像的注意力干扰（红色区域）显著减少，而图像内部的注意力块状结构更加清晰。
  • 案例显示，基线模型容易混淆不同图像中的物体（如将图 2 的自行车误判为图 1 也有），而该方法能准确区分。
• 效率与成本：
  • 零额外成本： 显存占用（Peak/Avg VRAM）和推理时间与基线完全一致。
  • 对比其他方法： 相比需要多次前向传播的 FOCUS 方法，该方法在内存和速度上具有巨大优势。

5. 主要贡献 (Key Contributions)

1. 深入分析： 首次详细分析了 LVLM 中图像分隔符令牌的注意力行为，揭示了其作为“局部偏置”增强图像内部交互的机制，以及当前模型中跨图像泄露的根源。
2. 提出新方法： 提出了隐藏状态缩放这一简单策略，在不增加任何训练或推理开销的情况下，有效解决了多图像理解中的信息泄露问题。
3. 广泛适用性： 证明了该方法不仅适用于多图像任务，还能泛化到多文档和多表格理解任务，具有极强的通用性。
4. 高效性： 实现了性能提升与计算成本的解耦，为多模态大模型的高效推理提供了新的思路。

6. 意义与局限性 (Significance & Limitations)

• 意义： 这项工作表明，通过微调模型内部特定令牌的表示（隐藏状态），可以显著改善多模态模型对复杂输入结构的理解能力，而无需昂贵的重新训练。这对于降低大模型应用门槛、提升多模态推理的准确性具有重要意义。
• 局限性： 目前该方法主要适用于具有显式分隔符的静态图像或文档输入。对于视频流（缺乏显式的帧分隔符）或动态视觉内容，需要进一步研究如何建模时间过渡。此外，该方法目前主要应用于开源模型（需修改隐藏状态），对闭源商业模型的直接应用受限（但模型开发者可集成此机制）。

总结： 该论文通过一个极其简单且高效的“缩放”操作，解决了 LVLM 在多图像场景下的核心痛点（信息泄露），在保持零成本的前提下显著提升了模型性能，为多模态理解领域提供了一个极具实用价值的解决方案。