Lost at the End: Primacy Bias in Multimodal Retrieval-Augmented Question Answering
本文揭示了多模态知识型视觉问答系统存在“末端丢失”现象，即相比于将正确的检索段落置于末尾，将其置于开头的表现显著更优，这种偏差是由阅读模型的提示词槽位 0 驱动的而非检索质量，从而对 recall@k 作为性能指标的充分性提出了挑战。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
以下是使用简单语言和日常类比对论文《Lost at the End》（迷失在结尾）进行的解释。
大局观： “金发姑娘”问题（Goldilocks Problem）
想象你是一名侦探（AI），正试图通过观察一张照片来解决一个谜题（回答一个问题）。你面前有一座由 50 本书组成的图书馆（检索到的文本段落），其中可能包含答案。
在纯文本 AI 的世界里，研究人员之前发现了一个“U 型”问题：如果你把正确的书放在书堆的最开头或最末尾，侦探就能找到答案。但如果你把那本书藏在书堆的中间，侦探就会完全忽略它。这被称为“迷失在中间”（Lost in the Middle）效应。
这篇论文提出了一个问题： 当侦探既要看照片又要阅读这些书时，是否也会出现同样的问题？
实验设计：“黄金位置”测试
研究人员设计了一个受控实验来查明真相。他们使用同一个问题和同一张照片，并且每次都给 AI 提供完全相同的 10 本书。他们唯一改变的是“黄金书”（含有正确答案的那本书）在列表中的位置：
- 第一位： 黄金书位于最顶端。
- 中间： 黄金书位于书堆中间。
- 最后一位： 黄金书位于最底端。
他们使用了三种不同的 AI“侦探”（大型视觉语言模型）来进行测试，以观察它们的表现。
发现：“迷失在结尾”
结果令人惊讶。“U 型”曲线消失了。相反，AI 表现出了强烈的**“首因效应”**（Primacy Bias，即对开头的偏好）。
- 类比： 想象一位老师正在读一份学生名单，准备选出班长。如果老师第一个听到的名字是对的，他们就会选出；如果最后一个听到，他们往往会完全忘记。
- 结果： 当黄金书在开头时，AI 答对的概率约为 60–65%。当黄金书在末尾时，准确率下降到约 35–45%。
- “迷失在结尾”效应： AI 不仅仅是忽略了中间，它还主动忽略了结尾。处于末尾的“黄金书”实际上是隐形的。与信息在列表底部相比，如果正确信息在最顶端，AI 答对的可能性要高出 2.2 到 4.5 倍。
为什么会发生这种情况？（调查过程）
研究人员想知道为什么 AI 会忽略结尾。他们测试了三个理论：
- 是因为照片吗？ 他们将照片移动到了提示词（Prompt）的末尾。结果： 没有变化。照片的位置并不是主要原因。
- 是因为书的质量吗？ 他们打乱了书籍的顺序，使得“最好”的书（相关性得分最高）并不总是排在最前面。结果： AI 仍然倾向于选择列表顶部的书，即使那本书的质量较差。它遵循的是位置，而不是质量。
- 仅仅是因为文本吗？ 他们在只有文本（没有照片）的情况下测试了 AI。结果： AI 仍然偏好第一本书，但差距缩小了。结论： 加入照片放大了这种偏好。照片让 AI 变得更加固执，只看开头。
失败的修复方案
研究人员尝试通过改变书籍的检索方式（即系统的“搜索引擎”部分）来修复这个问题：
- 他们尝试让列表更具多样性。
- 他们尝试强制将最好的书排在最前面。
- 结果： 这些从检索端进行的修复都没有奏效。只要 AI（读者）是“冻结”状态（未经过重新训练），它仍然会忽略列表的末尾。
核心结论
论文得出结论，对于这些特定的 AI 系统，Recall@K（一种常见的衡量标准，询问“正确答案是否出现在前 50 本书中”）并不是衡量成功的正确方式。
类比： 这就像一名图书管理员说：“我在图书馆里找到了那本书！”但读者被允许只能看书架上的第一本书。如果正确的书在最后一个书架上，读者就会失败，尽管图书管理员的工作做得很好。
解决方案： 要解决这个问题，我们不能仅仅改进搜索引擎（检索端）。我们必须重新训练读者（AI），让它学会关注整个列表，而不仅仅是开头。在此之前，如果你希望 AI 正确回答问题，你必须将最重要的信息放在其提示词的最顶端。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。