The Query Cannot See the Question: A Short Convolution's Reach Decides Which Part of a Query Conditions Retrieval, and What Falls Outside Becomes a Confident Wrong Answer
本文表明，线性注意力机制和状态空间模型中短因果深度卷积（short causal depthwise convolution）施加了一个硬性的、不可降解的限制，即限定了查询（query）的哪些部分可以用于调节检索，导致当关键信息落在这一狭窄窗口之外时，模型会自信地生成错误的答案，这种失效在浅层架构中持续存在，但可以通过更深层的架构或更大的卷积核来缓解。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
现代人工智能系统在记忆信息时，其运作方式往往像是一位守护着庞大、持久档案的事实管理员。当被问及一个问题时，系统必须首先在那个档案中找到正确的那一页，然后阅读答案。但还有一个更难的任务：系统还必须知道答案是否根本不存在。如果它找不到相关信息，一个聪明的系统应该承认自己不知道，而不是编造一个看似笃定实则错误的答案。这种区分“我不知道”与“我知道”的能力，是将可靠的记忆与胡编乱造者区分开来的关键。多年来，研究人员一直认为，如果模型未能检索到正确的实事，是因为信息过于复杂或者模型的训练程度不够。然而，一项新的研究表明，问题通常要简单得多，也更具机械性：问题中起关键作用的部分，对于正在执行搜索的系统部分而言，在物理上是不可见的。
这项由独立研究员马克西米利安·斯佩兰扎（Maximiliano Speranza）开展的研究，调查了一种特定的人工智能架构，这种架构使用一个短小的局部窗口来构建其问题。在这些系统中，“查询”用于搜索记忆的过程是通过仅观察当前词汇以及紧随其前的几个词来构建的。该窗口的标准设置非常小，只能向后观察三个词。研究显示，这种有限的视野不仅仅是系统平滑语言的一个微小细节；它是一个硬性的障碍。如果问题中的关键信息落在这一微小窗口之外，系统不仅会忽略它或将其视为微弱信号，而是实际上让该信息在搜索机制中彻底“不存在”了。随后，系统会仅根据它实际能看到的题目片段来回答问题，并表现出十足的信心，这往往会导致一个听起来极其确定的错误答案。
为了证明这一点，研究人员构建了一个小型语言模型，该模型在一个存储在持久档案中的合成语言上进行了训练。该模型接受了诸如“[实体] 的 [关系] 是什么？”之类的测试，其中实体距离搜索点仅有一个词之遥，而关系则在三个词之外。在标准设置下，窗口只能向后回溯两个词。这意味着该关系始终处于窗口之外。结果非常显著：一旦关系超出了窗口边缘，系统对该关系的敏感度便直接降至绝对零值。当关系发生变化时，搜索结果纹丝不动。模型并非在忽略缺失的单词，它实际上是对该词“视而不见”。因此，当被问及某个特定实体的某个从未被提及的关系时，模型并没有说“我不知道”，而是自信地检索了附近发生的另一个无关事实，从而制造了一个看起来像是自信错误的幻觉。
研究随后测试了仅仅通过扩大窗口是否就能解决这种“盲视”问题。通过将窗口大小在每一侧仅增加一个词——这一改变仅增加了模型极小比例的参数——系统承认无知的能力大幅飙能否提升。在之前模型会产生幻觉的困难案例中，更宽的窗口使得系统几乎每次都能正确地拒绝回答，准确率从大约 60% 跃升至接近 100%。这证明了失败并非源于缺乏智能或训练不足，而是一个简单的几何限制：搜索工具太短，无法触及必要的信息。
研究人员并未止步于他们的小型模型；他们检查了这种现象是否存在于更大的现实世界系统中。他们检查了一个拥有 1.3 亿参数的公开预训练模型，并发现了同样的机械性脱节。在这个较大的模型中，系统的内部状态可以“看到”整个词序列，但用于读取该状态的特定查询机制仍然受限于其短小的窗口。当一个词在窗口之外很远的地方发生变化时，即使系统的其余部分都记录到了变化，查询输出依然保持为零。这证实了这种“盲视”是架构的一种结构性特征，而非特定训练过程中的偶然现象。
然而，故事还有第二个层面，使最初的发现变得更加复杂。虽然短窗口在处理的第一层中起到了硬性阻断的作用，但深度模型拥有许多后续层，信息可以在其中传递。研究发现，在这些深度模型中，来自“不可见”单词的信号并没有被永久阻断；它只是随着层级的传递而减弱。它到达时的强度虽然低得多，但依然存在。当研究人员在同一任务上对深度模型进行微调时，他们发现模型最终能够学会使用最初位于窗口之外的信息，但这需要更长的学习过程。短窗口并没有让信息变得不可用，它只是让学习成本变得更加昂贵。在没有额外层级辅助的浅层模型中，窗口设定了一个性能的硬上限；而在深度模型中，它设定了一项必须随时间支付的“过路费”。
最后，研究探讨了这种配置是罕见的极端情况，还是现实中普遍存在的现象。研究人员分析了来自搜索引擎查询和百科数据库等来源的数万个真实问题。他们发现，在 90% 到 100% 的真实问题中，关键部分之间的距离都超过了标准短窗口的覆盖范围。问题并非出现在极端案例中，而是常态。人类语言的几何特性自然地将问题的最重要部分放置得足够远，以至于标准的短窗口搜索机制无法同时观测到它们。
论文最后提出了一种简单且无需成本的方法，用于诊断任何使用局部窗口搜索记忆的系统中的此类问题。人们不需要训练新模型或进行复杂的测试。只需取一个问题，将句子后方的一个词替换为同类型的另一个词，然后观察系统的搜索是否发生变化。如果搜索结果没有移动，那么该词对系统而言就是不可见的，而系统对此表达出的任何信心都是毫无根据的。研究表明，虽然这些系统如果获得足够的深度和时间，最终可以学会克服自身的架构盲点，但初始阶段的失败是一种机械性的必然。系统基于局部视角给出完整的回答，在架构改变或模型获得足够多的层级来支付这笔“过路费”之前，这种信心往往是错位的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。