🤖 machine learning

Retrieval from Within: An Intrinsic Capability of Attention-Based Models

本文介绍了 INTRA，这是一个通过使单一基于注意力的编码器 - 解码器模型能够直接从其内部表示中检索并重用预编码证据，从而将检索与生成统一起来的框架，进而超越了传统的分离式检索增强生成流程。

原作者： Elad Hoffer, Yochai Blau, Ron Banner, Daniel Soudry, Boris Ginsburg

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Elad Hoffer, Yochai Blau, Ron Banner, Daniel Soudry, Boris Ginsburg

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图解开一个复杂的谜团。在传统做法（称为RAG，即检索增强生成）中，你有两个截然不同的助手：

图书管理员：一位专门的专家，其唯一的工作是跑遍庞大的图书馆，找出那几本可能包含答案的书，并将它们交给你。
侦探：一位才华横溢的调查员，阅读那些特定的书籍，并撰写最终报告。

这种设置的问题在于，图书管理员和侦探说着不同的语言。图书管理员使用特定的归档系统（嵌入）来查找书籍，但侦探必须从头开始重新阅读和重新解读这些书籍，才能撰写报告。有时，图书管理员会递给你错误的书籍，或者侦探因为书籍是经过他人的逻辑筛选而难以理解这些内容。

本文的核心思想："INTRA"

本文介绍了一种名为INTRA（通过注意力实现的内在检索）的新系统。与其雇佣一位单独的图书管理员，INTRA 将侦探转变为“图书管理员 - 侦探”的混合体。

以下是其工作原理，使用简单的类比说明：

1. “内部图书馆”（预编码）

想象侦探已经读完了图书馆里的每一本书，并为每本书创建了一套思维笔记（称为“编码状态”）。这些笔记捕捉了书籍的精髓，而无需翻阅实体书页。

传统 RAG：当你提出问题时，图书管理员找到书籍，交给侦探，侦探必须再次阅读实体书页以做笔记。
INTRA：侦探的架子上已经准备好了思维笔记。当你提出问题时，侦探无需重新阅读书籍；他们只需从架子上取下预先做好的笔记即可。

2. “自我评分”机制

在旧系统中，图书管理员根据一本独立的规则书来决定哪些书籍是重要的。而在 INTRA 中，侦探使用其内在直觉（即“注意力”机制）来决定哪些思维笔记是相关的。

本文认为，人工智能中通常“关注”单词的部分，实际上是一个内置的检索系统。这就像侦探的大脑自然地在其思维笔记中高亮显示最重要的句子，而无需外部工具来进行高亮。
该系统添加了一些特殊的“搜索令牌”（类似于思维便利贴），帮助侦探扫描其内部图书馆，并说：“啊，这个特定的笔记正是我回答这个问题所需要的。”

3. “一站式”优势

因为同一个大脑（模型）既负责搜索又负责回答，两个主要问题随之消失：

无翻译损耗：侦探无需将图书管理员的发现翻译成自己的语言。因为他们是同一个人，所以说着同一种语言。
笔记复用：如果侦探已经为某本书制作了思维笔记，他们可以将这些相同的笔记用于成千上万个不同的问题。他们无需每次都重新阅读书籍。

结果：本文的发现

研究人员在困难的“多跳”问题上测试了该系统（即需要连接不同信息片段的问题，就像侦探连接来自不同犯罪现场的线索一样）。

更擅长寻找线索：与使用单独图书管理员的系统相比，INTRA 更擅长找到所有必要的证据。它在需要整合多个来源信息的复杂谜题中表现尤为出色。
答案更优：由于侦探找到了正确的线索，且无需浪费时间重新阅读，最终答案更加准确。
速度：由于“思维笔记”已经制作完成，一旦搜索完成，该系统生成答案的速度更快。它跳过了重新阅读原始文本的步骤。

局限性（注意事项）

本文清楚地说明了该系统目前尚未实现的功能：

它最适合固定图书馆（预先准备的一组特定文档）。它目前并非设计用于实时搜索不断变化的互联网。
它依赖于一种特定的 AI 架构（编码器 - 解码器），这种架构不如“仅解码器”模型（例如你日常聊天的那些模型）常见。
它目前是一个概念验证，表明“检索”能力已经存在于模型内部；只需将其解锁即可。

总结：
本文声称，我们并不总是需要构建一个单独的“搜索引擎”来辅助 AI 模型查找信息。相反，我们可以教导模型利用其自身的内在“注意力”能力来搜索其自身的记忆，从而使过程更快、更准确、更高效。它将 AI 从“需要图书管理员的读者”转变为“自我搜索的侦探”。

技术摘要：从内部检索：基于注意力模型的内在能力

1. 问题陈述

检索增强生成（RAG）已成为回答那些在大型语料库中所需信息稀疏的问题的标准方法。然而，当前的 RAG 架构通常将检索和生成视为分离的、模块化的系统。检索器选择候选证据（通常使用稠密嵌入或词汇方法），然后将其传递给生成器（LLM），由生成器重新编码文本以生成答案。

这种分离引入了两个主要低效问题：

表示不匹配：检索器和生成器在不同的表示空间中运行，可能导致检索到的内容与生成器认为最有用的内容之间出现脱节。
计算冗余：在标准 RAG 中，选定的证据块必须在查询时由生成器的编码器重新编码，即使它们在检索阶段已经被编码过。

作者提出，基于注意力的编码器 - 解码器模型能否从其内部表示中内在执行检索，从而在单个模型内统一检索和生成过程，而无需外部检索器模块。

2. 方法论：INTRA

本文介绍了INTRA（通过注意力实现的内在检索，INTrinsic Retrieval via Attention），这是一个框架，其中单个预训练的编码器 - 解码器模型利用共享的表示空间同时处理证据选择和答案生成。

核心机制

INTRA 不使用外部检索器，而是利用解码器的交叉注意力机制对预编码的证据块进行评分。该过程包括：

预编码：语料库由冻结的编码器编码一次，生成一组块表示 $K = \{k_i\}$ 。
检索令牌：输入查询 $x$ 通过 $R$ 个可学习的检索令牌 $\rho$ 进行增强。
通过注意力评分：解码器处理增强后的查询与预编码的块。解码器层的交叉注意力查询（ $q_\ell$ ）用于对块进行评分。
MaxSim 评分：为了将令牌级注意力分数转换为块级检索分数，作者采用了一种MaxSim（缩放 ColBERT 风格的后期交互）方法。对于每个查询令牌，取其与块中任意令牌的最大相似度，并使用可学习权重 $\alpha_\ell$ 跨层聚合这些分数。
选择与生成：基于这些分数选择前 $n$ 个块以形成上下文 $K(S_{INTRA})$ ，然后由解码器利用该上下文生成答案。

关键技术创新

Reverse-QWK（查询 - 键权重）：标准的 Transformer 交叉注意力会对键（编码器状态）应用特定层的线性投影和归一化。这将要求为每一层重新计算键，从而阻止重用单个预编码索引。INTRA 引入了Reverse-QWK，这是一种将学习到的键缩放和投影矩阵移至查询端的技术。这使得模型能够存储一个单一的归一化编码器表示（ $\bar{K}$ ），该表示服务于所有解码器层，从而实现对静态索引的高效检索评分。
池化嵌入：为了降低长块上 MaxSim 的计算成本，作者用固定长度的均值池化嵌入（ $L_p \ll L_c$ ）替换了完整的块表示。这种近似保留了共享表示设计，而无需单独的压缩模型。
训练目标：检索令牌和聚合权重使用软交叉熵目标进行训练，以最大化“oracle"（真实标签）证据块上的概率质量，同时骨干编码器 - 解码器保持冻结。

3. 主要贡献

统一框架：INTRA 的构建，它在单个预训练编码器 - 解码器模型内利用共享表示空间耦合了证据选择和答案生成。
最小化架构配方：确定了揭示内在检索所需的组件：重用原生块表示、使用编码器端后期交互进行粗略检索，以及通过解码器端检索查询细化证据，而无需外部模块。
实证性能：证明了这种统一设计在多跳问答基准测试中优于强大的工程化检索管道（包括稠密检索器和重排序器），实现了更高的证据召回率和端到端答案质量。
计算效率：对该设计效率的刻画，特别是“可重用上下文”模式，其中静态证据被编码一次并重复使用，消除了生成预填充阶段的重编码成本。

4. 实验结果

作者在四个基于维基百科的 QA 基准测试上评估了 INTRA：HotPotQA、2WikiMultihopQA、MuSiQue和Natural Questions (NQ)。使用的模型是T5Gemma2 4B-4B检查点。

检索质量：INTRA 在多跳基准测试（HotPotQA、2Wiki、MuSiQue）上实现了最高的完整证据召回率（即所有支持事实都被检索到的示例比例）。它优于稀疏方法（TF-IDF、BM25）、稠密单向量模型（BGE、Qwen-Embedding）以及混合 RAG 管道。
端到端 QA：当使用相同的 T5Gemma2 解码器进行生成时，INTRA 在多跳任务上的精确匹配（EM）和 F1 分数上超越了所有基线。值得注意的是，INTRA 仅使用了一个仅针对生成进行预训练的冻结解码器就实现了这一目标，而基线检索器通常是在大规模检索语料库上预训练的。
效率：衡量**首令牌时间（TTFT）**的基准测试表明，随着检索块数量（ $k$ ）的增加，INTRA 仍然显著快于标准 RAG。这是因为 INTRA 重用了预编码状态，避免了在生成预填充阶段对检索文本进行重新编码的二次成本。
消融研究：移除初始上下文或减少检索令牌的数量会显著降低性能，证实了初始化和学习到的检索评分机制的必要性。

5. 意义与主张

本文提出了对大型语言模型中检索方式的观念转变。作者声称，基于注意力的模型已经具备内在的检索机制，可以通过激发而非添加外部模块来利用这一机制。

统一表示：通过统一检索和生成，INTRA 消除了检索器和生成器之间的表示不匹配。
内在能力：结果表明，当通过可学习令牌和后期交互评分适当揭示时，注意力机制固有的“查询条件匹配”足以实现有效的检索。
效率：该框架通过跨查询分摊证据编码成本，为静态知识库提供了实际计算优势。

局限性

作者明确指出，他们的实验集中在固定上下文池上，并不声称 INTRA 是开放网络或动态检索设置中 RAG 的替代品。该方法依赖于编码器 - 解码器交叉注意力，不直接适用于仅解码器模型。此外，虽然该方法在短答案 QA 上有效，但其向更广泛领域或动态语料库的泛化能力仍是未来工作的开放性问题。