💬 NLP

A Matryoshka Hierarchical RAG for Efficient Multi-Hop Question Answering

本文介绍了 MatRAG，这是一种层级化检索增强生成框架，它利用俄罗斯套娃表示学习（Matryoshka Representation Learning）和文档簇的有向无环图，通过降低索引和查询成本，同时保持高检索质量，从而高效地解决多跳问题。

原作者： Gianluca Bonifazi, Christopher Buratti, Michele Marchetti, Federica Parlapiano, Giulia Quaglieri, Davide Traini, Domenico Ursino, Luca Virgili

发布于 2026-10-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Gianluca Bonifazi, Christopher Buratti, Michele Marchetti, Federica Parlapiano, Giulia Quaglieri, Davide Traini, Domenico Ursino, Luca Virgili

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代人工智能的领域中，大型语言模型已成为生成文本、回答问题和解决问题的强大工具。然而，当被要求在庞大的文档库中寻找隐藏的特定事实，或者当一个问题需要连接散落在不同来源中的信息碎片时，这些模型往往会显得力不从心。为了解决这个问题，研究人员开发了一种称为检索增强生成（retrieval-augmented generation）的方法。这种方法就像是计算机的图书管理员：在模型回答问题之前，它首先会在数据库中搜索相关的文档，阅读它们，然后利用这些新鲜的信息来构思其回答。这有助于模型避免凭空捏造，即一种被称为“幻觉”的常见错误。

当问题需要“多跳”（multi-hop）推理时，挑战会变得显著困难。想象一下问这样一个问题：“某本书作者出生国的总统是谁？”为了回答这个问题，系统必须先找到那本书，然后是作者，接着是作者的出生地，最后才是那个国家的总统。它不能仅仅找到一个包含答案的文档；它必须将多个文档连接成一个链条。传统的方法通常依赖于构建事实之间复杂的关系图谱，或者要求计算机逐一思考步骤。虽然这些方法可行，但往往速度慢、设置成本高，且需要巨大的计算能力，导致它们难以在大规模数据集上使用。

来自意大利的一个研究团队提出了一种处理该问题的新方法，旨在平衡速度与准确性。他们创建了一个名为 MatRAG 的系统，该系统以模仿我们自然分组想法的方式（从宽泛的类别到具体的细节）来组织信息。MatRAG 并没有构建一个包含每个事实关系的复杂地图，而是将文档排列成一个层级化的簇（clusters）。可以将这想象成一套嵌套的盒子：最大的盒子包含宽泛的文档组，内部的小盒子包含更具体的组，而最小的盒子则持有单个文档本身。研究人员利用一种能够让计算机在不同细节层级理解文本含义的技术构建了这一结构。在层级结构的顶端，即分组非常宽泛的地方，系统使用文档含义的简化、缩短版本来进行快速决策。随着系统向下移动层级以寻找所需的特定文档，它会切换到更详细、完整的含义版本。这使得系统能够快速跳过图书馆中无关的部分而不至于迷失方向，从而节省了大量的处理时间和计算能力。

研究人员在三个需要链接多条信息的标准难题集上测试了这个新系统。他们将 MatRAG 与其他七种领先的方法进行了对比，其中包括使用复杂地图的方法以及那些依赖于让计算机逐步规划搜索路径的方法。结果显示，MatRAG 不仅速度更快，而且更加准确。在寻找回答问题所需的正确文档方面，它的表现优于最强劲的竞争对手。在生成最终答案时，它在所有测试集中都取得了最高的准确度得分。或许最令人印象深刻的是，该系统在避免了其他方法所需的昂贵且耗时的步骤（例如构建详细的知识图谱或在搜索前使用高性能计算机对每份文档进行摘要）的同时，实现了这一目标。

该系统成功的关键部分在于它如何管理搜索过程。当系统深入层级结构时，它使用一种巧妙的机制来保持专注。它会追踪问题中以及已找到的文档中所提到的特定名称和实体。如果搜索开始偏离无关主题，系统会利用这些名称将焦点拉回到原始问题上。这防止了计算机产生困惑或偏离其试图寻找的答案。研究人员发现，这种方法使得系统能够处理复杂的推理链，而无需在每一次搜索步骤中都调用大型语言模型那缓慢且沉重的“重型机械”。

研究还表明，系统组织数据的方式与搜索过程本身同样重要。通过在层级结构的高层使用较短、简化的文档含义版本，系统能够像使用完整、详细的版本一样有效地对文档进行分组。这意味着系统通过采取捷径并不会损失其对数据的理解质量；它只是在合适的场合使用了合适程度的细节。这一发现表明，高效信息检索的未来可能不在于构建更大、更复杂的地图，而在于更智能地组织信息，以便计算机能以更少的精力找到所需内容。

最终，这项工作证明了构建一个既快速又智能的系统是可能的。研究人员展示了通过将数据的结构与计算机处理信息的方式相对齐，他们可以比以往的方法更快、更廉价地解决复杂的、多步骤的问题。这种方法为使人工智能更加实用和易于获取提供了一条充满前景的路径，使其能够处理海量信息，而不会被限制其使用的计算成本所拖累。研究结果表明，通过正确的设计，我们可以实现“鱼与熊掌兼得”：在快速交付高质量答案的同时，无需昂贵的基础设施。

技术摘要：MatRAG —— 一种用于高效多跳问答的 Matryoshka 分层 RAG

1. 问题陈述

检索增强生成（RAG）系统在**多跳问答（Multi-hop QA）**中面临重大挑战，因为这类问题需要聚合分散在多个由实体或关系链接的文档中的信息。现有的解决方案通常分为两类，但两者都带来了极高的计算成本：

基于图的方法： 通过实体链接和关系抽取在离线阶段构建显式知识图谱（KG）。这类方法会产生高昂的索引成本和昂贵的在线遍历成本（例如使用个性化 PageRank 或 LLM 智能体）。
分层方法： 将语料库组织为多级索引，但通常依赖递归的 LLM 调用来为内部节点生成摘要，从而产生了高昂的离线索引成本。此外，这两类方法中的迭代检索通常依赖于昂贵的 LLM 驱动规划，导致高查询时延迟。

核心问题在于如何在不依赖昂贵的知识图谱构建或迭代 LLM 规划的情况下，平衡检索质量与计算效率（包括索引和查询）。

2. 方法论：MatRAG

作者提出了 MatRAG，这是一个分层 RAG 框架，它将聚类结构的语义层次结构与 Matryoshka 表示学习（MRL） 的嵌套结构相匹配。

2.1. 分层索引（离线阶段）

MatRAG 使用基于密度的聚类（HDBSCAN）在文档嵌入上构建一个有向无环图（DAG）。

Matryoshka 对齐： MatRAG 并非在所有层级都使用全维度嵌入，而是利用了 MRL，其中单个嵌入包含具有不同长度的嵌套、信息丰富的各级前缀。
- 叶节点（第 $L$ 层）： 存储全维度文档嵌入（ $M$ ）。
- **内部节点（第 $1 $至$ L-1 $层）：** 存储被截断至逐渐缩短的维度（$ m_l < M$）后的聚类质心。
原理： 层次结构中较粗的层级聚合了语义异构的内容；因此，它们需要较少细粒度（较短）的表示来区分聚类。这降低了高层级的相似度计算成本。
冗余覆盖： 为了确保针对次优质心选择的鲁棒性，第 $l+1$ 层的每个节点都与其在第 $l$ 层的 $p$ 个最近聚类相连，从而创建了多条遍历路径。
实体提取： 从文档中提取命名实体（使用 GLiNER），并将其与嵌入一起存储，以支持实体驱动的检索逻辑。

2.2. 实体预算检索（在线阶段）

检索通过一种由实体驱动机制引导的、自顶向下的 DAG 迭代遍历过程进行，而非依赖 LLM 规划。

迭代循环： 检索预算由查询中发现的不同实体数量以及先前检索到的上下文动态决定。
累积查询与锚定： 系统维护一个累积查询（ $q_c$ ），该查询由原始查询与检索到的文档拼接而成。为了防止查询漂移（即搜索偏离原始意图），遍历得分（ $S_l$ ）结合了与累积查询的相似度以及与原始查询（ $q$ ）的相似度。一个锚定系数（ $\beta_t$ ）随迭代次数增加，逐步提高对原始查询的权重，以保持对齐。
自顶向下遍历： 在每一层，查询嵌入会被截断以匹配该层质心的维度。系统选择最有希望的聚类并向下递归，直到到达文档层。
重排序： 在叶节点层，候选文档使用多信号评分（ $R(d)$ ）进行重排序，该评分融合了语义相似度与候选文档实体与前一次迭代中发现的“前沿”实体之间的实体重叠信号（Jaccard 系数）。这确保了检索到的文档既具有语义相关性，又具有实体一致性。

3. 核心贡献

本文确定了三个主要贡献：

分辨率对齐索引： 一种将 MRL 维度与索引深度对齐的策略。这降低了粗糙层级的查询时相似度计算成本，同时通过为精细化文档排序保留全维度，保证了检索精度。
实体驱动迭代检索： 一种用轻量级信号（基于实体计数和重叠）取代迭代 LLM 规划的机制。它控制了检索预算，并在无需昂贵 LLM 调用即可实现上下文渐进式扩展。
实体感知重排序与漂移控制： 一种利用实体重叠来优先排序候选对象，并使用自适应锚定调度来防止迭代检索过程中发生语义漂移的评分机制。

4. 实验结果

MatRAG 在三个标准多跳问答基准测试集上进行了评估：HotpotQA、2WikiMultiHopQA 和 MuSiQue，并与七种基线模型（包括 NaiveRAG、RAPTOR、GraphRAG、LightRAG、HippoRAG2、KGP 和 ToG）进行了对比。

检索质量： MatRAG 在所有基准测试中均取得了最高的 Recall@2 和 Recall@5。值得注意的是，在极具挑战性的 MuSiQue 数据集上，其 Recall@2 比表现最好的基线（NaiveRAG）高出 14.48%，Recall@5 高出 13.37%。
回答质量： MatRAG 取得了最高的 精确匹配（EM） 和 F1 分数。在 MuSiQue 上，其 EM 比最强竞争对手（HippoRAG2）提高了 4.58%，F1 提高了 12.94%。
索引效率： 与需要构建 KG 或 LLM 摘要的图方法和分层方法相比，MatRAG 显著降低了索引时间。与 HippoRAG2 相比，其索引时间减少了超过 99.60%，并且比 GraphRAG 和 LightRAG 快了数个数量级。
查询时效率： MatRAG 实现了最快的响应速度，在 HotpotQA 上比基于平坦 FAISS 的 NaiveRAG 快了 47.44%。这证明了维度感知的 DAG 遍历在计算上优于平坦的全维度搜索。
上下文大小： 虽然 MatRAG 使用的 Token 比 NaiveRAG 略多，但与 GraphRAG 相比，它减少了超过 79% 的上下文大小，与 LightRAG 相比减少了 86%，避免了 KG 检索流水线的开销。

5. 重要性与主张

论文声称 MatRAG 成功弥合了“廉价、平坦检索”与“昂贵、结构化检索”之间的鸿沟。

归纳偏置： 将嵌入维度与索引深度耦合被视为一种有效的归纳偏置，它在无需额外训练或参数的情况下，充分利用了现有的 MRL 模型。
轻量化推理： 结果表明，轻量级的、基于实体的信号可以有效地替代通常由 LLM 执行的推理和规划，从而在不牺牲回答质量的前提下大幅降低查询时间。
可扩展性： 通过避免显式的 KG 构建、实体链接和 LLM 摘要，MatRAG 提供了一种适用于广泛语料库的可扩展方法。
效率与质量： 消融实验证实，使用截断的 Matryoshka 前缀进行聚类和遍历并不会降低聚类质量（如 Davies-Bouldin 和 Silhouette 分数所示），反而提高了检索效率和性能，这可能是由于丢弃噪声维度的隐式正则化作用所致。

作者总结道，通过对嵌入策略和索引结构进行协同设计，可以部分解决高效平坦检索与高质量结构化检索之间的二分对立问题。