🤖 machine learning

TreeHop: Efficient Embedding-Level Query Rewriter

TreeHop 是一种新颖的、无需大语言模型（LLM-free）的嵌入级多跳问答框架，它通过动态融合来自先前查询和检索文档的语义信息来优化检索过程，在实现与最先进方法相当的性能的同时，大幅降低了计算成本和延迟。

原作者： Zhonghao Li, Kunpeng Zhang, Jinghuai Ou, Shuliang Liu, Xuming Hu

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhonghao Li, Kunpeng Zhang, Jinghuai Ou, Shuliang Liu, Xuming Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图解开一个巨大的、多层级的谜团，比如弄清楚一位名人的祖父是谁。你不能只问一个问题就得到答案；你必须追踪一连串的线索。首先，你要查出这位名人的父亲是谁。然后，你必须拿着这个新名字去问：“他的父亲是谁？”这被称为“多跳”（multi-hop）推理。在人工智能的世界里，计算机使用一种叫做检索增强生成（RAG）的系统来完成这项工作。把 RAG 想象成一位超级聪明的图书管理员，她不仅能记住事实，还能跑向书架寻找合适的书籍来回答你的问题。

然而，这里有一个难点。当计算机需要追踪一条很长的线索链时，旧的方法效率极低且成本高昂。这就像要求一名人类侦探读完一整本书，在一张纸上写下一个新问题，然后把这张纸交给另一名侦探，再让那名侦探再次跑向图书馆。每当侦探需要使用强大的“大脑”（大语言模型）来“重写”问题时，都会消耗大量的时间和能量。如果你必须这样做十次才能解开谜团，那你就要等待很久，并消耗大量的电力。科学家们一直在寻找一种方法，让这位侦探的工作变得更快，同时又不丧失解决最难谜题的能力。

这就是名为 TreeHop 的新方法登场的地方。TreeHop 背后的研究人员意识到，你并不需要一个全能的侦探来重写每一个问题。相反，你只需要微调计算机用来找书的“地图”即可。想象一下，计算机的搜索查询就像一个发光的、神奇的指南针指针。在旧系统中，每当你发现一个线索，你都必须停下来，熔化指南针，然后用一个沉重、缓慢的熔炉锻造一个新的。TreeHop 则像是一个神奇的、可以瞬间调节的旋钮。它获取旧的指南针指针和刚才发现的新线索，然后将它们瞬间融合在一起，为下一步指明方向。它是通过混合旧问题和新线索的“氛围”（数学嵌入/embeddings）来实现这一点的，从而跳过了那个缓慢的熔炉。

论文显示，这个新的“旋钮”效果惊人地好。通过使用这种嵌入层级的更新，TreeHop 解决这些多步谜团的准确度可以与那些依赖大模型重写问题的慢速、沉重的方法相媲美，但速度却要快得多。事实上，研究人员发现，TreeHop 比目前依赖大型 AI 模型重写问题的顶尖方法快了约 92.8% 到 97.8%。它使用的计算资源也极小——仅为其他解决方案的 2.2% 到 29.4%。为了确保计算机不会在检查相同线索的无尽循环中迷失方向，TreeHop 还配备了一个智能的“停止规则”。它会剪掉那些通往死胡同或已访问过路径的分支，保持搜索树的整洁与高效。

简而言之，TreeHop 表明我们不需要在每一次搜索步骤中都动用“重型火力”（大规模 AI 模型）。相反，我们可以使用一种轻量级、巧妙的机制来实时微调搜索方向。研究结果表明，这对于开发既能解决复杂谜题，又足够快速且廉价以应用于现实世界（如手机或繁忙的客服聊天机器人）的 AI 系统来说，是一个游戏规则的改变者。

技术摘要：TreeHop：高效的嵌入级查询重写器

问题陈述

检索增强生成（RAG）系统在处理多跳问答（MHQA）时面临挑战，这类问题需要综合多个文档块中的信息才能得出答案。传统的做法依赖于涉及大语言模型（LLM）的迭代循环，根据检索到的上下文来重写查询（例如，“检索-重写-向量化-检索”）。由于重复调用 LLM 和多阶段处理过程，这一过程会产生显著的计算成本和延迟。此外，现有的高效方法往往难以在计算开 overhead 与检索有效性之间取得平衡，特别是在低资源或延迟敏感的部署场景中。

方法论：TreeHop

TreeHop 提出了一种全新的框架，该框架完全在**嵌入层级（embedding-level）**执行查询优化，消除了对基于 LLM 的查询重写的需求。其核心机制通过以下组件运行：

1. 嵌入级查询更新

TreeHop 不生成新的文本查询，而是通过融合前一步查询与检索文档的语义信息来动态更新查询嵌入。更新规则定义为：
$q_{r+1}^i = q_r - \text{ForgetGate}(q_r, c_r^i) + \text{UpdateGate}(q_r, c_r^i)$

遗忘门（ForgetGate）： 使用交叉注意力机制来识别并抑制已被检索到的数据块 $c_r^i$ 所解决的查询语义。这可以防止对已捕获信息的冗余检索。
更新门（UpdateGate）： 选择性地整合来自检索到的数据块中的新相关信息，以形成下一步的查询嵌入。
架构： 两个门均采用改进的交叉注意力机制，该机制沿**嵌入维度（embedding dimensions）**而非标记位置（token positions）进行操作，因为输入是由冻结编码器（BGE-m3）生成的固定维度的向量。这使得模型能够缩放嵌入向量的坐标，以丢弃或注入特定的语义特征。

2. 剪枝策略

为了防止多跳系统中固有的检索分支指数级增长，TreeHop 采用了两种基于规则的停止准则：

冗余剪枝（Redundancy Pruning）： 终止那些检索到的文档块在之前的迭代中已经出现过的路径。
逐层 Top-K 剪枝（Layer-wise Top-K Pruning）： 在每个检索层，仅保留在所有生成的查询嵌入中具有最高相似度得分的前 $K$ 个数据块。这使分支因子从 $O(n^r)$ 降低到可控的线性增长。

3. 训练与数据构建

TreeHop 使用对比学习（InfoNCE 损失）进行训练。训练数据被构建为代表多跳推理轨迹的有向无环图（DAG）。

数据流水线： 通过桥接实体将单跳问题连接起来，形成多跳查询。LLM 用于验证推理拓扑结构和证据完整性，确保图结构的正确性。
目标： 模型学习在给定“查询-数据块对”的情况下预测下一步的查询嵌入，将正确的下一跳证据视为正样本目标，并将其他语料库段落视为负样本。
效率： 该模型非常紧凑（0.18 十亿参数），并且可以在单个 GPU 上进行训练。

核心贡献

本文确定了三个主要贡献：

创新的嵌入更新机制： 用轻量级的神经操作（基于嵌入的门控交叉注意力）取代了 LLM 驱动的迭代重写，在结合剪枝策略时，实现了针对 MHQA 任务的高效计算复杂度。
高效的基于规则的停止准则： 引入了冗余剪枝和逐层 Top- $K$ 剪枝，在保持检索性能的同时控制了分支因子的增长。
实证验证： 在四个 MHQA 基准测试（HotpotQA, 2WikiMultiHop, MuSiQue, MultiHop RAG）中展示了卓越的效率-准确性权衡。

实验结果

TreeHop 在四个数据集上针对基线方法（直接检索）和先进的 RAG 解决方案（Iter-RetGen, EfficientRAG, RAPTOR）进行了评估。

效率： 与基于 LLM 的方法（如 Iter-RetGen）相比，TreeHop 将查询延迟降低了 92.8%–97.8%，并且显著优于其他高效模型。它仅使用了同类解决方案 2.2%–29.4% 的参数量。
检索性能：
- 在 2WikiMultiHop 和 MultiHop RAG 上，TreeHop 在第二轮迭代中的召回率超过了由 Llama3.1-8B 支持的 Iter-RetGen 3.5%–5.2%，在第三轮迭代中超过 4.9%–9.1%，且平均检索的块数更少。
- 在 HotpotQA 上，它在第二轮迭代中领先于所有迭代式解决方案，并在第三轮迭代中仅次于 RAPTOR。
- 在 MuSiQue 上，它的表现略低于 Iter-RetGen（差距为 0.4%），这归因于该数据集需要同时从多个数据块中综合信息，而当前的“查询-数据块对”策略在此方面存在局限性。
端到端问答： 当与下游 LLM 配对时，TreeHop 取得了具有竞争力的或更优的准确率，特别是在 2WikiMultiHop 和 MultiHop RAG 上，这得益于其有效完成证据链的能力。

意义与主张

论文声称 TreeHop 为低资源或延迟敏感型部署提供了一种更快、更具成本效益的解决方案。通过将传统的“检索-重写-向量化-检索”循环简化为流线型的“检索-嵌入-检索”循环，TreeHop 弥合了计算效率与检索有效性之间的鸿沟。

作者将 TreeHop 定位为一种可扩展的迭代检索替代方案，而非取代所有的 RAG 方法，旨在避免在每一跳都进行沉重的 LLM 生成开销。这项工作表明，以嵌入为中心的重写是多跳推理中实现计算效率与检索有效性之间实际平衡的一种手段，尤其是在延迟和参数效率成为关键约束的情况下。论文也承认了局限性，即目前的架构依赖于“查询-数据块对”，与能够处理更宽上下文窗口的方法相比，在同时综合多个数据块的信息方面可能存在困难。