Verification Without Sufficiency: Per-Chunk Filtering Fails on Multi-Hop RAG, and Decomposition Repairs It

侦探与失踪的线索

想象一下，你是一名正在试图破解谜题的侦探，但你的笔记本不是普通的本子，而是一个超级聪明的机器人助手。这个机器人非常擅长写故事和回答问题，但它有时会编造事实。为了防止它撒谎，你给它一叠报纸剪报（检索到的文本），并要求它在写出答案之前，先从这些剪报中找出隐藏的具体事实。这种设置被称为“检索增强生成”，或者叫 RAG。其原理很简单：机器人阅读线索，检查它们是否合理，然后告诉你真相。

但是，当谜题是一个“多跳”（multi-hop）谜题时，会发生什么呢？在普通的问题中，答案就在某一个段落里。而在多跳谜题中，答案隐藏在一连串的线索之中。你需要阅读第一个段落来找到一个名字，然后利用这个名字去寻找第二个包含真正答案的段落。机器人的任务是验证：“这个段落是否有助于解开谜题？”研究人员提出的核心问题是：我们能否逐个检查每个段落看看它是否有用，还是说如果孤立地观察这些碎片，整个谜题就会崩塌？

---

“逐一检查”的陷阱

在这篇论文中，研究员兰迪尔·库马尔（Randhir Kumar）调查了一种用于改进这些机器人助手的常用策略。这种策略被称为“逐块过滤”（per-chunk filtering）。想象一下，你有一堆 10 份报纸剪报。标准的建议是逐一查看每一份，给它评分，然后扔掉那些看起来不包含答案的剪报。这听起来很合逻辑，就像是在夜店门口检查身份证的保安一样。如果身份证与宾客名单不符，就不让其入内。

论文表明，对于多跳谜题，这种“保安”策略实际上是一场灾难。这不仅仅是保安没做好工作的问题，而是这份工作的描述本身就是不可能完成的任务。

这里有一个转折：在多跳谜题中，那个真正持有最终答案的段落，通常是问题中没有提到的那个。例如，如果问题是“谁是演出了《电影 X》中反派角色的演员的妻子？”，问题提到了电影和演员。关于这部电影的段落很容易找到。但关于那位演员妻子的段落呢？问题从未提到她的名字。如果你问机器人：“这个关于妻子的段落是否有助于回答这个问题？”机器人看着问题，发现没有提到妻子，于是会说：“不，这与问题无关。”随后，它就把最重要的线索扔进了垃圾桶。

研究人员在三个不同的谜题数据集（HotpotQA、2WikiMultihopQA 和 MuSiQue）上进行了测试，发现这种“逐一”检查的方法失败得很惨。当他们尝试对段落进行单独评分时，系统无法区分有用的线索和虚假的线索。其成功率（以 AUC 衡量）在 0.54 到 0.64 之间徘徊，这仅仅比抛硬币好一点点。事实上，在最难的谜题上，系统由于过于困惑，经常保留错误的段落而丢弃正确的段落。

为什么“保安”会失败

论文排除了导致这种情况发生的几种借口。这并不是因为机器人太笨（他们测试了更大和更小的机器人，发现问题随着机器人变得更聪明而变得更严重）；不是因为段落太短或太长；也不是因为“保安”的规则太严厉或太宽松。

真正的罪魁祸首是充分性（sufficiency）。“保安”假设单个段落就足以证明答案。但在多跳谜题中，没有任何一个段落本身是足够的。你需要将第一个线索和第二个线索结合起来才能理解其中的含义。

为了证明这一点，研究人员做了一个巧妙的实验。他们把两个正确的段落粘在一起，变成一段长文本。当他们要求机器人检查这段合并后的文本时，成功率从 0.66 的“抛硬币水平”跃升到了稳健的 0.88。这表明信息确实在那里；只是当线索被分开时，机器人就看不到了。

他们还发现，谜题的步骤越多，问题就越严重。如果一个谜题需要两步解决，机器人表现尚可；如果需要四步，机器人就完全迷失了。这就像是通过一次看一根草茎的方式来寻找草堆里的针；在你看完整堆草之前，你永远找不到那根针。

解决方法：拆解问题

那么，如果逐一检查段落行不通，什么方法才有效呢？论文提出了一种通过改变“提问方式”来进行修复的策略。

与其问机器人：“这个段落是否回答了原始问题？”，不如建议问它：“这个段落是否回答了谜题的下一步？”

想象一下这个谜题是一个寻宝游戏。

• 旧方法： 你给机器人看一张岛屿地图，问：“这张地图显示了宝藏吗？”机器人说：“不，这张地图上没有宝藏，”然后把地图扔了。但这张地图实际上显示了打开宝箱所需的钥匙的位置。
• 新方法： 你先确定第一步：“钥匙在哪里？”你找到了带有钥匙的地图。然后，你问机器人：“已知我们拥有钥匙的情况下，这张接下来的地图是否显示了宝藏？”突然间，机器人理解了。它看到了其中的联系。

研究人员通过使用一个“分解器”（decomposer）——一个能将大问题拆解为更小子问题工具——来测试这一方法。当他们使用这些更小的子问题来检查段落时，成功率大幅飙升。在最难的谜题上，得分从 0.546（随机猜测水平）跃升到了 0.840。这是一个巨大的进步，证明了如果你为机器人提供当前步骤所需的特定上下文，它就能找到答案。

搞错的代价

论文还研究了使用这些方法来实际生成答案时会发生什么。他们发现，使用这种“逐一”保安法是最糟糕的选择。它表现得如此之差，以至于使用这种方法生成的答案甚至比完全不进行过滤、直接让机器人阅读所有内容还要差。

事实上，机器人的智商越高，受这种错误过滤的影响就越大。一个稍微聪明一点的机器人准确度下降了 4.6 个点，而一个非常聪明的机器人则下降了 19.4 个点。这就像是给一位天才厨师一份食谱，但因为食材不符合菜名，你就把主料给扔了。这位厨师非常擅长烹饪，以至于他能精准地指出缺了什么，但他无法在缺少主料的情况下做出这道菜。

总结

主要的教训是，你不能通过孤立地观察每一个步骤来判断一个多步骤的谜题。这种逐一检查每个段落是否符合原始问题的“保安”式方法之所以失败，是因为答案隐藏在段落之间的连接之中，而不是隐藏在段落本身之中。

论文并不声称已经完美解决了整个问题。即使使用了这种新的“分解”方法，仍然存在改进的空间，研究人员也承认他们的工具目前还不完美。但他们已经证明了旧的过滤方式是失效的，而前进的道路在于，在检查线索之前，先将大问题拆解成更小、更易处理的部分。这提醒我们，有时为了找到答案，你必须停止盯着整个大局，转而关注下一步。