💬 NLP

Structures Facilitate Retrieve, Rerank, and Generate

本文介绍了 SF-Re2G，这是一种以文档为基础的对话系统，它利用文档结构信息来增强段落表示，通过子图分组改进检索与重排序，并生成更具上下文感知能力的响应。

原作者： Yeqin Zhang, Haomin Fu, Xujie Zhang, Cam-Tu Nguyen

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Yeqin Zhang, Haomin Fu, Xujie Zhang, Cam-Tu Nguyen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过阅读一部宏大的、多卷本的百科全书来回答一个复杂的问题。在过去，试图完成这项工作的计算机系统（被称为文档驱动对话系统，Document-Grounded Dialogue Systems）将这本百科全书视为一堆杂乱无章的散纸。它们会将文本切割成随机大小的块，然后在其中进行搜索，并尝试将答案缝合在一起。

该论文的作者 Zhang 及其同事认为，这种“散纸堆”的方法忽略了最重要的部分：结构。真实的文档不仅仅是随机的文本；它们拥有章节、标题、表格以及在逻辑上相互连接的步骤。

以下是他们开发的新系统 SF-Re2G 的工作原理，通过简单的类比进行解释：

1. 问题所在：“盲目搜索”

想象一下你在一本食谱中寻找特定的菜谱。

旧方法： 计算机将书切成随机的纸条。有些纸条只是配料表；另一些则是关于烹饪历史的一整段文字。当你问“这个要烤多久？”时，计算机可能会抓取到一条写着“预热烤箱”的纸条，却漏掉了紧挨着它的那条写着“烘烤20分钟”的纸条，因为它们被切开了。
问题在于： 旧系统忽略了相关信息通常位于书籍“目录”或层级结构中的相邻位置这一事实。

2. 解决方案：SF-Re2G（结构促进的检索、重排序与生成）

作者提出了一个尊重“书籍”布局的系统。他们将过程分解为三个步骤，就像一个由三位专家组成的团队：

第一步：侦察员（检索/Retrieval）

职责： 在百科全书中找到最相关的页面。
创新点： 侦察员不仅仅是寻找匹配的词汇，它还学会了识别“邻里关系”。
类比： 想象侦察员是一名侦探。如果侦探发现了一个关于“犯罪”的线索，他们知道也要去查看“警察局”和“法院”的页面，因为这些页面在城市地图中是逻辑相连的。
工作原理： 系统使用一种称为“对比学习”的特殊训练方法。它教会计算机，位于同一个章节标题下的页面是“邻居”。如果计算机选了一个与正确页面过于相似但错误的页面（“硬负例”），它会通过观察其结构上下文来学习如何区分它们。

第二步：法官（重排序/Reranking）

职责： 侦察员带回 100 个潜在页面，法官需要从中选出最好的 5 个。
创新点： 法官不仅仅孤立地看待页面，而是将它们作为一个整体来看待。
类比： 想象你正在为项目招聘团队。旧方法是一个接一个地面试候选人。新方法是按“小队”进行面试。如果候选人 A 是优秀的程序员，但他们申请的是图形设计师的职位，而他们的“小队”（文档的其他部分）全是设计师，法官就会意识到候选人 A 实际上非常合适，因为整个群体都支持那个角色。
工作原理： 系统将候选页面分组为“子图”（基于文档树结构的微型集群）。它不仅根据页面自身的文本进行评分，还会根据该页面与其结构化邻居的契合程度进行评分。

第三步：作家（生成/Generation）

职责： 为用户撰写最终答案。
创新点： 作家利用“子图”上下文来理解全局图景。
类比： 想象一名记者在撰写新闻报道。如果他们只拿到来源中的一个句子，他们可能会写错。但如果他们拥有整个段落及周围的上下文（子图），他们就能写出更准确、更有深度的新闻。
工作原理： 系统将选定的页面及其结构化邻居一起输入给 AI 作家。这有助于 AI 理解诸如“步骤 3 紧随步骤 2 之后”或“此表格单元格属于此行标题”之类的信息，从而产生更好的答案。

他们发现了什么？

团队在两个不同的“知识库”上测试了这个系统：

MultiDoc2Dial： 一个英文文档集合（如政府表格和常见问题解答）。
Doc2Bot： 一个中文文档集合（如医疗和保险指南）。

结果显示：

更高的准确性： 通过尊重文档结构，该系统比旧有的“散纸”方法能更频繁地找到正确信息。
更智能的答案： 生成的答案更加准确且表达更流畅。
“结构”红利： 在具有清晰结构（如带有清晰表格和步骤的中文保险指南）的文档中，系统的性能提升显著。然而，在结构混乱或定义模糊的文档中，系统依然表现良好，这证明了它在结构较弱时不会失效，但在结构强大时表现尤为出色。

总结

论文指出，将文档视为扁平的文本流，就像试图通过观察一堆砖头来理解一座城市。SF-Re2G 则像是给了计算机一张城市地图，向它展示了建筑（段落）、街道（章节）和区域（文档）是如何连接在一起的。这使得计算机能够更快地找到正确信息，并构建出更好的答案。

技术摘要：SF-Re2G —— 通过结构化促进检索、重排序与生成

问题陈述

文档驱动的对话系统（DGDS）旨在通过利用外部文档来生成准确的回答。然而，现有的解决方案（如 RAG 和 Re2G）通常将文档视为被划分为独立段落的扁平文本序列。这种方法存在两个关键局限性：

粒度问题： 固定长度的段落无法适应多变的信息需求。长段落会对特定查询引入噪声，而短段落则无法为复杂问题提供足够的上下文。
忽略了结构信息： 文档通常具有内在的分层结构（例如表格、章节标题、逻辑步骤）。将它们视为扁平序列会切断相关元素（例如表格标题与其对应的单元格）之间的语义联系，导致知识选择和响应生成效果不佳。

目前的方法在很大程度上忽略了这些结构性线索，导致了检索正确知识和生成连贯回答时的性能瓶颈。

方法论：SF-Re2G

作者提出了 SF-Re2G，这是一个将文档结构信息系统地集成到 DGDS 流水线三个核心阶段（检索、重排序和生成）的框架。该系统将文档建模为图，其中节点代表不同长度的段落（例如表格单元格、段落）。

1. 检索：结构化对比学习

检索模块采用双编码器架构（基于 DPR），但引入了两项关键增强以改进段落表示和负采样：

自顶向下聚合： 受 TreeJC 的启发，模型聚合上层信息（如段落标题和文档名称）以增强单个段落的表示。
结构化对比学习： 作者认识到，位于文档图内同一章节内的段落语义相似且难以区分。为了解决这个问题，他们引入了一种硬负采样策略，即从文档结构中正向段落的“邻域”内抽取负样本。这迫使模型学习相邻节点之间更细微的语义差异。
损失函数： 模型优化负对数似然，并结合了批次内负样本（in-batch negatives）和结构化采样的硬负样本。

2. 重排序：结构增强评分

重排序模块使用交叉编码器（Cross-Encoder）对检索阶段得到的 top- $k$ 个候选对象进行重新评分。

子图构建： 根据文档结构将检索到的候选对象分组（例如，将来自同一文档分支的段落进行分组）。
上下文输入： 重排序器不再孤立地对段落进行评分，而是将核心段落与其在同一子图中的相邻段落一同输入。输入格式包含特殊标记（用于目标段落的 [core] 和用于邻居段落的 [others]）以区分目标与其上下文。
机制： 这使得模型能够利用共现概率；如果一个邻居段落与查询匹配，它会提升核心段落的分数，反之亦然。

3. 生成：结构融合权重

生成模块使用预训练的 BART 模型。

加权融合： 系统采用了类似于 Re2G 的加权方法。生成标记的概率是通过计算生成器在每个检索到的段落上的条件概率之和来计算的，并由结构增强后的重排序分数（ $p_\eta$ ）进行加权。
子图集成： 生成器接收对话历史、核心段落以及顺序子图（ $G_{sub}$ ）作为输入。这使得模型不仅能基于检索到的文本，还能基于其结构上下文来锚定其回答。
训练： 重排序器和生成器可以进行联合训练，无需对预训练的 BART 主干进行额外的微调，利用生成结果来修正重排序器分配的权重。

核心贡献

系统性的结构集成： 本研究首次系统地研究并将结构信息集成到 DGDS 流水线的各个阶段（检索、重排序和生成），而非将其孤立于特定模块。
新颖架构 (SF-Re2G)： 作者引入了一种利用文档图来处理可变段落长度的方法，并利用结构化对比学习来实现更好的负采样。
实证验证： 该方法在英文（MultiDoc2Dial）和中文（Doc2Bot）数据集上均表现出优于现有最先进方法的性能。

实验结果

作者在两个数据集上评估了 SF-Re2G：MultiDoc2Dial（英文）和 Doc2Bot（中文）。

检索： 与标准 DPR 相比，结构化对比方法（DPRstruct）在 MultiDoc2Dial 上将 Recall@1 提高了约 2%，在 Doc2Bot 上提高了 1%。
重排序： 结构增强型重排序器（CrossEncoderstruct）表现出持续的改进，特别是在 Doc2Bot 上，其各项指标（Recall@1, Recall@5, Recall@10, Rprec）平均提升了约 1%。在结构信息不太明显的 MultiDoc2Dial 上，增益较为微小。
生成： SF-Re2G 在两个数据集的 F1、SacreBLEU 和 ROUGE 指标上均达到了最先进水平（SOTA）。值得注意的是，作者观察到在生成过程中移除子图上下文会降低 Doc2Bot（结构丰富）的性能，但会略微提升 MultiDoc2Dial 的性能。这表明，当源文档具有清晰、有意义的结构时，结构上下文最为受益。

意义与主张

本文声称，文档中的结构信息是 DGDS 中一种宝贵且不可忽视的资源。作者认为，当前忽略这些元素的模型会导致性能欠佳。通过将文档视为图，并利用结构关系进行对比学习和上下文融合，SF-Re2G 提供了一个更鲁棒的知识选择和响应生成框架。结果表明，该领域未来的研究应优先考虑挖掘文档结构，而非仅仅将文档视为扁平的文本序列。