💬 NLP

KCS: Diversify Multi-hop Question Generation with Knowledge Composition Sampling

本文提出了知识组合采样（KCS）框架，通过建模句子级条件预测任务并利用概率对比损失来采样多样化的知识组合，从而有效缓解多跳问答中的数据稀疏问题并提升数据增强效果。

原作者： Yangfan Wang, Jie Liu, Chen Tang, Lian Yan, Jingchi Jiang

发布于 2026-04-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Yangfan Wang, Jie Liu, Chen Tang, Lian Yan, Jingchi Jiang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 KCS（知识组合采样）的新方法，旨在解决人工智能在回答“多跳问题”（即需要串联多个信息点才能回答的复杂问题）时遇到的困难。

为了让你轻松理解，我们可以把整个过程想象成**“让 AI 厨师学会做一道需要多种食材的复杂大餐”**。

1. 核心痛点：AI 为什么“挑食”？

想象一下，你给 AI 厨师一本厚厚的食谱书（长文档），并告诉他：“我要做一道关于‘ Shirley Temple（秀兰·邓波儿）’的菜，答案是她曾担任过‘礼仪主管’（Chief of Protocol）。”

传统做法（旧方法）： AI 厨师通常只会死记硬背书上最显眼的那几行字（比如直接提到她名字和职位的句子）。这就像他只会做“番茄炒蛋”，因为这是书上写得最清楚的。
问题所在： 现实中的长文档里，关于这个答案的线索是分散的。有的句子在讲她演过什么电影，有的句子在讲那部电影的主演是谁，有的句子在讲她成年后的职业。
后果： 如果 AI 只盯着那几行显眼的字，它就学不会如何把分散的线索串联起来。这就导致了数据稀疏——AI 见过的“线索组合”太少，一旦遇到稍微变通一点的问题，它就懵了，或者开始胡编乱造（学习到了虚假的规律）。

2. KCS 的解决方案：让 AI 学会“随机组合”

KCS 的核心思想是：不要只给 AI 看标准答案的线索，要让它学会从书里“随机”抓取不同的线索组合，从而学会举一反三。

这就好比教厨师做菜：

以前的训练： 只让他看“秀兰·邓波儿 + 礼仪主管”这一种组合。
KCS 的训练： 告诉厨师：“虽然答案都是‘礼仪主管’，但你可以从书里找不同的线索来推导它。比如，你可以找‘她演过《吻和告诉》’这条线索，也可以找‘她在《A Kiss for Corliss》里最后一次出演’这条线索。”

通过这种**“知识组合采样”**，AI 就能明白：原来只要逻辑通顺，不同的线索组合都能推导出同一个答案。这样，它见过的“菜谱”就变多了，脑子也更灵活了。

3. KCS 是怎么工作的？（三步走）

KCS 就像一个聪明的**“寻宝向导”**，它的工作分为三步：

第一步：精准寻宝（知识组合选择）

向导需要在几千页的书里，找出哪些句子是真正有用的“宝藏”。

挑战： 书里有很多废话，选错了就会迷路。
KCS 的绝招： 它使用了一种**“概率对比”**的方法。想象向导在选下一块拼图时，会问自己：“选这块拼图，和刚才选的那块，逻辑上顺不顺？如果选别的，会不会很突兀？”通过这种不断的自我验证，它能精准地挑出最相关的句子。

第二步：随机漫步（多样化采样）

这是 KCS 最创新的地方。

传统做法： 向导总是走同一条最安全的路（只选概率最高的句子），导致所有生成的题目都长得一样。
KCS 的做法： 它引入了**“随机性”**。向导在选路时，会故意在几条看起来都合理的路上“摇摆”一下。
- 比喻： 就像你从家去公司，平时走大路，但 KCS 会偶尔让你走一条稍微绕一点但风景不同的小路。虽然路不同，但都能到公司（答案不变）。
- 目的： 这样生成的“多跳问题”就千奇百怪，不再千篇一律，极大地丰富了 AI 的训练数据。

第三步：出题（问题生成）

最后，把找到的这些不同的“线索组合”交给一个普通的出题机器，让它根据这些线索写出不同的问题。

因为线索组合变了，写出来的问题自然也就变了。
结果： AI 现在不仅知道“秀兰·邓波儿是礼仪主管”，还知道“那个演过《吻和告诉》的女演员是礼仪主管”，甚至“那个在《A Kiss for Corliss》里最后一次露面的女演员是礼仪主管”。

4. 为什么这很重要？（成果）

更聪明： 实验证明，用 KCS 训练出来的 AI，在挑选关键线索时，准确率提高了 3.9%。
更抗造： 当把这些“千变万化”的问题用来训练下游的 AI 时，它们在 HotpotQA 和 2WikiMultihopQA 这两个著名的“多跳问答”考试中都取得了更好的成绩。
更灵活： 以前的方法依赖复杂的图表或固定的规则，KCS 直接利用文本本身，像人类一样灵活地理解上下文，不需要额外的昂贵工具。

总结

简单来说，KCS 就是给 AI 厨师提供了一本“变奏版”的食谱。它不再让 AI 死记硬背唯一的解题路径，而是通过**“精准挑选线索”** + “随机组合路径” 的方式，让 AI 见识到同一种答案可以有无数种推导过程。

这样一来，AI 就不再是只会做“番茄炒蛋”的机器，而变成了一个能根据现有食材，灵活变通、做出各种美味大餐的全能大厨。

这是一份关于论文《KCS: Diversify Multi-hop Question Generation with Knowledge Composition Sampling》（KCS：通过知识组合采样多样化多跳问题生成）的详细技术总结。

1. 研究背景与问题 (Problem)

核心挑战：数据稀疏性与虚假模式
多跳问答（Multi-hop Question Answering, MHQA）要求模型整合多个知识片段来回答复杂问题。然而，高质量的多跳问答数据集稀缺，导致数据稀疏。这种稀疏性使得语言模型容易学习到虚假模式（spurious patterns），从而损害模型的鲁棒性和泛化能力。

现有方法的局限性
为了解决数据稀疏问题，现有的研究主要尝试通过内容规划（Content Planning）和表达多样化（Varied Expression）来生成多样化的问题。然而，这些方法存在以下缺陷：

忽视外部知识整合：往往侧重于生成简单问题，忽略了从文档中整合关键句子（即“知识组合”）的重要性。
知识组合固定：现有方法通常假设上下文中的关键句子是预先确定且固定的，未能充分利用长上下文中潜在的不同知识组合来生成语义上真正多样化的多跳问题。
多样性不足：仅靠文本层面的变化无法真正提升问题的多样性，必须从知识层面（Knowledge Level）进行多样化。

2. 方法论 (Methodology)

论文提出了知识组合采样（Knowledge Composition Sampling, KCS）框架。该框架的核心思想是：在给定答案和长上下文的条件下，通过采样不同的“知识组合”（即一组相关的句子），来生成多样化的多跳问题。

KCS 框架包含三个主要组件：

2.1 知识组合选择 (Knowledge Composition Selection)

任务定义：将知识组合的选择建模为句子级别的序列预测任务。模型需要按顺序预测下一个最相关的知识片段。
模型架构：采用分层神经网络架构。
- 句子编码器 (Sentence Encoder)：基于 BERT，将上下文中的每个句子编码为潜在表示。
- 序列模型 (Sequence Model)：基于 Transformer，包含编码器和解码器。
  - 编码器处理上下文句子表示。
  - 解码器基于已选句子和答案，预测下一个句子的概率分布。
损失函数：
- 分类损失 ( $L_{cls}$ )：判断每个句子是否属于知识组合。
- 概率对比损失 ( $L_{seq}$ )：这是核心创新。为了学习潜在的知识连贯性 (Knowledge Coherence)，模型最大化当前时间步的潜在预测表示与下一个真实句子表示之间的互信息 (Mutual Information, MI)，同时最小化与上下文中其他句子的互信息。这有助于模型理解句子间的逻辑关联，防止生成无关知识。

2.2 多样化知识组合采样 (Diversifying Knowledge Composition)

问题：传统的贪婪解码（Greedy Decoding）虽然准确但缺乏多样性，容易导致生成重复或退化的内容。
解决方案：采用随机解码策略 (Stochastic Decoding Strategy)，具体为核采样 (Nucleus Sampling / Top-p)。
- 在每一步预测中，截断概率分布中不可靠的长尾部分。
- 从包含大部分概率质量的动态核（Dynamic Nucleus）中采样下一个句子。
- 这种策略在保持选择准确性的同时，引入了随机性，从而生成多样化的知识组合路径。

2.3 多跳问题生成 (Multi-hop Question Generation)

利用采样得到的多样化知识组合（ $C = \{c_1, ..., c_{N_q}\}$ ）和给定的答案（ $a$ ），使用一个标准的（Vanilla）多跳问题生成模型（如 MixQG-base）生成最终的问题。
该步骤将“多样化”过程与“生成”过程解耦，使得 KCS 可以灵活应用于不同的生成模型。

3. 主要贡献 (Key Contributions)

提出 KCS 框架：首个通过采样长上下文中多样化的知识组合来扩展多跳问题生成多样性的框架，而非仅仅改变表达或内容规划。
创新的任务建模与损失函数：
- 将知识选择建模为句子级别的序列预测。
- 引入概率对比损失来学习知识片段间的潜在连贯性，有效防止知识退化（Degeneration）。
- 验证了随机解码策略在平衡准确性与多样性方面的有效性。
显著的性能提升：
- 在知识组合选择任务上，相比竞争性基线（如 BERT 分类器），整体准确率提升了 3.9%。
- 将 KCS 生成的多样化数据用于数据增强（Data Augmentation），在 HotpotQA 和 2WikiMultihopQA 数据集上的下游多跳问答任务中取得了一致的性能提升。

4. 实验结果 (Results)

数据集：HotpotQA 和 2WikiMultihopQA。
知识组合选择性能：
- KCS 在 F1 分数上显著优于检索（Retrieval）、分类（CLS）、图方法（Sentence Graph）以及大语言模型（LLM）零样本提示等基线。
- 在 HotpotQA 上，KCS 达到了基线 BERT-large 的 65% 左右的上界性能，比最佳基线 CLS 高出约 3%。
- 在 2WikiMultihopQA 上表现更强，达到了上界的 89.6%。
下游任务性能 (数据增强)：
- 使用 KCS 生成的多样化数据微调 LLM（如 Llama3.1, Qwen2.5）后，在 MHQA 任务中的 Exact Match (EM) 和 F1 分数均有显著提升。
- 相比之下，其他多样化方法（如 RAST, Composition）虽然能增加多样性，但往往牺牲了问题与答案的一致性，或者成本过高（如 GPT-4）。KCS 在保持高多样性的同时，较好地维持了逻辑一致性。
消融实验：
- 证明了Encoder-Decoder架构优于 Decoder-only。
- 证明了知识组合的顺序和长度对训练效果有显著影响（按文档顺序排列效果最好）。
- 证明了概率对比损失和分类概率的集成对提升性能至关重要。

5. 意义与价值 (Significance)

解决数据稀疏的新范式：KCS 提供了一种不依赖结构化知识图谱（如实体图），而是直接从非结构化文本中挖掘知识连贯性的方法，具有更高的灵活性和可扩展性。
提升模型鲁棒性：通过生成逻辑连贯但知识路径多样化的问题，KCS 生成的数据能够训练模型更好地处理噪声和复杂的推理路径，减少模型对虚假相关性的依赖。
通用性：该框架可以无缝集成到现有的多跳问答生成方法中，作为数据增强工具，提升下游任务的性能。
理论贡献：展示了 Transformer 模型在高级表示预测中的潜力，以及概率对比损失在捕捉序列数据内在逻辑结构方面的有效性。

总结：KCS 通过从“知识组合”的维度进行采样，成功解决了多跳问题生成中多样性不足和数据稀疏的问题，为构建更鲁棒、泛化能力更强的多跳问答系统提供了新的技术路径。