Structured Semantic Information Helps Retrieve Better Examples for In-Context Learning Applied to Few-Shot Relation Extraction

技术摘要：结构化语义信息有助于为应用于少样本关系抽取的上下文学习检索更好的示例

问题定义
关系抽取（Relation Extraction, RE）是一项基础的自然语言处理任务，涉及识别实体对（例如，主语-宾语对）之间的关系。虽然传统的监督式关系抽取需要每个关系数百或数千个训练样本，但少样本关系抽取（Few-Shot Relation Extraction, FSRE）旨在仅通过一个关系名称、一段简短描述和少量示例（通常为 1-shot）来执行此任务。现有的 FSRE 方法通常依赖于基于原型（prototype-based）的分类或基于嵌入（embedding-based）的最近邻方法，这些方法在面对领域或关系偏移时可能缺乏灵活性。尽管使用大语言模型（LLM）的上下文学习（In-Context Learning, ICL）提供了一种极具前景的替代方案，但如何选择额外的示例来补充单个“金标准”（gold）示例的最佳策略仍有待探索。具体而言，如何在与金标准示例语义相似的示例需求，与需要多样化的句子结构和词汇选择以防止对单一模式过拟合的需求之间取得平衡，目前尚不明确。

方法论
本文提出了一个框架，通过生成或检索额外的示例，自动将 1-shot RE 设置转换为 5-shot 或 10-shot 设置。该方法评估了三种主要策略及一种混合组合：

1. 基于 LLM 的生成：

   • 改写（Paraphrasing）： 由 LLM 对金标准支持句进行改写，同时保留主语、宾语和关系。
   • 生成（Generation）： 基于关系名称及其自然语言定义生成新示例，以鼓励使用替代的词汇化方式和句子结构。

2. 从无标注语料库中检索：

   • 作者从 UMBC WebBase 语料库的一个大型子集（230 万个句子）中检索示例。
   • SBERT 基准： 使用标准的句子嵌入来寻找语义相似的句子。
   • 句法-语义规则表示（创新点）： 该方法并非使用完整的句子嵌入，而是提取代表主语和宾语实体之间最短依赖路径的词汇-句法规则。这些规则编码了词汇项、依赖关系、方向性和命名实体类型。
   • 语义匹配： 一个自监督模型（SoftMatcher）学习这些规则的语义表示。检索基于金标准示例的规则表示与候选句子之间的余弦相似度进行。这种方法侧重于指示关系的特定上下文，而非通用的句子含义。

3. 多样性增强：

   • 为了防止冗余，候选示例被进行聚类（使用 k-means 或 k-means++），基于其语义表示。
   • 从聚类中选择具有代表性的示例，以确保在与金标准示例的相似性与结构多样性之间取得平衡。

4. 混合策略：

   • 该框架结合了来自 LLM 生成和语料库检索的示例。通过使用提示词（prompt）从组合池中选择最终的一组额外示例（4 个或 9 个），旨在平衡 LLM 生成示例的高相似性与检索示例的真实多样性。

5. 任务形式化：

   • 将 5-way 1-shot 任务重新表述为五个独立的二分类任务（每个关系一个），并使用 ICL 进行处理。
   • 在 ICL 之前应用命名实体识别（NER）过滤器，以剔除与查询句中实体类型不兼容的候选关系，从而显著降低计算成本。

核心贡献

• 创新的检索策略： 引入了使用结构化句法-语义规则表示（而非表面层面的句子嵌入）来为 FSRE 中的 ICL 检索示例的方法。该方法捕捉了实体之间核心的关系结构。
• 多样性机制： 提出了显式的聚类和提示工程，以确保所选示例在保持关系忠实度的同时，提供多样化的词汇选择和句子结构。
• 混合框架： 证明了结合 LLM 生成的示例（用于相似性）和检索的示例（用于多样性）比单一方法更能提供对关系的全面表示。
• 达到最先进性能（SOTA）： 在 FS-TACRED 数据集上建立了新的 SOTA 结果，特别是在不需要模型微调或额外金标准标注的情况下，对于较小的语言模型表现尤为突出。

结果
该框架在两个数据集（FS-TACRED 和自定义的 FS-FewRel 子集）上进行了评估，使用了四种 LLM（Qwen3-4B, Qwen3-14B, Gemma3-4B, 和 Gemma3-12B）。

• 性能： 混合方法始终优于基准方法，包括 1-shot ICL、仅 LLM 生成以及基于 SBERT 的检索。在 FS-TACRED 上，混合方法在使用 Qwen3-4B 时达到了 27.6 的 F1 分数（超过了之前的微调方法如 SoftRules 的 24.8），在使用 Qwen3-14B 时达到了 37.8。
• 语义规则的有效性： 使用句法-语义规则检索的示例在效果上始终优于通过 SBERT 检索或通过 LLM 改写的示例。规则驱动的示例被发现更具关系忠实度和多样性。
• 模型敏感性： 检索策略带来的收益在较小的模型（4B 参数）中最为显著。较大的模型（12B）表现出不一致的增益，某些策略甚至比 1-shot 基准表现更差，这表明较大的模型可能已经具备足够的内部知识，或者对提示增强较为敏感。
• 效率： 与仅使用 LLM 生成相比，混合方法增加的计算开销微乎其微（每个 episode 的实际运行时间增加约 0.5%），因为检索和聚类步骤依赖于预计算的嵌入，且独立于 LLM 的规模。

意义与主张
本文主张，结构化语义信息对于实现少样本关系抽取中有效的上下文学习示例选择至关重要。通过超越表面相似性（SBERT）或简单的生成，所提出的方法检索到的示例既是真实的（来自无标注语料库），又在结构上忠实于目标关系。

作者强调，其方法具有以下特点：

1. 迁移性强： 能够跨不同的数据集和 LLM 系列进行迁移，无需针对特定任务进行微调。
2. 达到 SOTA： 在 FS-TACRED 上达到了 SOTA 水平，证明了添加真实的、检索到的示例可以超越依赖于微调较小架构的专用少样本模型。
3. 平衡相似性与多样性： 表明最优的 ICL 性能来自于一个“中间地带”，即示例既足够相似以定义关系，又足够多样以防止对单一句法模式的过拟合。

这项工作强调，虽然 LLM 功能强大，但通过将示例选择锚定在语言的底层句法-语义结构上，可以显著增强它们在关系抽取中的上下文学习能力，尤其是在计算资源或训练数据有限的情况下。