💬 NLP

Few-Shot Biomedical Relation Extraction with Large Language Models: A Viable Alternative to Supervised Learning?

本文表明，基于提示词的大语言模型可以作为生物医学关系抽取领域中监督学习的一种可行且低资源的替代方案，通过在成对分类的高召回率与联合生成的精确度之间进行权衡，在稀有关系类型上实现了卓越的宏平均F1值（macro-F1）性能。

原作者： Jakob Mraz, Tomaž Curk, Blaž Zupan

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Jakob Mraz, Tomaž Curk, Blaž Zupan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，医学研究的世界就像一座巨大且不断扩张的图书馆。每年，数以百万计的新书（科学文章）被添加到书架上。问题在于？这些书是用一种复杂的、非结构化的语言编写的，计算机很难阅读和组织它们。为了让这些知识变得有用，科学家们需要将这些杂乱的故事转化为整齐的结构化数据库（例如，一张关于疾病、药物和基因如何连接的地图）。

这篇论文是关于教计算机如何完成这项组织工作，特别是通过寻找文中提到的事物之间的“关系”（例如，“药物 A 治疗疾病 B”）。

以下是他们实验的简要说明：

旧方法 vs. 新方法

旧方法（监督学习）：
想象你想教一名学生识别关系。传统上，你会雇佣一个专家图书管理员团队来阅读数千本书，高亮显示其中的联系，并将它们记录下来做成闪卡。然后，你训练计算机去记忆这些闪卡。

问题： 雇佣这些专家图书管理员既昂贵又缓慢。此外，如果这个学生只学习了“心脏病”的闪卡，那么当他看到一本关于“罕见热带病毒”的书时，可能会感到困惑。

新方法（带有“少样本”提示词的大型语言模型）：
他们没有雇佣图书管理员来制作闪卡，而是请了一位超级聪明、博学多才的 AI（大型语言模型或 LLM）来承担这项工作。他们并没有从头开始训练这个 AI。相反，他们给了它一份“小抄”（提示词），其中包含了一些关于它应该寻找什么的示例，并对它说：“这里有一本新书；请根据你在示例中看到的模式找出其中的联系。”

优势： 这更快、更便宜，因为 AI 在其训练过程中已经掌握了大量的语言和事实。它只需要一点点引导来专注于医学任务。

两种策略：“一对一” vs. “群聊”

研究人员测试了询问 AI 执行工作的两种不同方式：

成对分类（“一对一”面试）：
想象你有一个包含 100 个人的名单。为了找出谁认识谁，你每次取出两个人，展示给 AI 看，并问：“这两个人互相认识吗？”你对每一对组合都重复这个过程。

优点： AI 非常彻底，很少会遗漏联系（高召回率/Recall）。
缺点： 这需要很长时间，因为你必须问 100 次问题。这就像是在对每一对组合进行单独面试。

联合生成（“群聊”）：
与其一次只拿出两个人，不如把整个群体放在一个房间里，然后对 AI 说：“观察这里的每一个人，并一次性告诉我你看到了所有的联系。”

优点： 它极其快速且廉价（高效率/Efficiency）。AI 会在一个回答中给出所有联系的列表。
缺点： AI 可能会感到应接不暇，从而遗漏一些微妙的联系，或者它可能会过于谨慎，只列出那些它 100% 确定的联系（高精确度/Precision，但较低的召回率/Recall）。

结果：一种权衡

研究人员发现，没有任何一种方法是完美的，但它们各具优势：

“一对一”方法能找到更多的联系，但运行起来既慢又贵。
“群聊”方法速度极快且成本低廉，并且它所找到的联系也非常准确。
“平衡点”（k-约束生成）： 他们还尝试了一种折中方案，即把小规模的群体（例如 3 人一组）放在一个房间里，而不是整个人群或仅一对。这平衡了速度和准确性。

大惊喜：
当他们查看整体得分时，发现这些新的 AI 方法略逊于旧的“专家闪卡”方法。然而，论文发现了一个转折：

旧方法非常擅长处理常见的、简单的关系，但在处理罕见或奇特的联系时表现挣扎。
新的 AI 方法实际上在寻找这些罕见、困难的联系方面表现得更好。
导致新方法整体表现看起来“较差”的原因在于一个特定且令人困惑的类别——“关联”（Association）。这就像是一个“杂项”箱，人类专家将那些他们不确定的东西放了进去。AI 被这个模糊的标签搞混了，但当研究人员观察具体的、明确的关系时，AI 的表现其实非常好。

核心结论

该论文得出结论，使用这些经过预训练的智能 AI 模型是替代旧的、昂贵的训练计算机方法的可行方案，尤其是在你没有大量标注数据或需要寻找罕见联系时。

如果你需要找到所有可能的联系且不在乎成本，请使用“一对一”方法。
如果你需要速度、低成本以及对所找到的联系具有高准确度，请使用“群聊”方法。

这项研究表明，随着对我们所寻找目标的定义变得更加完善，这些 AI 工具在未来有望取代大规模、高成本的人工标注项目。

技术摘要：基于大语言模型的少样本生物医学关系抽取

问题陈述
生物医学关系抽取（BioRE）对于将非结构化文献转化为结构化知识图谱至关重要。然而，现有方法主要依赖于监督学习，这需要成本高昂的专家标注数据集，并且在处理稀有关系类型或新领域时往往难以泛化。虽然大语言模型（LLMs）通过基于提示的学习（prompt-based learning）为低资源场景提供了潜在的解决方案，但其在 BioRE 中的表现并不一致，据报道其结果在显著低于基准水平到足以与监督学习基准竞争之间波动。此外，目前仍缺乏对不同任务形式（成对分类与联合生成）及其在提取质量与计算效率之间权衡关系的系统性比较。

方法论
作者研究了使用近期开源权重 LLM（Gemma-4 和 Qwen-3.5 系列，具体为 25–35B 参数变体）进行基于提示学习的少样本 BioRE。该研究在 BioREDirect 数据集上进行，该数据集包含包含六种实体类型和八种关系类型的 PubMed 摘要。评估重点是文档级抽取，由于存在长程依赖关系，这比句子级抽取更具挑战性。

研究比较了两种主要的任务形式：

成对分类（Pairwise Classification）： 模型处理带有单个标注实体对的文本，并预测关系类型（或“无”）。这需要为每个候选对进行一次模型调用。
联合生成（Joint Generation）： 模型处理带有多个标注实体的文本，并在单次调用中生成所有受支持的（头实体, 尾实体, 关系）三元组。
- 为了分析精确率-召回率的权衡，作者引入了 $k$ -约束生成（ $k$ -constrained generation） 设置。在此设置下，实体被分为大小为 $k$ 的重叠子集（其中 $k < N$ ， $N$ 为实体总数）。来自重叠子集的预测通过多数投票进行聚合。

实验采用确定性解码，并评估了具备或不具备推理能力（中间推理步骤）时的性能。评估指标包括精确率（Precision）、召回率（Recall）、Micro-F1 和 Macro-F1（以应对类别不平衡），以及用于衡量计算效率的加权 Token 成本指标。

关键结果

性能对比监督基准： 表现最好的少样本模型（Qwen3.5-27B 在成对分类任务中）实现了 0.44 的 Micro-F1 分数，显著优于之前的少样本结果（0.34），但仍低于监督学习的 PubMedBERT 基准（0.56）。
“关联（Association）”类别的效应： 与监督模型之间的性能差距主要归因于“关联”这一关系类型，该类型定义模糊，且在数据集中充当了兜底标签。当使用 Macro-F1（能更好地捕捉不平衡类别性能的指标）进行评估时，基于提示的方法超越了监督基准（0.45 对比 0.38），尤其是在 Bind、Comparison 和 Cotreatment 等稀有关系类型上。
任务形式的权衡：
- 成对分类始终获得更高的召回率，使其适用于需要最大化关系覆盖范围的应用场景。
- 联合生成产生了更高的精确率但召回率较低，这可能是由于自回归生成的特性导致忽略了不确定的关系。
- $k$ -约束生成提供了一个可调节的中间方案，允许从业者在精确率、召回率和成本之间进行权衡。
计算效率： 联合生成显著更高效，与成对分类相比，计算成本降低了高达 25 倍。虽然启用推理能力提升了性能（特别是对于混合专家模型/MoE 模型），但由于增加了输出 Token 的生成，这也带来了显著的计算成本。混合专家（MoE）架构被证明比稠密模型更具成本效益。

意义与主张
本文声称，少样本 LLM 是 BioRE 的可行替代方案，特别是在低资源环境或处理定义明确、特定的关系类型时。作者认为，LLM 表现出的所谓性能不足，往往是数据集不平衡和标注歧义（特别是“关联”类）造成的产物，而非模型的根本局限性。

研究强调了以下几点：

Macro-F1 是评估不平衡设置下 BioRE 的关键指标，在这些设置中，LLM 展示了比监督基准更优越的稀有关系泛化能力。
任务形式至关重要： 选择成对分类还是联合生成应由具体的应用需求（召回率 vs 精确率/成本）驱动，而非仅仅取决于单一的“最佳”指标。
清晰的 Schema 至关重要： 指令驱动型 LLM 的性能高度依赖于清晰的关系定义；标注方案中的歧义会对 LLM 产生比直接在噪声数据上训练的模型更严重的影响。

作者得出结论，虽然 LLMs 在原始 Micro-F1 指标上尚未完全超越监督基准，但它们的灵活性、对稀有类别的泛化能力以及计算效率（通过联合生成）使其成为生物医学知识提取领域极具吸引力的选择。

旧方法 vs. 新方法

两种策略：“一对一” vs. “群聊”

结果：一种权衡

核心结论

技术摘要：基于大语言模型的少样本生物医学关系抽取

类似论文