SciDef: Datasets and Tools for Automated Definition Extraction from Scientific Literature with LLMs

本文介绍了 SciDef，这是一个包含 DefExtra 基准测试、DefSim 相似性判定以及一个用于推进自动化科学定义提取的开源大语言模型流水线的综合资源套件，同时指出相关性感知过滤是实现全自动系统的主要挑战。

要点

想象一下，你正试图为科学家们建立一本巨大的、通用的词典。问题在于，每位科学家都有自己的规则。一位研究人员可能将“媒体偏见”（media bias）定义为“新闻倾斜”，而另一位则称之为“文章内部偏见”。他们谈论的是同一件事，但使用的词汇却不同。这使得比较他们的研究工作或构建能够理解整个科学领域的工具变得极其困难。

这篇论文的作者们开发了 SciDef，他们就像是一群决定解决这个混乱问题的图书管理员和工程师。他们构建了一个工具包，旨在帮助计算机自动发现、阅读并比较这些科学定义。

以下是该工具包的工作原理，分为三个主要部分：

1. “金标准”词典 (DefExtra)

把 DefExtra 想象成一副经过精心挑选的、庞大的闪卡组。

• 它是什么： 一个由人类从 75 篇不同的学术论文中手动提取出的 268 个真实定义的集合。
• 难点在于： 他们并没有只是抓取任何看起来像定义句子的内容，而是过滤掉了模糊的描述，只保留了那些“作者陈述式”的定义——即科学家们为了解释其术语而实际写下的定义。
• 为什么重要： 在此之前，如果你想测试一个计算机程序是否能找到定义，你必须自己制作测试集。现在，每个人都可以使用这个相同的“金标准”卡片组来观察谁做得更好。

2. “口味测试” (DefSim)

寻找一个定义很容易；但判断两个定义是否意味着“相同的东西”却很难。

• 问题所在： 如果计算机说“媒体偏见是糟糕的报道”，而人类给出的答案是“媒体偏见是倾斜的报道”，它们是一样的吗？简单的计算机检查可能会判定“不，词汇不同”。
• 解决方案： DefSim 是一个包含 60 对定义的小型集合，人类对这些定义进行了 1 到 5 分的相似度评分（就像评价两首歌听起来有多相似一样）。
• 目标： 这充当了一个“口味测试”，用以观察计算机的数学逻辑（其相似性度量指标）是否与人类的直觉一致。论文发现，一种特定的 AI 逻辑（称为 NLI）在通过这项口味测试方面表现得非常出色。

3. 机器人图书管理员 (SciDef Pipeline)

这就是实际执行工作的机器。

• 它是如何工作的： 想象一个机器人，它接收一份 PDF 格式的科学论文，将其切成小块（就像切面包片一样），然后询问大语言模型（LLM）：“请找出这一块中的定义。”
• 实验过程： 作者使用不同的提问方式（提示词）和不同的切片方式（分块）测试了 1 种不同的 AI 模型。
• 实验结果：
  • “全覆盖”策略： 有些设置能让机器人找到几乎所有的定义（86.4%！）。然而，它也找回了很多垃圾信息。这就像是一个金属探测器，不仅能探测到金币，连瓶盖和钉子也会发出鸣响。
  • “聪明”策略： 表现最好的设置使用了某种特殊的优化技术（DSPy）。它并没有找到“每一个”定义，但它找到的定义都是高质量且相关的。它的得分是 0.397，是所有组别中最高的。
  • 瓶颈所在： 主要问题不在于寻找定义，而在于过滤。机器人擅长撒大网，但它们很难在没有人类帮助的情况下丢弃无关的“噪音”。

核心结论

作者们并不是在声称机器人现在可以完美地独立阅读并理解科学。相反，他们是在说：

1. 我们拥有工具： 他们向世界提供了数据（DefExtra, DefSim）和机器人（SciDef），以持续改进。
2. 机器擅长“高召回率”： 它们可以找到你寻找的几乎所有东西，但也会带回很多杂乱的信息。
3. 人类仍然必不可少： 因为机器人会过度生成（找回太多垃圾），所以下一步对于研究人员来说，是构建更好的过滤器，以将“金币”与“瓶盖”区分开来。

简而言之，SciDef 是一个入门套件，适合任何想要教计算机如何理解科学语言的人，它配备了一套测试卡片、一套评分准则以及一个正在运行的原型。

技术摘要

技术摘要：SciDef —— 用于从科学文献中利用大语言模型（LLM）自动提取定义的数据集与工具

问题陈述

科学概念在不同学术论文中的定义往往存在不一致性，这为比较研究结果、复用术语以及构建可靠的下游资源造成了障碍。随着出版量的增加，针对特定关键词进行人工识别和整合定义已变得不再可行。虽然大语言模型（LLM）在识别超越表面关键词模式的定义性陈述方面展现出了潜力，但该领域的可重复研究正受到缺乏公开基准测试（用于评估提取的定义）、缺乏专门用于评估定义相似性的数据集，以及缺乏用于比较提取流水线和提示策略的可复用基础设施的阻碍。

方法论

作者介绍了 SciDef，这是一个综合性资源套件，包含两个数据集和一个开源的基于 LLM 的流水线。该方法论围绕三个核心组件构建：

1. 数据集构建

• DefExtra (提取基准)： 一个包含 268 个经人工验证、由作者陈述的定义的数据集，这些定义提取自 75 篇精选的学术论文（发表于 1987–2025 年），主要侧重于媒体偏见（media bias）领域。该数据集包括来源元数据、上下文跨度，以及区分显式（直接引用）和隐式（改写但清晰）定义的标签。它还标记了领域外（out-of-domain）论文以测试模型的鲁棒性。构建过程涉及一个多阶段流程：基于 TaxoMatic 的工作进行初步检索和标注，随后通过两名作者的严格人工过滤，仅保留可验证的、由作者陈述的定义，最后通过由另外 11 名标注者组成的独立小组进行扩展标注。
• DefSim (相似度基准)： 一个包含 60 对具有人类语义相似度标签（评分 1–5）的定义对的验证资源。这些定义对涵盖了金标准预测（gold-prediction）、金标准-金标准（gold-gold）以及预测-预测（prediction-prediction）的组合，以覆盖精确匹配、部分匹配和不匹配的情况。该数据集旨在验证语义匹配指标，而非用于微调指标。

2. SciDef 流水线

SciDef 是一个模块化、可复现的流水线，涵盖 PDF 预处理、分块（chunking）、定义提取、提示优化和评估。

• 预处理： 使用 GROBID 解析 PDF。
• 分块： 评估了四种策略：章节级、段落级、句子级以及三句滑动窗口。
• 提取策略： 该流水线比较了几种提示方法：
  • OneStep（单步）： 直接从一个分块中提取定义。
  • MultiStep（多步）： 先判断一个分块是否包含定义，然后再进行提取。
  • Few-Shot 变体： 包括训练示例（OneStep-FS, MultiStep-FS）。
  • DSPy 优化： 实现并使用 BootstrapFewShot、BootstrapFewShotWithRandomSearch 和 MIPROv2 进行提示优化。在优化过程中，模型会预测局部上下文跨度，作为辅助接地信号（grounding signal）。
• 评估协议： 该流水线针对 DefExtra 对 16 个 LLM（开源和商业模型）进行评估。由于精确的字符串匹配对于改写后的定义并不充分，作者选择了一种基于通用语义相似度基准（STS3k, SICK, MSRP, QQP）的成对指标。他们确定 自然语言推理（NLI） 是更优的指标，并使用 DefSim 来验证其与人类判断的一致性。
• 评分： 计算双向最佳匹配得分。它衡量人类标注的覆盖率（召回率），同时通过结合语义相似度（通过 NLI 指标）与显式/隐式类型的一致性，来惩罚过度生成（精确率）。

核心贡献

本文做出了四个主要贡献：

1. DefExtra： 一个包含 268 个经人工提取的定义及其丰富元数据的基准，包括定义类型标签和领域外指示器。
2. DefSim： 一个包含 60 个定义对相似度判断的任务特定验证资源，用于评估语义匹配指标。
3. SciDef： 一个开放、文档齐全且版本化的 LLM 流水线，支持 PDF 预处理、分块、提取、提示优化和评估。
4. 验证实验： 对 16 个 LLM 在多种提示策略和分块方案下的表现进行了全面的基准测试，证明了所发布资源在比较提取性能方面的效用。

结果

作者以媒体偏见作为一个具有挑战性的案例研究来验证这些资源，因为该概念在不同学科中的定义存在不一致性。

• 指标验证： 在通用语义基准上，基于 NLI 的指标优于嵌入余弦相似度（embedding cosine similarity）和 LLM-as-a-Judge 评分。在 DefSim 上，NLI 指标与人类相似度判断显示出很强的 Pearson 相关性 ($\rho = 0.937$)，且人类标注者之间表现出高度一致性 ($\alpha = 0.924$)。
• 提取性能：
  • 最强的集合级配置（使用 Qwen 系列模型的 DSPy 优化提取器，配合章节级分块）实现了 0.397 的得分。
  • 最高覆盖率的配置（一种单步少样本提取器）将至少一个预测与 86.4% 的金标准定义相匹配。然而，该配置显著过度生成了候选定义（每篇论文平均 39.13 个预测），导致整体得分较低。
  • 得分最高的提取器（主要是基于 DSPy 的）在覆盖率和特异性之间取得了更好的平衡，每篇论文的平均预测数约为 5–12 个。
• 关键发现： 虽然 LLM 可以找回高比例的科学定义，但高召回率往往以牺牲相关性为代价。该基准有效地区分了那些能找到许多看似合理的候选者的模型，以及那些能识别出特定、相关定义的模型。

意义与主张

本文将 SciDef 定位为以定义为中心的文献分析的可复用基准和工具层。作者声称，他们的资源使研究人员能够：

• 根据标准化的、经人工验证的基准来比较新的定义提取器。
• 使用任务特定的专家判断来验证定义匹配指标。
• 为文献综述、分类法构建、本体工程和领域映射等下游任务收集候选定义。

作者谦虚地总结道，目前的 LLM 有效地充当了高召回率的定义发现工具，但尚不应被视为完全自动化的定义选择器。完全自动提取的主要瓶颈仍然是具备相关性感知能力的过滤机制，因为模型经常检索出许多看似合理但无关的候选内容。因此，对于高风险应用场景，人工验证仍然是必要的。这项工作强调了持续开发过滤机制的重要性，以弥合科学定义提取中高召回率与高精确率之间的差距。