BioDivergence: A Benchmark and Evaluation Framework for Hidden Contextual Contradictions in Biomedical Abstracts

技术摘要：BioDivergence

问题陈述
生物医学文献中经常包含在不同研究中看似存在分歧的发现。然而，许多这类表观上的分歧并非真正的逻辑矛盾，而是“上下文条件化分歧”（context-conditioned divergences），即这些主张在不同的条件下（如不同的队列、地理位置、分析方案或疾病亚型）仍然保持局部有效。现有的自然语言推理（NLI）和科学主张验证基准（如 FEVE、SciFact、VitaminC）通常将这些关系简化为扁平标签（蕴含、矛盾、中性）或粗粒度的冲突类别。这种方法将上下文条件化分歧压缩为一个单一的“矛盾”标签，夸大了文献中的分歧程度，并且未能评估下游生物医学 NLP 系统的一项关键能力：即恢复解释为什么两个发现产生分歧的具体上下文结构的能力。

方法论
作者引入了 BioDivergence，一个旨在实现隐藏上下文矛盾恢复的操作化评估框架。该框架由三个核心部分组成：

1. 本体与分类法：

   • 冲突分类法： 一个六类分类法，区分了无冲突、直接矛盾、上下文矛盾、不明确的表观矛盾、证据不足以及未解决的科学争议。
   • 分歧本体： 一个 13 轴本体，捕捉驱动分歧的上下文维度（例如：人群、地理、时间段、分析方案、研究设计、疾病亚型、生物体菌株、临床设置等）。

2. 任务形式化：
   该框架将矛盾分析视为一个结构化的多输出问题。对于每一对主张，模型必须预测四个主要目标：

   • 冲突类型： 从六类分类法中进行选择。
   • 分歧轴： 识别解释分歧的轴子集。
   • 主导混杂因素： 选择单个最具解释性的轴。
   • 调和解释： 关于主张如何共存或为何紧张关系持续存在的自然语言解释。
   • （范围限定输出）：在 v1.0 版本中，基于“主张原文”（claim-verbatim）银标规则包含了主张级证据跨度提取，而非作为成熟的落地基准。

3. 基准构建 (BioDivergence-Silver-v1.0)：

   • 数据流水线： 该基准由来自五个生物医学领域（AMR、肿瘤学、传染病、基因组学、临床试验/流行病学）的 202,180 篇归一化摘要构建而成，产生了 527,907 个主张和 50,000 个候选对。
   • 标注： 标签通过使用 LLM（试点使用 Qwen2.5-72B，全量发布使用 Qwen2.5-7B）并结合启发式回退机制和模式验证的受限模式“银标”标注流水线生成。
   • 划分设计： 一个关键创新是**文章不相交（article-disjoint）**的主划分方式（11,865 对：10,183 训练 / 840 开发 / 842 测试）。这确保了不同划分之间在文章、主张及配对 ID 上零重叠。这种设计防止了模型通过文章级记忆来获得高分，从而迫使它们学习上下文推理。仅保留了一个传统的配对级变体用于向后兼容。

核心贡献

1. 上下文矛盾的形式化： 本文将恢复生物医学主张为何产生分歧的任务进行了形式化，填补了扁平 NLI 和知识冲突基准留下的空白。
2. 结构化评估框架： 引入了六类冲突分类法和 13 轴分歧本体，并结合了四主一范围的任务规范。
3. BioDivergence-Silver-v1.0 发布： 发布了一个具有显式泄漏审计和敏感性分析的大规模、文章不相交的银标基准。
4. 评估视角： 证明了文章不相交评估从根本上改变了模型排名，将文章级记忆与上下文推理学习区分开来。

实验结果

• 由于泄漏控制导致的性能下降： 当从允许文章重叠的传统配对级变体转向文章不相交的主划分时，经过微调的参考模型在上下文矛盾 F1 指数上下降了约 12 个点（从 ~0.521 降至 ~0.401）。这表明，以往配对级基准中的很大一部分性能是由文章级记忆驱动的。
• 零样本性能： 使用 Mistral-7B-Instruct-v0.3 进行全量 842 个样本的主测试评估（零样本）达到了 0.5523 的准确率和 0.3894 的上下文 F1。这证实了在没有文章泄漏的情况下，信号可以被标注器家族无关的基准模型恢复。
• 任务难度： 分歧轴提取和主导混杂因素预测对于所有系统来说都具有挑战性，其表现滞后于冲突类型的准确率。这表明，恢复主张为何产生分歧比决定它们是否产生分歧更难。
• 模型专业化： 零样本 LLM 在粗粒度分类和调和生成方面占据优势，而经过微调的参考模型在上下文检测和混杂因素预测方面表现更好。基于检索的基准模型（基于其原文规则的构建）在证据跨度提取方面占优。
• 可靠性： 该基准在 v1.0 中可靠地支持了两种冲突类别（无冲突和上下文矛盾）以及 13 个分歧轴中的 9 个。

意义与主张
本文声称 BioDivergence 提供了一个必要的评估视角，能够将上下文分歧与直接矛盾区分开来。通过强制执行文章不相交划分，它隔离了文章级记忆与任务学习，提供了对模型上下文推理能力的更诚实的评估。作者将 BioDivergence-Silver-v1.0 定位为而非金标准专家策展资源，而是一个结构化的、大规模的银标基准，它揭示了此前未被评估的多组件推理任务。该框架强调，扁平的矛盾标签对于生物医学 NLP 是不足够的，因为它们掩盖了科学分歧中细微且依赖上下文的本质。未来的工作计划扩展标注、落地和金标校准，但 v1.0 被呈现为一个功能性的工具，用于进行泄漏感知的评估。