💬 NLP

Benchmarking LLMs for Pairwise Causal Discovery in Biomedical and Multi-Domain Contexts

该研究构建了一个包含 12 个数据集的统一评估框架，对 13 个开源大语言模型在生物医学及多领域上下文中的成对因果发现能力进行了基准测试，结果显示当前模型在因果检测与提取任务上表现普遍不佳，尤其在处理隐含关系、跨句关联及多对因果等复杂场景时性能显著下降。

原作者： Sydney Anuyah, Sneha Shajee-Mohan, Ankit-Singh Chauhan, Sunandan Chakraborty

发布于 2026-03-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sydney Anuyah, Sneha Shajee-Mohan, Ankit-Singh Chauhan, Sunandan Chakraborty

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是一份**“大语言模型（LLM）的因果推理能力体检报告”**。

想象一下，你请了 13 位不同性格的“超级 AI 助手”（比如 DeepSeek, Llama, Qwen 等），给它们布置了一项任务：阅读一段文字，找出其中的“因果关系”。

在医学和科学领域，搞清楚“因为 A，所以发生了 B"（比如“因为吃了药，所以发烧退了”）是救命的关键。如果 AI 分不清“相关性”（一起发生）和“因果性”（一个导致另一个），它给出的医疗建议可能会出大乱子。

这篇论文就是看看这些 AI 到底能不能胜任这个工作。

1. 核心任务：两个关卡

研究人员给 AI 出了两道关，就像闯关游戏：

第一关：火眼金睛（检测）
- 任务：给 AI 看一句话，问它：“这句话里有没有因果关系？”
- 比喻：就像让 AI 当安检员，看一段文字里有没有藏着“因果炸弹”。
第二关：精准提取（抽取）
- 任务：如果真的有因果关系，AI 必须把“原因”和“结果”这两个词原封不动地摘出来。
- 比喻：就像让 AI 当外科医生，不仅要发现病灶，还要精准地把“病因”和“症状”从文本里切出来，不能多也不能少。

2. 测试环境：从“幼儿园”到“大学”

为了测试 AI 的深浅，研究人员设计了 12 种不同难度的题目，涵盖了从简单到极难的场景：

简单题（幼儿园水平）：
- 特征：句子很短，有明确的“因为”、“所以”、“导致”等词。
- 例子：“因为下雨，所以地湿了。”
- AI 表现：大部分 AI 都能轻松答对。
困难题（大学水平）：
- 特征：没有明显的连接词，或者因果关系跨越了多个句子，甚至一句话里藏着好几个因果对。
- 例子（隐式）：“他昨晚没睡好。今天开会时睡着了。”（虽然没有“因为”，但逻辑上是因果）。
- 例子（跨句）：“病人服用了新药。第二天，他的皮疹消失了。”（需要把两句话连起来想）。
- AI 表现：在这里，AI 们集体“翻车”了。

3. 主要发现：AI 还很“笨拙”

论文的结果让人有点失望，但也很有价值：

总体分数不高：即使是表现最好的模型，在“检测”任务上的平均分也只有 49.57%（相当于不及格），在“提取”任务上更是只有 47.12%。
- 比喻：这就像让一个大学生做小学一年级的数学题，结果只考了 50 分。
依赖“关键词”：AI 非常依赖像“因为”、“导致”这样的显性词汇。一旦这些词消失，或者因果关系藏在复杂的医学描述中，AI 就晕头转向了。
擅长“单句”，不擅长“长文”：AI 能搞定一句话里的简单因果，但一旦因果关系像蜘蛛网一样跨越了多个句子（这在病历和论文中很常见），AI 就找不到北了。
模型之间差异大：
- DeepSeek-R1 系列在“检测”（判断有没有）上比较强，但在“提取”（把词摘出来）上经常出错。
- Qwen2.5-Coder 系列在“提取”上表现最好，但也不是完美的。
- 有些小模型（比如 3B 参数的）几乎完全不会做，而经过“指令微调”的大模型（比如 70B 参数）表现会好很多。

4. 为什么这很重要？（医学背景）

想象一下，医生正在用 AI 分析病人的病历。

理想情况：AI 读到“病人吃了阿司匹林，随后出血停止”，能立刻明白“阿司匹林”是原因，“出血停止”是结果。
现实情况：病历里可能写着“病人有高血压病史。昨天开始服用新药。今天血压正常了。”
- 如果 AI 分不清这是“巧合”还是“因果”，它可能会错误地推荐药物，或者漏掉真正的副作用。
- 这篇论文告诉我们：目前的 AI 还不足以完全信任地用于这种高风险的医疗决策，它们还需要更多的训练。

5. 总结与未来

这篇论文就像是一个**“警钟”**。它告诉我们要想让人工智能真正进入医院、辅助医生做决策，我们还有很长的路要走。

现状：AI 目前只能处理简单的、明面上的因果关系。
挑战：面对复杂的、隐晦的、跨句子的医学逻辑，AI 还像个刚学走路的孩子。
未来：研究人员呼吁，未来的模型需要专门针对“因果推理”进行训练，不能只靠通用的语言训练。我们需要让 AI 学会像医生一样思考，而不仅仅是像搜索引擎一样匹配关键词。

一句话总结：
这篇论文给 13 个 AI 模型做了一次“因果推理”考试，发现它们目前还不够聪明，特别是在处理复杂的医学文本时容易“断片”。要想让 AI 安全地进入医疗领域，我们得先帮它们把“逻辑脑”练得更结实才行。

论文技术总结：生物医学及多领域上下文中的成对因果发现 LLM 基准测试

1. 研究背景与问题定义

背景：大型语言模型（LLM）在生物医学、药物发现和临床决策支持等高风险领域展现出巨大潜力。然而，安全部署的关键在于模型能否进行真正的因果推理（Causal Reasoning），而不仅仅是模式匹配或相关性识别。在临床环境中，区分“治疗导致好转”与“治疗与好转同时发生”至关重要，错误的因果推断可能导致严重后果。

核心问题：本文聚焦于成对因果发现（Pairwise Causal Discovery, PCD）任务。该任务旨在从非结构化文本中识别并提取具体的“原因 - 结果”对（Cause-Effect Pairs）。

挑战：自然语言中的因果表达非常微妙。简单的词汇线索（如“导致”）往往具有误导性（例如，文章可能只是“链接”咖啡与长寿，而非断言因果）。此外，因果推理常涉及隐含关系、跨句推理以及多对多关系，这对当前 LLM 构成了严峻挑战。

2. 方法论 (Methodology)

2.1 数据集构建与标注协议

数据规模：研究整合了12 个多样化数据集，涵盖生物医学（如 MedCaus, PubMed）、金融（FinCausal）、新闻及通用领域（CausalNet, SemEval 等）。
标注标准：
- 招募了 8 名经过严格筛选的标注员（筛选测试得分≥83%）。
- 严格定义：仅当文本以事实形式陈述因果关系时才标记为因果。假设、报道性声明（如“科学家认为..."）或否定句均视为非因果。
- 粒度要求：原因和结果的跨度必须清晰可辨，排除模糊指代（如“它导致..."）。
- 一致性：最终数据集保留了标注员 100% 一致的部分，Kappa 系数（ $\kappa$ ）平均达到 0.758，确保了“金标准”的高质量。

2.2 实验设计

研究设计了12 种实验场景，通过三个维度对任务难度进行解构：

标记存在性 (Marker, M)：显式（有“因为”、“导致”等词）vs. 隐式（无标记，需推理）。
文本范围 (Boundary, B)：句内（Intra-sentential）vs. 跨句（Inter-sentential）。
基数 (Cardinality, r)：单对（Single Pair）vs. 多对（Multiple Pairs）。

任务分类：

因果检测 (Detection, 任务 1a-1d)：判断文本中是否存在因果关系（二分类）。
因果提取 (Extraction, 任务 2a-2h)：给定存在因果关系的文本，提取具体的原因和结果短语。

2.3 模型与提示策略

模型选择：评估了13 个开源 LLM，包括 DeepSeek-R1（及其蒸馏版）、Llama 3.x 系列、Qwen 2.5 系列（含 Coder 版）、Mistral/Mixtral 系列。模型规模从 3B 到 70B，涵盖 Dense 和 MoE 架构。
提示工程 (Prompting)：测试了多种策略：
- Zero-shot (GIP)：仅指令。
- Few-shot (FICL)：提供 3 个示例。
- Chain-of-Thought (CoT)：要求“逐步思考”。
- 混合策略：CoT + FICL。
- 高级提取策略：Least-to-Most (LtM) 和 ReAct，用于处理复杂的多对提取任务。

2.4 评估指标

检测能力 ( $C_{detect}$ )：正确识别因果关系的概率。
提取能力 ( $C_{extract}$ )：在检测正确的前提下，完整提取所有黄金标准（Gold）因果对的概率。
评分机制：对于提取任务，采用基于 SentenceLM 的余弦相似度进行模糊匹配，并结合二项分布校准，以解决严格字符串匹配过于苛刻的问题。

3. 关键结果 (Key Results)

3.1 总体表现

当前开源 LLM 在成对因果发现任务上存在显著缺陷：

检测任务：表现最好的模型是 DeepSeek-R1-Distill-Llama-70B，其平均检测得分 ( $C_{detect}$ ) 仅为 49.57%。
提取任务：表现最好的模型是 Qwen2.5-Coder-32B-Instruct，其平均提取得分 ( $C_{extract}$ ) 仅为 47.12%。
对比人类：人类标注员在检测任务上的准确率高达 95%，LLM 的表现（30-40%）远未达到实用水平。

3.2 任务难度分析

简单场景：模型在显式、单句、单对（Explicit, Intra-sentential, Single Pair）的简单关系上表现相对较好。
困难场景：性能在以下场景中急剧下降：
- 隐式关系：缺乏明确因果标记时，模型难以推理。
- 跨句推理：当原因和结果分布在多个句子时，模型难以建立长距离依赖。
- 多对关系：处理一个原因对应多个结果（或反之）的复杂结构时，模型极易遗漏或混淆。
领域差异：生物医学/临床文本通常包含大量隐式和跨句的因果描述，这使得该领域的任务难度尤为突出。

3.3 模型特性分析

DeepSeek 系列：在检测任务上表现优异（擅长二元判断），但在提取任务上表现较差。分析认为其推理过程（Reasoning）可能消耗了过多 Token 或导致生成中断，从而无法输出完整的提取结果。
Qwen 系列：在提取任务上表现最佳，特别是 Qwen2.5-Coder-32B-Instruct，显示出较强的指令遵循和结构化输出能力。
指令微调 (Instruction Tuning)：对比发现，经过指令微调的模型（如 Llama-3.2-3B-Instruct）相比基座模型有显著提升，证明了微调对因果推理能力的重要性。
架构影响：MoE 架构（如 Mixtral）在处理复杂提取任务时表现出一定的优势，能够动态路由到专家模块。

4. 主要贡献 (Key Contributions)

首个统一基准：建立了针对 LLM 成对因果发现（PCD）的综合基准，涵盖了从简单到极度复杂的 12 种实验场景，跨越生物医学、金融等多个领域。
高质量数据集：构建了一个经过严格标注、具有高一致性（ $\kappa \ge 0.758$ ）的验证数据集，并公开了所有数据、代码和提示模板。
全面评估：系统评估了 13 个主流开源模型，不仅关注整体性能，还深入分析了不同提示策略（CoT, FICL, LtM 等）对检测与提取任务的具体影响。
实证发现：揭示了当前 LLM 在“隐式”和“跨句”因果推理上的严重短板，指出了单纯依靠提示工程（Prompting）无法解决根本问题，必须结合领域特定的微调。

5. 意义与未来展望 (Significance & Future Work)

临床安全警示：研究结果表明，直接将当前的通用 LLM 用于临床决策支持（如从电子病历 EHR 中提取药物副作用）是不安全的，因为模型极易遗漏关键的隐含因果线索。
技术路线指引：
- 领域微调：未来的工作必须优先使用生物医学语料（如 EHR、医学摘要）对模型进行微调。
- 知识融合：需要结合医学知识图谱（Knowledge Graphs）来辅助模型进行更准确的因果推理。
- 混合工作流：建议采用“人机协作”模式，利用 LLM 进行初步筛选，再由人类专家进行最终确认，以平衡效率与准确性。
研究推动：该基准为社区提供了一个标准化的测试平台，有助于推动更鲁棒、可解释的因果推理模型的开发，最终实现 LLM 在高风险医疗领域的可信部署。

总结：这篇论文通过严谨的基准测试，客观地揭示了当前 LLM 在因果推理能力上的局限性，特别是在处理复杂、隐式及跨句的医学文本时。它强调了从“通用能力”向“领域专用能力”转型的必要性，为未来构建可靠的医疗 AI 系统指明了方向。