Comparative Analysis of Rule-Based, Deep Learning, and LLM Approaches for Causality Extraction: A Unified Benchmark

在人类交流的广阔图景中，我们不断编织着因果关系的故事。我们会说暴雨导致了河流泛滥，或者错过了截止日期导致了项目的失败。有时这些联系是显而易见的，带有“因为”或“导致”之类的词汇。但通常情况下，这种联系是隐藏的。一段文本可能会描述一系列事件，其中原因从未被明确点出，留下读者根据上下文和常识去推断其关系。为了让计算机真正理解我们的语言，它们必须学会识别这些隐形的线索，这项任务被称为因果关系提取。这不仅仅是一个语言学谜题；对于需要分析新闻报告、医疗记录或安全调查以理解发生了什么以及为什么发生的机器来说，这是一项实际的必要任务。多年来，研究人员一直试图通过三种不同的策略来教计算机这项技能：基于人类制定的严格规则集、从示例中学习的复杂神经网络，以及能够通过指令进行推理的新一代大规模语言模型。然而，由于每组研究者都在不同的数据和不同的评分系统上测试其方法，因此一直无法确定哪种方法才是真正最好的，或者它们分别在哪里失效。

慕尼黑工业大学的一位研究人员决定通过构建一个统一的测试平台来消除这种不确定性。他们收集了来自新闻、医学、金融和安全报告的现有文本集，并仔细地重写了每一个因果关系的标签，使它们都遵循相同的严格定义。这创造了一个公平的竞技场，使他们能够在完全相同的条件下并排测试这三种主要策略。他们将依赖特定词汇和语法模式的简单规则系统，与学习了数千个示例的深度学习模型，以及能够处理海量文本并遵循复杂指令的大型语言模型进行了对决。目标不仅是看哪种方法得分最高，还要观察每种方法如何处理任务中的棘手部分，例如寻找未被明确说明的原因，或者连接长文档中相距较远的事件。

结果揭示了一个比简单的“越新越好”的故事要复杂得多的景象。研究人员发现，那些依赖于识别“导致”或“由于”等词汇的传统规则系统，在原因清晰明确时仍然表现得惊人地有效。在这些简单的情况下，它们的表现几乎与最先进的神经网络不相上下，但它们不需要任何训练数据，且几乎不消耗计算能力。然而，当原因隐藏起来时，这些僵化的系统就会撞上一堵硬墙。因为它们完全依赖于表层线索，所以当文本暗示了一种关系而没有使用特定的连接词时，它们几乎完全失效。

通过在标注示例上进行训练，深度学习模型显著缩小了这一差距。它们在识别单个句子或短段落内的隐藏原因及理解上下文方面表现得更好。然而，当原因和结果被分隔在几个句子之外，或者文本描述了一长串事件链时，它们就会感到吃力。最强大的工具——大型语言模型——展现出了寻找这些隐藏且遥远连接的最佳整体能力。当这些模型通过特定示例进行仔细微调时，它们的表现优于其他方法，特别是在寻找既是隐含又分布在整个文档中的原因这一最难类别中。然而，这种卓越的性能是以沉重的代价换取的。大型模型运行所需的计算能力大得多，处理每个文档所需的时间也明显更长。此外，即使是最好的大型模型也会犯一种特定的错误：它们经常能识别出正确的概念，但会将短语的精确边界界定得略有偏差，这种问题被称为“边界漂移”。

或许最重要的发现是，没有任何一种方法能完全解决问题。虽然大型语言模型是整体表现最强的，但它们仍有约一半的时间无法完全重建关于长文档的完整因果结构。研究人员观察到，所有三种方法在处理中间事件未被明确标注为原因或结果的因果链时都遇到了困难，这表明目前定义这些任务的方式对于现实世界叙事的复杂性来说可能过于简单了。研究还表明，虽然大型模型足以应对从一个主题到另一个主题（如从医学文本转向安全报告）的转变，但与在各自原生领域中的表现相比，其准确性仍有显著下降。

最终的图景是互补性的优势，而非一个明确的胜者。研究人员得出结论，方法的选择完全取决于应用的具体需求。如果一个系统需要快速处理数千份报告，且原因通常很明显，那么简单的规则系统或标准的神经网络可能是最实际的选择。但如果目标是理解多样且困难文本中复杂的隐藏关系，那么大型语言模型是值得投入额外成本的，前提是必须管理好它们的局限性。这项研究表明，该领域的未来不在于等待一种技术击败其他技术，而在于构建结合了规则的速度与精度以及大型模型推理能力的混合系统。通过承认每种方法都有其盲点，研究人员现在可以朝着构建真正能够理解因果关系完整故事的工具迈进。