💻 computer science

FCA-Attention: Neuro-Symbolic Integration via Concept Lattice Priors for Joint Clinical Entity and Relation Extraction

该论文提出了 FCA-Attention，一种将基于形式概念分析（FCA）衍生的格先验与 BERT 表示相结合的神经符号框架，旨在增强临床实体与关系联合提取的性能，在不依赖外部知识图谱的情况下实现了更高的性能和可解释性。

原作者： Chunlei Cheng, Shujun Tan, Xinyi Xiong, Cong Cheng

发布于 2026-09-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Chunlei Cheng, Shujun Tan, Xinyi Xiong, Cong Cheng

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在浩如烟海且无序的医疗记录世界中，至关重要的信息往往埋藏在段落文字之中。医生的笔记可能会在一段流畅的叙述中描述患者的历史、症状和治疗过程。为了让计算机能够将这些知识组织成有用的工具——例如能够回答疾病问题或建议治疗方案的系统——它们必须首先学会阅读这些笔记并提取出特定的事实。这项任务涉及两个协同工作的步骤：识别关键角色（例如某种特定疾病或药物），然后弄清楚它们是如何联系在一起的（例如某种药物是否可以治疗该疾病）。这被称为联合实体与关系抽取。虽然现代计算机程序在理解通用语言方面表现出色，但在面对复杂的医学专业词汇时却经常出错。它们在处理具有多重含义的术语、隐含而非直白表述的关系，以及用于教导它们的高质量标注样本极度匮乏等问题时，往往显得力不从心。

为了解决这个问题，江西中医药大学的研究人员开发了一种名为 FCA-Attention 的新方法。该方法并非仅仅依赖海量数据来教计算机理解医学文本，而是教会计算机以结构化概念的方式进行思考，类似于图书管理员通过类别和主题来组织书籍。团队首先对训练数据本身（即用于教导模型的医学句子集合）进行分析，并研究其中的关系，以构建一个“概念格”（concept lattice）。这是一个结构化的地图，根据它们共享的关系将相似的医学术语归为一类。例如，如果一组疾病都共享相同的症状和治疗方法，系统就会识别出它们属于同一个概念家族。这张地图充当了一个指南，在计算机开始阅读新句子之前，就为其提供了一个关于医学概念如何相互关联的清晰、逻辑严密的框架。

其创新的核心在于一种允许计算机在阅读时查阅该概念地图的机制。当模型处理一个句子时，它会停下来询问其内部地图：“这个词属于哪种概念？该概念通常有哪些关系？”研究人员将这一过程称为“概念感知注意力”（concept-aware attention），它将计算机理解上下文的自然能力与医学知识地图的严密、逻辑结构融合在一起。这是两种不同思维方式的融合：现代人工智能灵活的、数据驱动的学习，以及符号知识精确的、基于规则的逻辑。通过这样做，模型不仅仅是根据看到的模式进行猜测，而是根据医学领域的结构化规则进行推理。

研究人员在两个主要的基准测试集上测试了这一新系统：一个专门针对中文医学文本，另一个针对通用语言。结果显示，通过整合这些结构化概念，模型的表现有了显著提升。在医学数据集上，它识别医学实体的准确率提高了近 1%，发现它们之间关系的准确率提高了近 2%。虽然这些数字看起来很小，但在人工智能领域，这样的增益是实质性的，表明模型理解复杂信息的能力有了真正的进步。或许更重要的是，当数据稀缺时，该系统证明了其价值。在模型只能利用通常训练数据量不到 10% 的场景下，改进效果更为显著。这表明概念地图充当了缺失数据的强大替代品，使模型即使在无法看到数千个示例的情况下也能有效地学习。

研究还探讨了这种概念地图的质量和规模如何影响性能。研究人员发现，地图并不是越大越好。如果地图中充斥着模糊或冗余的概念，会导致模型产生困惑，从而稀释其注意力。相反，最好的结果来自于经过精心策划的高质量概念集合，这些概念应当是具体且独特的。这种平衡至关重要：系统需要足够的概念来覆盖遇到的各种医学术语，但又不能过多，以免迷失在噪声中。团队还证明了这种方法并不局限于医学文本。在通用语言数据上的测试显示，该模型仍然优于标准方法，证明了使用结构化概念先验的策略可以帮助计算机理解任何领域的各种关系。

通过详细的案例研究，研究人员展示了该模型究竟是如何利用这些知识的。当面对一个关于冠心病患者服用阿司匹林的句子时，模型不仅仅看到了单词；它识别出“冠心病”属于一种特定的疾病类别，而该类别通常具有“药物治疗”这一关系。这种内部识别帮助它正确识别了疾病与药物之间的联系，即使句式结构非常复杂。该系统还提供了一种观察其自身推理过程的方法，允许研究人员追踪模型关注哪些概念来做出决策。这种透明度是一个重要的进步，因为它使人工智能从一个只产生答案而不给出解释的“黑箱”，转变为一个逻辑可以被检查和理解的系统。

最终，这项工作表明，将数据驱动学习的灵活性与结构化知识的精确性相结合，可以创造出更稳健、更可靠的工具。它表明，我们不需要在通过海量数据集教学和通过严谨规则教学之间做选择；我们可以两者兼顾。通过搭建这两者之间的桥梁，研究人员创建了一个在处理现实世界医学文本的歧义性方面表现更好、在数据有限时更高效、且在得出结论时更加清晰的系统。这种方法为构建能够组织全球医学知识的智能系统提供了一条充满前景的路径，使这些知识能更便捷地服务于医生、研究人员及患者。

技术摘要：FCA-Attention

问题陈述

从医学文本中进行联合实体与关系抽取（JERE）对于构建医学知识系统至关重要，但面临着显著的挑战。纯数据驱动的模型（如基于 BERT 等预训练语言模型 PLMs 的模型）通常难以应对以下问题：

复杂术语： 医学概念具有高度的歧义性和同义性（例如，“心肌梗死”与“心梗”）。
隐式关系： 逻辑依赖和语义组合在文中并未显式表达。
数据稀缺： 获取高质量标注医学数据的成本极高，限制了深度语义模式的学习。
错误传播： 传统的流水线（pipeline）方法将实体识别（NER）和关系抽取（RE）解耦，导致不可逆的错误传播。
缺乏可解释性： 深度学习模型通常作为黑盒运行，未能显式地整合领域知识约束。

现有的联合模型通常依赖于浅层特征共享，未能深度整合实体类型对关系类型所施加的结构化约束。此外，依赖外部知识图谱（KG）的方法通常将知识视为静态或独立的模块，缺乏与神经网络计算过程的深度对齐。

方法论

本文提出了 FCA-Attention，这是一个将**形式概念分析（Formal Concept Analysis, FCA）**与上下文语言表示相结合的神经符号框架，用于执行联合实体与关系抽取。其核心创新在于直接从任务数据中推导结构先验，而非依赖外部知识图谱。

1. 构建医学关系形式语境

模型从训练语料库的三元组中构建了一个结构化的、可计算的关系形式语境库。

形式定义： 定义一个关系形式语境 $K=(G, M, RI)$ ，其中 $G$ 代表主语实体， $M$ 代表宾语实体， $RI$ 代表关系谓词。
概念类型：
- 主语概念 ( $SC$ )： 由外延（主语实体集合）和内涵（它们共有的关系集合）定义。
- 宾语概念 ( $OC$ )： 由外延（宾语实体集合）和内涵（它们参与的关系集合）定义。
概念格（Concept Lattice）： 概念基于偏序关系（泛化与特化）组织成层次化的格结构。该结构捕捉了实体类型与关系类型之间的依赖关系。
向量化： 每个概念通过拼接以下内容映射为连续向量 $v_{concept}$ $v_{co n ce pt}$ ：
- 内涵向量： 聚合的关系名称嵌入。
- 外延向量： 实体名称的平均池化嵌入。
- 结构向量： 格结构中的层次位置编码。

2. 模型架构

该架构遵循编码器-解码器范式，使用冻结的 BERT 编码器（RoBERTa-zh-Large）以保留通用的语义理解能力。

概念记忆模块： 将向量化后的概念存储为外部的可查询知识源。
概念感知注意力机制：
- BERT 隐藏层表示 ( $H$ ) 作为查询项 ( $Q$ )。
- 概念向量作为键 ( $K$ ) 和值 ( $V$ )。
- 交叉注意力机制计算 Token 与概念之间的权重，生成概念增强表示 $H_c$ 。这使得模型在编码过程中能够动态聚焦于相关的概念知识。
联合解码：
- NER： $H_c$ 被传递至 CRF 层进行序列标注（采用 BIOES 方案）。
- RE： 对于每一对实体，构建包含头实体/尾实体表示、交互特征以及概念相似度特征的特征集。该特征计算与头尾实体相关概念的内涵集合之间的 Jaccard 相似度，起到归纳偏置的作用。

3. 训练目标

模型采用多任务学习框架，使用加权损失函数：
$\mathcal{L} = \lambda_1 \mathcal{L}_{ner} + \lambda_2 \mathcal{L}_{rel} + \lambda_3 \mathcal{L}_{align}$

$\mathcal{L}_{ner}$ ：CRF 负对数似然。
$\mathcal{L}_{rel}$ ：带有 Focal Loss 的二元交叉熵，用于处理类别不平衡问题。
$\mathcal{L}_{align}$ ：一种新型的概念对齐损失，旨在最小化实体注意力分布与与其关联的概念原型分布之间的 KL 散度，从而确保文本空间与概念空间之间的语义一致性。

核心贡献

新型神经符号框架： 本文引入了 FCA-Attention，它将形式概念分析与注意力机制深度结合，为医学 JERE 中的异构信息融合提供了一种新范式。
数据驱动的结构先验： 不同于需要外部 KG 的方法，FCA-Attention 直接从训练数据中推导结构先验（概念格），将实体-关系关联进行层次化组织。
概念感知注意力： 该机制旨在通过结构化概念知识动态增强文本表示，实现了知识与数据的自适应集成。
全面评估： 模型在医学特定数据集 CMeIE（CBLUE 的子集）和通用领域数据集 DuIE 上均得到了验证，证明了其有效性和跨领域泛化能力。

实验结果

实验在 CMeIE（11 种实体类型，44 种关系）和 DuIE（26 种实体类型，49 种关系）上进行。

性能提升：
- 在 CMeIE 上，与最佳基线相比，FCA-Attention 在 NER 方面实现了 0.74% 的 F1 绝对提升，在 RE 方面实现了 1.91% 的提升。
- 在 DuIE 上，其在 RE 方面实现了 1.13% 的 F1 绝对提升。
低资源鲁棒性： 在使用少于 10% 训练数据的情况下，性能提升更为显著（例如，在 1,000 个样本下，RE 的 F1 提升了 3.95%），表明其具有更好的数据利用率以及弥合稀疏标注间语义鸿沟的能力。
消融实验：
- 移除 概念对齐损失 会导致性能下降，证实了语义一致性约束的价值。
- 移除 概念相似度特征 会导致 RE 性能显著下降（1.73% F1），凸显了其在关系判别中的作用。
- 使用 静态库（冻结向量）的表现差于自适应版本，证明了对概念向量进行端到端优化的必要性。
概念增强： 将概念记忆模块注入基线模型（Pipeline, PRGC, TPLinker）中均能持续提升其性能，尤其是在召回率（Recall）方面，证明了该方法的泛化性。

重要性与主张

本文主张 FCA-Attention 成功降低了神经模型与符号模型之间的表示差距，且无需额外的外部知识。通过从数据本身推导概念格，该模型为医学信息抽取提供了一种可解释且可复现的方法。

作者强调，通过整合概念格先验，该模型能够：

通过揭示潜在的实体与关系，缓解低资源环境下的“遗漏问题”。
通过概念注意力机制为预测提供显式的依据（例如，Token 关注特定的疾病概念）。
通过利用概念格的层次化约束，有效处理医学关系中复杂、隐式且重叠的特性。

研究结论指出，虽然该方法非常有效，但其性能与概念库的质量和规模密切相关。必须在扩展实体覆盖范围与过滤噪声及冗余概念之间取得平衡，以防止注意力稀释。未来的工作建议聚焦于动态库更新和多模态扩展。