Embedding Ontologies via Incorporating Extensional and Intensional Knowledge

本文提出了一种名为 EIKE 的新型本体嵌入方法，通过结合几何建模处理扩展性知识、预训练语言模型处理内涵性知识，在统一框架下同时捕捉本体的结构与文本信息，从而在多项任务中显著优于现有最先进方法。

要点

这篇文章介绍了一种名为 EIKE 的新方法，旨在让计算机更好地理解“知识图谱”（也就是机器眼中的世界地图）。

为了让你轻松理解，我们可以把本体（Ontology）想象成一座巨大的图书馆，而EIKE就是这座图书馆里一位超级聪明的图书管理员。

1. 图书馆里的两种知识：书的内容 vs. 书的读者

在传统的图书馆里，知识被分成了两类，但以前的图书管理员往往只能顾一头：

• 内涵知识（Intensional Knowledge）：书的“说明书”

  • 比喻：想象一下《百科全书》里的词条。比如“猫”这个概念，说明书里写着：“猫是哺乳动物”、“猫有胡须”、“猫会抓老鼠”。这些是概念本身的定义和属性，不管现实中有没有具体的猫，这些定义都存在。
  • 以前的痛点：以前的模型擅长处理这种抽象定义，但往往忽略了具体的“猫”长什么样。

• 外延知识（Extensional Knowledge）：具体的“书”和“读者”

  • 比喻：这是图书馆里实实在在的书（具体的实例），比如“我家那只叫咪咪的橘猫”。它属于“猫”这个类别。外延知识关注的是：谁是谁？谁属于谁？（例如：咪咪 $\in$ 猫）。
  • 以前的痛点：以前的模型擅长处理这种具体的归属关系（几何位置），但往往忽略了“咪咪”和“大黄”在性格描述上的细微差别，或者“猫”和“老虎”在概念上的深层联系。

核心问题：以前的图书管理员（AI 模型）要么只懂看说明书（忽略具体实例），要么只懂给书分类（忽略概念间的深层语义），无法同时兼顾。

2. EIKE 的解决方案：双空间魔法

EIKE 这位新管理员觉得：“为什么要让一种方法干所有事呢？不如我分两个房间来管理！”

它把图书馆分成了两个平行空间：

🏛️ 空间一：外延空间（几何房间）

• 做什么：专门处理“谁属于谁”的具体关系。
• 怎么干：它把每个概念（如“猫”）想象成一个几何形状（比如一个椭球体），把具体的实例（如“咪咪”）想象成一个点。
• 逻辑：如果“咪咪”这个点落在了“猫”这个椭球体里面，那就说明“咪咪是猫”。
• 优势：这种方法非常擅长处理层级关系（比如：猫 $\subset$ 动物），就像把大盒子套小盒子一样直观。

🧠 空间二：内涵空间（语义房间）

• 做什么：专门处理“概念是什么意思”的深层含义。
• 怎么干：它请了一位超级语言专家（预训练语言模型，类似现在的 AI 大模型）。这位专家会阅读所有概念的“名字”和“描述文本”。
• 逻辑：专家会分析“猫”和“老虎”的文本描述，发现它们有很多共同点（都是猫科、都有条纹），从而在语义上把它们拉近。
• 优势：这种方法能捕捉到文字背后的微妙含义，比如“猫”和“狗”虽然都是宠物，但性格描述完全不同。

3. 它们如何合作？（联合训练）

EIKE 最厉害的地方在于，它让这两个空间手拉手一起工作：

1. 数据互通：虽然“咪咪”在几何空间是个点，在语义空间它也有一个对应的“虚拟影子”。
2. 互相校验：
   • 如果几何空间说“咪咪属于猫”，但语义空间发现“咪咪”的描述里全是“像狗一样”，EIKE 就会觉得不对劲，调整它的理解。
   • 如果语义空间觉得“猫”和“老虎”很像，几何空间也会尝试让它们的形状靠得更近。
3. 最终目标：通过这种“几何 + 语义”的双重验证，EIKE 能画出一张既符合逻辑结构，又充满人文语义的完美知识地图。

4. 实验结果：它真的更强吗？

作者把 EIKE 放在三个著名的“知识图书馆”（YAGO39K, M-YAGO39K, DB99K-242）里进行测试，让它做两项任务：

• 判断对错：给出一句话“咪咪是猫”，问对不对？
• 猜缺少的词：给出“咪咪 是 ?"，让它猜出“猫”。

结果：EIKE 在几乎所有测试中都打败了之前的所有冠军模型。

• 特别是在处理复杂的概念关系时，因为它既懂“几何结构”又懂“文字含义”，所以它猜得更准，理解得更深。

总结

简单来说，这篇论文发明了一种**“双核驱动”**的 AI 学习方法：

• 一个核（外延空间）负责**“看位置”**，搞清楚谁在谁的圈子里；
• 一个核（内涵空间）负责**“读文字”**，搞清楚概念到底是什么意思。

两者结合，让计算机不仅能知道“什么是什么”，还能真正理解“为什么是这样”，从而更聪明地处理人类世界的复杂知识。

技术摘要

这是一篇关于本体嵌入（Ontology Embedding）的学术论文技术总结，论文标题为《Embedding Ontologies via Incorporating Extensional and Intensional Knowledge》（通过融合外延知识与内涵知识进行本体嵌入），作者提出了名为 EIKE 的新模型。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

本体（Ontology）包含丰富的领域知识，通常分为两类：

• 外延知识 (Extensional Knowledge)：也称为断言知识（Assertional Knowledge），描述具体的实例（Instances）及其属于特定概念（Concepts）的关系（如 John InstanceOf Person）。
• 内涵知识 (Intensional Knowledge)：也称为术语知识（Terminological Knowledge），描述概念本身的固有属性、特征以及概念间的语义关联（如 Pet SubClassOf Animal）。

现有方法的局限性：

• 现有的本体嵌入方法往往无法同时精细地考虑这两类知识。
• 基于几何的方法（如 TransC, TransEllipsoid）能很好地建模外延知识（将概念视为区域，实例视为点），但忽略了概念固有的文本特征和属性，难以捕捉内涵知识。
• 基于文本或随机游走的方法（如 Concept2Vec, OWL2Vec*）能利用文本信息，但往往无法清晰区分概念与实例，或者在建模外延知识（实例与概念的包含关系）时表现不足。
• 核心痛点：缺乏一个统一的框架，能够同时利用几何结构信息（外延）和预训练语言模型的文本语义信息（内涵）来共同表示本体。

2. 方法论 (Methodology)

作者提出了 EIKE (Extensional and Intensional Knowledge Embedding) 框架，其核心思想是将本体表示学习划分为两个独立但联合训练的空间：外延空间和内涵空间。

2.1 双空间表示框架

• 外延空间 (Extensional Space)：

  • 目标：建模外延知识（实例与概念的关系、概念间的层级关系）。
  • 表示方法：采用基于几何的方法。
    • 概念 (Concepts)：表示为多维空间中的椭球体区域 ($G_c$)，由中心点 $c$ 和半轴长度 $b$ 定义。
    • 实例 (Instances)：表示为空间中的点向量 ($i_e$)。
    • 实例关系：使用点向量表示。
  • 优势：能够很好地捕捉 InstanceOf（实例在概念区域内）和 SubClassOf（子概念区域包含于父概念区域）的几何包含关系及传递性。

• 内涵空间 (Intensional Space)：

  • 目标：建模内涵知识（概念的语义属性、文本描述）。
  • 表示方法：利用预训练语言模型 (Pre-trained Language Model, PLM)。
    • 概念：将概念名称（及描述）输入 PLM（如 Sentence-BERT）编码为点向量 ($c_i$)。
    • 实例：为了联合训练，将外延空间中的实例向量通过映射矩阵 ($M_{ei}$) 转换为内涵空间的“虚拟实例向量” ($i_i$)。
  • 优势：能够捕捉概念的深层语义、文本特征和固有属性。

2.2 评分函数与损失函数

针对三种类型的三元组，设计了联合损失函数：

1. InstanceOf 三元组：
   • 外延空间：计算实例点是否在概念椭球内（基于距离的惩罚）。
   • 内涵空间：计算实例向量与概念向量的余弦相似度。
   • 总损失：两者加权求和。
2. SubClassOf 三元组：
   • 外延空间：约束子概念椭球包含于父概念椭球内（基于区域包含的几何约束）。
   • 内涵空间：约束子概念与父概念向量相似，且父概念向量模长更大（体现抽象程度）。
3. Relational 三元组 (实例间关系)：
   • 仅在外延空间使用 TransE 风格的距离损失函数。

2.3 训练策略

• 采用联合训练（Joint Training），最小化上述三类三元组的总损失函数。
• 使用基于边界的排序损失（Margin-based Ranking Loss）来区分正负样本。
• 引入了超参数 $\alpha$ 来平衡外延和内涵空间的贡献。

3. 主要贡献 (Key Contributions)

1. 首创双空间嵌入框架：首次提出将外延知识和内涵知识分别映射到不同的空间（几何空间 vs. 文本语义空间）进行联合表示学习。
2. 融合几何与文本：创新性地结合了几何建模（处理结构和包含关系）和预训练语言模型（处理语义和文本特征），实现了结构信息与文本信息的互补。
3. 细粒度的语义建模：EIKE 是第一个同时精细考虑概念两个语义层面的方法：(1) 其实例的高层汇总（外延）；(2) 其固有属性及与其他概念的关联（内涵）。
4. 性能提升：在多个基准数据集上显著优于现有的最先进（SOTA）方法。

4. 实验结果 (Results)

• 数据集：在 YAGO39K, M-YAGO39K, DB99K-242 三个数据集上进行了评估。
• 任务：三元组分类（Triple Classification）和链接预测（Link Prediction）。
• 核心发现：
  • 三元组分类：EIKE 在 InstanceOf 和 SubClassOf 分类任务上，在所有数据集上均显著优于 TransC, TransEllipsoid, JECI 等基线模型。特别是使用预训练模型编码器（PRE）和恒等映射矩阵（EYE）的变体（EIKE-PRE-EYE）表现最佳。
  • 链接预测：在关系三元组的链接预测任务中，EIKE 的表现与 SOTA 方法相当或略优，特别是在 Hits@10 和 MRR 指标上。
  • 消融实验：
    • 使用预训练模型（PRE）比随机初始化（UNP）效果更好，证明了文本语义信息对内涵知识建模的重要性（在 DB99K-242 上效果不明显是因为该数据集内涵知识稀疏）。
    • 使用固定参数的恒等映射矩阵（EYE）比可学习的普通映射矩阵（MAT）效果更好，说明简单的映射更有利于两个空间的联合学习。
  • 传递性：虽然 EIKE 在两个空间中都保留了 isA 传递性，但在 M-YAGO39K（经过传递性增强）上的提升不如单空间几何方法直观，表明双空间融合在传递性推理上仍有优化空间。

5. 意义与未来工作 (Significance & Future Work)

• 意义：
  • 证明了同时利用结构信息（外延）和文本语义信息（内涵）对于本体嵌入至关重要。
  • 提供了一种更全面、更具代表性的领域知识视角，有助于提升信息检索、语义推理、知识图谱补全等下游任务的效果。
  • 解决了现有方法在概念与实例区分、以及几何结构与文本语义融合方面的不足。
• 未来工作：
  • 构建更统一的本体表示学习框架，支持更多类型的关系（如 SubPropertyOf, Domain, Range）。
  • 探索比几何区域表达能力更强的外延知识建模方法，例如使用图神经网络（GNN）来建模外延知识。

总结：EIKE 通过巧妙地将本体知识解耦为“几何结构”和“文本语义”两个维度，并分别在专用空间进行建模，成功解决了单一视角下本体嵌入的局限性，显著提升了本体在下游任务中的表现。