Embedding Ontologies via Incorporating Extensional and Intensional Knowledge

本論文は、オントロジーの拡張的知識と内包的知識をそれぞれ幾何学的手法と事前学習済み言語モデルを用いて統合的に表現する新たな埋め込み手法「EIKE」を提案し、従来の手法を上回る性能でタスクを達成することを示しています。

要約

この論文は、**「AI が知識をどうやって理解し、整理するか」**という難しいテーマを、とても新しい方法で解決しようとした研究です。

タイトルは少し難しそうですが、要するに**「AI に『辞書的な意味』と『実際の使用例』の両方を教えて、より賢くさせる方法」**を提案したものです。

以下に、専門用語を排して、わかりやすい比喩を使って説明します。

---

🏫 比喩：学校の「教科書」と「生徒名簿」

この論文が扱っている「オントロジー（知識体系）」とは、ある分野の知識を整理した**「巨大な辞書」**のようなものです。
例えば「動物」について考えるとき、AI は以下の 2 つの情報を同時に持っていると理想的です。

1. 辞書的な定義（内包的知識）
   • 「犬とは、哺乳類で、四本足を持ち、吠える動物だ」といった概念の定義です。
   • これがないと、AI は「犬」という言葉の意味がわかりません。
2. 実際の使用例（外延的知識）
   • 「ポチは犬だ」「フレディは猫だ」といった具体的な事実です。
   • これがないと、AI は「犬」という概念が現実世界でどう使われているか（誰が犬なのか）がわかりません。

🚫 従来の AI の問題点

これまでの AI の知識学習（埋め込み）は、この 2 つの情報を**「ごちゃ混ぜ」にして扱ったり、「どちらか一方」しか重視しなかったり**していました。

• 几何学（図形）を使う方法： 「犬の定義」を丸い図形で表し、「ポチ」をその図形の中にある点として表すのは得意ですが、「犬」という言葉のニュアンス（「忠実」「愛玩動物」といった意味）までは捉えきれません。
• 言葉の意味を使う方法： 辞書の定義を AI に読ませて意味を学ばせるのは得意ですが、「ポチが実際に犬である」という事実関係（図形的な位置関係）を正確に捉えるのが苦手でした。

つまり、**「定義だけ知っている先生」か「事実だけ知っている事務員」**のどちらか一方しかいない状態だったのです。

✨ 新しい解決策：「EIKE」という 2 つの部屋

この論文では、**「EIKE（アイキ）」という新しい AI 学習モデルを提案しています。
これは、知識を「2 つの異なる部屋」**に分けて整理するアイデアです。

🏠 部屋 1：外延空間（実例の部屋）

• 役割： 「誰が何だ」という事実関係を整理する部屋です。
• 方法： 図形（楕円）と点を使います。
  • 「犬」という概念を**大きな楕円（部屋）**として描きます。
  • 「ポチ」や「フレディ」といった具体的な個体を、その部屋の中にある点として描きます。
  • 「ポチは犬の部屋の中にある」＝「ポチは犬である」と判断します。
  • これにより、複雑な「犬の部屋の中に猫の部屋がある（哺乳類の部屋がある）」といった階層構造を正確に表現できます。

📚 部屋 2：内包空間（意味の部屋）

• 役割： 「犬とはどんな動物か」という意味や特徴を整理する部屋です。
• 方法： 最新の**「言語モデル（AI 翻訳機のようなもの）」**を使います。
  • 「犬」という言葉や、その説明文を AI に読み込ませ、言葉の**「雰囲気」や「意味」**を数値のベクトル（座標）に変換します。
  • これにより、「犬」と「狼」は意味が似ているので、この部屋では距離が近い場所に配置されます。

🤝 2 つの部屋を繋ぐ「魔法の橋」

EIKE のすごいところは、この**「図形の世界（事実）」と「言葉の世界（意味）」**を、同時に学習させて、互いに補い合うようにした点です。

• 「ポチは犬だ」という事実（部屋 1）と、「ポチは忠実な犬だ」という意味（部屋 2）を結びつけることで、AI は**「ポチ」という存在を、事実と意味の両面から深く理解**できるようになります。

🏆 結果：どれくらいすごいのか？

この新しい方法（EIKE）を、有名な知識データベース（YAGO や DBpedia など）でテストしました。

• 結果： 従来のどの方法よりも、**「正解率」**が大幅に向上しました。
• 意味： AI が「これは犬だ」と判断する精度が上がり、また「犬と狼は似ているが、猫とは違う」といった複雑な関係も正しく理解できるようになったのです。

💡 まとめ

この論文は、**「AI に知識を教えるとき、定義（辞書）と実例（写真）を分けて考え、両方を同時に学ぶようにすれば、AI はもっと賢くなる」**という画期的なアイデアを証明しました。

これにより、検索エンジンがより正確な答えを出したり、医療や科学の分野で新しい発見を支援したりする AI が、より現実的な世界を理解できるようになることが期待されます。

技術概要

1. 問題定義 (Problem)

オントロジーには、ドメイン内の知識が**「拡張知識 (Extensional Knowledge; 記述的知識)」と「内包知識 (Intensional Knowledge; 用語的知識)」**の 2 つの主要なカテゴリとして存在します。

• 拡張知識: 具体的なインスタンス（個体）と、それらが特定の概念に属するという事実（例：John は Person のインスタンス）。
• 内包知識: 概念そのものが持つ固有の性質、特徴、および概念間の意味的関係（例：Person は Animal のサブクラスである）。

既存のオントロジー埋め込み手法には以下の課題がありました：

1. 幾何学的アプローチ（TransC, TransEllipsoid など）: 拡張知識（インスタンスと概念の包含関係）をモデル化するのは得意ですが、概念のテキスト情報や固有の特性を捉える内包知識のモデル化が不十分です。
2. 言語モデルベースのアプローチ（OWL2Vec など）*: 内包知識を捉えることはできますが、ランダムウォークなどの戦略により、概念とインスタンスを明確に区別できず、拡張知識のモデル化が不十分です。
3. 既存手法の限界: これら 2 つの知識を同時に、かつ精密に考慮した統合的な埋め込み手法が存在しませんでした。

2. 提案手法：EIKE (Methodology)

著者らは、EIKE (Extensional and Intensional Knowledge Embedding) という新しいオントロジー埋め込みフレームワークを提案しました。この手法の核心は、オントロジーを**「拡張空間 (Extensional Space)」と「内包空間 (Intensional Space)」**という 2 つの異なる空間で表現し、それぞれに適した手法で知識をモデル化することにあります。

2.1 知識表現フレームワーク

• 拡張空間 (Extensional Space):

  • 目的: 拡張知識（インスタンスと概念の関係）のモデル化。
  • 手法: 幾何学的アプローチを採用。
    • 概念: 楕円体（Ellipsoid）として表現（中心点 $c$ と半軸長 $b$）。
    • インスタンス: 点ベクトルとして表現。
    • 関係: インスタンスのベクトルが対応する概念の楕円体内部にあることを保証するスコア関数を定義。
  • 特徴: 概念の異方性（anisotropy）を考慮し、InstanceOf や SubClassOf の推移性を幾何学的に捉えます。

• 内包空間 (Intensional Space):

  • 目的: 内包知識（概念の性質や意味的関係）のモデル化。
  • 手法: 事前学習済み言語モデル（PLM）を採用。
    • 概念: 概念名や説明テキストを PLM（Sentence-BERT）に入力し、文脈ベクトルとしてエンコード。
    • インスタンス: 拡張空間のインスタンス埋め込みを線形変換（恒等行列または学習可能な行列）して「仮想インスタンス埋め込み」として生成し、内包空間にマッピング。
  • 特徴: 概念のテキスト情報や意味的類似性を捉え、概念間の階層構造を意味的に表現します。

2.2 スコア関数と損失関数

3 種類のトリプルに対して、それぞれの空間で定義されたスコア関数を組み合わせ、統合損失関数を最小化します。

1. InstanceOf トリプル:
   • 拡張空間：インスタンスが概念の楕円体内にあるか（幾何的距離）。
   • 内包空間：仮想インスタンスと概念のベクトル類似度（コサイン類似度）。
   • 両者の和を損失として使用。
2. SubClassOf トリプル:
   • 拡張空間：親概念の楕円体が子概念の楕円体を包含する関係（幾何的包含）。
   • 内包空間：親概念と子概念のベクトル類似度と、親概念のノルムが子概念より大きくなる制約（抽象度の表現）。
3. Relational トリプル（インスタンス間の関係）:
   • 拡張空間のみで TransE モデルを適用。

2.3 学習プロセス

• 上記の 3 つの損失関数を線形結合し、統合的に学習します。
• 負のサンプリング（Uniform または Bernoulli 分布）を用いたランキング損失を最適化します。

3. 主な貢献 (Key Contributions)

1. 二重空間アプローチの提案: 拡張知識と内包知識をそれぞれ異なる空間（幾何空間とテキスト埋め込み空間）で表現し、統合する初のフレームワークを提案しました。
2. PLM を活用した内包知識のエンコーディング: 事前学習済み言語モデルを用いて概念の固有特性をエンコードし、概念間の意味的関係を計算に組み込む新しい手法を提案しました。
3. 概念とインスタンスの明確な区別: 従来の手法が混同しがちな「概念」と「インスタンス」を、それぞれの空間で適切な表現形式（楕円体 vs 点、またはテキストベクトル）で明確に区別して学習します。

4. 実験結果 (Results)

YAGO39K, M-YAGO39K, DB99K-242 の 3 つのデータセットで、Triple Classification（トリプル分類）と Link Prediction（リンク予測）のタスクにおいて評価を行いました。

• Triple Classification:
  • InstanceOf 分類: 既存の最先端手法（TransEllipsoid, TransCuboid など）を大幅に上回りました。特に、事前学習モデルを使用し恒等行列マッピングを採用した EIKE-PRE-EYE (unif) が最高性能を記録しました。
  • SubClassOf 分類: 同様に既存手法を上回り、拡張知識と内包知識の統合が階層構造の理解に寄与していることを示しました。
  • Relational トリプル分類: 既存の SOTA 手法と同等かそれ以上の性能（YAGO39K で F1 スコア 93.42% など）を達成しました。
• Link Prediction:
  • リンク予測タスク（Relational トリプル）においても、Hits@10 や MRR などの指標で既存手法を凌駕しました。特に「bern」サンプリングと恒等行列マッピングの組み合わせが効果的でした。

5. 意義と結論 (Significance)

• 包括的なドメイン理解: 幾何学的構造情報（拡張知識）とテキスト意味情報（内包知識）の両方を統合的に表現することで、オントロジーのドメイン理解がより包括的かつ代表的なものになりました。
• 汎用性の向上: 本手法は、推論（Materialization）、分類、検索など、さまざまなセマンティックアプリケーションへの適用可能性を高めています。
• 将来展望: 将来的には、SubPropertyOf や Domain/Range などのより複雑な関係性のモデル化や、拡張知識の表現をグラフニューラルネットワーク（GNN）などより強力な表現力を持つ手法へ拡張する計画が示されています。

要約すると、EIKE はオントロジーの「何が存在するか（拡張）」と「それが何か（内包）」の両面を、それぞれ最適な手法で捉え、統合的に学習する画期的なアプローチであり、オントロジー埋め込みの性能を飛躍的に向上させる成果を示しました。