Embedding Ontologies via Incorporating Extensional and Intensional Knowledge

본 논문은 확장적 지식과 내포적 지식을 각각 기하학적 방법과 사전 학습된 언어 모델을 통해 통합적으로 모델링하는 새로운 온톨로지 임베딩 프레임워크인 EIKE 를 제안하여, 기존 방법들보다 온톨로지의 구조 및 텍스트 정보를 더 포괄적으로 반영하고 링크 예측 및 트리플 분류 성능을 크게 향상시킨다는 것을 보여줍니다.

핵심

🏛️ 비유: "도서관의 두 가지 지도"

상상해 보세요. 거대한 도서관 (지식) 이 있다고 칩시다. 이 도서관을 컴퓨터가 이해하려면 두 가지 종류의 지도가 필요합니다.

1. 실제 책장 지도 (확장적 지식 - Extensional Knowledge):
   • "이 책장에는 '고양이'라는 책이 10 권 있고, 그중 한 권은 '야옹이'라는 제목이다"처럼 구체적인 사실을 담는 지도입니다.
   • 예: "야옹이는 고양이입니다", "고양이는 동물입니다".
2. 책의 내용 요약 지도 (내포적 지식 - Intensional Knowledge):
   • "고양이"라는 책이 어떤 내용을 담고 있는지, 고양이의 특징 (수염이 있다, 밤에 잘 본다 등) 과 다른 책들과의 관계를 설명하는 지도입니다.
   • 예: "고양이는 포유류다", "고양이는 잡식성이 아니다".

기존의 문제점:
기존 컴퓨터 프로그램들은 이 두 가지 지도를 혼합해서 사용하거나, 한쪽만 너무 강조했습니다.

• 어떤 프로그램은 책장 위치 (구체적 사실) 는 잘 찾지만, 책의 내용 (특징) 을 모릅니다.
• 다른 프로그램은 책의 내용 (특징) 은 잘 분석하지만, 실제 책이 어디에 있는지 (구체적 사실) 를 헷갈려 합니다.
• 마치 **"책의 제목만 보고 위치를 찾는 사람"**과 **"내용만 읽고 제목을 외우는 사람"**이 따로 놀고 있는 꼴이었습니다.

---

✨ EIKE 의 해결책: "두 개의 공간으로 나누어 생각하기"

이 논문이 제안한 EIKE는 이 두 가지 지식을 **서로 다른 공간 (방)**으로 나누어 처리한 뒤, 다시 합치는 똑똑한 방법입니다.

1. 첫 번째 방: "구체적 사실 공간" (Extensional Space)

• 방법: 기하학적 (도형) 방법을 사용합니다.
• 비유: 마치 포켓몬 고 게임처럼 생각하세요.
  • '동물'이라는 큰 원 (영역) 안에 '고양이'라는 작은 원이 있고, 그 안에 '야옹이'라는 점 (실제 개체) 이 들어갑니다.
  • 컴퓨터는 "야옹이"라는 점이 "고양이"라는 원 안에 들어있는지, "동물"이라는 더 큰 원 안에 들어있는지 위치 관계로 계산합니다.
  • 장점: "야옹이"가 "고양이"인지, "고양이"가 "동물"인지 같은 구체적인 포함 관계를 아주 정확하게 파악합니다.

2. 두 번째 방: "개념 특징 공간" (Intensional Space)

• 방법: 최신 인공지능 언어 모델 (Pre-trained Language Model) 을 사용합니다.
• 비유: 네이버/구글 번역기나 챗봇이 문장을 이해하는 방식입니다.
  • "고양이"라는 단어와 "야옹이"라는 단어를 입력하면, AI 가 "고양이는 귀여운 동물이고, 털이 있고, 발톱이 있다"는 텍스트의 의미를 파악합니다.
  • 이 공간에서는 '야옹이'와 '고양이'가 서로 얼마나 비슷한 의미를 가지는지, '고양이'와 '개'가 어떻게 다른지 문맥과 특징으로 계산합니다.
  • 장점: 단순히 위치만 보는 게 아니라, 개념의 속성과 뉘앙스까지 깊이 이해합니다.

3. 두 방을 연결하기 (Joint Training)

• EIKE 는 이 두 방에서 나온 정보를 한 번에 학습합니다.
• "야옹이"라는 점이 '고양이' 영역 안에 있어야 하고 (1 번 방), 동시에 '야옹이'와 '고양이'의 텍스트 의미도 비슷해야 한다 (2 번 방) 는 두 가지 조건을 동시에 만족하도록 훈련시킵니다.
• 마치 건축가가 건물의 **구조 (기하학)**와 **디자인 (의미)**을 동시에 고려하여 튼튼하고 아름다운 건물을 짓는 것과 같습니다.

---

🏆 실험 결과: "왜 EIKE 가 더 좋은가?"

연구진은 YAGO, DBpedia 같은 거대한 지식 데이터셋으로 실험을 해보았습니다.

• 결과: EIKE 는 기존에 가장 잘하던 방법들보다 압도적으로 좋은 점수를 받았습니다.
• 이유:
  • 기존 방법들은 "사실"과 "의미" 중 하나만 잘 보거나, 둘을 섞어서 혼란을 겪었습니다.
  • EIKE 는 **사실 (위치)**과 **의미 (특징)**를 모두 완벽하게 이해했기 때문에, "이 책이 어디에 있을까?" (링크 예측) 나 "이 문장이 맞을까?" (삼중항 분류) 같은 질문을 훨씬 정확하게 답할 수 있었습니다.

💡 한 줄 요약

"지식을 이해할 때는 '어디에 있는지 (위치)'와 '무엇인지 (의미)'를 따로따로 잘 분석한 뒤, 두 정보를 합쳐야 가장 똑똑한 AI 가 된다!"

이 논문은 컴퓨터가 인간의 복잡한 지식을 더 자연스럽게 이해할 수 있도록, **두 가지 다른 관점 (구체적 사실 vs 개념적 의미)**을 동시에 활용하는 새로운 방식을 제시했다는 점에서 매우 의미 있습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 온톨로지의 지식 분류: 온톨로지는 일반적으로 두 가지 유형의 지식을 포함합니다.
  • 확장 지식 (Extensional Knowledge): 구체적인 인스턴스 (개체) 와 그들 간의 관계, 그리고 인스턴스가 특정 개념에 속한다는 사실 (Assertional Knowledge) 을 다룹니다.
  • 내포 지식 (Intensional Knowledge): 개념의 고유한 속성, 특징, 그리고 개념 간의 의미적 관계 (Terminological Knowledge) 를 다룹니다.
• 기존 방법의 한계: 기존 온톨로지 임베딩 방법들은 주로 한 가지 유형의 지식에만 집중하거나, 두 가지를 동시에 정교하게 고려하지 못했습니다.
  • 기하학적 기반 방법 (예: TransC, TransEllipsoid 등) 은 확장 지식 (인스턴스 - 개념 관계) 을 잘 표현하지만, 개념의 내재적 속성이나 텍스트 정보를 반영하는 내포 지식 표현에는 한계가 있습니다.
  • 텍스트 기반 또는 랜덤 워크 기반 방법 (예: Concept2Vec, OWL2Vec*) 은 내포 지식을 어느 정도 반영할 수 있으나, 인스턴스와 개념을 명확히 구분하지 못하거나 확장 지식을 충분히 모델링하지 못합니다.
• 핵심 문제: 온톨로지의 풍부한 의미를 포착하기 위해서는 확장 지식 (구조적/기하학적 정보) 과 내포 지식 (텍스트/의미적 정보) 을 동시에 고려하면서도, 개념 (Concept) 과 인스턴스 (Instance) 를 명확히 구분하여 임베딩하는 새로운 프레임워크가 필요합니다.

2. 제안 방법론: EIKE (Methodology)

저자들은 EIKE (Extensional and Intensional Knowledge Embedding) 라는 새로운 모델을 제안했습니다. 이 모델은 온톨로지를 두 개의 독립적인 공간 (Space) 에서 표현하고 학습합니다.

A. 이중 공간 표현 (Dual-Space Representation)

1. 확장 공간 (Extensional Space):
   • 목적: 확장 지식 (인스턴스, 인스턴스 간 관계, 인스턴스 - 개념 관계) 모델링.
   • 방식: 개념은 타원체 (Ellipsoid) 영역으로, 인스턴스는 점 벡터 (Point Vector) 로 표현합니다.
   • 기하학적 모델: 인스턴스 벡터가 해당 개념의 타원체 영역 내에 위치하도록 설계하여 InstanceOf 관계와 SubClassOf 관계의 포함 관계를 기하학적으로 모델링합니다.
2. 내포 공간 (Intensional Space):
   • 목적: 내포 지식 (개념의 정의, 속성, 의미적 연관성) 모델링.
   • 방식: 사전 학습된 언어 모델 (Pre-trained Language Model, PLM) 을 활용합니다.
   • 인코딩: 개념의 이름 (URI) 과 설명 텍스트를 PLM (Sentence-BERT) 에 입력하여 의미 벡터로 인코딩합니다.
   • 가상 인스턴스: 학습의 편의를 위해 확장 공간의 인스턴스 임베딩을 선형 변환을 통해 내포 공간의 '가상 인스턴스'로 매핑합니다.

B. 스코어링 함수 및 손실 함수 (Scoring & Loss Functions)

세 가지 유형의 트립플에 대해 각각 다른 손실 함수를 정의하여 결합 학습 (Joint Training) 을 수행합니다.

• InstanceOf (인스턴스 - 개념):
  • 확장 공간: 인스턴스 벡터가 개념 타원체 내부에 있는지 확인 (거리 기반).
  • 내포 공간: 인스턴스 (가상) 와 개념 벡터 간의 코사인 유사도 최대화.
• SubClassOf (하위 개념 - 상위 개념):
  • 확장 공간: 하위 개념의 타원체가 상위 개념의 타원체 내부에 포함되는 기하학적 관계 모델링.
  • 내포 공간: 두 개념 벡터 간의 유사도 및 벡터 길이 (Norm) 차이를 통해 추상화 수준을 반영.
• Relational Triples (인스턴스 간 관계):
  • 확장 공간에서만 TransE 모델을 사용하여 관계 벡터의 합을 계산합니다.

C. 학습 전략

• 세 가지 손실 함수 (L_sub, L_ins, L_rel) 를 선형 결합하여 전체 손실 함수 L 을 최소화합니다.
• 마진 기반 랭킹 손실 (Margin-based Ranking Loss) 을 사용하여 양수/음수 샘플을 구분하며 학습합니다.

3. 주요 기여 (Key Contributions)

1. 이중 공간 프레임워크: 온톨로지의 확장 지식과 내포 지식을 각각 별도의 공간 (기하학적 공간과 텍스트 임베딩 공간) 에서 모델링하는 최초의 프레임워크를 제안했습니다.
2. PLM 기반 내포 지식 인코딩: 사전 학습된 언어 모델을 활용하여 개념의 내재적 속성과 특징을 효과적으로 인코딩하고, 이를 개념 간 의미 관계 계산에 활용하는 새로운 방법을 제시했습니다.
3. 개념과 인스턴스의 명확한 구분: 기존 방법들의 모호함을 해결하고, 두 공간을 연결하는 매핑 메커니즘을 통해 온톨로지의 구조적, 의미적 정보를 종합적으로 표현했습니다.

4. 실험 결과 (Results)

저자들은 YAGO39K, M-YAGO39K, DB99K-242 세 가지 데이터셋을 사용하여 실험을 수행했습니다.

• 비교 대상: TransE, TransH, TransC, TransEllipsoid, Concept2Vec, JECI 등 13 가지 최신 모델 (SOTA) 과 비교했습니다.
• 성과:
  • Triple Classification (3-중 분류): InstanceOf 및 SubClassOf 트립플 분류에서 모든 데이터셋에서 기존 최첨단 방법들을 크게 상회하는 성능을 보였습니다. 특히 사전 학습 모델 (PRE) 을 사용한 변형 (EIKE-PRE-EYE) 이 가장 우수한 성능을 기록했습니다.
  • Link Prediction (링크 예측): 관계 트립플에 대한 링크 예측 작업에서도 Hits@10, MRR 지표에서 우수한 성능을 보여주었습니다.
  • 내포 지식의 효과: 사전 학습된 언어 모델을 사용한 모델이 텍스트 정보가 풍부한 데이터셋 (YAGO 등) 에서 더 큰 성능 향상을 보였으며, 이는 내포 지식 모델링의 중요성을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 종합적 관점: EIKE 는 온톨로지의 구조적 정보 (확장 지식) 와 의미적 정보 (내포 지식) 를 통합하여 더 포괄적이고 대표적인 도메인 관점을 제공합니다.
• 실용성: 온톨로지 기반의 추론, 분류, 정보 검색 등 다양한 응용 분야에서 더 정확한 임베딩 표현을 가능하게 합니다.
• 향후 과제: 저자들은 향후 SubPropertyOf, Domain, Range 와 같은 더 복잡한 관계를 모델링할 수 있는 통합 프레임워크를 구축하고, 확장 지식을 표현하기 위해 공간 영역 대신 그래프 신경망 (GNN) 과 같은 더 강력한 표현력을 가진 방법을 탐구할 계획이라고 밝혔습니다.

이 논문은 온톨로지 임베딩 분야에서 텍스트 정보와 구조적 정보를 효과적으로 결합하여 지식 표현의 한계를 극복한 중요한 연구로 평가됩니다.