OMNIA: Closing the Loop by Leveraging LLMs for Knowledge Graph Completion

이 논문은 구조적 추론과 의미론적 추론을 결합하여 외부 데이터 없이도 지식 그래프의 누락된 삼중항을 효율적으로 완성하는 2 단계 접근법인 OMNIA 를 제안하고, 이를 통해 기존 임베딩 기반 모델 대비 F1 점수를 크게 향상시켰음을 입증합니다.

핵심

이 논문은 **'OMNIA(오미니아)'**라는 새로운 시스템을 소개합니다. 이 시스템은 **'지식 그래프 (Knowledge Graph)'**라는 거대한 지식 지도를 더 완벽하게 만드는 일을 도와줍니다.

간단히 말해, **"지식 지도에 빠진 조각들을 찾아내어 다시 붙여주는 똑똑한 도우미"**라고 생각하시면 됩니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 배경: 왜 이 일이 필요한가요? (깨진 퍼즐)

우리가 세상을 이해하기 위해 만든 거대한 **'지식 지도 (Knowledge Graph)'**가 있다고 상상해 보세요. 이 지도에는 '사과'와 '과일'을 연결하거나, '코로나'와 '치료제'를 연결하는 수많은 정보 조각 (삼중항, Triple) 이 있습니다.

하지만 최근 인공지능 (LLM) 이 이 지도를 자동으로 만들다 보니, 중요한 조각들이 빠지거나 (불완전) 혹은 틀린 조각이 섞여 들어가는 (노이즈) 문제가 생겼습니다.

• 예시: "클로로퀸이 코로나를 치료한다"는 사실은 있는데, 지도에는 "리데시비르가 코로나를 치료한다"는 사실만 있고, 두 약물이 서로 관련이 있다는 연결고리가 빠져있는 경우입니다.

기존 방법들은 이 빠진 조각을 찾으려고 **외부 책 (인터넷 검색)**을 뒤지거나, **수학적 계산 (임베딩)**만 믿었습니다. 하지만 외부 책은 신뢰할 수 없거나, 수학 계산만으로는 "약이 바이러스를 막는다"는 미묘한 뉘앙스를 이해하지 못했습니다.

2. OMNIA 의 해결책: 두 단계로 완성하는 '지식 수리공'

OMNIA 는 이 문제를 해결하기 위해 두 단계로 나누어 일합니다. 마치 수제 비누를 만드는 과정이나 고급 레스토랑의 요리 과정과 비슷합니다.

1 단계: 후보 조각 찾기 (클러스터링) - "유사한 친구들 모으기"

가장 먼저, 빠진 조각을 무작위로 찾아내는 건 비효율적입니다. (모든 사물과 관계를 다 조합해 보면 수조 개가 나오니까요!)
OMNIA 는 **"비슷한 패턴을 가진 것들끼리 묶어라"**는 전략을 씁니다.

• 비유: 도서관에서 책을 정리할 때, 제목만 보고 분류하지 않고 **"주인공이 비슷하거나, 같은 장소에서 일어난 일들"**끼리 묶는다고 상상해 보세요.
• 실제 작동: "리데시비르"와 "클로로퀸"이라는 두 약물이 모두 "코로나 바이러스"를 "억제한다"는 관계를 공유한다면, 이 두 약물은 **'친구 (클러스터)'**로 묶입니다.
• 추론: "클로로퀸은 코로나를 치료한다"는 사실이 있는데, "리데시비르"는 아직 치료 관계가 없다면? "아, 이 두 친구는 비슷하니까 리데시비르도 코로나를 치료할 거야!"라고 **새로운 조각 (후보)**을 추측해냅니다.
• 효과: 이 단계에서 불필요한 조각을 대폭 줄이고, 진짜 빠졌을 법한 조각들만 골라냅니다.

2 단계: 검증하기 (필터링 + LLM) - "엄격한 심사위원"

1 단계에서 추측한 조각들이 모두 맞는 말일까요? 아닐 수도 있습니다. 그래서 두 번의 심사를 거칩니다.

• 1 차 심사 (간단한 필터): "이 조각은 구조적으로 너무 어색해"라고 바로 거르는 가벼운 검사입니다. (예: "사과가 자동차를 운전한다"는 말은 구조적으로 말이 안 되니까 바로 제외)
• 2 차 심사 (인공지능 심사위원): 남은 조각들을 **대형 언어 모델 (LLM)**에게 보여줍니다. 이때 LLM 에게는 두 가지 방법을 씁니다.
  • 직관적인 질문: "이 문장이 사실일까?" (예: "리데시비르는 코로나를 치료한다")
  • 맥락 제공 (RAG): "이 약과 관련된 다른 사실들을 먼저 보고 판단해 줘." (친구들의 이야기를 듣고 판단하게 함)
  • 결과: LLM 이 "아, 이건 사실이야!"라고 승인하면 비로소 지도에 추가됩니다.

3. 왜 OMNIA 가 특별한가요?

• 외부 도움 없이 스스로 해결: 다른 방법들은 인터넷 검색 같은 외부 자료를 많이 쓰는데, OMNIA 는 지도 자체에 있는 정보만으로도 빠진 조각을 찾아냅니다. (마치 외부 지도 없이도 주변 풍경만 보고 길을 찾는 것)
• 숨겨진 의미 파악: 수학 계산만으로는 놓치기 쉬운 "약간의 뉘앙스"나 "암시적인 의미"를 LLM 이 잘 잡아냅니다.
• 효율성: 모든 조합을 다 찾아보는 (브루트 포스) 방식은 시간이 너무 오래 걸리지만, OMNIA 는 유사한 것끼리 묶어서 검색 범위를 좁혀서 매우 빠르게 작동합니다.

4. 실험 결과: 얼마나 잘하나요?

연구진은 여러 데이터로 실험을 해봤습니다.

• 결과: 기존 방법들보다 정확도 (F1 점수) 가 23% 까지 향상되었습니다.
• 비유: 기존 방법들이 퍼즐을 70% 만 맞추는 데 그쳤다면, OMNIA 는 90% 이상을 완벽하게 맞추는 것입니다. 특히 정보가 빽빽하게 들어찬 지도 (밀집된 지식 그래프) 에서 가장 빛을 발했습니다.

5. 결론

OMNIA는 인공지능이 만든 지식 지도의 구멍을 메워주는 최고의 수리공입니다.

1. 친구끼리 묶어서 빠진 조각을 추측하고 (클러스터링),
2. 엄격한 심사를 거쳐 (필터링 + LLM),
3. 가장 확실한 조각만 지도에 붙여줍니다.

이 시스템을 통해 우리는 더 정확하고, 더 완전한 지식 지도를 가질 수 있게 되며, 이는 미래의 검색 엔진, 질문 답변 시스템, 그리고 지능형 비서들이 훨씬 똑똑하게 작동하는 데 기여할 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

지식 그래프 (Knowledge Graph, KG) 는 구조화된 지식을 표현하는 데 필수적이지만, 자동 생성 과정 (특히 대규모 언어 모델, LLM 을 활용한 경우) 에서 불완전성 (incompleteness) 과 노이즈가 빈번하게 발생합니다.

• 핵심 문제: 기존 KG 완성 (KGC, Knowledge Graph Completion) 방법론은 크게 두 가지 한계가 있습니다.
  1. 구조적 임베딩 기반 방법: 그래프의 구조적 패턴에 의존하여 의미론적 (semantic) 인맥락을 간과합니다.
  2. 언어 모델 기반 방법: 외부 텍스트 코퍼스에 의존하거나 그래프의 구조적 맥락을 무시하여, LLM 이 생성한 KG 에서 자주 발생하는 암시적 의미 (implicit semantics) 를 포착하지 못합니다.
• 구체적 도전 과제:
  • 소스 텍스트에는 존재하지만 추출 과정에서 누락된 '숨겨진' 사실 (예: "A 는 B 를 치료한다"는 명시되지 않았으나, "A 는 B 를 억제한다"와 "B 는 C 를 치료한다"로부터 추론 가능한 사실) 을 찾아내는 것.
  • 외부 데이터 없이 오직 KG 내부 구조와 내용만으로 신뢰할 수 있는 결손 삼중항 (missing triples) 을 추론하는 것.
  • 생성된 후보 삼중항의 수가 방대할 때, 비효율적인 브루트 포스 (brute-force) 검색을 피하고 유효한 후보만 선별하는 것.

2. 방법론 (Methodology: OMNIA)

저자들은 OMNIA라는 2 단계 접근법을 제안합니다. 이는 구조적 추론과 의미론적 추론을 결합하여 KG 의 완전성을 높이는 시스템 레벨의 설계입니다.

1 단계: 클러스터링 기반 결손 삼중항 생성 (Cluster-based Generation)

이 단계는 KG 의 내부 구조적 패턴을 활용하여 결손된 삼중항 후보를 효율적으로 생성합니다.

• 개체 클러스터링 (Entity Clustering): 동일한 관계 - 꼬리 개체 (relation-tail) 쌍을 공유하는 머리 개체 (head entities) 를 그룹화합니다.
  • 예시: remdesivir 와 chloroquine 이 모두 inhibits 관계를 통해 2019-ncov 와 연결되어 있다면, 이 두 개체는 같은 클러스터에 속합니다.
• 후보 생성 (Candidate Generation): 하나의 클러스터 내에서 알려진 (관계, 꼬리) 쌍을 다른 머리 개체로 전파하여 새로운 삼중항을 추론합니다.
  • 추론: chloroquine 이 2019-ncov 를 치료한다는 사실이 있다면, 같은 클러스터의 remdesivir 도 2019-ncov 를 치료할 것이라는 후보 삼중항 (remdesivir, treats, 2019-ncov) 을 생성합니다.
• 장점: 외부 데이터 없이 KG 내부의 구조적 유사성만 기반으로 하여 검색 공간을 크게 축소합니다.

2 단계: 검증 (Validation)

생성된 후보 삼중항은 의미적으로 유효한지 2 단계 필터링을 거칩니다.

1. 임베딩 기반 필터링 (Embedding-based Filtering):
   • 경량화된 KG 임베딩 모델 (TransE) 을 사용하여 구조적으로 명백히 유효하지 않은 삼중항을 먼저 제거합니다.
   • 임베딩 공간에서의 거리 점수가 임계값 이하인 경우만 다음 단계로 통과시킵니다. 이는 LLM 호출 비용을 절감하는 핵심 단계입니다.
2. LLM 기반 의미 검증 (LLM-based Semantic Validation):
   • 필터링을 통과한 후보들을 LLM 을 통해 최종 검증합니다.
   • 프롬프트 전략:
     • Zero-shot: 삼중항 자체만 제공.
     • In-context (Few-shot): 관련 있는 삼중항 예시를 함께 제공.
     • RAG (Retrieval-Augmented Generation): 임베딩 공간에서 의미적으로 유사한 삼중항을 검색하여 컨텍스트로 제공.
   • 입력 형식:
     • Triple-based: 구조화된 삼중항 형식 그대로 입력.
     • Sentence-based: 삼중항을 자연어 문장으로 변환하여 입력 (LLM 의 언어 이해 능력을 활용).

3. 주요 기여 (Key Contributions)

1. OMNIA 프레임워크 제안: LLM 이 생성한 KG 에서 흔히 발생하는 '암시적 의미' 결손을 해결하기 위해, 구조적 클러스터링과 LLM 기반 검증을 결합한 새로운 2 단계 아키텍처를 제시했습니다.
2. 외부 데이터 불필요한 폐쇄적 세계 (Closed-world) 접근: 외부 텍스트 코퍼스에 의존하지 않고 오직 입력된 KG 의 내부 구조와 내용만으로 결손을 복구합니다. 이는 데이터 프라이버시와 일관성을 보장합니다.
3. 효율적인 검증 파이프라인: 임베딩 필터링을 통해 LLM 에 부하를 줄이고, RAG 및 다양한 프롬프트 전략을 통해 높은 정밀도 (Precision) 를 유지하면서 F1 점수를 극대화합니다.
4. 광범위한 실험 및 검증: FB15K-237, CoDEx-M, WN18RR 등 기존 벤치마크와 LLM 생성 KG (Socio-Economic, Covid-Fact) 에서 기존 SOTA 방법론을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상: 여러 데이터셋에서 기존 베이스라인 (TransE, DistMult, KG-BERT, MuKDC 등) 대비 F1 점수가 최대 23% 포인트까지 향상되었습니다.
  • 특히 CoDEx-M 데이터셋에서 F1 점수가 0.68 (TransE) 에서 0.91 (OMNIA RAG) 로 크게 개선되었습니다.
  • FB15K-237에서도 0.74 에서 0.86으로 향상되었습니다.
• 후보 생성 효율성:
  • 완전 탐색 (Exhaustive search) 대비 후보 삼중항 생성 수를 약 1,400 배 줄이면서도, 결손된 사실의 70% 이상을 성공적으로 포착했습니다.
  • CoDEx-M 에서 완전 탐색은 약 129 억 개의 삼중항을 생성하는 데 2 시간과 2.6TB RAM 이 소요되었으나, OMNIA 는 900 만 개 미만의 후보를 10 분 내에 생성했습니다.
• 프롬프트 전략 비교:
  • RAG 기반 검증이 가장 높은 성능을 보였습니다.
  • 문장 기반 (Sentence-based) 프롬롬팅이 일반 데이터셋 (CoDEx-M, Socio-Economic) 에서 구조화된 삼중항 입력보다 성능이 좋았으나, WN18RR 과 같은 특수한 엔티티 명명 규칙을 가진 데이터셋에서는 삼중항 기반 (Triple-based) 입력이 더 우수했습니다. 이는 데이터셋 특성에 따라 입력 형식을 유연하게 선택해야 함을 시사합니다.
• 희소성 (Sparsity) 문제: 구조적 패턴이 빈번한 밀집 (Dense) KG 에서 OMNIA 의 성능이 가장 뛰어났으며, 매우 희소한 (Sparse) KG 에서는 후보 생성 단계에서 리콜이 다소 낮아질 수 있음을 확인했습니다.

5. 의의 및 결론 (Significance)

• LLM 생성 KG 의 품질 향상: LLM 이 생성한 지식 그래프의 가장 큰 약점인 '불완전한 추출' 문제를 해결하여, LLM 이 생성한 KG 를 실제 응용 (검색, 질문 응답 등) 에 활용할 수 있는 신뢰성을 높였습니다.
• 효율성과 정확성의 균형: LLM 을 무작정 사용하는 것이 아니라, 구조적 필터링을 통해 불필요한 계산을 줄이고 LLM 을 '지능적 검증자'로만 활용함으로써 계산 비용과 정확성 사이의 최적 균형을 달성했습니다.
• 범용성: LLM 생성 KG 에 특화되었지만, 전통적인 KG 의 결손 복구에도 적용 가능한 범용적인 솔루션임을 실험을 통해 입증했습니다.

결론적으로, OMNIA 는 구조적 추론과 LLM 의 의미론적 추론 능력을 통합하여 지식 그래프의 자동 완성 문제를 해결하는 강력한 프레임워크로, 특히 대규모 언어 모델을 활용한 지식 구축 파이프라인의 완성도를 높이는 데 중요한 기여를 합니다.