기술 요약: GPTKB 2.0

문제 정의

자동 지식 베이스 구축(Automated Knowledge Base Construction, AKKB)은 전통적으로 엔티티 정준화(entity canonicalization)를 위해 위키피디아나 위키데이터와 같은 큐레이션된 자원에 의존하거나, 텍스트 기반 추출을 위해 표면 문자열 클러스터링에 의존해 왔습니다. 그러나 대규모 언어 모델(LLM)로부터 직접 지식 베이스를 생성하는 최근의 접근 방식들은 결정적인 구조적 한계에 직면해 있습니다. 즉, LLM은 표면 문자열(strings)로 학습되었을 뿐 엔티티(entities)로 학습되지 않았다는 점입니다. 결과적으로 표면 문자열을 고유 식별자로 취급하면 두 가지 상호 보완적인 실패 모드가 발생합니다:

1. 동음이의어(Homonymy): 동일한 라벨을 가진 서로 다른 엔티티(예: 도시 "Munich"와 영화 "Munich")가 잘못 병합됩니다.
2. 동의어(Synonymy): 동일한 엔티티가 서로 다른 라벨을 가질 때(예: "Île-de-France"와 "Île-de-France region"), 이를 별개의 엔티티로 취급합니다.

기존의 중의성 해소 방법들은 외부 인벤토리(예: Wikidata ID 연결)에 의존하는 경우가 많아, 구축 가능한 범위가 기존 자원으로 제한됩니다. 또 다른 방법들은 사후 클러스터링(post-hoc clustering)을 사용하는데, 이는 동의어 문제는 해결할 수 있으나 대규모의 동음이의어 문제를 해결하는 데는 실패합니다. 핵심 과제는 외부 식별자에 의존하지 않고, LLM의 파라미터로부터 엔티티, 관계, 클래스에 대한 명시적인 내부 정준화를 유지하면서 대규모 오픈 도메인 지식 베이스를 직접 구축하는 것입니다.

방법론: GPTKB 2.0

저자들은 LLM으로부터 직접 중의성이 해소된 지식 베이스를 구축하기 위한 방법론으로 GPTKB 2.0을 제안합니다. 이 시스템은 LLM을 유일한 지식원으로 취급하며, 주체-객체 경계(subject–object frontier)를 따라 **추출(elicitation)**과 **통합(consolation)**을 교대로 수행하는 재귀적이고 컨텍스트 가이드 방식의 파이프라인을 활용합니다.

데이터 모델

지식 베이스는 트리플(triples), 엔티티, 관계, 클래스를 포함하는 4개 요소의 튜플 $(T, E, R, C)$로 정의됩니다.

• 고유 식별자(Unique Identifiers): 모든 요소에는 고유한 내부 ID가 할당되어, 정체성을 표면 라벨로부터 분리합니다.
• 설명(Descriptions): 각 요소는 컨텍스트 기반 중의성 해소를 지원하기 위해 생성된 텍스트 설명을 포함합니다.
• 별칭(Aliases): 동의어 라벨은 단일 정준 ID에 별칭으로 부착됩니다.
• 동음이의어 처리(Homonymy Handling): 동일한 라벨을 공유하는 서로 다른 엔티티들은 고유한 설명을 통해 구분되는 서로 다른 ID를 할당받습니다.

구축 파이프라인

파이프라인은 시드 엔티티로부터 지식 베이스를 반복적으로 확장하는 세 가지 핵심 단계로 작동합니다:

1. 추출(Elicitation): LLM은 주어진 엔티티에 대한 트리플을 생성하도록 프롬프트됩니다. 결정적으로, 프롬프트에는 엔티티의 라벨과 함께 설명이 포함됩니다. 이 컨텍스트는 추출된 사실이 (예: 영화 "Munich"와 도시 "Munich"를 구분하듯) 의도된 특정 엔티티에 관한 것임을 보장합니다. 또한 모델은 엔티티 유형을 포착하기 위해 instanceOf 트리플을 생성하도록 지시받습니다.
2. 개체명 인식(NER): LLM은 추출된 객체가 리터럴(literal)인지 명명된 엔티티(Named Entity, NE)인지를 분류합니다. 이 단계는 객체(예: 코드 "01099")가 리터럴인지 엔티티인지를 결정하기 위해 소스 트리플를 사용하는 컨텍스트 가이드 방식입니다.
3. 중의성 해소(NED): 이는 정확도와 확장성의 균형을 맞추기 위해 두 단계로 나뉜 핵심 통합 단계입니다:
   • 트리플-컨텍스트 NED (Triple-Context NED): NE에 대해, 시스템은 라벨 임베딩 유사도를 기반으로 상위-$k$ 후보를 검색합니다. LLM은 타겟 라벨, 소스 트리플로서의 컨텍스트, 그리고 후보들의 라벨/설명을 함께 프롬프트로 받습니다. 모델은 일치 여부를 결정하거나, "해당 사항 없음(None of the above)"(새로운 엔티티), 또는 "불확실(Unsure)"을 선택합니다.
   • 설명 생성 (Description Generation): "해당 사항 없음"으로 표시된 엔티티는 설명 생성 단계로 전달됩니다. LLM은 타겟 라벨과 소스 트리플을 바탕으로 짧은 설명을 생성합니다. 이 설명은 해당 엔티티의 정준 정의 역할을 합니다.
   • 설명-컨텍스트 NED (Description-Context NED): 고밀도 동음이의어(예: 수백 번 등장하는 "Faculty of Law")의 경우, 후보 집합은 정확히 동일한 라벨을 공유하는 엔티티로 제한됩니다. 이후 LLM은 (소스 트리플 대신) 생성된 설명을 사용하여 의미론적 유사성을 바탕으로 후보들을 구분합니다.

확장성 메커니즘

백만 단위 규모의 구축을 가능하게 하기 위해, 저자들은 **가드형 병렬화(Guarded Parallelization)**와 **캐싱(Caching)**을 도입합니다:

• 가드형 병렬화 (Guarded Parallelization): 동일한 라벨에 대한 동시 요청 처리 시 중복 엔티티 생성을 방지하기 위해, 시스템은 대기 중인 NED 요청을 라벨별로 클러스터링합니다. 시스템은 가장 먼저 추출된 인스턴스 하나만을 즉시 처리하고, 이후의 인스턴스들은 첫 번째 인스턴스가 해결될 때까지 보류하여, 해당 엔티티가 이후 매칭을 위한 후보로 존재할 수 있도록 보장합니다.
• 캐싱 (Caching): 빈번한 (관계, 객체) 쌍에 대한 중의성 해소 결정을 캐싱하여 불필요한 NER 및 NED 호출을 건너뜁으로써 API 비용을 크게 절감합니다.

주요 기여

1. 방법론: 외부 식별자 없이 온더플라이(on-the-fly) 중의성 해소를 통해 동의어와 동음이의어를 모두 해결하며, LLM을 독점적 지식원으로 사용하는 병렬화된 컨텍스트 가이드 방식의 지식 베이스 구축 파이프라인을 제시했습니다.
2. 규모 및 품질: 3,840만 개의 트리플과 160만 개의 중의성이 해소된 엔티티를 포함하는 실체화된 지식 베이스를 구축했습니다. 시스템은 230만 개의 표면 라벨을 160만 개의 정준 엔티티로 통합했으며, 41,275개의 라벨을 공유하는 131,990개의 동음이의어 엔티티를 정확히 구분해 냈습니다.
3. 독창성: 위키미디어 영역 밖에서 명시적인 내부 정준화를 갖춘 최초의 백만 규모 LLM 네이티브 지식 베이스입니다. 구축된 엔티티의 약 **36.8%**가 Wikidata에 없는 새로운 엔티티로, 롱테일 지식을 포착하는 능력을 입증했습니다.

결과 및 평가

저자들은 수동 주석 및 자동 에이전트 검증을 통해 구축된 지식 베이스를 평가했습니다:

• 중의성 해소 정확도:
  • 병합 정확도 (Merge Accuracy): 동음이의어의 경우 98%, 동의어의 경우 91%.
  • 분리 정확도 (Split Accuracy): 동음이의어의 경우 100%(샘플 내 오분리 없음), 동의어의 경우 95%.
  • 관계/클래스: 병합 정확도 8991%, 분리 정확도 9194% 달성.
• 사실성 (Factuality):
  • 트리플 정밀도: 수동 샘플링된 트리플의 94.5%가 참으로 검증되었으며, 자동 평가에서는 92.8%였습니다.
  • 엔티티 사실성: 수동 샘플링된 엔티티의 96%가 실제 세계의 엔티티임이 확인되었습니다.
• 베이스라인과의 비교: 표면 문자열을 사용한 베이스라인은 230만 개의 엔티티를 생성했으나(GPTKB 2.0의 160만 개 대비), 131,990개의 동음이의어 엔티티를 구분하는 데 실패했습니다. 특정 도메인 테스트(고대 바빌로니아)에서 베베이스라인은 서로 다른 "Paris" 인물들을 혼동한 반면, GPTKB 2.0은 별개의 정체성을 유지했습니다.

의의

본 논문은 GPTKB 2.0이 기존의 위키미디어 중심 작업들과는 확연히 다른 행보를 보인다고 주장합니다. 외부적인 근거 없이 LLM 파라미터로부터 직접 대규모의 중의성이 해소된 일반 도메인 엔티티 저장소를 구축할 수 있음을 보여줌으로써, 이 연구는 큐레이션된 자원 너머의 지식 공간을 탐구할 가능성을 열어줍니다. 저자들은 LLM 유래 지식 베이스가 큐레이션된 노력이 희박한 "롱테일" 지식(빈도가 낮은 엔티티)을 포착하는 데 특히 효과적이라고 강조합니다. 결과물인 지식 베이스는 집계 통계 분석을 위해 공개되어, 이전에는 LLM 네이티브 지식 베이스에서 도달할 수 없었던 규모로 편향성, 주제적 초점, 논리적 일관성을 연구할 수 있게 합니다.