GPTKB 2.0: Browsing, Querying, and Auditing a Disambiguated LLM-Derived Knowledge Base

인터넷을 모든 책이 서로 다른 저자에 의해 쓰인 거대하고 혼란스러운 도서관이라고 상상해 보세요. 때로는 두 권의 책이 정확히 같은 제목을 가지고 있지만 완전히 다른 이야기를 들려주기도 합니다. 인공지능의 세계에서 "거대 언어 모델(LLM)"은 이 도서관의 거의 모든 책을 읽은 매우 똑똑한 사서와 같습니다. 이들은 모든 텍스트의 패턴을 암기했기 때문에 질문에 답하고, 이야기를 쓰고, 문제를 해결할 수 있습니다. 하지만 함정이 있습니다. 이 AI 사서들은 당신이 말하는 "뮌헨(Munich)"이 유명한 독일 도시인지, 아니면 2005년 영화인지 항상 알지는 못합니다. 또한 "뉴욕(New York)"과 "빅 애플(The Big Apple)"을 동일한 곳임에도 불구하고 완전히 다른 두 장소로 취급할 수도 있습니다. 이러한 혼란을 "모호성 해소(disambiguation)" 문제라고 부릅니다. 수년 동안 과학자들은 AI의 무질서한 내부 기억을 깨끗하고 조직화된 사실의 지도로 바꾸기 위해 노력해 왔지만, 그것은 마치 그림이 없는 퍼즐 조각 더미를 분류하려는 것과 같았습니다.

이제 연구진은 이 분류 문제를 해결하기 위해 GPTKB 2.0이라는 새로운 도구를 구축했습니다. 이것은 AI가 스스로 만든, 하지만 약간의 반전이 있는 마법 같고 자기 수정이 가능한 백과사전이라고 생각하면 됩니다. 이 시스템은 단순히 사실을 나열하는 것이 아니라, 무엇이 진실이고 무엇이 실수인지 결정한 과정에 대한 상세한 일기를 기록합니다. 단순히 "뮌헨은 도시이다"라고 말하는 대신, 이 새로운 시스템은 "어떤 뮌헨인가? 유럽에 있는 뮌헨인가, 아니면 영화 속의 뮌헨인가?"라고 묻고, 각각을 위해 별도의 명확한 항목을 생성합니다. 또한 "빅 애플"과 "뉴욕 시"가 같은 것이라는 점을 깨닫고 이를 하나의 완벽한 항목으로 병합합니다. 그 결과, 160만 개의 고유한 대상에 대한 3,800만 개 이상의 사실을 포함하는 거대하고 조직화된 데이터베이스가 탄생했습니다. 하지만 진짜 마법은 규모가 아니라 투명성에 있습니다. 연구진은 누구나 AI의 뇌 내부를 들여다보고, AI가 스스로에게 던진 정확한 질문들을 확인하며, 사실을 병합하거나 분리하기로 결정한 과정을 지켜보고, 심지어 평이한 영어로 질문까지 할 수 있는 웹사이트를 만들었습니다. 이는 AI의 숨겨진 지식을 당신이 탐색하고, 질의하고, 모든 사실이 어떻게 발견되었는지 직접 확인할 수 있어 신뢰할 수 있는 공개적이고 검사 가능한 보물 지도로 탈바 것입니다.

핵심 아이디어: 자기 수정형 AI 백과사전

이 논문의 핵심은 거대 언어 모델(LLM)의 "두뇌"로부터 완전히 구축된 거대한 지식 베이스(구조화된 사실의 집합)인 GPTKB 2.0을 만드는 것입니다. 단어가 나타나는 대로 단순히 가져왔던 기존의 방식(이는 "도시 뮌헨"과 "영화 뮌헨" 같은 동음이의어 사이의 혼란을 초래했습니다)과 달리, 이 새로운 시스템은 실시간으로 **모호성 해소(disambiguation)**를 수행합니다. 이 시스템은 새로운 사실을 발견할 때마다 "이것의 진짜 정체는 누구인가?"라고 묻고, 기록하기 전에 문맥을 확인하는 탐정처럼 행동합니다.

논문은 이 과정을 완전히 가시화하는 웹 데모를 제시합니다. 당신은 데이터베이스를 브라우징하고, 사실 간의 링크를 따라가며, 가장 중요하게는 모든 단일 사실의 "출처(provenance)"를 감사할 수 있습니다. 즉, AI가 본 표면적인 단어들, 고려했던 후보 매치들, 그리고 두 이름을 병합(동의어 관계)하거나 별도로 유지(동음이의 관계)하기로 내린 구체적인 결정을 볼 수 있다는 의미입니다.

작동 원리: 재귀적 탐정

GPTKB 2.0의 구축은 재귀적이고 문맥에 기반한 파이프라인입니다. AI가 "부다페스트"와 같은 단일 시드 엔티티(seed entity)에서 시작한다고 상상해 보세요. AI는 부다페스트에 대한 사실을 LLM에게 요청합니다. LLM이 "뮌헨"이라는 새로운 객체를 답으로 내놓으면, 시스템은 단순히 "뮌헨"이라고 적지 않습니다. 시스템은 "부다페스트는 자매 도시로 뮌헨을 두고 있다"라는 문장을 살펴봅니다. 이를 통해 이것이 영화가 아닌 도시임을 알게 됩니다.

이 과정은 네 가지 주요 단계로 구성됩니다:

1. 추출(Elicitation): AI는 특정 엔티티와 그 설명을 바탕으로 LLM에게 사실을 요청합니다.
2. 개체명 인식(Named Entity Recognition, NER): 새로운 단어가 실제 숫자인지 아니면 실제 세계의 엔티티인지 파악합니다.
3. 모호성 해소(Disambiguation): 이것이 이 시스템의 주인공입니다. 시스템은 새로운 언급을 데이터베이스의 기존 항목들과 비교합니다. 만약 문맥이 기존의 "부다페스트"와 일치하면, 해당 항목으로 연결합니다. 만약 새로운 "뮌헨(영화)"이라면, 새로운 ID를 생성합니다.
4. 통합(Consolidation): 유사한 이름들(예: "빅 애플"과 "뉴욕 시")을 하나의 표준 항목으로 병합합니다.

논문은 "표면 문자열(surface strings, 단순히 이름만 사용하는 것)"을 식별자로 사용하는 기존 방식에 대해 명시적으로 반박합니다. 저자들은 문맥 없이 표면 문자열을 사용하면 두 가지 방식으로 실패한다는 것을 보여줍니다. 즉, 동음이의어를 **혼동(conflate)**하거나(서로 다른 것을 같은 것으로 취급), 동의어를 **파편화(fragment)**합니다(같은 것을 서로 다른 것으로 취급). GPTKB 2.0은 "추출된 트리플(eliciting triple, 사실이 나온 문장)"과 기존 엔티티의 설명을 문맥으로 사용하여 올바른 판단을 내림으로써 이를 거부합니다.

수치: 거대하고 깨끗한 지도

이 프로젝트의 규모는 경이롭습니다. 논문에 따르면 GPTKB 2.0은 다음을 포함합니다:

• 3,840만 개의 트리플 (주어-술어-목적어 형태의 사실)
• 160만 개의 표준화된 엔티티 (고유하고 모호성이 해소된 대상들)
• 207,633개의 통합된 관계 (연결의 유형)
• 66,523개의 통합된 클래스 (사물의 범주)

흥미롭게도, 이 엔티티 중 약 **36.8%**는 위키데이터(Wikidata)와 같은 기존 데이터베이스와 비교했을 때 세상에 새로 등장한 것들로, LLM이 기존 구조화된 데이터베이스에는 없던 사실들을 발견했음을 의미합니다.

웹 인터페이스: 투명성이 곧 특징이다

이 논문의 가장 독특한 부분은 https://gptkb.org/에서 제공되는 웹 인터페이스입니다. 이것은 단순한 검색 엔진이 아니라, AI의 추론 과정을 보여주는 "글래스 박스(glass box, 투명한 상자)"입니다.

• 추적 가능한 결정: "하이드 파크(Hyde Park)"와 같은 엔티티를 클릭하면, 시스템이 왜 이것을 다른 곳이 아닌 런던의 하이드 파크로 결정했는지 정확히 볼 수 있습니다. AI가 고려했던 후보 목록과 왜 다른 후보들을 거절했는지도 확인할 수 있습니다.
• 동의어 병합: "빅 애플"을 클릭하면, 이 이름이 "뉴요크 시"로 병합되었음을 보여줍니다. 또한 그 결정을 내리기 위해 AI가 사용한 구체적인 프롬프트까지 클릭하여 확인할 수 있습니다.
• 엔티티 연결: 당신의 텍스트를 입력하면, 시스템은 텍스트 내의 이름들을 GPTKB 2.0의 올바른 항목에 연결합니다. 예를 들어, "수성(Mercury)"에 대해 쓰면, 문맥에 따라 행성으로서의 수성과 로마 신으로서의 수성을 정확히 구분하여 연결합니다.
• 질의(Querying): 평이한 영어(예: "부다페스트는 무엇으로 유명한가?")로 질문할 수 있으며, 시스템은 이를 구조화된 데이터베이스 쿼리(SPARQL)로 변환하여 답을 얻습니다. 또한 실행된 정확한 쿼리와 단계들을 보여줍니다.

얼마나 확실한가? (평가)

저자들은 단순히 구축하는 데 그치지 않고, 데이터를 엄격하게 테스트했습니다. 그들은 AI가 실수를 했는지 확인하기 위해 데이터 샘 샘플을 수동으로 점검했습니다.

• 병합 정밀도(Merge Precision): 시스템이 두 이름이 같은 것(동의어)이라고 결정했을 때, 동일한 레이블을 가진 객체에 대해서는 98%, 서로 다른 레이블을 가진 별칭에 대해서는 **91%**의 정확도를 보였습니다. 주요 오류 모드는 잘못된 병합(서로 다른 것을 같은 것으로 착각함)이었으며, 이는 특정 별칭 사례에서 약 9% 발생했습니다.
• 분리 정밀도(Split Precision): 시스템이 두 가지가 서로 다르다(동음이의어)고 결정했을 때, 별도로 유지한 동일 레이블 쌍의 샘플에 대해 **100%**의 정확도를 보였습니다.
• 사실성(Factuality): 사실의 진위 여부를 확인할 때, 사람이 직접 점검한 트리플 중 **94.5%**는 "참"이었고, 단 **2.0%**만이 "거짓"이었습니다. AI 판사가 1,000개의 항목을 점검했을 때, **92.8%**가 참이었습니다.

논문은 엔티티의 설명(context)이 결정적이라고 언급합니다. AI 판사가 엔티티의 설명을 보지 못한 실험 환경에서는 사실의 정확도가 크게 떨어졌는데(참 94.5%에서 80%로), 이는 문맥이 모호성 해소를 성공시키는 핵심임을 입증합니다.

한계점

이 논문이 주장하지 않는 바를 명시하는 것도 중요합니다. 이 논문은 GPTKB 2.0이 완벽하다거나 AI의 환각(hallucination) 문제를 완전히 해결했다고 말하지 않습니다. 저자들은 잘못된 동의어 병합(비슷해 보이는 서로 다른 것을 병합하는 것)이 여전히 가장 큰 오류 유형임을 인정합니다. 또한 이것이 "일반 도메인" 지식 베이스임을 명시하며, 광범위한 주제를 다루지만 전문적인 의료나 법률 데이터베이스는 아님을 밝힙니다. 결과는 모든 3,800만 개의 사실을 전수 조사한 것이 아니라, 수동 및 자동 샘플링을 통한 결과입니다.

요약

GPTKB 2.0은 LLM의 "블랙 박스"와 같은 지식을 "글래스 박스"로 전환했다는 점에서 중요한 진전을 이루었습니다. 엔티티를 구축하는 과정에서 모호성을 해소하고 모든 결정을 기록함으로써, 연구진은 거대하면서도 유용할 뿐만 아니라 감사 가능한(auditable) 자원을 만들어냈습니다. 당신은 모든 근거를 직접 확인할 수 있기 때문에 그 사실을 신뢰할 수 있습니다. 이는 우리가 문맥을 확인하고 결정 과정을 상세히 기록하는 노력을 기울인다면, AI의 혼란스럽고 비구조화된 지식으로부터 구조화되고 신뢰할 수 있는 지식을 구축할 수 있음을 시사합니다.