기술 요약: BLINKG – LLM 통합 지식 그래프 생성을 위한 벤치마크

문제 제기

이질적인 데이터 소스로부터 지식 그래프 (KG) 를 구축하는 작업은 여전히 지식 엔지니어들에게 노동 집약적인 과정으로 남아 있으며, 이는 주로 입력 데이터 스키마와 온톨로지 용어 간의 의미적 대응 관계를 설정하는 것이 어렵기 때문입니다. 선언적 솔루션 (예: RML, SPARQL-Anything) 은 이 과정의 일부 부분을 일반화했지만, 스키마 요소를 온톨로지 개념과 정렬시키는 작업은 여전히 정교한 변환과 상당한 수동 노력을 요구합니다.

대형 언어 모델 (LLM) 이 KG 구축 및 의미 정렬을 자동화하는 데 점점 더 많이 적용되고 있지만, 이 분야에서는 그 효과를 평가할 표준화된 프레임워크가 부족합니다. 기존 연구들은 다양한 시나리오, 매개변수, 지표를 활용하여 공정한 비교를 어렵게 만듭니다. 또한, RODI 와 같은 기존 벤치마크는 주로 관계형 데이터베이스와 스키마 수준 매칭에 초점을 맞추는 반면, SemTab 과 같은 과제는 사전에 구축된 KG 에 대한 표 주석에 중점을 두지, 비채워진 온톨로지로의 매핑에는 초점을 두지 않습니다. 다양한 데이터 형식과 다양한 수준의 스키마 정렬에 걸쳐 LLM 의 명시적 선언적 매핑 능력을 평가할 수 있는 벤치마크가 절실히 필요합니다.

방법론

본 논문은 KG 구축에서 LLM 의 매핑 능력을 평가하도록 설계된 BLINKG라는 벤치마크를 소개합니다. 방법론은 점진적으로 복잡해지는 세 가지 시나리오, 정의된 구축 작업 세트, 그리고 엄격한 평가 프로토콜을 중심으로 구성됩니다.

1. 벤치마크 시나리오

BLINKG 는 입력 데이터와 대상 온톨로지 간의 정렬 정도에 따라 세 가지 시나리오를 정의합니다.

• 시나리오 1 (기본): 간단한 입력 (CSV, JSON, XML) 과 최소한의 온톨로지를 사용하는 여덟 개의 원자적 사례로 구성됩니다. 이러한 사례는 기본 매핑 행동을 테스트하기 위해 클래스 식별, 주제 생성, 간단한 조인과 같은 핵심 작업을 분리합니다.
• 시나리오 2 (스키마 정렬): GTFS-Madrid-Bench 를 사용하여 교통 분야에 초점을 맞춥니다. 온톨로지는 GTFS 사양에서 하향식 (bottom-up) 으로 구축되어 높은 어휘적 및 구조적 정렬을 보입니다. 이 시나리오는 LLM 이 현실적인 환경에서 온톨로지 특화 모델링 구성 요소 (예: 클래스 계층 구조, 제어된 어휘/SKOS) 와 변환 함수를 처리하는 능력을 테스트합니다.
• 시나리오 3 (스키마 원거리): 스페인 CODICE 플랫폼의 데이터와 전자 조달 온톨로지 (ePO) 를 사용하여 공공 조달 분야에 초점을 맞춥니다. 입력 데이터 (깊이 중첩된 XML) 와 온톨로지는 의미적으로 관련되어 있지만 구조적 및 어휘적으로 거리가 멉니다. 이 시나리오는 LLM 이 직접적인 스키마 정렬 없이 매핑을 확립하기 위해 깊은 도메인 전문 지식을 적용하도록 도전합니다.

2. 정의된 작업

본 벤치마크는 엔드 투 엔드 블랙박스 평가를 넘어 KG 구축을 특정 하위 작업으로 분해합니다.

• 온톨로지 클래스 식별: 입력 필드를 온톨로지 클래스에 매핑합니다.
• 주제 생성: 인스턴스에 대한 고유한 URI 를 생성합니다 (단순 vs. 복잡/복합 키).
• 온톨로지 속성 식별: 데이터 필드를 온톨로지 속성에 연결합니다.
• 데이터 참조 식별: 입력 데이터에 접근하는 방법을 지정합니다 (예: 열 이름, XPath).
• 관련 엔티티 클래스 및 조인: 객체 속성에 대한 조건 정의 및 여러 소스 조인.
• 언어 및 데이터 유형 주석: 올바른 언어 태그 및 XSD 데이터 유형 할당.
• 변환 함수: 데이터 정규화를 위한 로직 적용 (예: 날짜 형식화, 열거형 - 분류 체계 매핑).

3. 평가 프로토콜

• 평가된 모델: DeepSeek-R1, Gemini 2.5 Pro, GPT-4 Omni, OpenAI o3, LLaMa 3.3 70B Instruct, Mixtral 8x22B Instruct 를 포함한 여섯 가지 최첨단 LLM 이 테스트되었습니다.
• 출력 형식: 모델은 각 작업에 대한 매핑을 나열하는 구조화된 표 형식 출력을 생성하도록 프롬프트되며, 원시 코드나 자연어 설명 대신 이를 생성합니다.
• 지표: 성능은 정밀도 (Precision), 재현율 (Recall), F-점수로 측정됩니다. 엄격한 문자열 매칭의 한계를 해결하기 위해 저자들은 Levenshtein 거리, 원시 텍스트 임베딩 코사인 유사도, 온톨로지 구어화 임베딩 코사인 유사도를 결합한 유사도 기반 평가를 도입합니다.
• 평가 유형: 결과는 전문가 평가 (수동 검증), 원시 평가 (직접 지표 적용), 후처리 평가 (출력 휴리스틱 정제) 를 통해 분석됩니다.

주요 기여

본 논문은 다섯 가지 주요 기여를 제시합니다.

1. C1: KG 구축에서 LLM 의 행동을 평가하도록 설계된 여러 시나리오, 골드 스탠다드, 지표를 갖춘 포괄적이고 도메인 중립적인 프레임워크.
2. C2: 전형적인 매핑 작업의 대표적 세트를 포괄하는 현실 세계의 문제를 반영하는 점진적으로 복잡해지는 세 가지 시나리오.
3. C3: 재현성과 커뮤니티 채택을 장려하기 위한 개방적이고 재사용 가능한 리소스 (온톨로지, 데이터셋, 골드 스탠다드).
4. C4: 추적 가능성과 투명성에 중점을 두어 성능과 일반화 능력을 분석한 여섯 가지 최첨단 LLM 에 대한 포괄적 평가.
5. C5: (반) 자동화된 LLM 주도 KG 구축을 발전시키기 위한 실용적인 권장 사항과 식별된 연구 방향.

결과

실험적 평가는 시나리오 전반에 걸쳐 뚜렷한 성능 패턴을 드러냅니다.

• 시나리오 1 (기본): LLM 은 단순하고 어휘적으로 정렬된 작업에서 잘 수행합니다. 엔티티 클래스 식별 및 온톨로지 속성 식별은 높은 유사도 점수 (종종 0.95 초과) 를 달성합니다. 그러나 조인 조건 생성은 여전히 어렵습니다 (점수 범위 0.37~0.69), 그리고 언어 주석은 모델 간 상당한 변이를 보입니다.
• 시나리오 2 (스키마 정렬): 모델은 엔티티 및 데이터 참조 정렬을 잘 처리합니다 (유사도 >0.90). 그러나 구조적 추론 작업의 경우 성능이 크게 저하됩니다. 조인 조건은 여전히 어렵습니다 (어떤 모델도 0.60 을 초과하지 않음), 그리고 함수 관련 작업 (명명 및 출력 생성) 은 성능이 낮습니다 (종종 0.20 미만), 이는 추상화 및 도메인 특화 로직에 대한 어려움을 나타냅니다. 후처리는 구문 오류에 대한 점수를 크게 향상시키지만 의미적 격차는 해결하지 못합니다.
• 시나리오 3 (스키마 원거리): 모든 작업에서 성능이 급격히 저하됩니다. 어떤 작업도 평균 유사도 0.53 을 넘지 못합니다. 엔티티 클래스 식별은 여전히 가장 강력한 작업이지만, 조인, 데이터 유형, 함수와 같은 구조적으로 복잡한 작업은 0.40 미만의 점수를 기록합니다. 프롬프트 엔지니어링 (제로샷 vs. 퓨샷) 은 "로컬" 작업 (예: 클래스 선택) 에 대한 성능을 향상시키지만, 조인 및 변환에 필요한 복잡한 추론을 촉발하지는 못합니다.

중요성 및 주장

본 논문은 BLINKG 가 KG 구축에서 LLM 의 파편화된 평가를 넘어설 수 있는 필수적인 표준화된 프레임워크를 제공한다고 주장합니다. 이 벤치마크는 현재 LLM 이 잘 정렬되고 통제된 시나리오에서는 유망한 해결책을 제공하지만, 깊은 도메인 추론과 구조적 로직이 필요한 복잡하고 스키마가 먼 환경에서는 성능이 제한적임을 보여줍니다.

저자가 강조한 주요 교훈은 다음과 같습니다.

• 하이브리드 접근법의 필수성: 범용 LLM 은 고도로 복잡한 의미 환경에서 단독으로 유효한 솔루션을 생성할 가능성은 낮습니다. 저자들은 LLM 을 심볼릭 추론 (예: OWL 기반 추론) 과 결합하거나 인간-루프 검증 (human-in-the-loop validation) 을 결합할 것을 제안합니다.
• 추적 가능성: 엔드 투 엔드 파이프라인과 달리 BLINKG 의 작업 수준 평가는 시스템이 성공하거나 실패하는 지점에 대한 투명성을 제공하며, 조인과 같은 복잡한 작업에서의 오류가 단순한 포맷팅 문제가 아닌 근본적인 추론 격차임을 강조합니다.
• 현재 벤치마크의 한계: 저자들은 기존 벤치마크가 종종 공개 데이터셋의 암기에 의존한다고 인정합니다. 그들은 BLINKG 의 향후 버전이 데이터 누출로부터 진정한 추론 능력을 더 잘 분리하기 위해 합성 온톨로지와 데이터를 활용해야 한다고 제안합니다.

본 논문은 LLM 이 초기 매핑 초안을 생성할 수 있지만, 특히 복잡하고 현실적인 응용 분야에서 매핑을 검증하고 의미적 건전성을 보장하기 위해서는 인간의 전문 지식이 여전히 필수적이라고 결론지었습니다.