기술 요약: MuseKG – 박물관 소장품을 위한 대화형 지식 그래프

문제 제기

문화유산 분야는 디지털화 노력을 통해 방대한 박물관 소장품 데이터 저장소를 생성해 왔습니다. 그러나 이러한 저장소는 종종 파편화되어 있으며, 구조화된 카탈로그 기록, 이미지 아카이브, 비구조화된 설명과 같은 이질적인 소스로 구성되어 있습니다. 기존 박물관 정보 시스템은 이러한 소스를 관계 인식 탐색을 지원하는 통합된 쿼리 가능한 표현으로 통합하는 데 어려움을 겪고 있습니다. 주요 장애물은 데이터의 규모뿐만 아니라 객체 설명, 관계, 맥락적 메타데이터 간의 의미적 단절에 있습니다. 최근 대규모 언어 모델 (LLM) 과 지식 그래프 (KG) 의 발전은 잠재적인 해결책을 제시하지만, 기존 접근 방식은 종종 엔드투엔드 파이프라인 간의 간극을 메우지 못합니다. 구체적으로, 표준 중심의 노력은 전문가 수준의 SPARQL 사용을 전제하는 반면, 자동화 구축 방법은 최종 사용자를 위한 설명 가능한 쿼리 경험을 종종 결여하고 있습니다. 또한, 현재 NL2SPARQL 기술은 복잡한 스키마 하에서 취약할 수 있으며, 대화형 KG 도구는 거의 다중 모달 박물관 유물과 통합되지 않습니다.

방법론

저자들은 이질적인 박물관 데이터를 타입 지정 속성 그래프로 조직화하고, 탐색 및 쿼리를 위한 자연어 (NL) 인터페이스를 제공하는 대화형 시스템인 MuseKG를 제시합니다.

1. 시스템 아키텍처

MuseKG 는 두 개의 핵심 모듈을 통해 작동합니다.

• 모듈 1: KG 구축기: 이 구성 요소는 원시 박물관 소장품 기록 (JSON 형식) 을 타입 지정 속성 그래프 $G = (V, E, \tau, \rho, A)$로 변환합니다.

  • 데이터 처리: 시스템은 객체 메타데이터 (제목, 재질, 날짜) 와 관계 필드 (사람, 조직, 관련 객체, 이미지 레이블) 를 포함하는 기록을 입력받습니다.
  • 구축 단계:
    1. 정규화: 텍스트 필드를 표준화 (소문자화, 공백 축소) 하여 엔티티 해결을 용이하게 합니다.
    2. 엔티티 식별: 객체 ID, 참조된 엔티티 (개인, 조직), 이미지 ID 및 텍스트에서 추출된 명명된 엔티티에 대해 노드를 생성합니다.
    3. 타입 할당: 노드에 타입 (예: object, person, image, semantic entity) 을 할당합니다.
    4. 관계 라벨링: 원시 관계 식별자를 네 가지 카테고리 (출처, 객체 간, 시각적, 의미적) 에 걸친 일곱 가지 관계 유형의 고정 어휘로 매핑합니다.
    5. 중복 제거: 고유 식별자와 삼중항을 기반으로 중복 노드와 간선을 병합하거나 제거합니다.
    6. 스키마 유효성 검사: 속성을 사전 정의된 스키마로 제한합니다.
  • 출력: 구축된 그래프는 객체, 사람, 조직, 이미지, 이미지에서 파생된 레이블 및 의미적 엔티티를 연결합니다. 데모에서는 15,829 개의 객체 기록에서 파생된 23,263 개의 노드와 75,375 개의 간선을 가진 그래프가 생성되었습니다.

• 모듈 2: 자연어 쿼리 인터페이스: 이 모듈은 사용자 질문에 답변하기 위해 검색 증강 생성 (RAG) 방식을 활용합니다.

  • 맥락 검색: NL 쿼리를 받으면 LLM 이 주요 엔티티를 추출합니다. 그런 다음 시스템은 식별된 엔티티의 속성과 그 1-홉 이웃 (관계 및 연결된 노드) 으로 구성된 텍스트 맥락을 KG 에서 검색합니다.
  • 답변 생성: 검색된 맥락과 원래 쿼리가 LLM 에 입력되며, LLM 은 제공된 KG 증거만을 사용하여 간결한 답변을 종합하도록 프롬프트됩니다. 이 설계는 LLM 만의 시스템에서 흔히 발생하는 환각 현상을 완화하는 것을 목표로 합니다.

2. 상호작용 워크플로우

시스템은 사용자가 자유 형식의 질문을 입력하거나 프롬프트를 선택할 수 있는 시각적 인터페이스를 제공합니다. 시스템은 다음을 수행합니다:

1. 쿼리를 특정 엔티티 언급에 고정합니다.
2. 증거로서 컴팩트한 KG 이웃을 검색합니다.
3. 검사를 위해 서브그래프를 시각화합니다.
4. 메타데이터와 이미지를 포함한 엔티티 상세 카드를 표시합니다.
5. 검색된 사실에 기반한 자연어 답변을 생성합니다.

주요 기여

이 논문은 세 가지 주요 기여를 개요로 제시합니다:

1. MuseKG 시스템: 구조화된 기록과 미디어에서 파생된 레이블을 통합하여 자연어를 통해 박물관 소장품의 구축 및 쿼리를 가능하게 하는 대화형 KG 시스템.
2. 경량 파이프라인 및 인터페이스: 속성 조회, 관계 탐색, 관계 인식 검색이라는 세 가지 특정 작업을 지원하는 간소화된 KG 구축 파이프라인 및 NL 쿼리 인터페이스.
3. 데모 및 벤치마크: KG 기반 및 LLM 유도 방식으로 생성된 150 개의 질문으로 구성된 벤치마크를 지원하며, 해석 가능하고 증거에 기반한 답변을 보여주는 실제 박물관 소장품에 대한 데모.

결과 및 평가

저자들은 다음 세 가지 범주로 분류된 150 개의 질문으로 구성된 커스텀 벤치마크를 사용하여 MuseKG 를 여러 베이스라인과 평가했습니다:

• C1: 속성 조회 (예: 치수 검색).
• C2: 관계 탐색 (생산자와 같은 연결된 엔티티 검색).
• C3: 관계 인식 속성 검색 (연결된 엔티티의 속성을 찾기 위해 관계를 탐색).

비교 성능:
MuseKG 는 세 가지 다른 백본 LLM(Gemma-3-4B, Gemma-3-12B, gpt-oss-20b) 을 대상으로 Zero-shot, Few-shot LLM 전용 베이스라인 및 NL2SPARQL 프롬프팅 파이프라인과 비교되었습니다.

• 정확도: MuseKG 는 모든 범주와 모델 크기에서 일관되게 가장 높은 정확도를 달성했습니다. 예를 들어, Gemma-3-12B 모델에서 MuseKG 는 C1 에서 0.84, C2 에서 0.42, C3 에서 0.36 의 정확도를 달성했습니다.
• 베이스라인 비교: NL2SPARQL 베이스라인은 속성 조회 (C1) 에서 경쟁력이 있었지만, 관계 중심 작업 (C2 및 C3) 에서는 훨씬 더 약한 성능을 보였습니다. MuseKG 의 명시적 KG 기반 실행은 이러한 복잡한 관계 탐색 시나리오에서 가장 큰 향상을 제공했습니다.
• 프롬프팅: 카테고리별 프롬프트 엔지니어링 (Few-shot 또는 SPARQL 프롬프팅) 이 필요한 베이스라인과 달리, MuseKG 는 우수한 성능을 유지하면서 단일 일반 KG-RAG 프롬프트를 활용했습니다.

중요성 및 주장

이 논문은 MuseKG 가 파편화된 박물관 기록과 접근 가능한 자연어 쿼리 간의 간극을 성공적으로 메웠다고 주장합니다. 그 중요성은 지식 그래프의 구조적 정밀도와 LLM 의 유연성을 결합하여 검증 가능하고 증거에 기반한 답변을 제공할 수 있음을 보여준 데 있습니다.

저자들은 시스템이 사용자가 답변을 생성하는 데 사용된 명시적 그래프 구조와 관계를 검사함으로써 답변의 출처를 확인할 수 있게 해준다고 강조합니다. 그들은 MuseKG 가 복잡한 스키마에서 직접 NL-to-SPARQL 생성의 취약성을 해결하여 특히 관계 중심 작업에서 베이스라인을 능가한다고 지적합니다.

이 논문은 현재 한계를 인정하며 겸손한 범위를 유지합니다: 시스템은 현재 쿼리당 단일 주요 엔티티만 해결하여 여러 엔티티 간의 비교 질문이나 특정 객체 참조 없이 개방형 질문을 처리하는 능력을 제한합니다. 향후 작업은 교차 컬렉션 발견을 위해 파이프라인을 확장하고 이질적인 네트워크 전반의 자율적 조사를 위한 에이전트 기반 프레임워크로 시스템을 발전시키는 것이 제안됩니다.