기술 요약: 언어 및 비전 모델을 활용한 다중 모달 문화유산 지식 그래프 확장

문제 정의

문화유산의 보존과 해석은 방대한 양의 데이터를 구조화하기 위해 지식 그래프 (KG) 에 점점 더 의존하고 있습니다. 그러나 이러한 KG 의 구축과 확장은 문화유산 정보의 다양성, 복잡성, 그리고 종종 비정형적인 특성 (예: 박물관 아카이브나 위키피디아에 있는 텍스트 설명과 이미지) 으로 인해 상당한 도전에 직면해 있습니다.

DBpedia 나 Freebase 와 같은 대규모 기존 KG 들조차 본질적으로 불완전합니다. 이러한 불완전성은 역사적 데이터가 종종 비정형 리소스 뒤에 숨겨져 있는 문화유산 분야에서 더욱 심화됩니다. 전통적인 지식 그래프 완성 (KGC) 방법들은 주로 임베딩 기반 (예: TransE, RESCAL) 으로, 폐쇄 세계 가정 (CWA) 하에서 작동합니다. 이 가정은 예측을 사전에 정의된 엔티티 집합으로 제한하여, 그래프에 이미 존재하지 않는 새로운 지식이나 엔티티를 도입하는 데 이러한 방법들이 불충분하게 만듭니다. 또한, 기존 벤치마크들은 종종 실제 세계의 문화유산 컬렉션이 가진 운영적 복잡성, 모호성, 그리고 다중 모달 풍부함 (텍스트와 이미지) 이 부족합니다.

방법론

저자들은 개방 세계 가정 (OWA) 하에서 KG 를 확장하기 위한 새로운 데이터셋 생성과 새로운 프레임워크를 포함한 포괄적인 접근 방식을 제안합니다.

1. WJoconde 데이터셋

저자들은 프랑스 문화유산에 초점을 맞춘 새로운 다중 모달 지식 그래프인 WJoconde를 소개합니다. 이는 프랑스 박물관 컬렉션의 참조 데이터베이스인 Joconde 데이터베이스와 Wikidata에서 파생되었습니다.

• 구축: 파이프라인은 Joconde ID(P347) 와 연결된 엔티티를 사용하여 Wikidata 에서 컨텍스트 그래프를 추출하고, 중복을 정리하며, 개방형 유산 소스, 위키미디어 공용, 위키피디아의 외부 텍스트와 이미지로 엔티티를 풍부하게 하는 과정을 포함합니다.
• 변형: 연구를 용이하게 하기 위해 세 가지 변형이 생성되었습니다:
  • WJoconde (Raw): 28,524 개의 엔티티와 483,938 개의 트립을 포함합니다.
  • WJoconde_cleaned: KGC 작업에서 인위적인 성능 인플레이션을 방지하기 위해 역방향, 중복, 희소 관계를 제거한 필터링 버전입니다.
  • WJocondeMM: 엔티티가 텍스트 설명과 시각적 이미지 모두를 갖는 완전한 다중 모달 부분집합입니다.
• 벤치마킹: 이 데이터셋은 다양한 임베딩 모델 (TransE, ComplEx, TuckER 등) 에 대해 평가된 KGC 를 위한 새로운 벤치마크로 기능합니다. 결과는 번역 기반 모델이 데이터셋의 복잡성에 어려움을 겪는 반면, TuckER 와 같은 심층 신경 모델이 가장 잘 수행함을 보여줍니다.

2. OWA 하의 다중 모달 KGC 프레임워크

새로운 엔티티로 KG 를 확장하기 위해, 저자들은 제로샷 방식으로 대규모 언어 모델 (LLM) 과 비전 - 언어 모델 (VLM) 을 활용하는 파이프라인을 제안합니다. 이 과정은 세 단계로 구성됩니다:

1. 정보 수집: 누락된 엔티티가 있는 주어진 트립에 대해, 시스템은 알려진 엔티티나 관계와 관련된 비정형 텍스트 설명과 시각적 이미지를 검색합니다.
2. 엔티티 추출:
   • LLM (예: LLaMA 2): KG 작업을 정의하고, 역할을 할당하며, JSON 출력 형식을 강제하도록 설계된 프롬프트 템플릿을 사용하여 텍스트 입력을 처리합니다.
   • VLM (예: BLIP): 시각적 개념을 추출하기 위해 이미지 입력을 유사하게 처리합니다.
   • 두 모델 모두 특정 데이터셋에 대한 사전 훈련 없이 후보 엔티티 목록을 생성합니다.
3. 공동 검증 및 그라운딩: 신뢰성과 새로움을 보장하기 위해 엄격한 검증 파이프라인이 적용됩니다:
   • 엔티티 매칭: Word2Vec 모델이 생성된 후보와 기존 KG 엔티티 간의 유사도를 계산합니다. 높은 유사도 (동의어) 를 갖는 후보나 기존 엔티티는 임계값 ($\tau=0.4$) 을 사용하여 필터링됩니다.
   • 교차 검증: VLM 은 LLM 이 생성한 엔티티가 이미지에서 시각적으로 존재하는지 확인하는 데 사용되며 (그 반대의 경우도 마찬가지), 환각을 줄입니다.
   • 모델 검증: 모델은 신뢰성의 기준선을 확립하기 위해 제공된 컨텍스트에서 기존 엔티티를 인식하는 능력에 대해 테스트됩니다.

주요 기여

이 논문은 세 가지 주요 기여를 요약합니다:

1. WJoconde 데이터셋: 48 만 개 이상의 트립을 포함하는 프랑스 문화유산을 위한 새로운 고품질 다중 모달 지식 그래프입니다. 이는 텍스트와 이미지를 통합하여 다중 모달 연구를 위한 자원으로 기능하며, KGC 를 위한 새로운 벤치마크 역할을 합니다.
2. OWA 확장 파이프라인: 개방 세계 가정 하에서 KG 를 확장하기 위한 새로운 프레임워크입니다. 특수한 그라운딩 및 검증 파이프라인과 LLM 및 VLM 을 결합함으로써, 모델 미세 조정 없이도 그래프에 새롭고 신뢰할 수 있는 엔티티를 성공적으로 도입합니다.
3. 벤치마킹 및 평가: WJoconde 및 그 변형에 대한 기존 KGC 모델에 대한 광범위한 평가와 함께, 전통적인 순위 지표 대신 인간 평가 및 교차 모델 검증에 의존하는 OWA 시나리오를 위한 새로운 평가 방법론을 제시합니다.

결과

제안된 파이프라인은 WJocondeMM_en 데이터셋에 적용되었습니다:

• 엔티티 확장: 이 방법은 데이터셋에 61.36% 더 많은 엔티티를 성공적으로 도입했습니다. 구체적으로 4,394 개의 새로운 최종 엔티티가 추가되어 엔티티 수가 7,749 개에서 12,143 개로 확장되었습니다.
• 신뢰성:
  • 모델 신뢰도: 결합된 LLM 및 VLM 파이프라인은 그라운드 트루스 엔티티 (기존 엔티티) 를 복구하는 데 90.2% 재현율과 94.8% F1 점수를 달성하여 엔티티 인식에서 높은 신뢰성을 입증했습니다.
  • 인간 평가: 두 명의 주석자가 "depicts(묘사)" 관계에 대한 생성된 엔티티를 검토했습니다. 결합된 접근 방식은 92.0% 정밀도를 달성하여 새로 추가된 엔티티의 대다수가 정확하고 의미 있음을 나타냈습니다.
• 의미론적 품질: 추가된 엔티티에 대한 분석은 "알 수 없음" 카테고리 (원래 55.4%) 에서 "Object(사물)"(22.5%), "Nature(자연)"(17.5%), "Person(사람)"(15.6%) 과 같은 의미론적으로 풍부하고 시각적으로 그라운딩된 카테고리로의 전환을 보여주었습니다. 추가된 엔티티는 미술사학자들에게 관련 있는 해석 가능한 개념 (예: "투기", "아치", "갑옷") 을 포착했습니다.

중요성

이 논문은 텍스트 및 시각 정보를 결합한 프랑스 문화유산 분야에서 포괄적인 다중 모달 벤치마킹 데이터셋을 최초로 생성했다고 주장합니다. 그 중요성은 다음과 같습니다:

• 문화유산에서의 OWA 발전: 폐쇄 세계 가정의 한계를 극복하여 전통적인 KGC 방법을 제한하는 새로운 지식으로 KG 를 효과적으로 확장할 수 있는 다중 모달 AI 모델을 입증합니다.
• 도메인별 유용성: 광범위한 박물관 컬렉션 관리의 복잡성을 해결하고 문화유산 분야에서 정교한 쿼리, 분석 및 연구를 용이하게 하는 구조화된 다중 모달 자원을 제공합니다.
• 방법론적 견고성: AI 생성 지식의 신뢰성을 보장하는 검증 파이프라인을 수립하여, 높은 확신으로 문화유산 데이터의 풍부화를 자동화하는 것을 가능하게 합니다.

저자들은 파이프라인이 효과적이지만, 향후 작업은 고급 모델, 퓨샷 학습, 그리고 더 정교한 미세 조정 시나리오를 탐구할 수 있다고 언급합니다. 모든 코드, 데이터셋, 그리고 상호작용 접근 포인트는 추가 연구를 촉진하기 위해 오픈 소스로 제공됩니다.