VL-KGE: Vision-Language Models Meet Knowledge Graph Embeddings

이 논문은 비전 - 언어 모델 (VLM) 의 교차 모달 정렬 능력을 지식 그래프 임베딩에 통합하여 이질적인 멀티모달 지식 그래프의 표현 학습 및 링크 예측 성능을 향상시킨 VL-KGE 프레임워크를 제안합니다.

핵심

1. 문제 상황: "조각난 퍼즐"과 "완벽한 학생"

우리가 세상을 이해할 때 사용하는 '지식 그래프'는 사실 관계의 연결고리입니다. 예를 들어, "피카소는 입체파 화가다", "모나리자는 레오나르도 다 빈치가 그렸다" 같은 연결고리죠.

하지만 기존 컴퓨터 프로그램은 두 가지 큰 문제를 겪고 있었습니다.

1. 모달리티 불일치 (Modality Misalignment):
   • 컴퓨터는 '이미지'를 보고 '텍스트'를 읽을 때, 마치 서로 다른 언어를 쓰는 두 사람처럼 생각했습니다. "이 그림은 붉은색이야"라고 말하면, 컴퓨터는 "아, 텍스트에 '빨강'이라는 단어가 있구나"라고만 생각하지, 그림의 붉은색과 텍스트의 '빨강'이 같은 의미라는 깊은 연결을 못 했습니다.
2. 모달리티 비대칭 (Modality Asymmetry):
   • 기존 연구들은 모든 정보가 완벽하게 갖춰진 가상의 데이터만 다뤘습니다. "모든 화가에게는 그림도 있고, 설명글도 있다"고 가정했죠.
   • 하지만 현실은 다릅니다. 미술 작품은 그림이 있지만 설명글이 짧을 수 있고, 화가의 이름은 글로만 되어 있을 뿐 그림이 없습니다. 마치 "그림만 있는 학생"과 "글만 있는 학생"이 같은 반에 있는 상황인데, 기존 프로그램은 "그림과 글이 모두 있어야만 학생으로 인정해 줄 수 있다"고 해서 현실을 제대로 반영하지 못했습니다.

2. 해결책: "통역사"와 "유연한 팀워크"

저자들은 VL-KGE라는 새로운 시스템을 만들었습니다. 이 시스템의 핵심은 두 가지입니다.

A. 통역사 (Vision-Language Models) 고용하기

저자들은 이미 CLIP이나 BLIP 같은 '시각 - 언어 모델'이라는 거대하고 똑똑한 통역사를 고용했습니다.

• 이 통역사는 수백만 장의 그림과 설명글을 함께 공부했기 때문에, "이 그림의 느낌"과 "이 글의 의미"가 어떻게 연결되는지 완벽하게 이해합니다.
• VL-KGE 는 이 통역사의 능력을 빌려와서, 그림과 글을 **하나의 공통된 언어 (공유된 공간)**로 번역해 줍니다. 이제 컴퓨터는 그림을 볼 때 글로 된 설명을 읽는 것과 같은 수준의 이해를 하게 됩니다.

B. 유연한 팀워크 (Inductive Representation)

기존 시스템은 "정보를 다 갖춰야만 팀에 들어갈 수 있다"고 했지만, VL-KGE 는 다릅니다.

• 그림만 있는 작품? 통역사가 그림을 보고 그 의미를 파악하면 됩니다.
• 글만 있는 화가? 통역사가 글을 읽고 그 의미를 파악하면 됩니다.
• 둘 다 있는 경우? 통역사가 그림과 글을 함께 종합해서 더 풍부한 의미를 만들어냅니다.
• 마치 팀 프로젝트에서, 어떤 팀원은 자료 (그림) 를 들고 오고, 어떤 팀원은 아이디어 (글) 를 들고 와도, 리더 (VL-KGE) 가 이 둘을 잘 연결해서 하나의 완성된 결과물을 만들어내는 것과 같습니다.

3. 실험 결과: "미술관"에서의 성공

이 시스템이 얼마나 잘 작동하는지 확인하기 위해 두 가지 테스트를 했습니다.

1. 완벽한 데이터 (WN9-IMG): 모든 정보가 갖춰진 가상의 데이터로 테스트했습니다. 기존 방법들보다 훨씬 높은 점수를 받았습니다.
2. 현실적인 데이터 (WikiArt-MKG): 실제 미술관 데이터를 사용했습니다. 여기서는 그림만 있는 작품과 글만 있는 화가가 섞여 있었습니다.
   • 결과: VL-KGE 는 정보가 부족한 상황에서도 압도적으로 좋은 성능을 냈습니다. 특히, "이 화가는 누구의 영향을 받았을까?", "이 작품은 어떤 스타일일까?" 같은 질문을 할 때, 단순히 그림이 비슷한 것을 찾는 것을 넘어 역사적, 문맥적 연결고리까지 찾아냈습니다.

4. 비유로 정리하기

• 기존 방법: 도서관에서 책을 찾을 때, "표지가 있고 목차도 있는 책"만 찾아주는 로봇. 표지만 있는 책이나 목차만 있는 책은 무시해버림.
• VL-KGE: 표지 (그림) 를 보고도 내용을 추측할 줄 알고, 목차 (글) 를 읽어도 어떤 책인지 알 수 있는 지혜로운 사서. 표지와 목차가 따로 떨어져 있어도, 이 둘이 같은 책임을 알아보고 연결해 줌.

5. 결론

이 논문은 **"컴퓨터가 그림과 글을 따로따로가 아니라, 하나의 통합된 지혜로 이해하게 만들었다"**는 점과 **"정보가 불완전한 현실 세계에서도 똑똑하게 작동하게 했다"**는 점을 강조합니다.

이는 디지털 미술관, 문화유산 보존, 그리고 우리가 인터넷에서 정보를 찾을 때 훨씬 더 정확하고 풍부한 답변을 얻을 수 있는 미래의 기초가 될 것입니다.

기술 요약

VL-KGE: 비전-언어 모델과 지식 그래프 임베딩의 융합에 대한 기술적 요약

이 논문은 VL-KGE (Vision-Language Knowledge Graph Embeddings) 라는 새로운 프레임워크를 제안합니다. 이는 사전 훈련된 비전-언어 모델 (VLM) 의 강력한 정렬 능력과 구조화된 관계 모델링을 통합하여, 이질적인 모달리티 (이미지, 텍스트, 구조) 를 가진 대규모 현실 세계 지식 그래프 (KG) 를 효과적으로 표현하고 추론하는 것을 목표로 합니다.

1. 문제 정의 (Problem)

기존의 지식 그래프 임베딩 (KGE) 방법론은 다음과 같은 한계를 가지고 있습니다:

• 단일 모달리티 의존성: 전통적인 KGE 는 주로 그래프 구조에 의존하며, 웹 데이터에서 파생된 현실 세계 KG 에 풍부한 시각적 속성이나 텍스트 설명과 같은 멀티모달 콘텐츠를 간과합니다.
• 모달리티 불일치 (Misalignment): 최근의 멀티모달 KGE 접근법들은 각 모달리티를 독립적으로 처리하거나 단순한 특징 결합에 그쳐, 공유 임베딩 공간 내에서 의미론적 정렬이 약한 경우가 많습니다.
• 모달리티 비대칭성 (Modality Asymmetry) 무시: 기존 연구들은 모든 엔티티가 시각 및 텍스트 정보를 모두 갖는다는 가정 (예: WN9-IMG 벤치마크) 하에 설계되었습니다. 그러나 실제 세계 (예: 미술 분야) 에서는 작품은 이미지로, 예술가나 양식은 주로 텍스트로 표현되는 등 엔티티 유형에 따라 존재하는 모달리티가 다릅니다. 이러한 비대칭성을 고려하지 않은 모델은 실제 적용에 한계가 있습니다.

2. 방법론 (Methodology: VL-KGE)

VL-KGE 는 사전 훈련된 비전-언어 모델 (VLM) 의 임베딩을 구조적 관계 모델링과 융합하여 통합된 멀티모달 표현을 학습합니다.

2.1 핵심 구성 요소

• 멀티모달 인코더:
  • 구조적 임베딩 (Structural): 학습 가능한 엔티티 및 관계 임베딩.
  • 시각 임베딩 (Visual): 사전 훈련된 이미지 인코더 (ViT 등) 또는 VLM 의 이미지 인코더에서 추출.
  • 텍스트 임베딩 (Textual): 사전 훈련된 텍스트 인코더 (BERT 등) 또는 VLM 의 텍스트 인코더에서 추출.
  • 주요 특징: VLM 인코더는 고정 (frozen) 하거나 파인튜닝 가능하며, 차원이 다를 경우 선형 프로젝션으로 통일된 차원 공간으로 매핑됩니다.
• 귀납적 엔티티 표현 (Inductive Entity Representation):
  • 훈련 중 관찰되지 않은 새로운 엔티티에 대해서도 예측이 가능하도록 설계되었습니다.
  • 관찰된 엔티티는 학습된 구조적 임베딩을 사용하지만, 관찰되지 않은 엔티티는 구조적 임베딩을 마스킹하고 오직 사전 훈련된 VLM 특징 (시각/텍스트) 에만 의존하여 표현합니다. 이를 통해 새로운 엔티티가 추가될 때 모델을 재학습할 필요 없이 추론이 가능합니다.
• 교차 모달 융합 메커니즘 (Cross-Modal Fusion):
  • 사용 가능한 모든 모달리티를 통합하는 연산자 (F) 를 제공합니다.
  • 평균 (Average), 연결 (Concatenation), 가중치 (Weighted) 융합 전략을 지원하며, 누락된 모달리티가 있는 엔티티에도 유연하게 대응합니다.
• 관계 모델링:
  • 생성된 통합 엔티티 표현을 TransE, DistMult, ComplEx, RotatE 등 기존 KGE 백본과 결합하여 관계적 의미를 포착합니다.

3. 주요 기여 (Key Contributions)

1. VL-KGE 프레임워크 제안: 사전 훈련된 비전-언어 표현과 구조적 관계 모델링을 통합하여 멀티모달 KGE 를 학습하는 새로운 아키텍처를 제시했습니다.
2. 모달리티 비대칭성 명시적 해결: 모든 모달리티를 갖지 않는 이질적인 엔티티를 처리할 수 있도록 설계되었으며, 시각 및 텍스트 도메인 간의 내부 및 교차 모달 상호작용을 모델링합니다.
3. 새로운 데이터셋 구축 (WikiArt-MKG):
   • WikiArt-v1/v2: 미술 작품, 예술가, 스타일 등에 대한 대규모 웹 스크래핑 데이터를 기반으로 한 확장된 데이터셋.
   • WikiArt-MKG-v1/v2: 위 데이터를 기반으로 구축된 멀티모달 지식 그래프. 특히 v2 는 작품 - 속성, 예술가 - 예술가 간의 복잡한 관계와 모달리티 희소성을 포함하여 현실적인 시나리오를 제공합니다.
4. 성능 입증: 링크 예측 (Link Prediction) 태스크에서 기존 단일 모달리티 및 멀티모달 KGE 방법론보다 일관되게 우수한 성능을 보임을 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

실험은 WN9-IMG (모달리티가 완전한 벤치마크) 와 WikiArt-MKG-v1/v2 (모달리티 비대칭성이 있는 현실적 데이터셋) 에서 수행되었습니다.

• WN9-IMG 결과: 모든 KGE 백본 (TransE, DistMult, ComplEx, RotatE) 에서 VL-KGE 가 기존 방법론보다 우수한 성능을 보였습니다. 특히 CLIP 기반의 VL-DistMult가 가장 높은 성능을 기록하여, 사전 훈련된 VLM 의 정렬 능력이 관계 추론에 어떻게 기여하는지 보여주었습니다.
• WikiArt-MKG 결과 (비대칭성 환경):
  • 제로샷 (Zero-shot) vs VL-KGE: 단순히 VLM 임베딩만 사용하는 제로샷 방식은 일정한 성능을 보였으나, 구조적 모델링과 결합된 VL-KGE 는 훨씬 더 큰 성능 향상을 달성했습니다.
  • 모달리티 비대칭성 대응: 작품 (이미지) 과 예술가/스타일 (텍스트) 간의 관계 예측에서 VL-KGE 는 누락된 모달리티를 효과적으로 보완하며, 기존 방법론 대비 MRR(Mean Reciprocal Rank) 과 Hits@K 지표를 크게 개선했습니다.
  • 백본 비교: CLIP 기반 모델이 BLIP 기반 모델보다 일반적으로 우수한 성능을 보였으며, VL-ComplEx와 VL-DistMult가 미술 도메인에서 가장 강력하게 작동했습니다.
• 정성적 분석: VL-KGE 는 단순한 시각적 유사성을 넘어, 역사적 맥락과 의미론적 일관성을 고려한 엔티티를 예측하는 능력을 보여주었습니다 (예: 특정 화가의 작품과 그 화가의 다른 작품을 연결하거나, 특정 미술 운동의 영향 관계를 정확히 파악).

5. 의의 및 결론 (Significance)

이 연구는 다음과 같은 중요한 의의를 가집니다:

• 실제 세계 적용 가능성: 기존 KGE 연구가 간과했던 '모달리티 비대칭성' 문제를 해결함으로써, 웹에서 수집된 실제 대규모 이질적 지식 그래프에 KGE 를 적용하는 새로운 길을 열었습니다.
• VLM 의 구조적 활용: 비전-언어 모델이 단순한 분류나 생성을 넘어, 구조화된 지식 그래프의 관계 추론을 강화하는 데 핵심적인 역할을 할 수 있음을 입증했습니다.
• 귀납적 추론 능력: 사전 훈련된 인코더를 활용하여 훈련 데이터에 없는 새로운 엔티티에 대한 예측이 가능하게 함으로써, 동적으로 변화하는 지식 그래프 환경에서의 실용성을 높였습니다.
• 도메인 확장: 특히 디지털 인문학, 문화유산, 미술 분석 분야에서 구조화된 지식과 멀티모달 데이터를 통합하여 더 정교한 분석과 검색을 가능하게 할 잠재력을 제시합니다.

결론적으로, VL-KGE 는 멀티모달 지식 표현의 한계를 극복하고, 비전과 언어의 강력한 정렬 능력을 지식 그래프의 구조적 추론과 결합하여 보다 견고하고 확장 가능한 지능형 시스템을 구축하는 데 중요한 기여를 합니다.