GeMi: A Graph-based, Multimodal Recommendation System for Narrative Scroll Paintings

이 논문은 텍스트와 이미지를 활용한 멀티모달 데이터와 그래프 신경망 (GNN) 기술을 결합하여, 소멸 위기에 처한 서사 두루마리 그림을 보존하고 사용자에게 맞춤형 작품을 추천하는 새로운 시스템 'GeMi'를 제안합니다.

핵심

1. 배경: 사라져가는 예술과 잊혀진 보물

인도 동부에는 '노래하는 화가 (Singing Painters)'라는 사람들이 있습니다. 이들은 긴 두루마리 그림을 펼쳐보이며, 그림 속 이야기를 노래나 시로 들려주는 전통 예술가들입니다. 하지만 이 예술은 이제 사라져가고 있습니다. 그림은 낡고, 노래는 기억에서 지워지고, 그림과 노래가 어떻게 연결되는지 기록된 데이터도 거의 없습니다.

연구자들은 이 예술을 구하기 위해 현장 조사를 통해 그림과 노래를 디지털로 저장했습니다. 하지만 문제는 이 데이터가 너무 방대하고 복잡하다는 점입니다. 그림 하나하나에 수천 개의 세부 사항이 있고, 노래는 방언으로 되어 있어 컴퓨터가 이해하기 어렵습니다.

2. GeMi 시스템: 지혜로운 도서관 사서

이때 등장한 것이 GeMi입니다. GeMi 는 단순히 "이 그림이 마음에 드세요?"라고 묻는 것이 아니라, 그림과 노래의 깊은 의미를 이해하는 '지혜로운 사서' 역할을 합니다.

🎨 비유 1: 그림과 노래를 '번역'하는 통역사 (LLM 과 CLIP)

그림 속의 복잡한 상징이나 노래의 고전적인 문장은 컴퓨터가 바로 이해하기 어렵습니다. GeMi 는 먼저 **거대 언어 모델 (LLM)**이라는 '통역사'를 고용합니다. 이 통역사는 낡고 복잡한 노래 가사를 현대적이고 간결한 의미로 정리해 줍니다.
그리고 CLIP이라는 '눈과 귀를 동시에 가진 탐정'이 그림과 정리된 노래 가사를 비교합니다. "이 그림에 나무가 그려져 있고, 노래에도 나무 이야기가 나오니, 이 둘은 친구야!"라고 연결해 주는 것입니다.

🕸️ 비유 2: 그림들 사이의 '보이지 않는 실' (그래프 신경망)

기존의 추천 시스템은 "A 를 좋아하면 B 도 좋아할 거야"라고 단순히 통계만 따졌습니다. 하지만 GeMi 는 **그래프 (Graph)**라는 거미줄을 사용합니다.

• 전통적인 방식: "이 그림을 산 사람이 저 그림도 샀으니 추천해 줄게." (단순한 구매 기록)
• GeMi 의 방식: "이 그림과 저 그림은 신화 속 같은 캐릭터가 등장하고, 나무가 배경으로 쓰였으니, 비록 구매 기록은 없어도 서로 깊은 연관이 있어!"라고 **그림들 사이의 숨겨진 의미 (신화, 동물, 나무 등)**를 찾아내어 연결합니다.

이렇게 그림들을 서로 연결하는 '실'을 찾아내는 과정을 그래프 구조 학습이라고 합니다. 마치 어두운 방에서 실을 찾아 서로 연결하는 것처럼, GeMi 는 데이터가 부족해도 그림들 사이의 관계를 찾아냅니다.

3. GeMi 의 특별한 능력: 3 가지 핵심 기술

이 시스템은 세 가지 마법 같은 기술을 합쳐서 작동합니다.

1. 통역사 (LLM): 노래 가사의 의미를 정리하고, 그림의 내용을 설명해 줍니다.
2. 탐정 (CLIP & VAE): 그림과 노래가 얼마나 잘 맞는지를 분석하고, 불확실한 부분 (예: 노래는 있는데 그림이 없는 경우) 을 확률적으로 추측하여 채워줍니다.
3. 연결왕 (GNN): 모든 그림을 거미줄처럼 연결하여, 한 그림을 좋아하면 그와 '친구'인 다른 그림들도 추천해 줍니다.

4. 왜 이 시스템이 중요한가요?

• 예술 보존: 사라져가는 예술을 디지털로 기록하고, 사람들이 쉽게 찾아볼 수 있게 합니다.
• 정확한 추천: 단순히 "인기 있는 그림"을 추천하는 게 아니라, 사용자가 "신화적인 이야기를 좋아한다"거나 "나무가 그려진 그림을 좋아한다"는 세부적인 취향까지 파악하여 딱 맞는 그림을 찾아줍니다.
• 데이터 부족 해결: 이 예술은 데이터가 매우 적습니다. 보통의 추천 시스템은 데이터가 많아야 잘 작동하지만, GeMi 는 적은 데이터에서도 그림 사이의 깊은 의미를 찾아내어 뛰어난 성능을 냅니다.

5. 결론: 기술이 예술을 구하다

이 논문은 인공지능 (AI) 이 단순히 상품을 팔기 위한 도구가 아니라, 문화를 보존하고 예술을 사랑하는 사람들에게 더 깊은 경험을 제공하는 도구가 될 수 있음을 보여줍니다.

마치 지혜로운 사서가 낡은 도서관의 먼지 쌓인 책장 사이에서, 독자의 취향에 딱 맞는 숨겨진 보물 (그림과 노래) 을 찾아내어 건네주는 것과 같습니다. GeMi 는 이 사라져가는 예술을 디지털 세상에 되살려, 앞으로 더 많은 사람이 그 아름다운 이야기를 즐길 수 있게 해줍니다.

기술 요약

1. 문제 정의 (Problem)

• 문화유산의 소멸 위기: 인도 동부의 '싱잉 페인터 (Singing painters)'들은 두루마리 그림을 그리고 노래로 이야기를 전달하는 전통 예술가들입니다. 이 예술 형식은 현재 소멸 위기에 처해 있으며, 디지털화되지 않은 자료와 비체계적인 기록으로 인해 접근성이 매우 낮습니다.
• 기존 추천 시스템의 한계:
  • 기존 추천 시스템은 주로 아마존이나 넷플릭스 같은 대규모 벤치마크 데이터셋에 최적화되어 있어, 소규모이고 노이즈가 많으며 텍스트와 이미지의 정합성이 완벽하지 않은 새로운 데이터셋에는 적용하기 어렵습니다.
  • 데이터 희소성 (Sparsity): 사용자 - 항목 상호작용 데이터가 부족하여 '콜드 스타트 (Cold Start)' 문제가 발생합니다.
  • 멀티모달 노이즈: 그림의 흐릿함, 텍스트의 오타, 노래와 그림의 불일치 등 멀티모달 데이터의 노이즈가 표현 학습을 방해합니다.
  • 클래스 불균형: 특정 개념 (예: '나무') 이 다른 개념 (예: '신화적 캐릭터') 에 비해 데이터에서 매우 드물게 나타나는 불균형 문제가 존재합니다.

2. 방법론 (Methodology)

GeMi 는 그래프 신경망 (GNN) 을 기반으로 하며, 다음과 같은 4 가지 주요 구성 요소로 이루어진 엔드 - 투 - 엔드 아키텍처를 가집니다.

2.1 멀티모달 특징 추출 (Multimodal Feature Extraction)

단일 모달리티 (이미지 또는 텍스트만) 로는 서사 두루마리 그림의 복잡한 의미론적 스펙트럼을 포착하기 어렵기 때문에, 세 가지 모델을 결합하여 특징을 추출합니다.

1. LLM 기반 텍스트 표준화 (Semantic Text Canonicalization):
   • TinyLlama를 사용하여 원시 텍스트 (노래 가사) 를 의미론적으로 정규화된 개념 중심 표현으로 재작성합니다. 이는 텍스트의 언어적 노이즈를 줄이고 엔티티 및 상징적 모티프를 강조합니다.
2. 대조적 언어 - 이미지 사전 학습 (Contrastive Language-Image Pretraining):
   • SigCLIP (Sigmoid-Contrastive CLIP) 모델을 사용합니다. 기존 Softmax 기반 CLIP 과 달리 시그모이드 손실 함수를 사용하여 배치 내 정규화를 제거하고, 각 이미지 - 텍스트 쌍을 독립적인 이진 분류 문제로 처리합니다. 이는 데이터셋의 특정 스타일과 언어적 분포에 더 민감하게 반응하도록 미세 조정됩니다.
3. 멀티모달 변분 오토인코더 (Multimodal VAE):
   • 시각 및 언어 정보를 확률적으로 융합합니다. 각 모달리티별 인코더가 잠재 변수의 평균과 분산을 학습하며, Product-of-Experts (PoE) 방식을 통해 불확실성을 고려한 융합을 수행합니다.

2.2 그래프 구조 학습 (Graph Structure Learning, GSL)

추천을 위해 항목 (두루마리 그림 패널) 간의 잠재적 관계를 학습합니다.

• 동질적 그래프 (Homogeneous Graphs): 패널 간의 유사도 (코사인 유사도) 를 기반으로 k-최근접 이웃 (kNN) 그래프를 구축합니다.
• 그래프 아키텍처:
  • GCN (Graph Convolutional Network): 지도 학습을 위한 기준선 모델.
  • GAE (Graph Auto-Encoder): 레이블이 없는 구조 정보를 활용하는 비지도 재구성 목적 함수 사용.
  • VGAE (Variational Graph Auto-Encoder): 확률적 잠재 공간으로 불확실성을 명시적으로 모델링하여, 작고 노이즈가 많은 데이터셋에 적합합니다.

2.3 클래스 불균형 처리 전략

희귀한 개념 (예: '나무') 을 학습하기 위해 다음과 같은 기법을 적용합니다.

• 소수 클래스 인지 에지 증강 (Minority-Aware Edge Augmentation): '나무'가 있는 노드들 사이에 추가적인 에지를 연결하여 클래스 내 정보 흐름을 증가시킵니다.
• 에지 드롭아웃 (Edge Dropout): 훈련 중 무작위로 에지를 제거하여 다수 클래스에 의한 과적합을 방지합니다.
• 포커스 손실 (Focal Loss) 및 가중치 재조정: 희귀한 양수 샘플의 그래디언트 기여도를 높여 모델이 어려운 사례와 소수 클래스에 집중하도록 유도합니다.

2.4 협업 필터링 (Collaborative Filtering) 통합

멀티모달 특징 추출과 사용자 - 항목 상호작용 정보를 분리하여, 추후 협업 필터링 스타일의 모듈을 플러그 - 앤 - 플레이 방식으로 통합할 수 있도록 설계했습니다.

3. 주요 기여 (Key Contributions)

1. 고유한 멀티모달 데이터셋: 현장 조사 (Field Surveys) 를 통해 수집되고 큐레이팅된, 서사 두루마리 그림과 노래 가사가 연결된 최초의 연구용 데이터셋을 공개했습니다.
2. GeMi 추천 시스템:
   • 최신 비전 - 언어 모델 (LLM, CLIP, VAE) 과 정교한 멀티모달 융합을 활용한 콘텐츠 기반 추천 시스템.
   • 그래프 구조 학습 (GSL) 을 통해 항목 간 관계를 학습하고, 사용자 선호도를 반영하는 모듈형 아키텍처.
3. 포괄적인 벤치마킹: 전도형 (Transductive) 및 유도형 (Inductive) 학습 설정 하에서, 기존 동질적/이질적 그래프 기반 추천 시스템 (LATTICE, GATNE-I, GraphSAGE 등) 과의 성능 비교를 수행했습니다.

4. 실험 결과 (Results)

• 성능 비교 (RQ1): GeMi 는 모든 개념 (동물, 신화, 나무) 에서 기존 최첨단 (SOTA) 그래프 기반 추천 시스템보다 일관되게 우수한 성능을 보였습니다. 특히 GeMi-VGAE는 '신화 (Mythology)' 개념에서 0.78 의 높은 정밀도 (Precision@K) 를 기록하며 가장 뛰어난 성능을 입증했습니다.
• 특징 생성의 효과 (RQ2): LLM 을 활용한 텍스트 표준화 (Canonicalization) 가 모델 성능에 결정적인 기여를 했습니다. LLM 기반 특징을 사용한 GeMi 는 기본 특징 (Base features) 만을 사용한 모델보다 모든 라벨에서 성능이 크게 향상되었습니다.
• 학습 방식 비교 (RQ3):
  • 전도형 (Transductive) 학습: 전체 그래프 구조를 훈련 시 접근할 수 있는 경우, 특히 이질적 (사용자 - 항목) 그래프와 복잡한 의미론적 라벨 (신화) 에서 가장 안정적이고 우수한 성능을 보였습니다.
  • 유도형 (Inductive) 학습: 새로운 데이터를 처리할 수 있는 능력은 입증되었으나, 전도형 학습보다는 성능이 다소 낮거나 라벨에 따라 편차가 있었습니다.
• 불균형 데이터 처리: '나무'와 같이 시각적으로 미묘하고 텍스트 설명이 부족한 희귀 개념에서도 그래프 구조 학습과 불균형 처리 전략을 통해 기존 모델보다 우수한 결과를 얻었습니다.

5. 의의 및 결론 (Significance)

• 문화 보존: 소멸 위기의 전통 예술을 디지털화하고 체계적으로 분류하여 보존할 수 있는 데이터 저장소 및 추천 시스템을 제공합니다.
• 기술적 혁신: 소규모, 노이즈 많고 정합성이 완벽하지 않은 멀티모달 데이터셋을 처리하기 위한 GNN 과 LLM 의 새로운 융합 방식을 제시했습니다.
• 확장성: 이 시스템은 향후 생성형 AI (Diffusion models) 를 활용한 콘텐츠 생성, 개인화된 가격 책정 모델, 그리고 온라인 플랫폼을 통한 예술가들의 경제적 지원으로 확장될 수 있는 잠재력을 가지고 있습니다.

결론적으로, GeMi 는 단순한 추천 알고리즘을 넘어, 디지털 인문학과 인공지능 기술이 결합되어 문화유산을 보존하고 현대화하는 성공적인 사례로 평가됩니다.