Iconographic Classification and Content-Based Recommendation for Digitized Artworks

이 논문은 YOLOv8 객체 감지와 Iconclass 어휘를 결합한 4 단계 워크플로우를 통해 디지털 예술 작품의 아이콘 분류 및 콘텐츠 기반 추천을 자동화하는 개념 증명 시스템을 제시하며, 이를 통해 방대한 유산 아카이브의 카탈로그 작성 가속화와 탐색 향상을 도모합니다.

핵심

🎨 1. 문제: 박물관의 '보이지 않는' 비밀

우리가 박물관에 가면 작품 옆에 작은 설명판이 붙어 있습니다. "15 세기, 화가 A, 유화" 같은 정보죠. 하지만 이 정보만으로는 그림 속에 숨겨진 상징이나 이야기를 알기 어렵습니다.

• 예시: 그림에 '개'가 그려져 있다고 해서 단순히 '개'라고만 적으면, 그 개가 '성경 이야기의 개'인지, '수렵 장면의 개'인지, 아니면 '신화 속 영웅의 개'인지 알 수 없습니다.
• 전통적인 방법: 이걸 구분하려면 미술사 전문가가 그림을 하나하나 보고 수작업으로 분류해야 합니다. 시간이 너무 오래 걸리죠.

🤖 2. 해결책: CARIS 시스템 (지능형 분류 및 추천사)

저자들은 **'CARIS'**라는 시스템을 만들어 이 문제를 해결하려 했습니다. 이 시스템은 그림을 보고 무엇이 그려졌는지를 알아낸 뒤, 그림이 가진 의미를 찾아내고, 비슷한 이야기의 다른 그림을 추천해 줍니다.

이 과정은 크게 4 단계로 이루어지는데, 마치 수사관이 사건을 해결하는 과정과 비슷합니다.

단계 1: 눈으로 보기 (YOLO)

• 비유: 수사관이 현장에 도착해 "여기 개가 있고, 말이 있고, 사람이 있네!"라고 눈에 보이는 것들을 나열하는 단계입니다.
• 기술: 인공지능 (YOLOv8) 이 그림 속 객체 (개, 말, 사람 등) 를 찾아냅니다.

단계 2: 의미 연결하기 (Iconclass 매핑)

• 비유: 수사관이 나열된 물건들을 **전통적인 분류 사전 (Iconclass)**에 대입하는 단계입니다.
  • 단순히 "개"라고만 적는 게 아니라, "이 개는 영웅의 개일 수도 있고, 사냥개일 수도 있네"라고 다양한 가능성을 열어둡니다.
  • Iconclass는 예술 작품을 분류하는 거대한 '사전' 같은데, 단순한 단어뿐만 아니라 복잡한 상징까지 코드로 정리해 둡니다.

단계 3: 추론하기 (규칙 엔진)

• 비유: 눈으로 보이는 것만으로는 알 수 없는 숨은 의미를 추리하는 단계입니다.
  • 만약 그림에 '눈가리개를 한 여자', '저울', '칼'이 모두 있다면? 인공지능은 "아! 이건 '정의 (Justice)'를 상징하는구나!"라고 추론합니다.
  • 이렇게 눈에 보이는 요소들을 조합해서 추상적인 개념 (정의, 사냥, 신화 등) 을 찾아냅니다.

단계 4: 비슷한 작품 추천하기 (추천 시스템)

• 비유: 이제 이 그림과 주제가 비슷한 다른 그림을 찾아주는 단계입니다. 여기서 세 가지 다른 방법을 섞어 사용합니다.
  1. 가까운 친척 찾기 (계층적 유사도): 같은 가족 (같은 주제) 에 속하는 그림을 찾습니다. (예: '영웅'과 '영웅의 도끼'는 친척 관계)
  2. 희귀한 보석 찾기 (IDF): 흔한 '개' 그림보다는, 드물게 등장하는 '특정 신화의 개' 그림을 더 중요하게 여깁니다.
  3. 완벽한 겹침 찾기 (자카드 유사도): 두 그림이 가진 요소들이 얼마나 정확히 겹치는지 계산합니다.

🧪 3. 실험 결과: 얼마나 잘할까?

저자들은 이 시스템을 테스트해 보았습니다.

• 성공 사례: 강아지 초상화를 넣으니, 다른 강아지 그림들을 잘 찾아냈습니다.
• 아쉬운 점: 사냥 그림에서 '매 (falcon)'를 놓쳐서, '말'과 '사람'만 인식했습니다. 그 결과, 시스템은 '사냥'보다는 '말'이 주된 그림들을 추천했습니다.
  • 교훈: 인공지능이 그림 속 물체를 잘못 보거나 놓치면, 그 뒤에 이어지는 의미 해석과 추천도 틀릴 수 있습니다. (눈이 나쁘면 뇌도 헷갈린다는 뜻이죠!)

🚀 4. 결론: 왜 이것이 중요한가?

이 연구의 핵심은 **"인공지능이 눈 (시각) 을 담당하고, 전문가가 만든 규칙 (Iconclass) 이 의미를 담당하게 한다"**는 점입니다.

• 장점: 박물관의 방대한 디지털 아카이브를 전문가가 일일이 분류하지 않아도, 인공지능이 먼저 초안을 잡아주면 작업 속도가 훨씬 빨라집니다.
• 미래: 아직 완벽하지는 않지만, 이 시스템을 발전시켜 박물관 방문객이 "이 그림과 비슷한 이야기의 다른 그림을 보고 싶어"라고 말하면, 인공지능이 바로 찾아주는 마법 같은 안내자가 될 수 있을 것입니다.

한 줄 요약:

"인공지능이 그림 속 사물을 찾아내고, 전통적인 분류 규칙을 통해 그 의미를 해석한 뒤, 비슷한 이야기를 가진 다른 그림들을 찾아주는 디지털 박물관 도우미를 만들었습니다."

기술 요약

1. 문제 정의 (Problem Statement)

• 문화유산의 디지털화와 해석의 부재: 문화유산 (CH) 자원의 디지털화는 대규모 접근성을 제공하지만, 박물관이나 갤러리 전문가가 제공하는 해석적 맥락 (해석, 상징적 의미 등) 을 상실하게 만듭니다.
• 기존 메타데이터의 한계: 날짜, 장소, 저자 등의 기술적 메타데이터는 기본 검색에는 유용하지만, 작품에 '무엇이 묘사되었는지'와 '상징적 의미는 무엇인지'를 파악하는 아이콘그래픽 (Iconographic) 접근에는 부족합니다.
• 자동화의 난제: 기계 학습은 학습 데이터의 품질에 의존하는데, 문화유산 분야는 레이블이 희소하고 이질적입니다. 또한, 자유 형식의 라벨링은 컬렉션 간 상호 운용성을 해칩니다.
• 해결 과제: 대규모 이미지 컬렉션에 대해 일관되고 해석 가능한 설명을 제공하며, 시각적 요소와 상징적 의미를 연결하여 전문가의 워크플로우를 가속화할 수 있는 시스템이 필요합니다.

2. 방법론 (Methodology)

저자들은 CARIS (Classification and Recommendation for the Iconclass System) 라는 프로토타입 시스템을 제안했습니다. 이 시스템은 Iconclass (예술 분석을 위한 표준화된 제어 어휘) 를 기반으로 하며, 4 단계 워크플로우를 따릅니다.

A. 분류 파이프라인 (Classification Pipeline)

1. 객체 감지 (Object Detection):
   • YOLOv8 모델을 사용하여 디지털화된 예술 작품에서 시각적 객체 (예: 개, 말, 사람 등) 를 감지합니다.
   • 감지된 객체 레이블의 중복을 제거합니다 (Iconclass 는 객체 수와 관계없이 유형별로 하나의 코드를 할당하기 때문).
2. Iconclass 코드 매핑 (Code Mapping):
   • 감지된 YOLO 레이블을 Iconclass 코드에 매핑합니다.
   • 키워드 기반 매핑 (주요 전략): Iconclass 라이브러리의 .keywords() 를 활용하여 3 단계 검색 relaxation 을 수행합니다.
     1. 정확한 집합 일치 (Exact set match): YOLO 레이블 집합과 Iconclass 키워드 집합이 정확히 일치하는지 확인.
     2. 부분 집합 일치 (Labels ⊆ keywords): YOLO 레이블이 Iconclass 키워드 집합의 부분집합인 경우 (객체 일부가 감지되지 않았을 때 대응).
     3. 단일 레이블 검색 (Singleton searches): 각 감지된 레이블별로 개별적으로 코드를 검색 (포괄성 확보).
   • 참고: 설명 (description) 기반 매핑은 정확도가 낮아 주요 전략으로 채택되지 않았습니다.
3. 추론 (Inference):
   • YOLO 가 감지할 수 없는 추상적 개념 (예: 정의, 사냥 등) 을 유추합니다.
   • 규칙 기반 추론 엔진: 여러 객체의 조합 (예: 눈가리개 + 저울 + 검 = 정의, 사슴 + 개 + 말 + 사람 = 사냥) 을 기반으로 새로운 코드를 생성합니다. 이는 투명성을 위해 JSON 형식으로 관리됩니다.
4. 코드 정제 (Filtering):
   • 단일 객체 (예: '개') 만 감지될 때 너무 많은 관련 코드가 반환되는 '코드 폭발' 문제를 해결하기 위해, 생성형 모델을 활용하여 불필요한 코드를 필터링하거나 가장 구체적인 코드를 선택하는 휴리스틱을 적용합니다.

B. 추천 시스템 (Recommendation System)

추천은 사용자 히스토리 없이 순수 콘텐츠 기반 (Iconclass 코드만 사용) 으로 수행되며, 세 가지 상호 보완적인 알고리즘을 사용합니다.

1. 계층적 유사도 (Hierarchy-based similarity): Iconclass 의 트리 구조를 활용합니다. 동일한 코드는 1.0, 부모 - 자식 관계는 0.5, 조부모 관계는 0.25 점으로 가중치를 부여하여 합산합니다.
2. IDF 가중 중첩 (IDF-weighted overlap): 희귀한 코드에 더 높은 가중치를 부여합니다. 전체 코퍼스에서 코드가 나타나는 빈도에 따라 역문서 빈도 (IDF) 를 계산하여, 흔한 객체 코드보다 진단적인 희귀 코드가 추천에 더 큰 영향을 미치도록 합니다.
3. 자카드 유사도 (Jaccard similarity): 코드 집합 간의 교집합과 합집합 비율을 계산하여, 코드가 많은 이미지로 인한 편향을 줄이고 밀집된 주제적 중첩을 선호합니다.

3. 주요 기여 (Key Contributions)

• Iconclass 기반의 자동 분류 및 추천 시스템: 시각적 객체 감지 (YOLO) 와 상징적 어휘 (Iconclass) 를 결합하여 예술 작품의 의미를 재구성하는 최초의 프로토타입 중 하나입니다.
• 하이브리드 매핑 전략: YOLO 태그와 Iconclass 키워드 간의 정밀한 매핑을 위한 다단계 검색 알고리즘과 규칙 기반 추론 엔진을 제안했습니다.
• 다양한 추천 알고리즘의 통합: 계층적 구조, 희귀성 (IDF), 집합 유사도 (Jaccard) 를 모두 고려한 추천 메커니즘을 설계하여 다양한 검색 시나리오에 대응합니다.
• 오픈 소스 및 재현성: 전체 시스템 코드를 GitLab 에 공개하여 연구의 투명성을 확보했습니다.

4. 평가 및 결과 (Evaluation & Results)

• 데이터셋: 위키미디어 커먼스 (분류 평가용) 와 Iconclass AI 테스트 세트 (약 87,000 개 이미지, 추천 평가용) 를 사용했습니다.
• 분류 성능:
  • 단일 객체 (예: 개 초상화) 의 경우 YOLO 가 정확히 감지하여 올바른 Iconclass 코드를 도출했습니다.
  • 복잡한 장면 (예: 매사냥) 의 경우, YOLO 가 일부 객체 (매, 개) 를 놓치면 추천 결과가 왜곡되는 한계가 확인되었습니다. 이는 객체 감지 정확도가 전체 시스템 성능의 병목 현상임을 시사합니다.
  • 추론 엔진과 필터링 메커니즘이 적용된 경우, 추상적 의미 (예: 사냥 장면) 를 더 잘 반영하는 코드를 생성할 수 있었습니다.
• 추천 성능:
  • 계층적 유사도: 정확한 코드 매칭이 없더라도 계층적으로 가까운 코드 (예: 헤라클레스 관련 속성) 를 통해 관련 작품을 성공적으로 추천했습니다.
  • IDF: 희귀한 주제 (예: 특정 신화) 를 가진 쿼리에 효과적이었습니다.
  • 자카드: 많은 수의 일반적 코드를 가진 이미지보다 집중된 주제적 중첩을 가진 이미지를 선호했습니다.
• 한계: 현재 시스템은 YOLO 모델의 감지 성능에 크게 의존하며, Iconclass 키워드 매핑의 불완전성으로 인해 '코드 폭발'이나 잘못된 매핑이 발생할 수 있습니다.

5. 의의 및 향후 과제 (Significance & Future Work)

• 의의:
  • 대규모 문화유산 아카이브에서 전문가의 카탈로그 작업 속도를 높이고, 사용자의 탐색 경험을 향상시킬 수 있는 가능성을 입증했습니다.
  • 단순한 시각적 유사성이 아닌, 상징적 의미 (Iconclass 계층 구조) 를 기반으로 한 추천의 중요성을 강조했습니다.
  • 문화유산을 위한 지속 가능한 AI 를 위해 공유 어휘와 투명한 규칙의 필요성을 재확인했습니다.
• 향후 과제:
  • YOLO 모델 미세 조정: Iconclass 키워드에 정렬된 전문가 주석 데이터셋을 구축하여 객체 감지 정확도를 높이는 것이 최우선입니다.
  • 규칙 엔진 고도화: 대규모 코퍼스에서 패턴 마이닝을 통해 추상적 코드 유추 규칙을 자동화하고 전문가가 검증하는 과정이 필요합니다.
  • 멀티모달 접근: 텍스트 메타데이터, 신경망 이미지 특징, CLIP 같은 비전 - 언어 임베딩을 결합하여 더 정확한 코드 매칭을 시도할 예정입니다.
  • 사용자 인터페이스: 추천 결과에 대한 설명 가능성 (Explainability) 을 제공하는 인터페이스를 개발하여 큐레이터와 일반 사용자의 접근성을 높여야 합니다.

이 논문은 딥러닝, 멀티모달 의미 모델링, 사용자 경험 설계의 융합이 디지털 문화유산 참여를 어떻게 증진시킬 수 있는지를 보여주는 중요한 사례 연구입니다.