CArtBench: Evaluating Vision-Language Models on Chinese Art Understanding, Interpretation, and Authenticity

1. 연구 배경 및 문제 제기 (Problem)

• 기존 평가의 한계: 현재 비전 - 언어 모델 (VLM) 의 평가는 주로 웹 이미지와 서구 중심의 개념에 의존하며, 짧은 형태의 객관식 질문 (QA) 이나 이미지 인식에 국한되어 있습니다.
• 중요한 평가 공백: 중국 미술과 같은 문화적 맥락이 중요한 분야에서는 단순한 인식을 넘어, 시각적 증거에 기반한 전문가 수준의 해석 (Interpretation), 역사적 맥락 추론, 그리고 진위 감정 (Authenticity) 능력이 필수적입니다.
• 구체적 문제점:
  • 중국 미술은 시대별 화풍, 재료, 도안 등 미세한 시각적 단서가 역사적 맥락과 밀접하게 연결되어 있어, 표면적 인식만으로는 이해가 불가능합니다.
  • 기존 벤치마크는 이러한 '증거 기반 추론', '구조화된 감상', '진위 판별' 능력을 체계적으로 평가하지 못합니다.
  • 특히 VLM 이 문화적으로 부조화되거나 시각적 증거 없이 사실을 허구 (Hallucination) 로 생성하는 문제가 예술 해석 분야에서 치명적입니다.

2. 방법론 (Methodology)

저자들은 CARTBENCH라는 박물관 기반 (Museum-grounded) 벤치마크를 제안했습니다. 이는故宫博物院 (Beijing Palace Museum) 의 위키데이터 (Wikidata) 항목과 공식 카탈로그 페이지를 정렬하여 구축되었습니다.

데이터 구축 프로세스

1. 정렬 (Alignment): 위키데이터에서 이미지와 연결된故宫博物院 소장품을 추출하고, 공식 카탈로그 페이지와 매칭하여 큐레이터 설명을 수집합니다.
2. 전문가 큐레이션: 5 가지 예술 카테고리 (회화, 서예, 조각, 도자기, 문방구) 와 여러 왕조에 걸쳐 데이터를 필터링하고 분류합니다.
3. 작업 인스턴스화: 수집된 데이터를 4 가지 하위 작업으로 변환합니다.

4 가지 핵심 작업 (Subtasks)

1. CURATORQA (증거 기반 인식 및 추론):
   • 목표: 큐레이터 스타일의 질문에 시각적 증거를 명시적으로 제시하며 답변하는지 평가.
   • 구성: 1,589 점의 작품에 대한 14,421 개의 질문 (객관식 및 참/거짓).
   • 난이도: P1(시각적 증거만 가능) 과 P2(시각적 단서 + 미술사 지식 결합) 로 구분.
2. CATALOGCAPTION (구조화된 감상):
   • 목표: 전문가 스타일의 4 섹션 (작품 배경, 내용, 예술적 특징, 종합 평가) 으로 구성된 긴 형식의 감상문 생성.
   • 구성: 86 점의 작품.
   • 평가: 자동 지표 (ROUGE, BLEU, BERTScore 등) 와 전문가 루브릭 점수 (증거 기반성, 문화적 적절성, 통찰력) 를 병행.
3. REINTERPRET (방어 가능한 재해석):
   • 목표: 기존 해석을 넘어선 창의적이지만 시각적 근거와 문화적 맥락에 부합하는 재해석 생성.
   • 구성: 25 점의 고전 작품.
   • 평가: 2 단계 인간 평가 (1 단계: 사실성/합리성 게이트, 2 단계: 창의성, 일관성, 근거 기반 추론 등 5 가지 척도).
4. CONNOISSEURPAIRS (진위 감정 진단):
   • 목표: 시각적으로 매우 유사한 진품과 모조품 쌍 중 진품을 식별하는 능력 평가.
   • 구성: 10 쌍의 진품 - 모조품 쌍.
   • 특징: 단순한 유사도가 아닌, 붓터치, 먹의 농담, 전체적인 조화 등 '감식 (Connoisseurship)' 능력을 테스트.

실험 설정

• 모델: Qwen 시리즈 (Qwen2.5-VL, Qwen3-VL), GLM 시리즈, GPT-5 시리즈, Gemini 2.5 Flash 등 9 개의 대표 VLM 평가.
• 평가 프로토콜: 자동 메트릭, 형식 준수 확인, 전문가 점수, 인간 루브릭을 통합.

3. 주요 기여 (Key Contributions)

1. CARTBENCH 구축: 중국 미술의 인식, 감상, 재해석, 진위 감정을 포괄하는 최초의 통합 박물관 기반 벤치마크 제공.
2. 통합 평가 프로토콜 제안: 자동 메트릭과 함께 증거 연결성, 구조적 준수, 해석의 방어 가능성을 평가하는 전문가 기반 루브릭을 도입.
3. 체계적인 실패 모드 규명: 높은 전체 정확도가 특정 하위 작업 (스타일 - 시대 추론, 증거 연결) 에서의 급격한 성능 저하를 가릴 수 있음을 발견.

4. 실험 결과 (Results)

• CURATORQA:
  • 상위 모델 (Qwen3-VL-235B) 은 전체 정확도 (84%) 가 높았으나, 스타일에서 시대로의 추론 (QA5) 및 지식 기반 질문 (P2) 에서 성능이 급격히 하락했습니다.
  • 중국 - 영어 이중언어 모델 (Qwen) 이 범용 API 모델 (GPT-5-mini) 보다 문화/미술사 추론에서 통계적으로 유의미한 우위를 보였습니다.
• CATALOGCAPTION:
  • 모든 모델이 인간 전문가의 기준 (KPI 0.698) 에 비해 크게 미달 (최고 모델 0.261) 했습니다.
  • 모델들은 의미적 유사성은 높게 유지했으나, 구조화된 섹션별 세부 내용과 증거 기반 설명에서는 전문가 참조 문헌과 큰 괴리가 있었습니다.
• REINTERPRET:
  • 모델들은 '합리성 게이트'를 통과하는 데는 성공했으나, 통과된 출력물의 창의성 점수 (1-5 척도) 는 3.5~3.7 수준으로 제한적이었습니다.
  • 주요 실패 원인은 시대/왕조 오인 및 핵심 내용 오독이었습니다.
• CONNOISSEURPAIRS:
  • 모든 모델의 정확도가 우연 수준 (Chance level, 약 40-50%) 에 머물렀습니다.
  • 모델들은 국소적 단서 (인장, 글씨) 에 과도하게 의존하거나 표면적 유사성에만 매몰되어, 붓질과 먹의 조화 같은 전역적 일관성 (Global consistency) 을 판단하지 못했습니다.

5. 의의 및 결론 (Significance)

• 문화적 맥락의 중요성 강조: VLM 이 단순한 이미지 인식을 넘어, 문화적으로 정립된 지식과 시각적 증거를 결합하여 전문가 수준의 해석을 수행하는 것은 여전히 매우 어렵다는 것을 입증했습니다.
• 진위 감정의 한계: 현재 VLM 은 고도의 감식 능력을 요구하는 진위 판별 작업에서 인간 전문가의 수준에 훨씬 미치지 못하며, 이는 실용적 배포 (감정, 가치 평가) 에 대한 신중한 접근이 필요함을 시사합니다.
• 향후 연구 방향: CARTBENCH 는 문화적 기반을 갖춘 증거 충실형 (Evidence-faithful) 멀티모달 시스템 개발을 위한 표준 테스트베드로서, 향후 더 강력한 시각적 증거 할당 (Attribution) 과 매체별 스타일 단서 모델링의 필요성을 제기합니다.

이 연구는 중국 미술과 같은 문화적으로 민감한 분야에서 AI 의 능력을 평가할 때, 단순한 정확도가 아닌 해석의 깊이, 증거의 충실성, 그리고 문화적 적절성을 종합적으로 고려해야 함을 강력히 주장합니다.