Does AI See like Art Historians? Interpreting How Vision Language Models Recognize Artistic Style

이 논문은 컴퓨터 과학자와 미술사가의 협업을 통해 비전 - 언어 모델이 예술적 스타일을 인식하는 메커니즘을 분석한 결과, 추출된 개념의 90% 가 미술사가들에 의해 관련성이 있다고 평가되었으며, 모델이 때로는 형식적 대비와 같은 다른 방식으로 개념을 이해하여 스타일 예측에 성공함을 밝혔습니다.

핵심

이 논문은 **"인공지능 **(AI)라는 흥미로운 질문에서 시작합니다.

단순히 "이 그림이 르네상스 시대 작품이야?"라고 맞추는 것을 넘어, AI 가 그 결론에 도달하기 위해 그림의 어떤 부분을 보고, 어떤 논리를 사용했는지를 해부한 연구입니다.

이 복잡한 내용을 요리책 레시피와 미술관 가이드의 비유를 들어 쉽게 설명해 드릴게요.

---

1. 연구의 배경: AI 는 그림을 어떻게 볼까?

우리는 그림을 볼 때 색감, 붓터치, 전체적인 구도 같은 '형식'과 무엇이 그려져 있는지 (사람, 풍경, 사물) 같은 '내용'을 함께 보며 스타일을 판단합니다.

하지만 AI 는 어떨까요?

• 과거의 문제: AI 가 그림을 분류할 때는 정답을 맞췄을지라도, 그 이유가 "왜?"라는 질문에 답을 못 했습니다. 마치 요리사가 요리를 잘 만들어내는데, "왜 이 재료를 넣었는지" 설명을 못 하는 상황과 비슷합니다.
• 이 연구의 목표: 연구진은 컴퓨터 과학자와 미술사학자가 손잡고, AI 의 머릿속을 들여다보았습니다. "AI 가 스타일을 판단할 때 실제로 어떤 '조각'을 보고 있을까?"를 찾아낸 것입니다.

2. 연구 방법: 그림을 16 조각으로 자르다

이 연구의 가장 창의적인 부분은 그림을 잘게 썰었다는 점입니다.

• 비유: 거대한 캔버스 전체를 한 번에 보는 대신, 그림을 **4x4 격자 **(16 조각)로 잘라내어 각 조각마다 AI 가 무엇을 보고 있는지 분석했습니다.
• 이유: 그림 전체를 보면 너무 복잡해서 AI 가 "어디를 보고 판단했는지" 알기 어렵습니다. 하지만 작은 조각으로 나누면, AI 가 "이 부분의 어두운 그림자"나 "이 부분의 나뭇잎 질감"에 반응한다는 것을 구체적으로 찾아낼 수 있습니다.
• 결과: AI 는 그림 전체를 보면서도, 사실은 이 작은 **조각들의 특징 **(Concepts)을 조합해서 스타일을 판단하고 있었습니다.

3. 주요 발견: AI 와 미술사학자의 시선이 일치할까?

연구진은 찾아낸 AI 의 '시각적 특징들'을 실제 미술사학자 6 명에게 보여주고 평가를 받았습니다.

✅ 일치하는 점 (73% 는 의미 있음)

• 결과: AI 가 찾아낸 특징 중 73% 는 미술사학자들도 "아, 이 부분은 스타일을 설명하는 데 의미 있는 특징이네"라고 인정했습니다.
• 예시:
  • **형식 **(Form) 어두운 빛과 밝은 빛의 대비 (키아로스쿠로), 부드러운 붓터치, 특정 색감 등.
  • **내용 **(Content) 특정 사물 (예: 숲, 드레스, 인물) 이나 장면.
• 의미: AI 는 단순히 무작위 패턴을 외운 것이 아니라, 인간 전문가가 사용하는 논리와 꽤나 닮은 방식으로 그림을 보고 있었습니다.

⚠️ 다른 점 (하지만 틀린 건 아님)

• 흥미로운 오해: 가끔 AI 가 "이건 낭만주의 (Romanticism) 야!"라고 맞췄는데, 미술사학자는 "아니야, 이건 사실주의 (Realism) 야"라고 할 때가 있었습니다.
• 이유: AI 는 내용을 보고 스타일을 추측하는 경향이 있었습니다.
  • 예시: AI 는 "숲과 나무가 나오면 낭만주의일 거야"라고 생각했습니다. 실제로 낭만주의 작품에 숲이 많기는 하지만, 사실주의 작품에도 숲이 나올 수 있거든요.
  • 해석: AI 는 **인간이 보지 않는 '형식적 유사성' **(예: 어두운 색과 밝은 색의 대비)을 통해 스타일을 맞히는 경우가 많았습니다. 미술사학자는 "그림의 주제 (숲)"를 보고 스타일을 구분하지만, AI 는 "그림의 빛과 그림자 패턴"을 보고 구분한 것입니다.

4. 결론: AI 는 인간과 다르게, 하지만 똑똑하게 본다

이 연구는 다음과 같은 결론을 내립니다.

1. AI 는 '눈'을 가지고 있다: AI 는 그림을 분석할 때 인간 전문가가 사용하는 **약 90% 의 논리 **(관련성)를 공유하고 있습니다.
2. 하지만 '시각'은 조금 다르다: AI 는 때로는 인간이 중요하게 생각하지 않는 세부적인 패턴 (예: 특정 질감, 명암의 대비)에 더 민감하게 반응합니다.
3. 교훈: AI 가 예술을 이해하는 방식은 인간과 완전히 같지는 않지만, 완전히 엉뚱한 것도 아닙니다. AI 는 인간이 놓칠 수 있는 미세한 패턴들을 포착하여, 때로는 인간보다 더 정교하게 (혹은 다른 각도로) 스타일을 분류할 수 있습니다.

🎨 한 줄 요약

"AI 는 미술관 가이드 (미술사학자) 와 같은 언어로 그림을 설명할 수는 없지만, 그림의 숨겨진 패턴을 읽어내는 '제 3 의 눈'을 가지고 있어, 인간이 놓친 부분까지 함께 그림을 이해하고 있습니다."

이 연구는 AI 가 단순히 데이터를 외우는 기계가 아니라, 예술의 본질을 탐구하는 새로운 파트너가 될 수 있음을 보여줍니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 비전 - 언어 모델 (VLMs) 은 객체 감지, 시각적 질문 답변 (VQA) 등 다양한 컴퓨터 비전 작업에서 인간 수준의 성능을 보여주며, 예술 작품 분석 및 생성 분야에서도 능력을 입증하고 있습니다.
• 문제: VLM 이 예술 작품의 '스타일 (Artistic Style)'을 분류할 때 정확도는 높지만, 어떤 시각적 특징을 기반으로 판단하는지 그 내부 메커니즘은 불투명합니다.
  • 인간 (미술사학자) 은 질감, 색채 (국부적 특징) 와 전체적인 구성 (전역적 속성) 을 종합하여 스타일을 이해합니다.
  • 반면, VLM 은 사전 학습 데이터의 패턴에 의존하거나, 시각적 근거 없이 추론할 가능성이 있습니다.
• 핵심 질문:
  1. VLM 이 예술 스타일을 예측할 때 어떤 시각적 개념 (Visual Concepts) 에 의존하는가?
  2. 이러한 개념이 미술사학자가 사용하는 분석 기준과 일치하는가?
  3. 모델과 전문가 간의 불일치 (Misalignment) 는 무엇이며, 이것이 스타일 예측에 어떤 영향을 미치는가?

2. 방법론 (Methodology)

이 연구는 컴퓨터 과학자와 미술사학자의 학제간 협력을 통해 다음과 같은 파이프라인을 구축했습니다.

A. 개념 분해 (Concept Decomposition)

• 기반 기술: Parekh et al. (2024) 의 객체 분류용 개념 분해 프레임워크를 예술 도메인에 적용 및 확장했습니다.
• 패치 기반 접근 (Patch-level Decomposition): 예술 작품은 세부 사항이 풍부하므로 전체 이미지 대신 이미지를 $4 \times 4$ 패치로 분할하여 처리합니다.
  • 이유: 복잡한 시각적 상호작용 (내용과 형태의 교차) 을 분리하고, 더 해석 가능한 국부적 특징을 추출하기 위함입니다.
• 알고리즘:
  1. VLM 의 특정 레이어 (Residual stream) 에서 패치별 잠재 표현 (Latent representation) 을 추출합니다.
  2. 반음수 행렬 분해 (Semi-NMF) 를 적용하여 잠재 공간을 $K$개의 개념 벡터 ($U$) 와 활성화 값 ($V$) 으로 분해합니다.
  3. 희소성 (Sparsity) 을 유도하여 각 패치에서 소수의 개념만 활성화되도록 합니다.
  4. 각 개념의 최대 활성화 이미지를 선별하여 텍스트 레이블을 생성합니다.

B. 인과적 및 상관 분석 (Causal & Correlational Analysis)

• 선형 프로빙 (Linear Probing): 개념 활성화 벡터를 입력으로 받아 모델의 스타일 예측을 분류하는 선형 분류기를 훈련하여, 개념이 모델 출력과 얼마나 강하게 상관관계가 있는지 확인합니다.
• 개입 실험 (Intervention): 잠재 표현에서 특정 개념 벡터를 빼거나 (억제) 더하는 (부스팅) 방식으로 모델의 숨겨진 상태 (Hidden state) 를 조작합니다.
  • 이를 통해 특정 개념이 제거되었을 때 특정 스타일 예측 확률 (Logits) 이 어떻게 변하는지 측정하여 인과성 (Causality) 을 검증합니다.

C. 전역 이미지 매핑 (From Patches to Images)

• 패치 수준의 개념을 전체 이미지 예측에 연결하기 위해, 전체 이미지와 패치 수준의 개념 활성화 간의 공발생 (Co-occurrence) 확률을 계산하여 매핑합니다.

D. 사용자 연구 (User Studies)

• 참여자: 6 명의 미술사학자 (대학원생 및 교수진).
• 연구 1 (개념의 질 평가): 추출된 개념에 해당하는 이미지 패치들을 제시하고, 미술사학자들이 해당 개념의 일관성 (Coherence) 과 의미 (Meaningfulness) 를 5 점 리커트 척도로 평가합니다.
• 연구 2 (정렬성 평가): 모델이 스타일을 예측할 때 사용한 개념들이 미술사학자의 판단과 얼마나 일치하는지, 그리고 해당 개념이 작품에 실제로 반영되어 있는지 평가합니다.

3. 주요 결과 (Key Results)

A. 모델 성능 및 개념 예측력

• 모델 비교: Qwen3 과 Llava-1.5 를 중심으로 분석했습니다. Qwen3 이 WikiArt 데이터셋에서 더 우수한 성능을 보였습니다.
• 개념의 예측력: 추출된 개념 활성화 벡터를 사용하여 모델의 스타일 예측을 선형 분류기로 예측했을 때, 95% 의 높은 정확도를 기록했습니다. 이는 모델의 내부 표현이 개념 기반으로 잘 분해됨을 의미합니다.
• 인과성: 특정 개념을 제거했을 때 해당 스타일의 예측 확률이 유의미하게 감소하는 등, 개념과 스타일 예측 사이에 강한 인과적 관계가 존재함이 입증되었습니다.

B. 미술사학자 평가 결과

• 개념의 의미성: 추출된 128 개의 개념 중 73% 가 미술사학자에 의해 "일관되고 의미 있는 시각적 특징"으로 평가되었습니다.
• 관련성: 모델이 스타일 예측에 사용한 개념 중 90% 가 미술사학자에 의해 해당 작품 및 예측과 "관련이 있다"고 판단되었습니다.
• 개념의 유형: 추출된 개념은 크게 세 가지로 분류되었습니다.
  1. 내용 (Content): 특정 사물, 장면 (예: 숲, 여성 주제).
  2. 형태 (Form): 색조, 질감, 명암 대비 (Chiaroscuro).
  3. 스타일 (Style): 특정 예술 양식 자체.
  • 대부분의 개념은 형태와 내용의 조합으로 정의되었습니다.

C. 불일치 (Misalignment) 및 통찰

• 성공적인 예측의 비직관적 이유: 때로는 미술사학자가 '관련 없음'으로 판단한 개념이 모델의 성공적인 예측에 기여하기도 했습니다.
  • 예시: 모델이 '어둡고 밝은 대비 (Dark/Light contrasts)'라는 형식적 특징을 '로맨티시즘'과 연관 지어 예측한 경우. 미술사학자는 이를 내용 (숲) 으로 보았으나, 모델은 형식적 유사성을 학습한 것입니다.
• 데이터셋 편향: WikiArt 의 레이블이 미술사적 합의와 다를 때 모델의 오류가 발생했습니다. 특히 '로맨티시즘'과 '리얼리즘'은 역사적으로 경계가 모호하여 모델이 혼동하기 쉽습니다.
• 편향 (Bias): 모델은 특정 스타일 (예: 바로크, 로맨티시즘) 로 편향되어 예측하는 경향이 있었습니다.

4. 주요 기여 (Contributions)

1. 패치 기반 개념 분해 프레임워크 확장: 객체 인식에서 예술 스타일 분류로 개념 분해 기법을 확장하고, 전체 이미지 예측을 위한 패치 - 이미지 매핑 방법을 제안했습니다.
2. 인과적 검증: 추출된 개념이 단순한 상관관계를 넘어 모델의 스타일 분류 성능에 인과적으로 영향을 미친다는 것을 실험적으로 증명했습니다.
3. 학제간 비교 분석: 모델의 스타일 분석과 미술사학자의 전문 지식을 정량적으로 비교하여, 대부분의 개념이 전문가의 지식과 정렬되어 있음을 확인했습니다. 또한, 불일치 사례를 통해 모델이 인간과 다른 (형식적) 논리로 작동할 수 있음을 규명했습니다.

5. 의의 및 결론 (Significance)

• 해석 가능성 (Interpretability): VLM 이 예술 작품을 어떻게 '보는지'에 대한 블랙박스 문제를 해결하여, 모델이 어떤 시각적 단서 (내용 vs 형태) 를 기반으로 판단하는지 명확히 했습니다.
• AI 와 인간 전문가의 관계: AI 가 인간 전문가와 완전히 동일한 방식으로 예술을 이해하지는 않지만, 대부분의 경우 유효한 시각적 특징을 포착하고 있음을 확인했습니다.
• 미래 방향: 모델이 인간과 다른 논리 (예: 형식적 유사성) 로 작동하는 경우를 이해함으로써, 예술사 연구와 AI 모델 개선 모두에 기여할 수 있는 통찰을 제공했습니다.

이 논문은 AI 의 예술 인식 능력을 단순히 분류 정확도로만 평가하는 것을 넘어, 모델의 내부 메커니즘과 인간 전문가의 사고 과정을 비교 분석함으로써 AI 해석 가능성 연구의 새로운 지평을 열었다고 평가할 수 있습니다.