Style or Signature? Artist-Disjoint Evaluation of Style Classification in Frozen Vision Embeddings

기술 요약: 고정된 비전 임베딩에서의 양식 분류에 대한 작가 분리 평가

문제 제기
대규모 사전 학습된 비전 모델, 특히 CLIP에서 생성된 고정된 이미지 임베딩은 미술사적 양식을 분류하는 데 높은 정확도를 보고하며 널리 활용되고 있다. 표준적인 평가 프로토콜은 일반적으로 데이터셋의 무작위 분할(random split)을 사용하는데, 이 경우 동일한 작가의 작품이 훈련/참조 세트와 테스트/쿼리 세트 모두에 나타날 수 있다. 본 논문은 이러한 방법론이 예술적 '양식(style)'의 인식과 개별 '작가 정체성(artist identity)'의 인식을 혼동한다고 주장한다. 고정된 임베딩은 특정 작가의 강력한 "신경학적 시그니처(neural signatures)"를 인코딩하므로, 분류기가 양식이 아닌 화가를 식별함으로써 높은 정확도를 달이트할 수 있기 때문이다. 결과적으로, 표준적인 총합 정확도 지표는 모델이 양식적 특징을 진정으로 이해하는 정도를 과장하고, 성능이 작가 암기에 얼마나 의존하는지를 은폐함으로써 모델의 실제 양식 이해도를 과대평가할 수 있다.

방법론
저자는 양식 분류와 작가 정체성을 분리하기 위해 작가 분리 평가 프로토콜(leave-one-artist-out)을 제안하고 구현한다.

• 데이터셋: 20세기 4가지 운동(인상주의, 입체주의, 추상 표현주의, 초현실주의)에 걸친 320점의 회화로 구성된 균형 잡힌 데이터셋. 이 데이터셋은 운동당 8명의 작가와 작가당 10점의 작품을 포함한다.
• 프로토콜: 무작위 분할 대신, 평가 시 단일 작가의 모든 작품을 쿼리 세트로 제외하고 나머지 310점의 작품(다른 31명의 작가로부터 온)을 참조 풀(reference pool)로 사용한다. 이는 어떤 작품도 자신의 화가에 의해 생성된 이웃(neighbors)을 사용하여 분류되지 않도록 보장한다.
• 모델: 주요 실험에는 CLIP ViT-B/32가 사용된다. 일반성을 확보하기 위해 이 파이프라인은 세 가지 추가 인코더(CLIP ViT-L/14, 자기 지도 학습 기반 비전 전용 DINOv2 ViT-B/14, supervised ImageNet ResNet-50)에 걸쳐 재현된다.
• 지표: 연구는 전체 풀(무작위 분할) 조건과 작가 분리 조건 하에서의 5-최근접 이웃(5-NN) 양식 정확도를 비교한다. 또한, 모델이 양식이 아닌 작가를 예측하게 하여(동일 작가 이웃 허용) 개별 작가가 얼마나 강하게 인코딩되는지를 정량화하는 "작가 인식성 제어(artist-recognisability control)"를 도입한다.

주요 결과

1. 총합 성능 저하: 작가 분리 프로토콜 하에서 전체 5-NN 양식 정확도는 0.87에서 0.77로 떨어진다. 총합적인 하락은 미미해 보일 수 있으나, 이는 운동별로 매우 불균등한 효과를 은폐하고 있다.
2. 운동별 변동성:
   • 인상주의 및 입체주의: 이 운동들은 높은 견고성을 보이며, 정확도 하락폭이 각각 3.8 및 5.0 포인트에 불과하다. 이들의 작가들은 모델이 개별적으로 구분하기 어려우며(낮은 작가 인식성), 이는 임베딩이 개별 저작권을 포괄하는 진정한 공유 시각 형상을 포착하고 있음을 시사한다.
   • 초현실주의: 이 운동은 극적인 붕괴를 보인다. 정확도가 20포인트(0.713에서 0.513으로) 급락한다. 모델은 제외된 작품의 거의 절반을 오분류한다. 이러한 취약성은 특정 작가(예: 미로와 마송)에 의해 발생하며, 이들의 양식 점수는 개별적인 인식성에 크게 의존했다.
   • 추상 표현주의: 중간 정도의 하락(12.5포인트)을 보이지만, 가장 높은 개별 작가 인식성을 가졌음에도 불구하고 상대적으로 견고함(0.850)을 유지한다.
3. 인코더 일반화: 이 패턴은 언어-텍스트 정렬의 산물이 아닌 시각적 구조의 특성임을 확인하기 위해, 비전 전용 모델인 DINOv2를 포함한 네 가지 인코더 모두에서 동일하게 나타난다.

주요 기여

1. 작가 분리 프로토콜: 본 논문은 고정된 비전 임베딩을 위한 leave-one-artist-out 평가 표준을 도입하여, 표준 무작위 분할 평가가 은폐하는 양식 분류의 취약성을 드러낸다.
2. 격차의 정량화: 저자는 표준 정확도와 작가 분리 정확도 사이의 불일치를 정량화하여, 이것이 균일하지 않고 운동에 따라 달라짐을 보여준다. 또한 작가 인식성 제어를 통해 메커니즘을 규명함으로써, 진정한 공유 형상과 작가 암기 사이를 구분한다.
3. 시각적 vs 언어적 기원: 비전 전용 모델을 포함함으로써, 관찰된 패턴이 언어 기반의 설명이 아닌 시각적 구조의 속성임을 입증한다.

의의 및 주장
본 논문은 "임베딩이 양식을 포착하는가?"라는 질문은 양식이 운동마다 다르게 작동하기 때문에 부적절하다고 주장한다. 인상주의나 입체주의와 같은 운동의 경우, 양식은 개별 작가가 제거되더라도 지속되는 공유된 시각적 형상에 의해 정의된다. 반면 초현실주의의 경우, "양식"은 종종 특정 작가들의 독특한 시각 언어와 불가분하게 연결되어 있다. 따라서 작가를 제거하면 양식 신호도 제거된다.

주된 의의는 방법론적이다. 표준 무작위 분할 평가는 "작가 인식"을 "양식 이해"로 잘못 인증할 위험이 있다. 저자는 고정된 임베딩에서 양식적 이해를 측정하기 위해 작가 분리 평가를 필수적인 기본값으로 사용할 것을 권고한다. 이 접근법은 취약한 총합 지표를 해석 가능한 운동별 및 작가별 그림으로 변환하여, 어떤 운동이 회복 가능한 공유 시각 형상을 가지고 있고 어떤 운동이 특정 화가의 인지도에 의존하는지를 밝혀낸다. 본 논문은 미세 조정(fine-tuning)이 이러한 문제를 해결할 것이라고 주장하거나 새로운 응용법을 제안하는 것이 아니라, 계산 미술사에서 모델의 능력을 과대평가하는 것을 방지하기 위해 더 엄격한 평가 표준을 촉구하는 데 목적이 있다.