Detecting Cross-Medium Stylistic Signals in Sketches and Paintings with Pretrained Visual Encoders

기술 요약: 사전 학습된 시각적 인코더를 이용한 스케치와 회화 간의 교차 매체 양식 신호 탐지

문제 정의
본 연구는 계산 미술사(computational art history) 내에서 교차 매체 시각 미디어 이해의 과제를 다룬다. 구체적으로, 예술가의 시각적 양식의 측면이 서로 다른 매체 유형, 즉 스케치(드로잉)와 완성된 회화 사이에서 지속되는지, 그리고 계산 모델이 이를 탐지할 수 있는지 조사한다. 본 연구는 단순한 작가 귀속(제작자 명명)을 넘어, 예술적 정체성, 매체, 그리고 시각적 형태 사이의 관계를 탐구하는 방향으로 나아간다. 핵심적인 어려움은 스케치(종종 빠르고 탐색적이며 선 중심적임)와 회화(서로 다른 재료, 시간적 리듬, 표면 효과를 포함함) 사이의 상당한 시각적 및 재료적 격차에 있다. 이 과제는 관계적 검증 문제로 정식화된다: 주어진 스케치와 회화가 주어졌을 때, 모델이 훈련 과정에서 해당 작가를 본 적이 없음에도 불구하고, 두 작품이 동일한 저자의 것인지 모델이 판단할 수 있는가?

방법론
저자들은 10명의 역사적 예술가에 걸친 666점의 디지털 예술 작품으로 구성된 통제된 코퍼스를 구축하였다. 이들은 다섯 가지 광범 প 넓은 역사적 그룹(르네상스, 바로크, 신고전주의, 인상주의, 라파엘 전파)을 포괄한다. 데이터셋은 333점의 스케치와 333점의 회화로 구성된다.

실험 설계에는 Leave-one-artist-out (LOAO) 프로토콜을 채택하였다. 각 폴드(fold)에서 검증기는 9명의 예술가에 대해 훈련되고, 제외된 10번째 예술가에 대해 테스트된다. 이 설계는 성능이 훈련 세트의 암기가 아니라 미지의 정체성에 대한 일반화 능력을 반영하도록 보장한다.

본 연구는 여섯 가지 특징 군(feature families)을 평가한다:

1. 사전 학습된 시각적 인코더 (가중치 고정):
   • CLIP (ViT-B/32): 시각-언어 모델 임베딩.
   • DINOv2 (ViT-S/14): 시각 전용 자기 지도 학습 모델 (언어 감독 없음).
   • SigLIP (ViT-B/16): 시그모이드 대조 목적 함수를 사용하는 시각-언어 모델.
2. 수작업 기술자 군 (Handcrafted Descriptor Families):
   • 구성과 형태 (Composition and Form): 에지 에너지, HOG, 윤곽선 곡률, 대칭성을 포함한 1398차원 특징.
   • 톤 조직 (Tonal Organisation): 휘도 분위기, 그림자/하이라이트 점유율을 포함한 69차원 특징.
   • 표면 질감 (Surface Texture): LBP, 가보 필터, 웨이브렛 에너지를 포함한 92차원 특징.

각 특징 군에 대해, 코사인 유사도, 유클리드 거리, 요소별 절대 차이, 요소별 곱을 결합한 쌍 디스크립터를 사용하여 쌍별 검증기(pairwise verifier) (균형 잡힌 클래스 가중치를 적용한 로지스틱 회귀)를 훈련시킨다.

평가는 강건성을 테스트하기 위해 세 가지 부정 샘플링 계층을 활용한다:

• 불일치 부정 샘물 (Unmatched Negatives): 서로 다른 예술가의 스케치와 회화를 무작위로 쌍을 맺음.
• 시대 일치 부정 샘플 (Period-Matched Negatives): 동일한 역사적 시기의 예술가들로 제한하여 쌍을 맺음.
• 하드 부정 샘플 (Hard Negatives): 부정적인 회화가 다른 예술가의 작품 중 시각적으로 가장 유사한 작품인 경우 (최근접 이웃 탐색).

주요 결과

• 사전 학습된 인코더: CLIP과 SigLIP이 가장 강력한 교차 매체 전이를 보여주었다. LOAO 평가에서 이들은 각각 0.766과 0.759의 평균 AUC 값을 달성했다. DINOv2는 상대적으로 약한 성능을 보였으나, 평균 AUC 0.612로 우연 수준보다는 높게 나타났다.
• 수작업 기술자: 수작업으로 제작된 어떤 군(구성, 톤, 질감)도 LOAO 설정에서 우연 수준을 유의미하게 상회하는 성능을 달성하지 못했다 (AUC 범위 0.508 ~ 0.537).
• 강건성 및 한계: 사전 학습된 모델들은 불일치 및 시대 일치 부정 샘플 조건에서는 성공했으나, 하드 부정 샘플 조건에서는 성능이 붕괴되었다. CLIP은 AUC 0.469로, DINOv2는 0.372로, SigLIP은 0.518로 떨어졌다. 이는 감지된 신호가 통계적이고 인구 집단 수준의 것이며, 시각적으로 유사한 타인과 구분할 만큼 강건하지 않음을 나타낸다.
• 표현 유사성: 맨텔 행렬 상관관계 테스트 결과, CLIP, DINOv2, SigLIP은 유사한 관계적 기하학 구조를 형성하고 있음이 드러났다 (상관관계 0.45 ~ 0.66). 이는 감지된 신호가 서로 다른 아키텍처와 훈련 목적 함수에 걸쳐 재현 가능하다는 것을 시사한다.
• 폐쇄 집합 상한 (Closed-Set Upper Bound): CLIP 특징을 사용한 트리플릿 메트릭 학습 기반의 2차 분석에서는 고정된 코퍼스 내에서 100% 검색 정확도를 달성했다. 이는 특징들이 모든 작가를 알고 있을 때 구분에 충분한 정보를 포함하고 있음을 확인해주지만, 이것이 일반화로 이어지지는 않음을 보여준다.

주요 기여

1. 체계적 실증 연구: 본 논문은 단일 매체 귀속보다 더 까다로운 설정인 스케치와 회화 간의 교차 매체 예술가 검증에 대한 통제된 평가를 제공한다.
2. 일반화 증거: 사전 학습된 시각적 인코더(특히 CLIP과 SigLIP)가 매체를 가로질러 지속되는 양식적 신호를 탐지할 수 있으며, 훈련 중에 보지 못한 예술가에게도 일반화될 수 있음을 입증한다. CLIP과 SigLIP 사이의 일치성(서로 다른 아키텍처와 목적 함수에도 불구하고)과 DINOv2의 성공은 이 신호가 특정 모델이나 언어 감독의 산물이 아님을 시사한다.
3. 방법론적 한계 식별: 본 연구는 방법론이 실패하는 명확한 경계를 명시적으로 식별한다: 하드 부정 샘플 조건(시각적으로 유사한 다른 예술가의 쌍) 하에서 신호는 취약해진다. 이는 이 방법을 작품의 진위 여부를 판별하는 신뢰할 수 있는 증거로 해석하는 것을 방지한다.

의의 및 주장
저자들은 교차 매체 검증이 작가 할당이나 예술품 인증을 위한 독립적인 도구로 간려져서는 안 된다고 주장한다. 대신, 그 가치는 인공지능 모델이 시각적 양식을 어떻게 파악하는지 조사하는 것에 있다.

연구 결과는 다음과 같다:

• 사전 학습된 인코더는 표준적인 수작업 기술자(구성, 톤, 질감)로는 회복할 수 없는 예술적 유사성(잠재적으로 구성, 공간적 조직 또는 형태의 처리와 관련된)을 포착한다.
• 이러한 신호는 어려운 시각적 비교 상황에서 불안정하며, 이는 현재의 계산적 표현과 미술사적 인증의 미묘한 요구 사항 사이의 간극을 강조한다.
• 본 연구는 시각적 표현의 해석 가능성, 신뢰성 및 평가에 관한 논쟁에 기여하며, 계산 시스템이 규칙성을 식면할 수는 있지만 그 출력은 증거적 한계에 대해 주의 깊게 해석되어야 함을 강조한다.

결론적으로, 사전 학습된 인코더는 교차 매체적으로 지속되는 신호를 인코딩하지만, 이러한 인코딩은 불투와적이며 코퍼스 설계에 의존적이다. 이러한 방법이 출처 연구(provenance research)에서 더 중요한 역할을 하기 위해서는 더 다양한 데이터셋과 해석 가능한 모델링이 필요하다.