Whose Art Counts? Model- and Prompt-Dependent Associations in Vision-Language Judgments of Museum Art

기술 요약: 누구의 예술이 가치를 지니는가? 박물관 예술의 시각-언어 판단에 있어서 모델 및 프롬프트 의존적 연관성

문제 제기
시각-언어 모델(VLM)은 문화 컬렉션을 검색, 순위 매기기 및 설명하는 데 점점 더 많이 배치되고 있다. 그러나 이들의 "예술적 가치"(예: 이미지를 "걸작" 또는 "영향력 있는 것"으로 라벨링하는 것)에 대한 판단은 직접적인 가치의 관찰이 아니라, 웹 규모의 데이터로부터 학습된 특정 이미지-텍스트 연관성에 대한 반응이다. 중요한 측정상의 문제가 존재한다. 즉, 이러한 모델을 박물관 아카이브에 적용할 때, 관찰된 점수 차이(예: 남성 귀속 작품과 여성 귀속 작품 사이의 차이)가 실제 모델의 편향을 반영하는지, 학습 데이터로부터 학습된 연관성을 반영하는지, 아니면 아카이브 자체의 결과물인지를 명확히 알 수 없다는 점이다. 박물관 기록은 중립적인 샘플링 틀이 아니다. 이들은 귀속, 디지털화 및 카탈로깅 측면에서의 역사적 불균형을 포함하고 있다. 기존의 감사 방식은 벤치마크 이미지나 광범위한 인구통계학적 프롬프트에 의존하며, 메타데이터가 불완전하거나 미해결된 상태인 역사적으로 설정된, 쿼리 정의된 아카이브 코호트 내에서 이러한 효과가 어떻게 작동하는지는 고려하지 못한다.

방법론: 아카이브 조건부 감사 프로토콜
본 연구는 모델, 프롬프트, 그리고 메타데이터 기원을 단일한 측정 절차로 취급하는 **아카이이브 조건부 감사 설계(archive-conditioned audit design)**를 도입한다. 이 프로토콜은 네 가지 엄격한 규칙을 준수한다:

1. 아카이브 동결(Archive Freezing): 재현 가능한 객체 코호트를 보장하기 위해 추론 전 데이터셋과 이미지 선택 규칙을 고정한다.
2. 메타데이터 해소(Metadata Resolution): 창작자 범주는 문서화된 필드와 성명 해소 절차(이름 기반의 "gender-guesser" 사전 사용)를 통해 엄격히 도출하며, "미상 또는 미귀속" 기록을 폐기하지 않고 명시적으로 유지한다.
3. 프롬프트 명세(Prompt Specification): 평가용 프롬프트 쌍은 테스트 전 고정된다. 본 연구는 세 가지 가치 지향적 대조군("masterpiece", "quality", "influence")과 하나의 중립적 대조군("artwork")을 사용하여, 고가치 문구를 저가치 대안과 비교한다.
4. 도구 분리(Instrument Separation): 본 연구는 미세 조정 없이 네 가지 별도의 VLM(OpenAI CLIP, OpenCLIP ViT-B/32, OpenCLIP ViT-L/14, SigLIP)을 평가한다. CLIP은 소프트맥스 확률을 출력하는 반면 SigLIP은 로짓(logits)을 출력한다는 점을 인식하여, 원시 점수를 풀링(pooling)하는 것을 피한다. 대신 교차 모델 진단을 위해 모델 내 표준화를 수행하며, 모델 간의 불일치를 노이즈가 아닌 측정 도구의 특징으로 취급한다.

실험 설정

• 데이터: 메트로폴리탄 미술관 오픈 액세스 컬렉션에서 추출한 445개의 공개 접근 가능한 박물관 객체 이미지.
• 코호트: 해소된 메타데이터로부터 도출된 이진 비교 코호트인 61개 작품(남성 추정 39개, 여성 추정 22개). 나머지 384개 작품(미상/미귀속)은 기술적 맥락을 위해 유지되나 이진 대조에는 제외된다.
• 분석: 연구는 창작자 범주 간의 프롬프트 상대적 점수 차이($\Delta_m$)를 계산한다. 부트스트랩 95% 신뢰 구간, 맨-휘트니 U 검정, 그리고 10,000회 라벨 순열 검정을 사용한다. 민감도 분석에는 부서 제외 테스트(leave-one-department-out)와 교차 모델 불안정성 진단이 포함된다.

주요 결과

• 프롬프트 및 모델 의존성: 모델 전반에 걸친 보편적인 편향은 존재하지 않는다. "Influence" 프롬프트는 OpenAI CLIP ($\Delta = 0.2892$)과 OpenCLIP L/14 ($\Delta = 0.3400$)에서 가장 뚜렷한 양의 차이를 생성했다. 그러나 OpenCLIP B/32와 SigLIP은 동일한 프롬프트에 대해 일관되지 않거나 반대되는 방향성을 보였다.
• 프롬프트 민감도: 프롬프트의 선택은 관찰된 연관성을 크게 변화시킨다. 예를 들어, OpenAI CLIP은 "masterpiece" 및 "quality" 프롬프트에서는 차이가 거의 없었으나, "influence"에 대해서는 강한 양의 차이를 보였다. 이는 모델이 단일한 잠재 구조가 아니라 특정 의미론적 연관성(예: 역사적 영향력 vs. 정전적 지위)에 반응하고 있음을 나타낸다.
• 집계 불안정성: 프롬프트 간 상관관계가 약하거나 혼재되어 있었기 때문에 가치 점수의 집계 지수는 부차적인 요약으로서만 보고되었다. 교차 모델 진단 결과 높은 불안정성이 드러났다. 예를 들어, SigLIP은 음의 집계 차이를 생성한 반면 OpenCLIP L/14는 양의 차이를 생성했다.
• 부서 민감도: 부서를 하나씩 제외하는 분석 결과, 방향성 추세(예: OpenAI CLIP의 양의 차이)는 대부분의 부서 제외 상황에서도 안정적으로 유지되었다. 이는 해당 연관성이 이 특정 쿼리 정의 코호트 내에서는 일관적임을 시사하지만, 다른 기관으로 전이 가능함을 의미하지는 않는다.

의의 및 주장
본 논문의 주요 기여는 결정적인 예술적 가치에 대한 진술이나 예술적 성취에 대한 보편적 추정이 아니라 방법론적이다.

• 측정 프로토콜: 본 연구는 아카이브 선택 편향, 미해결 메타데이터, 모델별 점수 척정을 명시적으로 고려하여 문화유산 분야에서 VLM을 감사하기 위한 프로토콜을 수립한다.
• 해석적 경계: 저자들은 자신들의 결과가 메타데이터 기반 창작자 범주와 특정 프롬프트 하에서의 모델 점수 간의 연관성을 기술한다고 주장한다. 이들은 결과가 인과적 효과, 예술적 품질, 또는 일반적인 모델 행동을 확립하는 것이 아님을 명시한다.
• 불일치의 역할: 저자들은 모델 간의 불일치를 통계적 노이즈로 평균화하여 제거해야 할 대상이 아니라, 평가 불확실성의 유의미한 증거로 취급해야 한다고 주장한다.
• 책임 있는 사용: 저자들은 모델 점수가 예술적 가치를 순위 매기거나, 큐레이터의 판단을 대체하거나, 소장품 정책을 안내하는 데 사용되어서는 안 된다고 경고한다. 대신, 이러한 진단은 멀티모달 모델이 특정 프롬프트 및 메타데이터 조건 하에서 문화적 유물을 어떻게 다루는지 밝히는 데 도움을 주며, 아카이브와 모델이 어떻게 상호작용하는지에 대한 투명성의 필요성을 강조한다.

요약하자면, 본 연구는 VLM 감사에서 "누구의 예술이 가치를 지니는가"는 객관적이거나 안정적인 문화적 가치의 척적을 반영하기보다는, 특정 모델, 프롬프트의 구절, 그리고 메타데이터의 아카이브적 생존 여부에 따라 달라짐을 보여준다.