💻 computer science

Visual Distances among Cultural Art Corpora Align with Expert-Coded Historical-Artistic Relatedness

본 연구는 거대 시각 모델에서 도출된 시각적 거리가 다양한 문화 단위와 시대에 걸쳐 전문가가 코딩한 미술사적 관련성과 유의미하게 상관되어 있음을 입증하며, 이는 인터넷 규모의 시각 학습 코퍼스가 미술사적 관계를 반영하는 통계적 규칙성을 본질적으로 인코딩하고 있음을 시사한다.

원저자: Qiurui Wang, Weiqiang Ying, Ziyu Xu, Yousheng Yao, Shirui Wen, Guoying Wu, Cheng Yao, Fangtian Ying, Guanghui Huang

게시일 2026-09-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qiurui Wang, Weiqiang Ying, Ziyu Xu, Yousheng Yao, Shirui Wen, Guoying Wu, Cheng Yao, Fangtian Ying, Guanghui Huang

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

미술사는 오랫동안 문화 간의 보이지 않는 실을 추적하기 위해 학자들의 숙련된 안목에 의존해 왔습니다. 전문가들은 그리스에서 인도로 어떻게 옷 주름 양식이 이동했는지, 혹은 피라미드라는 개념이 어떻게 이집트와 아메리카에서 독립적으로 출현할 수 있었는지를 기록하기 위해 수 세기를 보냈습니다. 이러한 연결 고리는 항상 명확하게 드러나지는 않습니다. 그것들은 종종 수천 년의 변화 속에 묻혀 있거나, 장식, 형태, 재료의 미묘한 디테일 속에 숨겨져 있습니다. 인간이 이러한 깊은 역사적 연결을 인식하려면 수년간의 연구와 방대한 기록 도서관에 대한 접근이 필요합니다. 하지만 만약 인터넷의 전체 시각적 역사를 학습한 기계가 역사 책을 한 권도 읽지 않고도 이와 동일한 연결 고리를 볼 수 있다면 어떨까요? 이 질문은 인공지능과 문화 연구의 교차점에 위치하며, 컴퓨터 비전 시스템 내에 숨겨진 수학적 패턴이 인간 전문가가 이해하는 예술의 진화 방식과 우연히 일치하는지를 묻고 있습니다.

한 연구팀은 서구 중심의 예술에 국한된 일반적인 초점을 넘어, 5개 대륙에 걸친 5,000년의 역사를 포함하는 글로벌 규모로 이 아이디어를 테스트하기 위해 나섰습니다. 그들은 고대 지중해부터 원주민 오세아니아 계보에 이르기까지 53개의 뚜렷한 문화 단위(cultural units)를 나타내는 방대한 이미지 컬렉션을 수집했습니다. 비교를 위한 신뢰할 수 있는 기준을 만들기 위해, 그들은 미술사, 고고학, 박물관학 전문가인 10명의 블라인드 전문가를 모집하여 가능한 모든 문화 집단 쌍 사이의 관련성을 평가하도록 했습니다. 전문가들은 단순히 두 그림이 모두 파란색을 사용한다는 식의 단순한 시각적 유사성을 보는 것이 아니었습니다. 대신, 그들은 문서화된 문화적 접촉과 공유된 시각적 전통에 근거하여 역사적 관련성을 판단하도록 요청받았습니다. 그 결과, 어떤 문화가 역사적으로 연결되어 있고 어떤 문화가 그렇지 않은지에 대한 합의를 담은 상세한 인간 판단의 지도가 만들어졌으며, 이는 1,300개 이상의 비교 쌍을 포괄했습니다.

연구진은 이후 오늘날 이미지 인식 및 생성 도구를 구동하는 종류의 거대 시각 모델인 6가지 서로 다른 대규모 비전 모델로 눈을 돌렸습니다. 이 모델들은 인터넷의 수십억 개 이미지를 학습하며, 유사한 이미지는 가깝게 배치하고 서로 다른 이미지는 멀리 배치하는 수학적 공간으로 시각 정보를 압축하는 법을 배웠습니다. 연구팀은 이 디지털 공간 내에서 53개 문화 집단 사이의 거리를 측정했습니다. 만약 기계가 미술사에 대해 배운 것이 없다면, 이 집단들 사이의 거리는 무작위적일 것입니다. 만약 기계가 인간 전문가를 모방하는 법을 배웠다면, 전문가들이 역사적으로 연결되어 있다고 말한 집단들은 관련이 없는 집단보다 기계의 마음속에서 더 가깝게 위치해야 합니다.

연구 결과는 놀라운 일치를 보여주었습니다. 테스트된 6가지 모든 유형의 인공지능 모델에 걸쳐, 문화 집단 간의 수학적 거리는 인간 전문가의 판단과 일관되게 일치했습니다. 전문가들이 두 전통이 역사적으로 연결되어 있다고 말했을 때, 모델들은 그들을 더 가깝게 배치했습니다. 전문가들이 서로 관련이 없다고 말했을 때, 모델들은 그들을 더 멀리 배치했습니다. 이 패턴은 연구진이 지리적 요인을 통제했을 때도 유효했는데, 이는 연결이 단순히 두 문화가 우연히 가까운 곳에 살았기 때문이 아님을 보장했습니다. 신호는 광대한 바다로 떨어진 문화 사이에서도 감지될 만큼 강력했습니다. 예를 들어, 고대 그리스 전통과 불교 미술의 간다라 양식은 수천 킬로미터를 이동한 교차 문화적 영향의 전형적인 사례입니다.

이 연구는 이 기계들이 역사를 의식적으로 이해한다거나 인간 학자를 대체할 수 있다고 주장하는 것이 아닙니다. 연구진은 모델들이 발견한 패턴이 아마도 그들이 학습한 이미지 속에 존재하는 통계적 규칙성을 반영하는 것이며, 이 이미지들은 수 세기 동안 박물관과 기록 보관소가 예술을 수집하고 분류해 온 방식에 의해 형성된 것이라고 주의 깊게 언급했습니다. 모델들은 강의실에서 미술사를 배운 것이 아니라, 그들이 소비한 데이터 속에 각인된 문화적 접촉의 시각적 지문을 배운 것입니다. 그러나 서로 다른 목표로 훈련된 6가지 서로 다른 아키텍처가 모두 동일한 결론에 도달했다는 사실은 문화적 전파의 시각적 증거가 견고하며 탐지 가능하다는 것을 시사합니다. 이는 인터넷 규모의 시각적 기록이 비록 편향과 공백이 있을지라도, 수 세기에 걸친 인간 학술 연구가 기록한 관계를 반영하는 일관된 구조를 포함하고 있음을 나타냅니다.

결과가 선택된 특정 이미지의 산물이 아니라는 것을 보장하기 위해, 연구팀은 또한 12개국에서 온 4,500명의 참가자를 대상으로 지각 체크를 실시했습니다. 미술사 훈련을 받지 않은 일반인들에게 광범위한 시각적 양식의 범주를 구분하도록 요청했습니다. 참가자들은 범주를 구분해 낼 수 있었으며, 이는 연구에 사용된 시각적 차이가 실제적이고 인간의 눈에 지각 가능하다는 것을 확인시켜 주었습니다. 이는 기계가 발견한 패턴이 단순한 수학적 특이점이 아니라 실제 세계에서 구별되는 무언가에 상응한다는 것을 보여주는 추가적인 검증 단계였습니다.

또한 이 연구는 데이터 자체의 한계를 강조했습니다. 53개의 문화 단위가 정의된 방식은 유럽 전통은 많은 세부 범주로 나누는 반면, 아프리카나 아메리카의 일부 지역은 더 넓고 덜 상세한 단위로 묶어 놓은 미술사의 불균형한 역사를 반영했습니다. 연구진은 이러한 데이터의 구조적 편향이 결과에 영향을 미쳤을 수 있음을 인정하며, 보다 형평성 있는 프레임워크를 만들기 위해 원주민 및 비서구권 협력자들을 참여시키는 향후 과업을 촉구했습니다. 그럼에도 불구하고 핵심적인 발견은 안정적이었습니다: 이러한 강력한 인공지능 시스템에 의해 계산된 시각적 거리는 전문가가 코딩한 역사적 관련성과 유의미하게 일치했습니다.

이 작업은 예술의 글로벌 역사를 바라보는 새로운 방식을 제안합니다. 이는 인터넷상의 방대하고 무질서한 이미지의 집합이 현대 인공지능에 의해 처리될 때, 인간 전문가들이 수 세기 동안 밝혀내 온 것과 동일한 깊은 구조적 연결을 드러낼 수 있음을 시사합니다. 이것은 인간의 해석이나 역사적 기록에 대한 세심한 연구의 필요성을 대체하는 것이 아니라, 손으로 직접 지도화하기 어려운 규모의 패턴을 볼 수 있는 강력한 도구를 제공합니다. 이 연구는 인류 문화의 시각적 언어가, 그 모든 이주, 교류, 그리고 독립적인 발명과 함께, 심지어 인터넷에서 학습한 기계조차 읽어낼 수 있는 통계적 서명을 남긴다는 것을 확인시켜 줍니다.

기술 요약: 문화 예술 코퍼스 간의 시각적 거리는 전문가가 코딩한 역사적-예술적 관련성과 일치한다

문제 제p
인터넷 규모의 시각적 코퍼스로 학습된 대규모 인공지능 시스템은 복잡한 시각적 표현을 학습하는 능력을 입증해 왔으나, 이들 모델의 잠재 공간(latent-space) 기하학이 역사적으로 의미 있는 관계를 인코딩하는지, 아니면 단순히 공유된 지리적 위치나 반복되는 모티프에 의한 표면적인 시각적 유사성을 반영하는지는 여전히 불분명하다. 기존의 계산 미술사 연구는 주로 서구 중심의 정전에 집중해 왔으며, 직접적인 잠재 공간 측정보다는 계산적 대리 지표(proxy)에 의존하였고, 독립적이고 대규모인 전문가 검증이 부족했다. 본 연구는 대규모 시각 언어 모델(LVM)이 학습한 시각적 거리가 5개 대륙과 5천 년의 시간을 아우르는 전 지구적 규모에서 전문가가 판단한 역사적-예술적 관련성과 일치하는지 테스트한다는 공백을 메우고자 한다.

연구 방법론
본 연구는 전문가의 인간 코딩, 고급 머신러닝 특징 추출, 그리고 강력한 통계적 검증을 결합한 엄격한 다중 모드 접근 방식을 채택하였다:

전문가 코딩 벤치마크: 10명의 블라인드 처리된 도메인 전문가(미술사학자, 고고학자, 큐레이터)가 5개 대륙의 14개 가문을 대표하는 53개 문화 단위에 대한 쌍별(pairwise) 관련성을 코딩하였다. 이들은 기록된 문화적 접촉과 공유된 시각적 전통을 바탕으로 0~4점의 서수 척도로 1,378개의 고유한 쌍(dyad)을 평가하였다. 코더 간 신뢰도(inter-coder reliability)는 매우 높았다(가중 Cohen's $\kappa$ = 0.949).
모델 선택 및 특징 추출: 서로 다른 학습 목적을 가진 6개의 주요 비전 모델이 활용되었다:
- 판별 모델(Discriminative): CLIP (ViT-L/14), DINOv2 (ViT-L/14), MAE (ViT-L/16), ResNet-50.
- 생성 모델(Generative): Stable Diffusion v1.4 VAE 및 SDXL VAE 인코더.
- 3개의 추가 대리 모델(SD3, StyleGAN2, VQGAN)이 기술적 지원을 위해 사용되었다.
- 특징은 주요 박물관 API에서 수집된 3,086개의 이미지로부터 추출되었으며, 품질과 해상도 기준으로 필터링되었다.
거리 측정 방식: 문화 단위 간의 쌍별 거리는 서로 다른 크기의 메트릭 공간을 비교하기 위해 공간 내 거리 구조를 최소화하며 운송 비용을 계산하는 최적 운송(optimal transport) 지표인 그로모프-와서스타인(Gromov-Wasserstein, GW) 거리를 사용하여 계산되었다.
통계적 검증:
- QAP(Quadratic Assignment Procedure): 쌍별 데이터의 비독립성을 제어하면서, GW 거리 행렬과 전문가 코딩된 관련성 행렬 간의 상관관계를 평가하기 위해 사용되었다(10,000회 순열 검정 수행).
- 지리적 통제 변수: 선형 및 3차 다항식 통제를 포함한 다중 회귀 QAP(MRQAP)와 지리적 분위수(quintile) 빈닝을 사용하여, 예술사적 신호를 지리적 근접성으로부터 분리하였다.
- 강건성 검사: Leave-One-Unit-Out (LOUO) 분석, 이미지가 적은 단위를 위한 부트스트랩 하위 샘플링, 그리고 부정적 대조군 순열(라벨 셔플링)을 실시하였다.
- 베이지안 추론: 증거의 강도를 정량화하기 위해 베이즈 인자( $BF_{10}$ )를 계산하였다.
- 행동 검증: 12개국 4,500명의 참가자를 대상으로 한 보충적 지각 변별력 검사를 통해, 광범위한 자극 범주가 일반 관찰자들에게 시각적으로 뚜렷하게 구분됨을 확인하였다.

주요 결과

유의미한 음의 상관관계: 6개의 주요 모델 모두 GW 거리와 전문가 코딩된 관련성 사이에서 유의미한 음의 상관관관계를 나타냈다. Spearman $\rho$ 값은 $-0.443 $(DINOv2)에서$ -0.497$(MAE) 사이였으며, 모든 모델은 Benjamini-Hochberg FDR 보정( $q < 0.001$ )을 통과하였다.
강력한 효과 크기: 높은 관련성을 가진 쌍과 낮은 관련성을 가진 쌍 사이의 분리는 상당했으며, Cliff's $\delta$ 는 0.837에서 0.919, AUC 값은 0.918에서 0.960 사이였다.
결정적인 베이지안 증거: 로그 변환된 베이즈 인자( $\log_{10}(BF_{10})$ )는 모든 모델에서 60을 초과하였으며, 이는 귀무가설에 대한 결정적인 반증을 의미한다.
지리학적 강건성: 지리적 근접성이 분산의 일부를 설명하였으나(부분 $\rho$ 범위 $-0.156 $~$ -0.226$), 선형 및 비선형 지리적 효과를 통제한 후에도 유의미한 음의 상관관계가 지속되었다. 이 신호는 대양을 사이에 둔 쌍에서도 감지되었다.
모델 간 수렴성: 6개의 주요 아키텍처는 결과에서 중간 정도의 수렴성(중앙값 상호 상관 $\rho = +0.446$ )을 보였으며, 이는 이 현상이 특정 모델 패밀리나 학습 목적에 국한된 것이 아님을 시사한다.
부정적 대조군: 라벨 셔플링 순열(10,000회 반복) 결과 중앙값 상관관계는 0에 가까웠으며, 10,000회의 순열 중 관찰된 크기에 도달한 경우가 0건이었으므로 결과의 특이성이 확인되었다.

의의 및 주장
본 논문은 인터넷 규모의 시각적 학습 코퍼스가 다양한 문화와 시대에 걸친 전문가 판단 예술사적 관계와 유의미하게 상관되는 통계적 규칙성을 포함하고 있다고 주장한다. 저자들은 이를 LVM이 문화적 접촉에 의해 문서화된 시각적 통계를 압축함으로써, 그들의 잠재 공간이 수 세기에 걸친 학문적 성과에 의해 인코딩된 관계적 구조를 반영할 수 있게 된다는 증거로 해석한다.

중요하게도, 저자들은 메커니즘에 대해 신중한 입장을 유지한다:

모델이 학습 데이터의 큐레이션과 독립적으로 예술사적 지식을 자율적으로 인코딩한다고 주장하지 않는다.
지리적 근접성, 학습 데이터 편향(예: 서구 전통의 과잉 대표성), 그리고 박물관 큐레이션 프레임워크가 관찰된 정렬에 기여함을 인정한다.
이 결과는 특정 아키텍처의 귀납적 편향보다는 데이터 구성이 문화적 구조 회복의 주요 동력임을 시사한다.

본 연구는 멀티모달 모델 평가를 대리 지표가 아닌 도메인 전문가의 구조에 기반하여 정착시키는 재현 가능한 프레임워크를 제공한다. 이는 전통적인 질적 미술사에 대한 양적 보완책을 제공하며, 기존에는 다루기 어려웠던 규모에서 문화적 전승과 시각적 진화를 체계적으로 조사할 수 있게 한다. 그러나 저자들은 53개 단위 프레임워크에 내재된 "식민 시대 지식 인프라"에 대한 한계와, 데이터 거버넌스의 인식론적 편향을 해결하기 위한 미래의 커뮤니티 참여형 프레임워크(예: CARE 원칙)의 필요성을 명시적으로 언급하였다.

유사한 논문