기술 요약: 잠재 공간의 행동학 (Ethology of Latent Spaces)

문제 제기

본 연구는 시각-언어 모델(VLM), 특히 CLIP 유형의 아키텍처 내 잠재 공간이 중립적이고 균질하며 존재론적으로 불확정적이라는 기존의 가정을 반박한다. 이러한 모델들은 메트릭 유사성(metric similarity)을 의미적 유사성(semantic similarity)과 동일시하는 수학적 벡터 공간 위에서 작동하지만, 본 논문은 이 등가성이 국소적으로 불안정하며 훈련 데이터 분포에 크게 의존한다고 주장한다. 핵심적인 문제는 이러한 모델들의 내부 구조화 양식에 대한 '맹점(blind spot)'이다. 사용자들은 생성과 해석을 스스로 통제하고 있다고 가정하지만, 실제로는 모델이 학습된 비의도적 분포를 바탕으로 시각적 실재를 완성한다는 사실을 인지하지 못한다. 본 논문은 잠재 공간이 단순히 의미를 담는 빈 그릇이 아니라, 모델의 훈련 데이터와 아키텍처 설계로부터 상속된 특정한 '알고리즘적 민감성'과 '담론적 형성(discursive formations)'에 의해 구조화되어 있으며, 이로 인해 인간 행위자에게는 보이지 않는 정치적·문화적 편향이 창발된다고 상정한다.

방법론

본 연구는 알고리즘의 내부 메커니즘을 연역하기보다 알고리즘 프로세스의 행동을 관찰하는 '행동학적 접근(ethological approach)'을 채택하며, 이는 Machine Behaviour(Rahwan et al., 2019)의 프레임워크를 차용한다. 연구는 15세기부터 20세기에 이르는 301점의 예술 작품(비서구적 생산물 포함) 코퍼스에 적용된 세 가지 서로 다른 VLM을 비교 분석한다:

1. OpenAI CLIP Large (ViT-L/14): 큐레이션된 독점 데이터셋인 WIT(약 4억 개의 쌍)로 훈련됨.
2. OpenCLIP ViT-L/14: 최소한의 필터링만 거친 웹 스크레이핑 기반 오픈 데이터셋인 LAION-2B(약 58.5억 개의 쌍)로 훈련됨.
3. SigLIP Large: 대조 학습(contrastive learning) 대신 쌍별 학습(pairwise learning) 아키텍처를 사용하는 구글의 독점 데이터셋 WebLI로 훈련됨.

기술적 프로토콜:

• 양극적 의미 축(Bipolar Semantic Axes): 벡터 유추(Mikolov et al., 2013)에서 영감을 받아, 상반되는 텍스트 임베딩(예: "비정치적 중립" vs "정치적 참여") 사이의 벡터 차이를 계산하여 의미 축을 구축한다.
• 투영 및 점수화(Projection and Scoring): 예술 작품을 이러한 축에 투영하여 각 극단과의 상대적 근접도를 측정함으로써, 이진 분류가 아닌 '현저성의 기울기(gradient of salience)'를 생성한다.
• 차원 축소: T-SNE를 사용하여 고차원 잠재 공간 내의 국소적 이웃(local neighborhoods)과 상대적 긴장을 시각화한다. 이때 전역적 기하 구조는 왜곡될 수 있으나 국소적 비대칭성은 보존된다는 점을 인정한다.
• 다층적 분석: 분석은 다음 세 가지 수준에서 수행된다:
  1. 픽셀 수준: 휘도(luminance) 및 색채 영역.
  2. 객체 수준: 신체, 얼굴, 건축물의 인식.
  3. 의미 수준: 추상적 개념(예: 정치적 참여, 식민주의)의 귀속.

주요 기여

본 논문은 VLM의 행동을 설명하기 위해 세 가지 운영 개념을 도입한다:

1. 계산적 잠재 정치화(Computational Latent Politicization): 정치적 범주가 의도적인 인코딩을 통해서가 아니라, 훈련 데이터의 불균등한 담론 분포라는 구조적 효과로서 잠재 공간 내에 출현하는 과정이다. 데이터셋은 무엇이 현저해질지를 구조화하는 '준-아카이브(quasi-archive)'(푸코)로서 기능한다.
2. 창발적 편향(Emergent Bias): 통계적 편향(참조 분포로부터의 일탈) 및 규범적 편향(윤리적 규범으로부터의 일탈)과 구별되는 제3의 범주이다. 창발적 편향은 입력 분포로 환원될 수 없으며, 잠재 공간 형성 과정 중의 벡터적 얽힘(vectorial entanglements)에서 발생하며 오직 모델 간 대조 분석을 통해서만 진단 가능하다.
3. 알고리즘적 스코픽 체제(Algorithmic Scopic Regimes): 가시적인 것을 구조화하는 구별된 양식을 특징짓는 유형론:
   • 엔트로피적(Entropic, LAION): 큐레이션되지 않은 웹 데이터에서 상속된 우연하고 확률적인 정치화를 특징으로 한다.
   • 제도적(Institutional, OpenAI): 서구 박물관학적 위계와 비판적 담론을 재현하는 통제된 체제이다.
   • 기호적(Semiotic, SigLIP): 높은 내부 일관성을 갖지만 환원적 체계성을 띨 가능성이 있는, 현대적 비판 어휘를 시각적 형태에 투영하는 체제이다.

주요 결과

비교 분석 결과, 모델들이 문화적·정치적 범주를 귀속시키는 방식에서 상당한 차이가 있음이 드러났으며, 이는 "메트릭 유사성"이 모델 간의 "의미적 유사성"을 보장하지 않음을 입증한다.

• 정치적 참여:
  • SigLIP은 예술 작품의 **59.4%**를 정치적으로 참여적이라고 분류했다. 특히 아프리카 가면이 가장 높은 점수를 받았는데, 이는 비서구 예술과 정치적 의도 사이의 연관성을 시사한다.
  • OpenCLIP/LAION은 단 **4%**만을 정치적 참여적이라고 분류했다.
  • OpenAI CLIP은 **33.3%**를 분류하였으며, 정치를 주로 아방가르드 운동 및 제도적 담론과 연관 지었다.
• 미학적/식민적 축: 이 부분에서 모델 간의 격차가 가장 극심했으며, 무려 72.6 퍼센트 포인트의 차이를 보였다. SigLIP은 단 9.2%의 이미지만을 "식민적" 극단으로 분류한 반면, OpenAI CLIP과 OpenCLIP/LAION은 각각 69.6%와 81.8%를 분류했다.
• 객체 인식 (신체 vs 풍경):
  • SigLIP은 인간의 신체를 나타낸다고 인식한 이미지가 **6.9%**에 불과했다. 이는 아카데믹/자연주의적 누드(예: 데가)를 과도하게 선호하고, 모더니즘의 변형되거나 양식화된 신체(예: 베이컨, 시를레) 및 아프리카 가면을 보이지 않게 처리함을 보여준다.
  • OpenAI CLIP과 OpenCLIP은 각각 **59.7%**와 **52.1%**를 인식하여, 파격적이고 모더니즘적인 표현들을 통합적으로 수용했다.
• 휘도 민감도:
  • OpenAI CLIP은 예술 작품의 97.7%를 "밝다"고 분류했는데, 이는 빛의 개념(예: 캡션 내의 "네온"이라는 단어)을 물리적 휘도와 혼동한 것이다.
  • SigLIP은 키아로스쿠로(chiaroscuro) 거장들(렘브란트, 베르메르)을 가장 어두운 이미지로 정확히 식별하여, 픽셀 수준의 비율에 더 가까운 민감도를 보여주었다.

의의 및 주장

본 논문은 잠재 공간이 중립적인 도구가 아니라 가시적인 것과 말할 수 있는 것을 구조화하는 능동적인 장치라고 주장한다. 본 연구의 의의는 다음과 같다:

• 해석적 조건에 대한 비판: 디지털 미술사가 모델에 사용된 특정 논리를 조사하지 않고서는 성립될 수 없음을 확립한다. '해석 가능성의 조건'은 모델 자체의 재현 공간 안에 새겨져 있다.
• 편향의 재정의: '창발적 편향'을 식별함으로써, 본 연구는 단순한 데이터셋 감사를 넘어선다. 연구는 편향이 명시적 의도나 단순한 통계적 과소 대표성으로 추적할 수 없는, 데이터, 아키텍처, 최적화의 상호작용으로부터 발생하는 정치적 효과(이데오레메, ideologemes)임을 입증한다.
• 방법론적 전환: 본 논문은 문화적 해석을 알고리즘 에이전트에게 위임할 때 학습 아키텍처의 분석을 통합하는 행동학적 방법론을 촉구한다. 본 논문은 "멀티모달 모델으로 데이터를 보는 것은 멀티모달 모델을 데이터로 보는 것"임을 강조하며, 도구에 내재된 개념적 공간에 대한 상호적 비판을 요구한다.

결론적으로, 본 연구는 인간 중심의 미술사가 오랫동안 편향과 싸워왔으나, 디지털 관점에서는 모델 생성의 근본적인 과정을 비판적으로 조사해야 하며, 예술의 시각 문화가 이제 인간의 의식과 시스템 자체를 벗어난 알고리즘적 가시성 체제에 의해 매개되고 있음을 인정해야 한다고 주장한다.