The Cow of Rembrandt - Analyzing Artistic Prompt Interpretation in Text-to-Image Models

기술적 요약: 렘브란트의 소: 텍스트-이미지 모델에서의 예술적 프롬프트 해석 분석

문제 제기
수십억 개의 이미지를 학습하여 예술적 콘텐츠를 생성하는 데 탁월한 능력을 보여준 텍스트-이미지 (txt2img) 확산 모델들이지만, 이러한 모델이 내부적으로 '내용 (무엇이 묘사되는가)'과 '스타일 (어떻게 묘사되는가)' 개념을 어떻게 표현하고 분리하는지에 대한 근본적인 질문은 아직 탐구되지 않았습니다. 전통적인 컴퓨터 비전은 내용과 스타일을 직교하는 것으로 간주하지만, 확산 모델은 훈련 중에 이러한 구분에 대한 명시적인 지침을 받지 않습니다. 따라서 이러한 모델이 개념적으로 이러한 요소들을 분리하는지, 아니면 얽힌 표현으로 처리하는지는 불분명합니다.

방법론
저자들은 크로스 어텐션 히트맵의 공간적 분포를 분석함으로써 트랜스포머 기반 txt2img 확산 모델이 내용과 스타일을 어떻게 인코딩하는지 조사합니다. 본 연구는 다음과 같은 기술적 접근 방식을 사용합니다:

• 데이터 및 프롬프트: MS-COCO 의 80 개 객체 클래스와 WikiArt 의 50 개 스타일 설명자 (23 명의 화가, 27 개의 미술 운동) 를 사용하여 16,000 개의 고유한 프롬프트 데이터셋을 구성했습니다. 내용과 스타일 변수를 분리하기 위해 네 가지 다른 프롬프트 템플릿을 사용했습니다 (예: "<스타일> 스타일의 <내용> 그림").
• 모델: 내부 표현에 접근할 수 있는 오픈 소스 모델인 Stable Diffusion XL(SDXL) 을 사용하여 실험을 수행했습니다.
• 어텐션 분석: 연구에서는 토큰별 귀속 맵을 추출하기 위해 Diffusion Attentive Attribution Maps(DAAM) 를 활용합니다. 이러한 맵은 U-Net 디노이징 네트워크의 공간, 시간, 아키텍처 차원에 걸쳐 크로스 어텐션 배열을 집계하여 특정 프롬프트 토큰과 이미지 픽셀 간의 공간적 관계를 시각화합니다.
• 정량적 지표: 내용 - 스타일 분리를 측정하기 위해 연속적인 귀속 히트맵을 이진 마스크로 임계화합니다. 그런 다음 내용 토큰 마스크 ($IoU_{CS}$) 와 스타일 토큰 마스크 간의 교집합 비율 (Intersection over Union, IoU) 을 계산합니다. 이는 프롬프트 내의 모든 가능한 토큰 쌍에 대해 계산된 기준선 평균 IoU($mIoU_B$) 와 비교하여 일반적인 어텐션 지형을 고려합니다.
• 유의성 지표: 차이 지표 $\Delta = mIoU_B - IoU_{CS}$가 도입되었습니다. 양의 $\Delta$는 내용과 스타일 토큰이 서로 다른 공간 영역에 주의를 기울임 (분리) 을 나타내는 반면, 음의 $\Delta$는 더 높은 공간 상관관계와 개념적 얽힘을 시사합니다.

주요 결과
이 분석은 모델의 행동에 대한 정량적 및 정성적 통찰력을 제공합니다:

• 일반적 분리: 평균적으로 $IoU_{CS}$는 기준선 $mIoU_B$보다 유의하게 낮습니다 ($p < 0.001$). 이는 내용과 스타일 토큰이 일반적으로 생성된 이미지의 보완적인 영역에 영향을 미친다는 것을 나타냅니다. 내용 토큰은 주로 객체 관련 영역을 활성화하는 반면, 스타일 토큰은 배경 및 질감 영역에 영향을 줍니다.
• 토큰별 변동성: 분리 정도는 균일하지 않으며, 사용된 특정 내용 및 스타일 용어에 따라 크게 달라집니다.
  • 높은 분리: 동물 관련 용어 (예: 기린, 양) 와 구상 미술 운동 (예: 뉴 리얼리즘, 로코코) 은 높은 $\Delta$ 값을 보여 명확한 공간적 분리를 시사합니다.
  • 낮음/음의 분리: '사람'이라는 용어는 가장 낮은 $\Delta$ 값을 보입니다. 특히 화가 '렘브란트'는 음의 평균 $\Delta$를 보이는 유일한 스타일 구성 요소로, 모델이 스타일과 내용을 혼동하고 있음을 나타냅니다.
• 정성적 관찰:
  • 높은 분리 사례에서는 히트맵이 주제와 스타일에 대한 명확한 영역을 보여줍니다.
  • 낮은 분리 사례 (예: 렘브란트 스타일) 에서는 스타일 토큰이 주제 자체와 관련된 영역을 활성화합니다. 예를 들어, "렘브란트 스타일의 소"를 생성할 때, 모델은 소를 '입히는' 것처럼 보이며 스타일을 대상의 옷에 적용합니다. 이는 모델이 렘브란트의 스타일을 본질적으로 특정 인간 또는 구상 형태와 연결된 것으로 해석함을 시사합니다.
  • 엣지 케이스는 특정 스타일적 맥락에서 자주 등장하는 주제 (예: 킨히너의 그림에 등장하는 여성들) 가 모델에 의해 스타일적 요소 자체로 내면화될 수 있음을 보여줍니다.

의의 및 기여
본 논문은 명시적인 감독 없이 대규모 생성 모델이 예술적 내용과 스타일 간의 구분을 내부적으로 어떻게 개념화하는지에 대한 최초의 체계적인 조사를 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 창발적 이해: 연구 결과는 확산 모델이 내용 - 스타일 구분에 대한 불완전하지만 창발적인 이해를 보여주며, 생성 과정에서 종종 이러한 개념들을 공간적으로 분리한다는 것을 시사합니다.
2. 데이터 기반 행동: 연구는 모델의 행동이 훈련 데이터에 크게 영향을 받음을 강조합니다. 훈련 세트에서 주제와 스타일이 빈번하게 공존하면 스타일 토큰이 내용 영역에 주의를 기울이는 개념적 얽힘이 발생할 수 있습니다.
3. 도구 제공: 저자들은 생성 모델의 해석 가능성에 대한 추가 연구를 촉진하기 위해 코드, 데이터셋 및 어텐션 맵을 시각화하는 탐색 도구를 공개했습니다.

이 연구는 일반적인 분리가 존재하지만, 내용과 스타일 간의 구체적인 상호작용은 단순하지 않으며 특정 예술적 프롬프트와 훈련 코퍼스 의 통계적 속성에 크게 의존한다고 결론 내립니다.