기술 요약: 반 고흐의 눈을 통해: 확산 모델을 이용한 글로벌 스타일 전이

문제 정의

예술적 이미지 합성(Artistic image synthesis)은 대상 예술가의 표현력 있는 시각적 정체성을 재현하는 것을 목표로 합니다. 기존의 접근 방식은 일반적으로 두 가지 패러다임으로 나뉘며, 두 방식 모두 상당한 한계를 가집니다:

1. 기존 스타일 전이 (One-to-One): 이러한 방법들은 단일 또는 소수의 참조 작품에서 스타일을 추출하여 콘텐츠 이미지에 전이합니다. 특정 작품의 스타일화에는 효과적이지만, 예술가의 전반적인 시각적 정체성을 정의하는 광범위하고 일관된 스타일 분포를 포착하는 데는 실패합니다. 이는 종종 인스턴스 수준의 과적합(overfitting)을 초래합니다.
2. 텍스트-투-이미지 (T2I) 확산 합성: 예술가 이름(예: "반 고흐 스타일로")에 조건화된 방식은 유연성을 제공하지만, 텍스트로 인한 편향(text-induced bias) 문제를 겪습니다. 이러한 모델들은 몇몇 상징적인 작품(예: 별이 빛나는 밤)의 질감과 구도를 재현하는 경별향(mode-collapse) 현상을 보이며, 예술가의 다양한 스타일 스펙트럼을 좁고 편향된 분포로 축소시킵니다.

두 패러다임 모두 단일 사례나 언어적 프롬프트에 의존하기보다는, 대규모 코퍼스 전반에 걸친 시각적 통계량을 집계해야 하는 예술가의 '글로벌 스타일'을 신뢰성 있게 포착하지 못합니다.

방법론

저자들은 여러 점의 예술 작품을 집계하여 단일 콘텐츠 이미지에 해당 예술가의 공유된 글로벌 스타일을 전이하는 "Many-to-One" 패러다임인 **글로벌 스타일 전이 (Global Style Transfer, GST)**를 제안합니다. 이 프레임워크는 잠재 확산 모델(Latent Diffusion Model, LDM) 내에서 작동하는 두 가지 상호 보완적인 구성 요소로 이루어져 있습니다:

1. 글로벌 스타일 가이던스 (Global Style Guidance, GSG)

GSG는 확산 U-Net 병목 구간의 중간 특징 공간(h-space)에서 작동합니다. 이의 목표는 텍스트 프롬프트에 의존하지 않고 모델의 표현을 조절하는 잔차 글로벌 스타일 오프셋($\Delta h_t$)을 학습하는 것입니다.

• 학습 과정: 경량화된 스타일 추출 함수(Style Extraction Function, SEF)인 $f_t$는 단일 예술가의 수백 점의 작품을 대상으로 학습됩니다. 결정적으로, 모든 작품은 고정되고 통일된 텍스트 프롬프트(예: "A painting")와 쌍을 이룹니다.
• 메커니즘: 프롬프트를 고정함으로써 텍스트 조건화의 분산을 거의 제로로 줄입니다. SEF는 노이즈 재구성 손실(noise reconstruction loss)을 통해 순수하게 시각적 통계로부터 잔차 오프셋 $\Delta h_t$를 예측하도록 학습됩니다. 이를 통해 학습된 스타일 의미론이 텍스트로부터 독립적이며 예술가의 시각적 코퍼스에 근거하도록 보장합니다.
• 추론: 역확산 과정 동안, 학습된 $\Delta h_t$는 U-Net 병목 특징에 잔차로 더해져, 디노이징 궤적을 예술가의 글로벌 스타일 분포 쪽으로 유도합니다.

2. 콘텐츠 정렬 가이던스 (Content Alignment Guidance, CAG)

입력 콘텐츠 이미지의 의미적 구조를 보존하면서도 예술가 특유의 기하학적 변형을 허용하기 위해, 저자들은 훈련이 필요 없는 메커니즘인 CAG를 도입했습니다.

• 과정: 콘텐츠 이미지는 먼저 DDIM 인버전을 통해 노이즈가 섞인 잠재 벡터로 매핑됩니다.
• 지각적 가이던스: 각 확산 타임스텝마다, 방법론은 CLIP 이미지 인코더를 사용하여 지각적 손실(perceptual loss)을 계산합니다. 이는 현재의 잠재 벡터로부터 유도된 근사된 깨끗한 이미지($\tilde{x}_0$)의 고수준 의미 특징과 생성된 이미지($x_t$)의 특징을 비교합니다.
• 최적화: 잠재 궤적은 이 지각적 손실을 최소화하도록 경사 하강법(gradient descent)을 통해 조정됩니다. 이는 콘텐츠의 추상적 구조와 의미적 구성을 유지하면서도, 대상 예술가의 특징적인 스타일 기반 기하학적 변형을 허용합니다.

주요 기여

1. 글로상 스타일 전이 (GST) 패러다임: 저자들은 예술가의 통합된 글로벌 스타일 분포를 학습하여, 기존 스타일 전이의 인스턴스 수준 편향과 T2I 모델의 텍스트 의존적 편향을 극복하는 새로운 Many-to-One 형식의 예술적 합성을 제안합니다.
2. 글로벌 스타일 가이던스 (GSG): h-space에서 작동하며 시각적 통계로부터 예술가 수준의 스타일 의미론을 순수하게 학습하는 가이던스 메커니즘입니다. 학습 시 고정된 프롬프트를 사용함으로써 언어적 의존성을 완화하고 모델이 상징적인 시각적 패턴으로 붕괴되는 것을 방지합니다.
3. 콘텐츠 정렬 가이던스 (CAG): 콘텐츠 이미지의 의미적 무결성을 유지하면서 확산 과정 중 표현력 있는 스타일 기반 기하학적 변형을 가능하게 하는 훈련이 필요 없는 지각적 가이던스 메커니션입니다.

실험 결과

본 프레임워크는 스타일 참조를 위한 WikiArt 데이터셋과 콘텐츠를 위한 VanGogh2Photo 데이터셋을 통해 평가되었습니다.

• 정량적 성능: 최신 스타일 전이 방법(예: StyleInjection, StyTR2) 및 개인화 기술(예: Textual Inversion, Custom Diffusion, LoRA fine-tuning)과 비교했을 때, GST는 다음 항목에서 우수한 성능을 달성했습니다:

  • 스타일 충실도 (Stylistic Fidelity): 낮은 ArtFID 점수는 예술가의 글로벌 스타일과 더 잘 일치함을 나타냅니다.
  • 콘텐츠 보존 (Content Preservation): 경쟁력 있는 CFSD 점수는 콘텐츠 구조가 유지됨을 입증합니다.
  • 다양성 (Diversity): GST는 가장 높은 CLIP-Diversity 점수를 기록하였으며, 이는 특정 패턴을 암기하기보다 더 넓은 스타일 분포를 포착했음을 나타냅니다. 다양성 값은 실제 예술가의 코퍼스와 매우 유사했습니다.
  • 암기 회피 (Memorization Avoidance): 높은 1-Precision 점수는 GST가 개인화 베이스라인에서 발견되는 지배적인 시각적 모티프에 과적합되는 것을 피한다는 것을 시사합니다.

• 정성적 분석:

  • 시각적 비교: GST는 예술가의 전체 코퍼스를 반영하는 일관된 글로벌 스타일화를 생성하는 반면, 단일 이미지에 의려하거나 여러 출력을 평균화하는 베이스라인들은 흐릿하거나 일관되지 않은 스타일을 생성합니다.
  • 텍스트 독립성: 어블레이션 연구(Ablation studies) 결과, 학습 프롬프트를 변경하더라도(예: "A painting"에서 "An artwork"로) 생성된 이미지가 거의 동일하게 나타났으며, 이는 학습된 스타일의 텍스트 독립성을 확인시켜 줍니다.
  • 편향 완화: 상징적인 구도(예: 반 고흐의 소용돌이 패턴)를 반복해서 생성하는 T2I 베이스라인(예: Nano Banana 2, ChatGPT)과 달리, GST는 진정한 글로벌 스타일 스펙트럼을 반영하는 다양한 출력을 생성합니다.
  • 구성 요소 분석: CAG를 제거하면 상당한 콘텐츠 저하(높은 ArtFID)가 발생하여 구조 보존을 위한 필요성을 확인했습니다. 또한, 글로벌 구성을 유지하기 위해서는 낮은 레이어보다 높은 CLIP 레이어(Layer 11)에서 CAG를 적용하는 것이 중요함이 밝혀졌습니다.

의의 및 주장

본 논문은 글로벌 스타일 전이가 예술가의 일관된 시각적 정체성을 모델링하는 데 있어 더 충실하고 편향되지 않은 방법을 제공한다고 주장합니다. 인스턴스 수준의 전이와 텍스트 의존적 합성에서 벗어나, 시각적 통계 중심의 Many-to-One 접근 방식으로 전환함으로써, GST는 예술가의 글로벌 스타일 분포를 성공적으로 포착합니다. 저자들은 이 방법이 몇몇 상징적인 예시나 특정 텍스트 설명에 국한되지 않고, 예술가의 작업 전반을 반영하는 다양하고 표현력 있는 콘텐츠 재렌더링을 가능하게 한다고 강조합니다.