HAM: A Training-Free Style Transfer Approach via Heterogeneous Attention Modulation for Diffusion Models

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 확산 모델 (Diffusion Models) 은 이미지 생성 및 스타일 전이 분야에서 뛰어난 성능을 보여주고 있습니다. 기존 스타일 전이 방법들은 사전 훈련된 확산 모델의 특징 추출 능력을 활용하거나, LoRA/ControlNet 등을 통해 추가적인 모듈 제어 경로를 구축하여 스타일 신호를 명시적으로 주입합니다.
• 문제점:
  • 스타일 - 콘텐츠 균형의 실패: 기존 방법들은 복잡한 스타일 참조를 포착하지 못하거나, 사용자가 제공한 콘텐츠 이미지의 정체성 (Identity) 을 유지하지 못하는 경우가 많습니다.
  • 학습 비용 및 견고성: 미세 조정 (Fine-tuning) 기반 방법은 계산 비용이 크고 다양한 스타일 참조에 대해 민감합니다.
  • 기존 무학습 (Training-Free) 방법의 한계: StyleID 나 DiffArtist 와 같은 기존 무학습 방법들은 주로 자기 주의 (Self-Attention) 계층에 스타일 특징을 주입하는 방식에 의존합니다. 그러나 자기 주의 특징은 공간적 - 의미적 구조를 인코딩하므로, 이를 조작하는 것만으로는 스타일과 콘텐츠 간의 불균형을 초래하여 콘텐츠 왜곡이나 스타일 표현 부족을 야기합니다.

2. 제안 방법: HAM (Methodology)

저자들은 **이질적 주의 조절 (Heterogeneous Attention Modulation, HAM)**을 통해 학습 없이 고품질의 스타일 전이를 달성하는 새로운 프레임워크를 제안합니다. 이 방법은 크게 세 가지 핵심 모듈로 구성됩니다.

가. 스타일 주입 노이즈 초기화 (Style-Infused Noise Initialization, SINI)

• 목적: 확산 과정의 시작점인 잠재 노이즈 (Latent Noise) 를 초기화하여 스타일과 콘텐츠의 균형을 잡습니다.
• 작동 원리:
  • 기존 방법들은 콘텐츠 노이즈와 스타일 노이즈를 단순하게 융합하거나 하나만 사용했습니다.
  • HAM 은 **적응형 인스턴스 정규화 (AdaIN)**를 통해 스타일 노이즈를 콘텐츠 노이즈에 주입하되, 콘텐츠 잔차 노이즈 (Content Residual Noise) 성분을 추가로 도입합니다.
  • 이를 통해 스타일 강도와 콘텐츠 보존 사이의 최적 균형을 조절할 수 있는 하이퍼파라미터 ($\gamma$) 를 통해 정밀한 제어가 가능합니다.

나. 전역 주의 조절 (Global Attention Regulation, GAR)

• 목적: 스타일 전이 과정에서 콘텐츠의 정체성을 유지하면서 스타일 정보를 전역적으로 주입합니다.
• 작동 원리:
  • 콘텐츠 교사 모델 (Content Teacher) 과 스타일 교사 모델 (Style Teacher) 의 자기 주의 (Self-Attention) 투영 (Query, Key, Value) 을 활용합니다.
  • AdaIN 기반 특징 융합: 스타일 모델의 통계적 분포 (평균, 분산) 를 유지하면서 콘텐츠 모델의 특징을 재배열하여 최적의 복합 투영 ($Q^{cs}, K^{cs}, V^{cs}$) 을 생성합니다.
  • 가중치 융합: 생성 모델의 원래 자기 주의 투영과 융합된 투영을 하이퍼파라미터 $\alpha$로 가중치 합산하여 최종 주의를 구성합니다. 이는 콘텐츠 구조를 보존하면서 스타일 정보를 효과적으로 도입합니다.

다. 국소 주의 이식 (Local Attention Transplantation, LAT)

• 목적: 자기 주의 (Self-Attention) 의 한계를 극복하고, 교차 주의 (Cross-Attention) 를 통해 정밀한 스타일/콘텐츠 제어를 수행합니다.
• 작동 원리:
  • Key/Value 교체: 스타일 교사 모델에서 추출한 Key 와 Value 를 생성 모델의 교차 주의 (Cross-Attention) 에 직접 이식하여 스타일 정보를 강력하게 주입합니다.
  • Query 보호: 콘텐츠 정체성 손실을 방지하기 위해, 생성 모델의 Query 에는 콘텐츠 교사 모델의 Query 특징을 가중치 ($\beta$) 로 주입하여 보호합니다.
  • 이를 통해 스타일 가이드 (Key/Value) 와 콘텐츠 보존 (Query) 을 효과적으로 분리 (Decouple) 합니다.

3. 주요 기여 (Key Contributions)

1. 학습 없는 고품질 스타일 전이: 스타일 이미지에 대한 그래디언트 최적화 없이 고품질의 스타일 전이 이미지를 생성하는 HAM 프레임워크를 제안했습니다.
2. 이질적 주의 조절 메커니즘:
   • GAR: 스타일/콘텐츠 교사 모델의 특징을 생성 모델에 전역적으로 주입하여 스타일 강도를 조절합니다.
   • LAT: 교차 주의 계층을 활용하여 스타일과 콘텐츠 간의 정밀한 가이드를 제어합니다.
   • 두 메커니즘의 결합은 생성된 스타일 이미지의 품질을 획기적으로 향상시킵니다.
3. 범용성 및 SOTA 성능: DDIM 기반 (SD2.1) 과 DiT 기반 (SD3.5) 아키텍처 모두에 호환되며, 다양한 정량적 지표에서 기존 최첨단 (SOTA) 방법들을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 정량적 평가:
  • 스타일 강도: CLIP-T (텍스트 - 이미지 일치도) 와 FID 에서 최상위 성능을 기록했습니다.
  • 콘텐츠 보존: LPIPS, DINO, CLIP-I 지표에서 기존 방법들 (StyleID, DiffArtist 등) 보다 월등히 높은 점수를 받아 콘텐츠의 구조적 무결성과 세부 사항을 잘 보존함을 입증했습니다.
  • 종합 지표: 새로운 지표인 DC(스타일 - 콘텐츠 조화) 와 CC(콘텐츠 - 스타일 일관성) 에서도 최적의 균형을 보여주었습니다.
• 정성적 평가:
  • 다양한 텍스트 및 이미지 기반 스타일 참조에 대해 HAM 은 콘텐츠의 정체성을 유지하면서도 복잡한 스타일 패턴을 정확하게 재현했습니다.
  • 기존 방법들은 스타일과 콘텐츠 중 하나를 희생하는 경향이 있었으나, HAM 은 두 가지 모두를 성공적으로 균형 잡았습니다.
• 애블레이션 연구: GAR, LAT, SINI 세 모듈 모두 필수적이며, 하이퍼파라미터 ($\alpha, \beta, \gamma$) 를 적절히 조절했을 때 최적의 성능을 발휘함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 기술적 의의: HAM 은 확산 모델의 자기 주의와 교차 주의 메커니즘을 체계적으로 분해하고 재구성하여, 학습 없이도 스타일 전이와 콘텐츠 보존 간의 오랜 딜레마 (Trade-off) 를 해결했습니다.
• 실용성: 추가적인 학습 (Fine-tuning) 이 필요 없어 계산 비용이 적고, 다양한 아키텍처 (SD2.1, SD3.5) 에 적용 가능하여 실제 응용에 매우 유용합니다.
• 한계 및 향후 과제: 매우 추상적이거나 초현실적인 예술 스타일의 전이는 여전히 과제로 남아있으며, 향후 연구 주제가 될 수 있습니다.

요약하자면, HAM 은 확산 모델의 내부 주의 메커니즘을 정교하게 조절함으로써, 학습 비용 없이도 콘텐츠의 정체성을 해치지 않으면서 복잡한 스타일을 완벽하게 전이하는 새로운 표준을 제시한 연구입니다.