기술 요약: 보편적 튜닝 프리 스타일 전이를 위한 컬러-스타일 분리 이중 스트림 네트워크

문제 정의

스타일 전이는 고전적인 컴퓨터 비전 문제임에도 불구하고, 브러시 자국(stroke), 질감(texture), 재료(material), 색상(color), 빛(light), 구조(structure)와 같은 속성들을 복합적으로 전달해야 하는 정의하기 어려운 과제로 남아 있습니다. 기존 솔루션들은 다음과 같은 세 가지 주요 한계에 직면해 있습니다:

1. 불충분한 스타일 유사성: 현재의 모델들은 브러시 자국이나 재료와 같은 특정 스타일 속성을 정확하게 재구성하는 데 실패하는 경우가 많습니다.
2. 제한된 편집 능력: 스타일 재구성에 뛰어난 모델들은 텍스트 프롬프트를 따르거나 콘텐츠를 편집하는 데 어려움을 겪는 경향이 있습니다.
3. 색상 침범(Color Invasion): 콘텐츠와 스타일 참조가 모두 포함된 시나리오에서, 모델들이 스타일 참조의 색상을 콘텐츠로 과도하게 전이시켜 콘텐츠 본연의 특성을 변화시키는 문제가 빈번하게 발생합니다.

또한, 테스트 타임 튜닝 방식(예: StyleDrop)은 계산 비용이 많이 들어 맞춤형 스타일 참조가 필요한 실제 응용 분야에는 비실용적입니다. 튜닝 프리(tuning-free) 모델들이 존재하기는 하지만, 콘텐츠 이미지의 색상 분포와 특성을 엄격히 보존하면서 스타일 속성만을 전달하는 특성 보존형 스타일 전이(characteristics-preserved style transfer) 문제는 아직 해결하지 못했습니다.

방법론

저자들은 색상을 다른 스타일 속성으로부터 완전히 격리하도록 설계된 새로운 이중 스트림 학습 패러다임인 **컬러 분리 스타일 전이(Color Disentangled Style Transfer, CDST)**를 제안합니다. 이 프레임워크는 다양한 스타일 전이 작업에 대해 제로샷 추론이 가능한 단일 학습 모델로 작동합니다.

1. 학습 패러다임: 이중 스트림 분리

CDST는 이중 스트림 아키텍처를 사용하여 스타일 전이를 조건부 참조 이미지 구축 작업으로 정식화합니다:

• 스타일 스트림(Style Stream): 색상 오염을 방지하기 위해 스타일 참조 이미지를 **그레이스케일(greyscale)**로 변환합니다. 특징 추출에는 DinoV2를 사용하며, 다중 특징 임베딩 압축 전략을 활용합니다. 이는 다음 과정을 포함합니다:
  • 마지막 블록에서 딥 그리드 특징(deep grid features)과 CLS 토큰을 추출합니다.
  • 스타일 트랜스포머(Style Transformer)를 통해 그리드 임베딩을 4개의 토큰으로 압축합니다.
  • 저수준 단서(low-level cues)를 포착하기 위해 블록 5, 11, 17에서 얕은 표현(shallow representations)을 추출하고, 이를 MLP로 처리한 뒤 평균 풀링(average-pooling)합니다.
  • 이 7개의 토큰을 결합하여 스타일 임베딩($e_s$)을 형성합니다.
• 컬러 스트림(Color Stream): 색상은 **양자화된 컬러 히스토그램(quantized color histogram)**을 통해 독립적으로 표현됩니다. 히스토그램은 Rayleigh 패키지를 통해 추출되며(HSV를 LAB 공간으로 변환하고 유클리드 거리를 양자화), 180차원 벡터를 생성합니다. 이 벡터는 MLP를 통해 4개의 토큰으로 확장되어 컬러 임베딩($e_c$)을 형성합니다.

두 스트림은 학습 가능한 선형 행렬($W^K, W^V$)과 크로스 어텐션(cross-attention) 메커즘을 통해 Denoising UNet에 주입됩니다. 학습 목표는 표준 MSE 손실을 사용하여 참조 이미지를 재구성하는 것입니다.

2. 추론: UNet 분리 및 글로벌 캘리브레이션

추론 시, CDST는 스타일 충실도와 편집 능력 사이의 균형을 맞추기 위해 특정 전략을 채택합니다:

• 새로운 스타일 정의 (망각 메커니즘): 학습 시 스타일 토큰이 SDXL UNet의 70개 크로스 어텐션 블록 전체에 매핑되는 것과 달리, 추론 시에는 스타일 토큰을 특정 범위에만 매핑합니다: cross_attention_list[0:14] (인코더) 및 cross_attention_list[44:70] (디코더).
  • 인코더에는 공간/구조 보존을 위해 가중치 $\lambda_s = 0.2$를 설정하고, 디코더에는 외관/질감 보존을 위해 $\lambda_s = 0.9$를 설정합니다.
  • 이 "망각 메커니즘"은 과적합과 콘텐츠 침범을 방지하여 편집 능력을 크게 향상시킵니다.
• 글로벌 컬러 캘리브레이션(Global Color Calibration): 양자화된 컬러 히스토그램에서 발생하는 미세한 근사 오류를 교정하기 위해, 생성된 이미지와 컬러 참조를 YUV 공간으로 변환하는 후처리 단계를 수행합니다. 통계적 정렬(평균 및 분산 일치)을 수행한 후, 하이퍼파라미터 $\alpha$(기본값 0.8)를 사용하여 결과를 RGB 공간으로 다시 블렌딩합니다.

3. CDST 워크플로우

단일 학습 모델은 입력과 가중치를 조정함으로써 여러 워크플로우를 지원합니다:

• 특성 보존형 스타일 전이: 스타일(색상 제외)을 스타일 참조로부터 전달하면서 콘텐츠의 픽셀 수준 특성을 보존합니다. 이는 콘텐츠 우선 잠재 변수(Content Prior Latent)(콘텐츠 이미지의 노이즈 버전)를 주입하고, 공간 구조 유지를 위해 ControlNet(Canny edge)을 사용하는 방식으로 이루어집나다. 이때 콘텐츠 우선 잠재 변수가 픽셀 수준의 색상을 지배하므로 컬러 스트림은 사실상 우회되거나 가중치가 0으로 설정됩니다.
• 스타일 + 색상 + 콘텐츠: ControlNet을 사용하여 스타일, 색상, 콘텐츠 참조를 결합합니다.
• 스타일 + 색상 + 프롬프트: 텍스트 프롬프트, 스타일 참조, 별도의 컬러 참조를 기반으로 이미지를 생성합니다.

주요 기여

1. CDST 프레임워크: 색상을 스타일로부터 완전히 분리하여 보편적인 튜닝 프리 스타일 전이를 가능하게 하는 이중 스트림 학습 패러다임을 제시합니다. 이는 튜닝 프리 방식으로 스타일 및 콘텐츠 참조를 이용한 특성 보존형 스타일 전이를 해결한 최초의 모델입니다.
2. 향상된 유사성 및 편집 능력: 다중 특징 이미지 임베딩 압축(DinoV2 얕은+깊은 임베딩)과 UNet 분리 법칙에 기반한 새로운 스타일 정의를 통해, CDST는 기존 오픈 소스 및 상용 모델보다 스타일 유사성과 편집 능력 사이의 우수한 트레이드오프를 달성했습니다.
3. 최첨단 성능(SOTA): 광범ening한 정량적 지표와 인간 평가를 통해 다양한 작업에서 스타일 유사성, 프롬프트 정렬, 색상 일관성 및 특성 보존 측면에서 CDST의 우수성을 입증했습니다.

결과 및 평가

저자들은 25개의 스타일 참조와 다양한 작업을 포함하는 벤치마크를 사용하여 종합적인 실험을 수행했습니다.

• 정량적 지표: "Style/Color Ref + Prompt" 작업에서 CDST는 프롬프트 정렬(CLIP Score: 0.291), 스타일 유사성(CSD Score: 0.587), 색상 거리(0.116)에서 최고의 점수를 기록하며 InstantStyle, CSGO, Adobe Firefly를 능가했습니다. 미학적 점수에서는 Midjourney v6.1에 이어 두 번째를 기록했습니다.
• 인간 평가:
  • Style + Content: CDST는 스타일 유사성(78.0%), 색상 일관성(81.6%), 종합 선호도(84.4%) 측면에서 최첨단 모델인 CSGO를 상대로 승리했습니다.
  • 특성 보존형 전이: GPT-4O와 비교했을 때, CDST는 스타일 유사성(63.2%)과 색상 일관성(94.8%)에서 더 높은 점수를 보였으나, 특성 일관성과 미학적 측면에서는 GPT-4O가 더 우수했습니다. 전체적인 사용자 선호도는 거의 대등했습니다(CDST 52.8%).
• 절제 연구(Ablation Studies):
  • 임베딩: DinoV2의 얕은+깊은 임베딩은 CLIP 임베딩이나 깊은 임베딩만 사용하는 것보다 유의미하게 우수한 성능을 보였습니다.
  • 스타일 정의: 망각 메커니즘을 적용하여 스타일 토큰을 특정 UNet 블록(인코더+디코더)에 매핑하는 것이 모든 블록을 사용하거나 디코더만 사용하는 것보다 더 나은 결과를 냈습니다.
  • 분리(Disentanglement): 그레이스케일 스타일 참조를 사용하는 것이 매우 중요했습니다. 컬러풀한 참조를 사용할 경우 스타일과 컬러 참조가 다를 때 혼동과 색상 왜곡이 발생했습니다.

의의 및 주장

본 논문은 CDST가 기존 튜닝 프리 모델들을 괴롭히던 "색상 침범" 문제를 해결함으로써 중요한 진전을 이루었다고 주장합니다. 전용 스트림을 통해 색상을 격리하고 컬러 블라인드(color-blind) 스타일 스트림을 강제함으로써, CDST는 튜닝 없이도 불가능하거나 불안정했던 과제인 특성 보존형 스타일 전이를 가능하게 합니다.

저자들은 CDST가 보편적인 튜닝 프리 모델임을 강조합니다. 특정 설정으로 학습되었음에도 불구하고, 단일 모델로 다양한 시나리오(Style+Prompt, Style+Content, Characteristics-Preserved)를 처리할 수 있습니다. 또한, 이 모델이 2025년에 학습되었음에도 불구하고 2026년까지 유효하며, 후속 모델인 TeleStyle의 학습 데이터 합성에도 활용되었다는 점을 언급하며 기초 모델이 DiT 아키텍처로 진화하더라도 견고함을 유지함을 보여줍니다.