기술 요약: Style-CCL

문제 정의

Diffusion Transformer(DiT)를 이용한 콘텐츠 보존형 스타일 전이(Content-preserving style transfer)는 콘텐츠와 스타일 특징의 얽힘(entanglement)으로 인해 심각한 문제에 직면해 있습니다. 현재 모델들은 두 가지 주요 문제를 겪고 있습니다:

1. 누출/침입(Leakage/Invasion): 스타일 참조 대상의 특성(피사체, 배경 또는 얼굴 정체성 등)이 과도하게 전이되어 콘텐츠 참조 대상을 오염시킵니다.
2. 학습 모순(Learning Contradictions): 단일 단계에서 혼합된 스타일 카테고리로 학습할 때, 의미론적 관련 스타일 변환(예: 2D/3D 카툰, 벡터 디자인)이 질감 관련 스타일 변환(예: 유화, 밀도 높은 선화)의 학습을 방해합니다. 또한 이러한 단일 단계 패러다임은 깨끗한 수집 데이터와 합성 데이터를 혼합할 때 콘텐츠의 무결성을 보존하는 데 실패합니다.

방법론

1. 아키텍처: SC-DiT

저자들은 FLUX-dev 파운데이션을 기반으로 한 **Style-Content DiT (SC-DiT)**를 제안합니다. 이 아키텍처는 다음과 같은 방식을 통해 스타일과 콘텐츠 프로세싱을 분리합니다:

• 이중 브랜치(Dual Branches): VAE 인코더를 사용하여 시각적 특징을 추출하는 스타일 및 콘텐츠 조건용 별도 브랜치를 사용합니다.
• 분리된 임베딩(Decoupled Embeddings): 모델은 스타일과 콘텐츠 브랜치를 위한 별도의 회전 위치 임베딩(Rotary Position Embeddings, RoPE)을 채택합니다.
• 인과적 마스킹(Causal Masking): 스타일과 콘텐츠 쿼리 간, 그리고 스타일/콘텐츠와 텍스트/노이즈 브랜치 간의 상호작용를 금지하는 인과적 어텐션 메커니즘을 적용하여 특징의 분리를 보장합니다.
• LoRA 주입(LoRA Injection): 스타일 및 콘텐츠 조건은 쿼리 행렬에 부착된 별도의 저차원 적응(Low-Rank Adaptation, LoRA) 모듈을 통해 주입됩니다.

2. 데이터셋 구축

실제 세계의 스타일 삼중항(triplets) 부족 문제를 해결하기 위해, 저자들은 백만 규모의 학습 세트를 구축했습니다:

• 클린 데이터 ($D_{pure}$): 기존 데이터셋과 오픈 소스 LoRA로부터 [스타일 참조, 콘텐츠 참조, 타겟] 삼중항을 수집 및 정제하였습니다 (약 33만 개의 삼중항, 30개 스타일).
• 합성 데이터 ($D_{synth}$): "인 더 와일드(in-the-wild)" 스타일 이미지로부터 삼중항을 생성하기 위해 역방향 삼중항 합성 파이프라인을 개발했습니다. 이미지 편집 모델이 스타일화된 이미지를 실사 타겟으로 변환하여 합성된 콘텐츠-스타일 쌍을 생성합니다 (약 100만 개의 삼중항).

3. 핵심 혁신: Style-CCL

중심 기여는 단일 단계 학습에서 관찰되는 의미론적-질감 간섭을 해결하기 위해 설계된 **Style-CCL (Multi-Stage Style Curriculum Continual Learning)**입니다.

• 복잡도 추정: 저자들은 **Fokker–Planck Local Intrinsic Dimensionality (FPLID)**를 활용하여 스타일 이미지의 복잡도를 추정하고 순위를 매깁니다. 그들은 의미론적 스타일은 낮은 LID(학습하기 쉬움)를 가지는 반면, 질감 스타일은 높은 LID(학습하기 어려움)를 가진다는 것을 관찰했습니다.
• 커리큘럼 전략: LID 점수를 기반으로 데이터셋을 네 가지 서브셋으로 나눕니다:
  1. 클린 데이터의 의미론적 스타일 ($D_1$)
  2. 합성 데이터의 의미론적 스타일 ($D_2$)
  3. 클린 데이터의 질감 스타일 ($D_3$)
  4. 합성 데이터의 질감 스타일 ($D_4$)
     모델은 $D_1 \to D_2 \to D_3 \to D_4$ 순서로, 즉 "쉬운"(의미론적) 것에서 "어려운"(질감) 것으로, 그리고 "깨끗한" 데이터에서 "노이즈가 있는" 데이터로 순차적으로 학습됩니다.
• 무작위 메모리 리허설(Random Memory Rehearsal, RMR): 순차적 학습 중 발생하는 파괴적 망각을 방지하기 위해, 프레임워크는 RMR을 채택합니다. 각 단계에서 이전 스타일 클러스터에서 무작위로 샘플링된 고정 비율의 데이터를 현재 단계의 데이터와 혼합합니다.

주요 관찰 사항

본 논문은 제안된 방법을 촉발한 세 가지 결정적인 경험적 관찰을 식별합니다:

1. 의미론적-질감 간섭: 의미론적 스타일과 질감 스타일을 한 단계에서 함께 학습하면 의미론적 스타일이 지배하게 되어, 질감 학습을 심각하게 저하시킵니다.
2. 콘텐츠 보존 실패: 클린 삼중항과 합성 삼중항을 단일 단계에서 혼합하면 콘텐츠 보존의 무결성이 훼손됩니다.
3. 학습 순서: 의미론적 요소와 질감 요소를 모두 포함하는 단일 스타일로 학습할 때, 모델은 의미론적 변환을 먼저 배우고 질감 변환을 나중에 배웁니다. 이는 질감 스타일이 본질적으로 더 복잡함을 확인시켜 줍니다.

결과

정량적 성능

Style-CCL은 기존 방법들(예: OmniStyle, CSGO, StyleID)과 비교하여 세 가지 핵심 지표에서 SOTA(State-of-the-art) 성능을 달성했습니다:

• 스타일 유사도 (CSD 점수): 0.561 (최고)
• 콘텐츠 보존 (CPC 점수): 0.401 (최고)
• 미적 품질 (Aesthetic Quality): 6.297 (최고)

절제 연구 (Ablation Studies)

• 멀티 스테이지 vs 단일 스테이지: 단일 단계 혼합에서 4단계 커리큘럼으로 전환했을 때, 질감 스타일 유사도(0.117에서 0.561으로)와 콘텐츠 보존 능력이 크게 향상되었습니다.
• 리허설 비율: 최적의 리허설 비율($R=1/3$)이 스타일 유사도와 콘텐츠 보존 사이의 균형을 맞추어, 파괴적 망각과 이전 데이터의 지배 현상을 모두 방지한다는 것을 발견했습니다.

사용자 연구

20명의 인간 평가자를 대상으로 한 연구에서, Style-CCL은 스타일 유사도에서 69.75%, 콘텐츠 일관성에서 30.25%, 미적 품질에서 **72.00%**의 경우에서 최적의 모델로 선택되었으며, 모든 베이스라인을 유의미하게 앞질렀습니다.

의의 및 주장

본 논문은 Style-CCL이 조건부 DiT를 위한 단일 단계 학습의 근본적인 한계를 성공적으로 해결했다고 주장합니다. 커리큘럼 접근 방식을 통해 의미론적 스타일과 질감 스타일의 학습을 분리하고, 무작위 메모리 리허설을 통해 망각을 완화함으로써 모델은 다음을 달 Achieve 합니다:

1. 보편적 스타일 능력: 각 카테고리에 대한 특정 스타일 LoRA 없이도 수천 개의 스타일 카테크고리를 학습할 수 있는 능력.
2. 높은 충실도: 피사체 혼동이나 혼합 없이 복잡한 콘텐츠 특성(얼굴 정체성, 피사체 세부 사항)을 보존함.
3. SOTA 성능: 스타일 유사도, 콘텐츠 일관성 및 미적 품질에서 새로운 벤치마크를 수립함.

저자들은 초기 구현에는 FLUX-dev를 사용하지만, 해당 방법론이 Qwen-Image-Edit 시리즈(TeleStyle V1 및 V2)로 성공적으로 전이되어 최고 수준의 폐쇄형 모델과 대등한 성능을 달성했다고 언급했습니다. 또한, 붐비는 장면이나 희귀하고 미세한 분포 외(out-of-distribution) 스타일에서의 한계를 인정하며, 이는 후속 TeleStyle 시리즈 릴리스에서 다뤄질 것임을 명시했습니다.