기술 요약: TeleStyle V2

문제 정의

TeleStyle V2는 이전 모델인 TeleStyle V1에서 관찰된 입력 도메인의 경직성 및 참조 처리와 관련된 결정적인 한계를 해결합니다. TeleStyle V1은 콘텐츠 보존형 스타일 전이(content-preserving style transfer)를 성공적으로 수행했으나, 오직 Realistic-and-Stylized (RnS) 트리플릿(실사 콘텐츠 참조와 예술적 스타일 참조의 조합)으로만 학습되었습니다. 이러한 학습 분포로 인해 세 가지 주요 실패 모드가 발생했습니다:

1. 스타일화된 콘텐츠 처리 불가: 콘텐츠 참조가 예술적이거나 스타일화된 이미지일 경우 모델이 제대로 작동하지 못했습니다.
2. 실사 스타일 처리 불가: 스타일 참조가 예술적 이미지가 아닌 실사 이미지일 경우 모델이 어려움을 겪었습니다.
3. 참조 순서 혼동 (Reference Order Confusion): 특정 사례에서 모델은 MS-RoPE와 입력 템플릿의 이미지 인덱스를 사용했음에도 불구하고, 콘텐츠 참조를 완전히 무시하고 출력물을 스타일 참조와 거의 동일하게 생성했습니다.

또한, 스타일 전이를 위해 필요한 지도 미세 조정(SFT) 과정에서 파운데이션 모델의 일반적인 텍스트 가이드 이미지 편집 능력과 콘텐츠 일관성이 저하되는 현상이 발생했습니다.

방법론

1. 도메인 확장을 위한 자기 증류 (Self-Distillation)

도메인 격차를 극복하기 위해, 저자들은 자기 증류 데이터 합성 전략을 도입했습니다. 기존 TeleStyle V1의 역량을 활용하여 네 가지 서로 다른 참조 조합을 포함하는 학습 트리플릿을 구축했습니다:

• Realistic-and-Realistic (RnR): 실사 이미지를 콘텐츠와 타겟 모두로 사용하고, 무작위 실사 이미지를 스타일 참조로 사용합니다.
• Stylized-and-Stylized (SnS): 단일 콘텐츠 참조를 사용하여 두 개의 서로 다른 스타일 참조를 통해 두 개의 서로 다른 스타일화된 타겟($result_0, result_1$)을 생성합니다. 그 후 이를 교체하여 새로운 트리플릿(예: $[result_1, style_0, result_0]$)을 형성함으로써, 콘텐츠, 스타일, 타겟이 모두 스타일화된 학습 데이터를 생성합니다.
• Stylized-and-Realistic (SnR): 스타일화된 결과를 다시 실사 타겟으로 변환합니다. 저자들은 이 특정 작업이 불안정하다고 언급하며, 스타일 전이 모드 대신 직접적인 텍스트 프롬프트를 사용하여 이 변환을 수행할 것을 권장합니다.

이 접근 방식은 TeleStyle V2가 실사와 스타일화된 모든 조합의 입력에 대해 일반화할 수 있도록 합니다.

2. 분포 매칭 증류 (Distribution Matching Distillation, DMD)

콘텐츠 일관성 저하를 완화하고 파운데이션 모델의 일반적인 편집 기술을 보존하기 위해, 저자들은 **분포 매칭 증류 (DMD)**를 통합했습니다.

• 메커니즘: DMD는 실제 데이터 분포($p_{real}$)와 생성된 데이터 분포($p_{fake}$) 사이의 역 쿨백-라이블러(reverse KL) 발산을 최소화합니다.
• 이점: 이 기술은 기본 모델의 능력이 "파괴적 망각(catastating forgetting)"되는 것을 방지하는 정규화 역할을 합니다. 이를 통해 TeleStyle V2는 콘텐츠 보존형 스타일 전이와 일반 텍스트 가이드 이미지 편집을 단일 실행에서 모두 수행할 수 있습니다. 저자들은 DMD가 출력의 미적, 구조적 무결성을 유지하거나 향상시키면서 추론 비용을 약 10배 감소시킨다고 보고했습니다.

3. 참조 순서 혼동 해결을 위한 프롬프트 강화

저자들은 **직접 선호 최적화 (DPO)**를 통해 참조 순서 혼동 문제를 해결하고자 조사했으나, 대규모 데이터셋(400k 쌍)을 사용해도 효과가 없음을 발견했습니다. 대신, 그들은 프롬프트 강화 전략을 채택했습니다:

• 구현: Qwen-Image-Edit 아키텍처의 VLM 인코더로 이미 존재하는 Qwen2.5-VL-7B 모델을 활용하여 콘텐츠 참조 내 객체들에 대한 짧은 텍스트 설명을 생성합니다.
• 효과: 이렇게 자동 생성된 "콘텐츠 프롬프트"가 입력에 추가되어, 모델이 콘텐츠 참조를 타겟과 올바르게 연관시키도록 유도하는 의미론적 힌트를 제공하며, 복잡한 최적화 기술 없이도 참조 순서 혼동 문제를 효과적으로 해결합니다.

주요 기여

1. 자기 증류 메커니즘: RnR, RnS, SnR, SnS 학습 트리플릿을 구축하여 모델이 콘텐츠 및 스타일 참조 모두에 대해 혼합된 모달리티(실사 및 스타일화)를 처리할 수 있게 하는 새로운 데이터 합성 접근법을 제시했습니다.
2. DMD 통합: 분포 매칭 증류가 SFT로 인해 발생하는 콘텐츠 일관성 문제를 해결하면서도, Qwen-Image-Edit 시리즈의 일반적인 텍스트 가이드 이미지 편집 능력을 효과적으로 보존함을 입증했습니다.
3. 프롬프트 강화 솔루션: 자동 생성된 콘텐츠 설명을 추가하는 것이 DPO보다 참조 순서 혼동 문제를 더 효과적으로 해결한다는 점을 밝혀냈습니다.

결과 및 평가

일반 이미지 편집 능력

GEdit-Bench(Qwen2.5-VL-72B를 심사위원으로 사용)에서 평가했을 때, TeleStyleV2-QIE-2509-DMD는 11가지 하위 태스크(배경 변경, 색상 변경, 피사체 교체 등 포함)에서 바닐라 Qwen-Image-Edit-2509-DMD와 대등하거나 일부 경우 더 우수한 성능을 보였습니다. 특히, 텍스트 가이드 스타일 전이에 대해 명시적으로 학습되지 않았음에도 불구하고 스타일 변경 태스크에서 구체적인 개선을 보여주었습니다.

스타일 전이 성능

• 비교: TeleStyle V2는 최첨단 상용 모델인 gemini-3-pro-image-preview(이하 "nano banana pro"로 지칭)와 질적으로 비교되었습니다.
• 결과: TeleStyle V2는 상용 모델과 대등한 콘텐츠 일관성을 달ometric했으며, 대부분의 경우 더 우수한 스타일 유사도를 보여주었습니다.
• 정량적 주의사항: 저자들은 TeleStyle V2의 승률이 예상외로 높았으며, 이는 테스트 세트의 편향 때문일 수 있다고 언급하며 상용 모델에 대한 정량적 승률 통계를 공개하지 않기로 했습니다. 그들은 보수적으로 모델이 상용 벤치마크와 "대등한" 수준이라고 주장합니다.

의의 및 주장

본 논문은 TeleStyle V2를 이전 모델들의 경직된 제약을 넘어선 오픈 소스 스타일 전이의 중요한 진전으로 포지셔닝합니다. 자기 증류와 분포 매칭을 결합함으로써, 저자들은 이 모델이 단순한 특화 스타일 전이 도구를 넘어 강력한 일반 텍스트 가이드 이미지 편집기가 될 수 있다고 주장합니다. 이 연구는 오픈 소스 모델이 콘텐츠 보존형 스타일 전이에서 최고 수준의 상용 시스템(gemini-3-pro-image-preview)과 대등한 성능을 달성하는 동시에, 일반 이미지 편집의 유연성을 유지할 수 있음을 보여줍니다. 복잡한 정렬 알고리즘 대신 간단한 프롬프트 엔지니어링을 통해 참조 순서 혼동을 성공적으로 해결한 점은 향후 모델 개발을 위한 실질적이고 효과적인 통찰로 강조됩니다.