SeFi-Image: A Text-to-Image Foundation Model with Semantic-First Diffusion

기술 요약: SEFI-Image

문제 정의

기초 텍스트-투-이미지(T2I) 모델을 학습시키는 것은 점점 더 많은 자원을 소모하는 작업이 되고 있으며, 최첨단 모델들은 수십만 시간의 GPU 시간을 요구합니다. 기존의 방법들은 시맨틱 가이던스(semantic guidance)를 활용하여 학습을 가속화하려 시도했으나, 이러한 접근 방식들은 주로 단순하고 저해상도인 데이터셋(예: ImageNet 256×256)과 소규모 모델(<1B 파라미터)에서만 검증되었습니다. 핵심적인 미해결 과제는 시맨틱 가이던스 메커니즘이 더 큰 모델 규모, 더 높은 해상도, 그리고 복잡하고 실제적인 T2I 환경에서도 여전히 효과적인가 하는 점입니다. 또한, 기존 방법들은 잠재 확산(latent diffusion)의 근본적인 트레이드오프, 즉 높은 재구성 충실도(reconstruction fidelity)를 위해서는 모델링하기 어려운 복잡한 잠재 분포가 필요하지만, 단순화된 잠재 공간은 이미지 품질을 희생시킨다는 문제에 직면해 있습니다.

방법론: 시맨틱 퍼스트 디퓨전 (Semantic-First Diffusion, SFD)

본 논문은 새로운 잠재 확산 패러럼인 **시맨틱 퍼스트 디퓨전(SFD)**을 기반으로 구축된 T2I 기초 모델인 SEFI-Image를 제안합니다. 핵심 혁신은 디노이징(denoising) 과정을 비동기적인 시맨틱 스트림과 텍스처 스트림으로 분리하는 것입니다.

1. 핵심 메커니즘

모든 정보를 단일 타임스텝 스케줄 하에서 디노이징하는 기존의 잠재 확산 모델과 달리, SFD는 시맨틱 요소(글로벌 구조, 객체 레이아웃)와 텍스처 요소(고주파 세부 사항)를 분리합니다.

• 비동기 타임스텝: 모델은 별도의 타임스텝 $t_s$(시맨틱)와 $t_z$(텍스처)를 할당합니다. 시맨틱 잠재 변수는 텍스처 잠재 변수보다 약간 앞서서($t_s \ge t_z$) 디노이징되어, 텍스처 생성이 항상 더 "깨끗한" 구조적 앵커를 조건으로 생성되도록 보장합니다.
• 3단계 추론:
  1. 시맨틱 초기화: 글로벌 구조를 확립하기 위해 시맨틱 잠재 변수만을 디노이징합니다.
  2. 비동기 생성: 두 스트림이 모두 디노이징되지만, 시맨틱이 텍스처 정교화를 가이드하도록 선행합니다.
  3. 텍스처 완성: 시맨틱이 완전히 디노이징되면, 텍스처 잠재 변수가 미세한 세부 사항을 정교화합니다.
• 이중 타임스텝 컨디셔닝: DiT 백본은 두 스트림 모두에 대해 별도의 타임스텝 임베딩을 수용하여, 모델이 각 단계에서의 비동기적 노이즈 수준을 인지할 수 있도록 합니다.

2. 아키텍처 구성 요소

• 복합 잠재 변수 구축:
  • 시맨틱 잠재 변수 ($s_1$): 프리즈된 비주얼 파운데이션 모델(DINOv2-Large)을 통해 추출되고 **시맨틱 VAE (SemVAE)**에 의해 압축됩니다. 이는 객체의 정체성과 장면 구조를 포착합니다.
  • 텍스처 잠재 변수 ($z_1$): 텍스처 VAE(파인튜닝된 FLUX.2 VAE)에 의해 이미지로부터 직접 인코딩됩니다. 이는 저수준의 재구성 세부 사항을 포착합니다.
• 텍스트 인코더: 복잡하고 길며 이중 언어(중국어/영어) 프롬프트를 처리하기 위해 Qwen3-VL의 LLM 백본(생성 모델 크기에 따라 2B 또는 4B 변체)을 활용합니다.
• DiT 백본: 복합 잠재 변수와 이중 타임스텝을 수용하도록 조정된 더블 스트림 MMDiT 블록 및 싱글 스트림 블록을 포함하는 FLUX.2 스타일의 아키텍처를 사용합니다.

3. 학습 파이프라인

학습 과정은 세 단계로 진행됩니다:

1. 사전 학습(Pre-training): 450M의 내부 이미지-텍스트 쌍과 28M의 합성 텍스트 렌더링 데이터를 사용합니다. 커리큘럼은 256px에서 1024px로 진행됩니다. 합성 데이터는 텍스트 렌더링을 위한 엄격한 문자 단위 정렬에 집중합니다.
2. 연속 학습(Continual Training): 지시 이행(instruction following) 능력을 높이기 위해 1024px 해상도에서 선별된 9M의 고품질 혼합 데이터(자연 경관, UI, 애니메이션 등)로 학습합니다.
3. 지도 미세 조정(SFT): 미학, 기술적 품질, 캡션 가능성에 따라 엄격하게 필터링된 약 650K의 고품질 이미지를 사용합니다. 이 단계는 어려운 프롬프트와 정확한 텍스트 렌더링을 강조합니다.
4. 증류(Distillation) 및 RL:
   • Few-Step 증류: 시맨틱 퍼스트 오프셋을 유지하면서 SFT 모델을 4-스텝 "Turbo" 변체로 증류하기 위해 DMD2를 사용합니다.
   • RL 사후 학습(Post-training): 프롬프트 준수, 시각적 품질 및 아티팩트 억제를 강화하기 위해 DiffusionNFT를 적용합니다.

주요 기여

1. 확장 가능한 시맨틱 퍼스트 디퓨전: 본 논문은 SFD가 작은 모델이나 토이 데이터셋에 국한되지 않음을 입증합니다. 고해상도 T2I 생성을 유지하면서 1B, 2B, 5B 파라미터 모델로 성공적으로 확장되었습니다.
2. 자원 효율성: 가장 큰 5B 모델은 단 125K A800 GPU 시간만으로 학습되었으며, 이는 Z-Image에 사용된 컴퓨팅 자원의 약 10~20% 수준이지만 대등하거나 더 우수한 성능을 달-성했습니다.
3. 재구성-생성 트레이드오프 해결: 시맨틱과 텍스처를 분리함으로써, SFD는 복잡한 잠재 공간과 관련된 수렴 속도 저하 없이 텍스처 VAE를 재구성 충실도를 위해 공격적으로 파인튜닝할 수 있게 합니다 (Kodak 데이터셋에서 PSNR을 33.18에서 36.40으로 향상).
4. 포괄적인 모델 제품군: 세 가지 모델 규모(1B, 2B, 5B)와 그에 대응하는 Turbo 변체를 출시하여 다양한 하드웨어 예산에 따른 유연한 배포 옵션을 제공합니다.

성능 결과

SEFI-Image는 Qwen-Image, Z-Image, FLUX.2-Klein-9B, JoyAI-Image와 같은 강력한 베이스라인들을 대상으로 여러 벤치마크에서 평가되었습니다:

• GenEval & DPG: 5B 모델은 0.88의 전체 GenEval 점수를 달성하여 Qwen-Image와 대등하며, FLUX.2-Klein-9B (0.85) 및 Z-Image (0.84)를 능가했습니다. 특히, 1B 변체도 0.87을 달성하여 작은 규모에서도 강력한 구성적 추론 능력을 보여주었습니다.
• 긴 텍스트 렌더링 (LongTextBench): 5B 모델은 최고 평균 점수(0.978)를 기록하며 Qwen-Image와 JoyAI-Image를 앞질렀습니다.
• 시각적 텍스트 생성 (CVTG-2K): 5B 모델은 0.8947의 단어 정확도(Word Accuracy)와 0.9434의 NED를 달성하여 가장 강력한 베이스라인들보다 개선된 성능을 보였습니다.
• 이중 언어 지시 (OneIG): 5B 모델은 영어(0.5606)와 중국어(0.5379) 벤치마크 모두에서 최고의 종합 점수를 기록했습니다.
• 스케일링 동작: 실험 결과, 2B SFD 모델이 4B 비-SFD 모델보다 뛰어난 성능을 보일 수 있음을 확인하였으며, 이는 파라미터 효율성이 향상되었음을 나타냅니다.

의의 및 주장

저자들은 SEFI-Image가 T2I 기초 모델을 구축하기 위한 원칙적이고 자원 효율적인 패러다임을 제공한다고 주장합니다. 이 연구는 시맨틱 가이던스가 소규모 모델이나 클래스 조건부 작업에만 효과적이라는 통념에 도전합니다. 시맨틱 레이아웃과 텍스처 합성을 분리함으로써, 모델은 더 나은 재구성-생성 트레이드오프를 달성하고, 계산 비용을 크게 줄이면서도 빠른 수렴과 고품질 생성을 가능하게 합니다.

본 논문은 SEFI-Image를 실용적이고 즉시 배포 가능한 솔루션으로 포지셔닝하며, 시맨틱 가이드 기반의 디퓨전 모델링에 대한 유용한 통찰을 제공합니다. 저자들은 현재 모델들이 강력하지만, 하드웨어 제약으로 인한 5B 파라미터 상한선과 학습 데이터의 규모에 의해 제한되어 있으며, 모델 크기, 데이터 다양성, 그리고 비디오 생성 및 이미지 편집으로의 적용 측면에서 향후 확장 가능성이 열려 있음을 명시했습니다.