1. 문제 정의 (Problem Statement)

최근 Flow Matching (FM) 기반의 이미지 생성 모델 (예: JiT) 은 잠재 공간 (Latent Space) 을 거치지 않고 **픽셀 공간 (Pixel Space)**에서 직접 벡터장을 학습함으로써, VAE 기반의 잠재 공간 모델이 겪는 정보 손실과 고주파 텍스처 왜곡 문제를 해결했습니다.

하지만 픽셀 공간에서 직접 생성을 수행할 때 다음과 같은 근본적인 문제가 발생합니다:

• 경로 충돌 (Trajectory Conflict): 픽셀 공간은 의미론적으로 얽혀 있어 (semantically entangled), 서로 다른 의미 (클래스) 를 가진 이미지들이 노이즈 공간에서 서로 겹치는 영역을 공유합니다.
• 평균화된 속도장 예측: 신경망은 겹쳐진 경로들 (예: '고양이'와 '개'가 노이즈 공간에서 유사한 지점을 공유) 을 모두 만족시키기 위해, 서로 다른 목표 지점으로 향하는 최적 수송 경로 (Optimal Transport) 들을 평균화한 속도장을 예측하게 됩니다.
• 수렴 저하 및 품질 하락: 이로 인해 생성된 이미지의 경계가 모호해지고 (Semantic Bleeding), 학습 수렴 속도가 느려지며 최적 해를 찾기 어려워집니다.

2. 방법론 (Methodology)

저자들은 픽셀 공간의 복잡한 최적 수송 경로를 해체하기 위해 **중간 의미론적 웨이포인트 (Semantic Waypoints)**를 도입한 **Waypoint Diffusion Transformers (WiT)**를 제안했습니다.

핵심 아이디어: 생성 경로의 분해

기존의 "노이즈 $\rightarrow$ 픽셀"의 단일 매핑을 두 단계로 분해합니다:

1. 노이즈 $\rightarrow$ 의미론적 웨이포인트: 비차별적 (non-discriminative) 인 노이즈 공간에서 차별적 (discriminative) 인 중간 표현 (웨이포인트) 으로 매핑.
2. 웨이포인트 $\rightarrow$ 픽셀: 명확한 의미적 가이드를 받은 상태에서 최종 픽셀 생성.

주요 구성 요소

1. 의미론적 웨이포인트 구축 (Semantic Waypoints Construction):

   • 사전 학습된 자기지도 학습 비전 모델 (DINOv3) 의 특징 공간을 활용합니다.
   • 고차원 특징을 **주성분 분석 (PCA)**을 통해 저차원 (64 차원) 의 의미론적 다양성 (Semantic Manifold) 으로 투영하여, 클래스 간 분리가 명확한 '웨이포인트' ($s_0$) 를 정의합니다.
   • 이는 생성 흐름을 의미적으로 분할하여 경로 충돌을 방지하는 구조적 앵커 역할을 합니다.

2. 가벼운 웨이포인트 생성기 (Lightweight Waypoints Generator):

   • 현재 노이즈 상태 ($z_t$) 와 클래스 라벨 ($y$) 을 입력받아, 해당 상태에 해당하는 최적의 의미론적 웨이포인트 ($\hat{s}_0$) 를 동적으로 추론하는 경량의 트랜스포머 (약 21M 파라미터) 입니다.
   • 이 생성기는 픽셀 노이즈에서 의미 공간으로의 매핑을 학습하여, 주 생성기가 해결해야 할 불확실성을 줄여줍니다.

3. Just-Pixel AdaLN 메커니즘:

   • 기존的全局 (Global) 조건부 조절 (AdaLN) 과 달리, 예측된 의미론적 웨이포인트를 공간적으로 변하는 (Spatially-varying) 조절 파라미터로 변환합니다.
   • 이 공간적 조건 ($c_s$) 은 메인 픽셀 생성기 (Pixel Space Generator) 의 각 트랜스포머 블록에 주입되어, 각 픽셀 위치별로 의미론적 가이드를 제공합니다.
   • 이를 통해 생성기는 의미 탐색 (Semantic Navigation) 과 고해상도 텍스처 생성 (Texture Synthesis) 을 명확히 분리하여 수행할 수 있습니다.

3. 주요 기여 (Key Contributions)

• WiT (Waypoint Diffusion Transformers) 제안: 픽셀 공간 Flow Matching 에서 발생하는 심각한 경로 충돌 문제를 해결하기 위해, 의미론적 웨이포인트를 중간 단계로 도입한 새로운 생성 패러다임을 제시했습니다.
• Just-Pixel AdaLN 메커니즘: 전역적 조건부 조절이 아닌, 동적으로 예측된 의미 지도를 기반으로 한 공간적 변조 방식을 도입하여, 의미론적 가이드가 생성 과정 전반에 걸쳐 정밀하게 반영되도록 했습니다.
• 이론적 및 실험적 검증: 베이지안 위험 관점에서 의미적 제약이 검색 공간 (Search Space) 을 축소하고 경로 충돌을 줄인다는 것을 수학적으로 증명했으며, 실험을 통해 이를 입증했습니다.

4. 실험 결과 (Results)

ImageNet 256x256 생성 작업에서 WiT 는 기존 픽셀 기반 모델 및 잠재 공간 기반 모델보다 우수한 성능을 보였습니다.

• 성능 (FID/IS):
  • WiT-L/16 모델은 600 에포크 학습 시 FID 2.22, IS 303.3을 기록하여, 기존 픽셀 기반 모델인 JiT-L/16 (FID 2.36) 을 능가했습니다.
  • 더 나아가, VAE 기반의 잠재 공간 모델인 DiT-XL/2 (FID 2.27) 보다도 더 높은 품질을 달성했습니다.
  • WiT-XL/16은 600 에포크 학습 후 FID 1.89를 기록하며, 픽셀 기반 생성 모델 중 SOTA(State-of-the-Art) 를 달성했습니다.
• 학습 효율성:
  • WiT-L/16 은 JiT-L/16 과 동일한 성능 (FID 2.36) 을 달성하는 데 265 에포크만 소요되었으며, 이는 2.2 배의 학습 가속화를 의미합니다.
  • 21M 파라미터의 경량 웨이포인트 생성기만 추가하여 이러한 성능 향상을 이뤘습니다.
• 정성적 결과:
  • 생성된 이미지의 구조적 일관성 (예: 동물의 비율, 건물의 원근법) 이 뛰어나며, VAE 기반 모델에서 흔히 발생하는 텍스처 왜곡 없이 고주파 세부 묘사 (깃털, 날개 등) 를 선명하게 재현했습니다.

5. 의의 및 결론 (Significance)

이 논문은 픽셀 공간 생성 모델의 한계를 극복하는 중요한 전환점을 제시합니다.

1. 정보 손실 없는 고충실도 생성: VAE 와 같은 손실 있는 압축 과정을 거치지 않으면서도, 의미론적 구조를 통해 생성 경로를 안정화하여 고해상도 이미지의 미세한 텍스처와 구조적 정합성을 동시에 확보했습니다.
2. 최적 수송 경로의 해체: 픽셀 공간의 복잡한 최적 수송 문제를 의미론적 웨이포인트를 통해 분해함으로써, 신경망이 평균화된 속도장을 예측하는 문제를 해결하고 학습 수렴 속도를 획기적으로 개선했습니다.
3. 확장성: WiT 는 모델 크기를 키울수록 (Base $\rightarrow$ Large $\rightarrow$ XL) 성능이 지속적으로 향상되어, 픽셀 기반 생성 모델이 잠재 공간 모델을 추월할 수 있는 가능성을 입증했습니다.

결론적으로, WiT 는 의미론적 가이드를 통한 경로 충돌 해결이라는 새로운 아이디어를 통해, 픽셀 공간에서의 고품질 이미지 생성이 이론적, 실용적으로 모두 가능함을 증명했습니다.