기술 요약: 자기회귀 시각 생성은 서론이 필요하다

1. 문제 제기

자기회귀 (AR) 시각 생성은 일반적으로 두 단계 파이프라인을 따릅니다: 먼저, 토크나이저 (인코더 - 디코더) 가 이미지를 이산 토큰으로 재구성하도록 학습하고, 그 다음 AR 모델이 이러한 토큰을 순차적으로 예측하도록 학습합니다. 이 접근법은 근본적인 재구성 - 생성 간극으로 고통받습니다.

핵심 문제는 증거 하한 (ELBO) 공식화에 있습니다. 표준 2 단계 훈련에서 토크나이저는 재구성 (데이터의 음의 로그 가능도 최소화) 만을 위해 최적화되는 반면, AR 모델은 이러한 토큰의 사전 분포를 맞추려고 시도합니다. 토크나이저의 잠재 변수 ($z_v$) 가 재구성 목적에 의해 고정되므로, AR 모델은 종종 복잡한 주변 분포 $q(z_v)$에 맞춰야 합니다. 토크나이저와 AR 모델을 공동으로 훈련하여 (AR 손실을 토크나이저에 역전파하여) 이 간극을 메우려는 기존 시도는 파레토 프론트 딜레마에 직면합니다: AR 손실 가중치 ($\lambda$) 를 증가시키면 생성은 개선되지만 재구성 품질이 저하되는 반면, $\lambda$를 감소시키면 생성 신호가 약해집니다. 또한, 2D 시각 토큰에 AR 기울기를 직접 적용하면 고품질 재구성에 필수적인 고유한 공간적 국소성이 교란될 수 있습니다.

2. 방법론: 서론 (Prologue)

저자들은 재구성과 생성의 목적을 분리하기 위해 별도의 잠재 변수 집합을 도입하는 Prologue라는 프레임워크를 제안합니다.

핵심 아키텍처

두 가지 목적을 모두 충족시키기 위해 시각 토큰 ($z_v$) 을 수정하는 대신, Prologue 는 시각 토큰 시퀀스 앞에 추가되는 소수의 **서론 토큰 (prologue tokens, $z_p$)**을 생성합니다.

• 공유 인코더: 양방향 Transformer 인코더가 학습 가능한 서론 쿼리 ($q_1, \dots, q_K$) 와 이미지 패치 임베딩을 동시에 처리합니다.
• 이중 양자화:
  • 시각 토큰 ($z_v$): 표준 시각 양자화를 통해 양자화됩니다. 이러한 토큰은 재구성 (디코더를 통해) 에 전적으로 전용되며 직접적인 AR 기울기를 받지 않습니다.
  • 서론 토큰 ($z_p$): 별도의 더 작은 코드북을 통해 양자화됩니다. 이러한 토큰은 생성 (AR 모델을 통해) 에 전적으로 전용되며 이미지 재구성에는 참여하지 않습니다.
• 훈련 목적: 총 손실은 가중 합입니다:
  $$\mathcal{L} = \mathcal{L}_{\text{recon}}(x, \hat{x}) + \lambda \cdot \mathcal{L}_{\text{AR}}(z_p, z_v)$$
  중요한 점은 AR 교차 엔트로피 (CE) 손실 기울기가 서론 토큰에만 라우팅된다는 것입니다 (이산 미분을 위한 Prob-STE 기술 사용). 이를 통해 시각 토큰 표현은 온전하게 유지됩니다.

이론적 기반 (ELBO 관점)

ELBO 관점에서 Prologue 는 AR 사전 일치 작업을 전환합니다.

• 표준 AR: 모델은 주변 분포 $q(z_v)$에 맞춰야 합니다.
• Prologue AR: 모델은 조건부 분포 $q(z_v | z_p)$에 맞춥니다.
  $H(z_v | z_p) \leq H(z_v)$이므로, $z_p$가 $z_v$에 대해 유의미한 정보를 전달한다면 조건부 분포를 모델링하는 것이 이론적으로 더 쉽습니다. 저자들은 최적화 풍경이 $z_p$가 붕괴 (정보를 제공하지 않게 됨) 하는 것을 자연스럽게 방지한다고 증명합니다. 붕괴된 $z_p$는 기준선과 비교하여 AR 손실을 감소시키지 않기 때문입니다. 따라서 $z_p$는 이미지의 컴팩트하고 AR 친화적인 요약을 인코딩하도록 강제됩니다.

구현 세부 사항

• Prob-STE: 서론 토큰의 이산 양자화를 위한 소프트 할당을 계산하여 인코더로 기울기가 흐르도록 하는 스트레이트 스루 추정기 변형입니다.
• 시각 토큰 드롭아웃: 훈련 중 AR 입력의 시각 토큰이 무작위로 드롭됩니다 (확률 $p_{drop}=0.5$). 이는 AR 모델이 예측을 위해 서론 토큰에 의존하도록 강제하여 $z_p$로의 기울기 신호를 강화합니다.
• Prologue-Post: 시각 토크나이저를 고정 (사전 훈련) 하고 서론 토크나이저와 AR 모델만 훈련하는 변형입니다. 이를 통해 재구성 파이프라인을 재훈련하지 않고 기존 토크나이저를 업그레이드할 수 있습니다.

3. 주요 기여

1. 분리된 설계: 재구성 변수 ($z_v$) 에서 구조적으로 격리된 생성용 별도의 잠재 변수 ($z_p$) 제안. 이는 재구성 - 생성 트레이드오프를 해결하여 이미지 충실도를 저하시키지 않고 AR 최적화를 가능하게 합니다.
2. 이론적 정당화: ELBO를 통한 방법의 공식화. 서론 토큰에 조건을 부여함으로써 주변 일치 문제를 조건부 문제로 변환하여 데이터 - 모델 간극을 줄임을 입증합니다.
3. 발현된 의미: AR 기울기만으로 구동되는 서론 토큰이 자발적으로 의미 구조를 개발한다는 발견. 16 개 서론 토큰에 대한 선형 프로빙은 ImageNet 분류에서 35.88% Top-1 정확도를 달성하여 표준 토크나이저의 첫 16 개 토큰 (23.71%) 을 크게 능가합니다.
4. 플러그 앤 플레이 기능: 기존 고정 토크나이저의 생성 품질을 경량 서론 구성 요소만 추가하여 개선할 수 있게 하는 Prologue-Post 도입.

4. 실험 결과

실험은 ImageNet 256×256에서 수행되었습니다.

• 생성 품질:
  • Prologue-Base: Classifier-Free Guidance (CFG) 없이 생성 FID (gFID) 를 21.01(2D 기준선) 에서 10.75(48.8% 감소) 로 낮춥니다. CFG 사용 시 gFID 는 5.02 에서 4.11 로 감소합니다.
  • Prologue-Large: 보조 의미 감독 (예: DINO/SigLIP 정렬) 이나 복잡한 코드북 클러스터링 없이 최첨단 확산 및 마스크 예측 모델과 경쟁하는 gFID 1.46과 rFID 0.99를 달성합니다.
• 재구성 품질:
  • 재구성은 거의 변하지 않습니다. Prologue-Base 의 경우 rFID 는 2.15 에서 2.24 로 약간만 이동하고 PSNR 은 안정적으로 유지됩니다 (~20.64).
  • Prologue-Post는 고정 기준선의 정확한 rFID(2.15) 를 유지하면서 gFID 를 22.7% 개선합니다.
• 확장성: 이 방법은 토크나이저 크기 (Base 에서 Large 로) 와 AR 모델 크기 (Base 에서 XL 로) 모두와 효과적으로 확장되어 생성 품질에서 일관된 개선을 보여줍니다.
• 어텐션 분석: 어텐션 맵은 시각 토큰이 자연스러운 2D 공간적 국소성 (이웃에 어텐션) 을 유지하는 반면, AR 모델은 전역 컨텍스트를 위해 서론 접두사에 집중적으로 어텐션하도록 학습하여 $z_p$를 사용하여 $z_v$ 예측을 효과적으로 안내함을 보여줍니다.

5. 중요성과 주장

이 논문은 표현 분리를 통한 재구성 - 생성 간극 해결을 통해 자기회귀 시각 생성에 대한 새로운 방향을 제시한다고 주장합니다.

• 최적화 효율성: 목적을 분리함으로써 Prologue 는 시각 토크나이저의 재구성 능력을 훼손하지 않고 AR 모델이 (조건부 사전 을 통해) 실제 데이터 분포를 최적화할 수 있게 합니다.
• 간결성: 이 방법은 다른 AR 토크나이저에서 종종 필요한 복잡한 보조 손실 (의미 정렬, 흐름 매칭) 이나 휴리스틱 훈련 트릭에 의존하지 않고 최첨단 결과를 달성합니다.
• 일반화 가능성: 원래 표현을 온전하게 유지하면서 별도의 학습된 생성 표현을 도입한다는 원칙은 재구성 - 생성 간극으로 고통받는 모든 시스템에 적용 가능한 일반화 전략으로 제시됩니다.

저자들은 ImageNet 256×256 에만 검증되었다는 점과 더 높은 해상도와 다른 데이터셋에 대한 추가 탐색이 필요하다는 점과 같은 한계를 지적하며 겸손한 태도를 보입니다. 또한 현재 작업은 교차 엔트로피 손실에 초점을 맞추고 있으며, 다른 사전 일치 목적은 향후 과제로 남긴다고 인정합니다.