Drift-AR: Single-Step Visual Autoregressive Generation via Anti-Symmetric Drifting

1. 연구 배경 및 문제 정의 (Problem)

배경:
최근 생성 모델 분야에서 자기회귀 (AR, Autoregressive) 모델과 확산 (Diffusion) 모델을 결합한 하이브리드 패러다임 (예: MAR, TransDiff, NextStep-1) 이 주목받고 있습니다. AR 은 구조화된 의미론적 모델링에 강점이 있고, 확산 모델은 고충실도 (High-fidelity) 합성에 강점이 있어, 이 둘을 결합하면 이산 토큰화 (Vector Quantization) 의 정보 손실 없이 높은 품질의 이미지를 생성할 수 있습니다.

문제점 (Dual Speed Bottleneck):
하지만 이러한 2 단계 구조는 두 가지 병목 현상으로 인해 추론 속도가 매우 느립니다.

1. AR 단계: 토큰을 순차적으로 생성해야 하므로 지연 시간 (Latency) 이 발생합니다.
2. 비전 디코더 (Diffusion) 단계: 생성된 잠재 벡터를 이미지로 복원하기 위해 반복적인 다단계 (Multi-step) 디노이징 (Denoising) 이 필요합니다.

기존 가속화 방법들은 이 두 병목을 각각 독립적으로 해결하려 했습니다 (AR 에는 스펙큘레이티브 디코딩, 확산 모델에는 증류/Distillation). 그러나 이는 통일된 원리가 부재하며, 확산 모델의 증류 방식은 여전히 다단계 추론이 필요하거나 품질 저하를 초래하는 한계가 있었습니다.

---

2. 핵심 통찰 (Key Insight)

저자들은 **연속 공간 AR 모델의 '예측 엔트로피 (Prediction Entropy)'**가 두 병목 현상을 동시에 해결할 수 있는 통일된 신호라고 발견했습니다.

• 엔트로피의 이중적 역할:
  1. AR 가속화: 스펙큘레이티브 디코딩에서 '드래프트 (Draft)' 모델과 '타겟' 모델 간의 엔트로피 불일치 (Draft 가 지나치게 확신하는 저엔트로피 예측) 를 해결하여 수용률 (Acceptance Rate) 을 높입니다.
  2. 비전 디코딩 가속화: 엔트로피는 각 위치의 생성 불확실성 (Uncertainty) 을 나타내며, 이는 확산 디코더가 보정해야 할 '수정 노력 (Corrective Effort)'의 양을 의미합니다. 즉, 엔트로피가 높은 영역은 보정이 많이 필요하고, 낮은 영역은 거의 필요하지 않음을 의미합니다.

---

3. 제안 방법론: Drift-AR

저자들은 엔트로피 신호를 활용하여 AR 단계와 비전 디코딩 단계를 동시에 가속화하는 Drift-AR 프레임워크를 제안합니다.

A. 엔트로피 기반 스펙큘레이티브 디코딩 (Entropy-Informed Speculative Decoding)

• 문제: 기존 EAGLE 등의 방법을 연속 공간 AR 에 적용하면, 작은 드래프트 모델이 타겟 모델보다 과도하게 확신하는 (Low-entropy) 예측을 하여 수용률이 떨어집니다.
• 해결:
  1. 연속 공간 회귀 손실 (Continuous-space Regression Loss): 이산 토큰 분류 대신 연속 특징 (Continuous Feature) 회귀를 사용하여 AR 모델의 특성에 맞춥니다.
  2. 인과적 정규화 엔트로피 손실 (Causal-Normalized Entropy Loss): 드래프트 모델이 타겟 모델과 유사한 엔트로피 분포를 갖도록 학습시킵니다. 이를 통해 드래프트 모델이 불확실성을 올바르게 반영하도록 유도하여 수용률을 극대화합니다.

B. 엔트로피 파라미터화 단일 단계 드리프트 (Entropy-Parameterized Single-Step Drifting)

• 개념: 기존 확산 디코더를 반복적 디노이징 대신 **반대칭 드리프트 필드 (Anti-Symmetric Drifting Field)**로 대체합니다.
• 엔트로피 파라미터화 사전 분포 (Entropy-Parameterized Prior):
  • AR 모델이 예측한 특징을 사전 분포의 평균 (Mean) 으로 사용합니다.
  • 엔트로피를 물리적 분산 (Variance) 으로 해석: AR 예측의 엔트로피가 높을수록 (불확실성이 클수록) 초기 상태의 분산을 크게 설정하여 데이터 매니폴드 (Data Manifold) 로의 강한 드리프트를 유도합니다. 반대로 엔트로피가 낮으면 분산이 작아져 드리프트가 거의 발생하지 않습니다.
• 결과: 이 물리적 일관성을 통해 **반복적 디노이징이나 증류 (Distillation) 없이 1 단계 (1-NFE, One Noise Function Evaluation)**로 고품질 이미지를 생성할 수 있습니다.

C. 통합 학습 파이프라인

• 2 단계 학습 스케줄 (Annealed Training):
  1. Phase I (Joint Optimization): AR 모듈과 드리프트 디코더를 함께 학습하며, AR 이 생성하는 사전 분포 (Prior) 를 안정화시킵니다.
  2. Phase II (Pure Drifting): AR 모듈을 고정 (Freeze) 하고, 드리프트 필드만 학습하여 고정된 소스 분포에 대해 평형 상태 (Equilibrium) 를 달성합니다. 이는 '움직이는 사전 (Moving Prior)' 문제를 해결합니다.

---

4. 주요 실험 결과 (Results)

MAR, TransDiff, NextStep-1 등 다양한 AR-Diffusion 하이브리드 모델에서 실험을 수행했습니다.

• 속도 향상: 기존 모델 대비 3.8 배 ~ 5.5 배의 추론 속도 향상을 달성했습니다.
• 품질 유지: 1-NFE 단일 단계 생성임에도 불구하고, 기존 다단계 확산 모델의 품질 (FID, IS, GenEval 점수) 을 유지하거나 오히려 개선했습니다.
  • 예시: MAR-H 모델에서 5.16 배 속도 향상과 동시에 FID 1.53 (기존 1.55 보다 향상), IS 304.6 달성.
• 비교 우위: 기존 증류 기반 방법 (DMD 등) 이나 스펙큘레이티브 디코딩만 적용한 방법들보다 압도적으로 우수한 성능을 보였습니다. DMD 는 1 단계에서 품질이 급격히 떨어지는 반면, Drift-AR 은 1 단계에서도 고품질을 유지합니다.

---

5. 주요 기여 및 의의 (Contributions & Significance)

1. 엔트로피의 이중적 역할 규명: 연속 공간 AR 모델의 예측 엔트로피가 AR 가속화 (드래프트 품질) 와 비전 디코딩 가속화 (보정 필요도) 를 동시에 결정하는 통일된 신호임을 최초로 발견하고 증명했습니다.
2. Drift-AR 프레임워크 제안: 엔트로피 기반의 스펙큘레이티브 디코딩과 엔트로피 파라미터화 드리프트 필드를 결합하여, 증류 없이 1-NFE 단일 단계 생성을 가능하게 했습니다.
3. 실용적 가치: 기존 확산 모델의 반복적 추론 병목을 근본적으로 해결하여, 실시간 고품질 이미지 생성에 필요한 속도와 품질의 균형을 달성했습니다.

결론적으로, Drift-AR 은 생성 모델의 두 가지 주요 병목 현상을 하나의 물리적 원리 (엔트로피 기반 드리프트) 로 통합하여 해결한 획기적인 접근법으로, 차세대 고효율 비전 생성 모델의 새로운 표준을 제시합니다.