기술 요약: 연속적 자기회귀 이미지 생성을 위한 연속 스펙큘레이티브 디코딩 (Continuous Speculative Decoding)

문제 정의

연속적 시각적 자기회귀(Autoregressive, AR) 모델은 이산적 토큰 기반 방식의 대안으로서 유망한 방법론으로 부상했습니다. 이는 더 나은 재구성 품질을 제공하고 벡터 양자화(Vector Quantization)와 관련된 불안정성을 피할 수 있게 해줍니다. 그러나 이산적 모델 및 대규모 언어 모델(LLM)과 마찬가지로, 이러한 연속적 AR 모델 역시 순차적 디코딩 특성으로 인해 본질적으로 느린 추론 속도 문제를 겪고 있습니다.

스펙큘레이티브 디코딩(Speculative Decoding)은 "초안 작성 및 검증(draft-and-verify)" 메커니즘을 사용하여 이산적 시각적 AR 모델과 LLM의 속도를 성공적으로 가속해 왔으나, 이를 연속 분포에 직접 적용하는 데에는 두 가지 근본적인 이론적 및 실무적 장벽이 존재합니다:

1. 낮은 수용률 (Low Acceptance Rate): 연속 도메인에서는 초안 모델(Draft model)과 타겟 모델(Target model)이 서로 다른 데이터 분포를 학습하는 경우가 많습니다. 결과적으로 초안 모델에 의해 생성된 샘플은 타겟 모델의 고확률 영역 밖에 위치하게 됩니다. 이는 매우 낮은 확률비를 초래하며, 결과적으로 수용률을 거의 제로에 가깝게 만들어 가속 효과를 무효화합니다.
2. 비해석적 수정 분포 (Non-Analytic Modified Distribution): 스펙큘레이티브 디코딩에서 초안 토큰이 거절될 경우, 타겟 분포와 초안 분포의 정규화된 차이($p(x) - q(x)$)로 정의되는 "수정된 분포"로부터 새로운 토큰을 재샘플링해야 합니다. 이산 공간에서는 이 정규화 상수가 단순한 합(sum)이지만, 연속 공간에서는 전체 공간에 대한 복잡한 적분이 필요하며, 이는 해석적인 표현식이 존재하지 않아 직접적인 샘플링이 불가능합니다.

방법론

본 논문은 연속적 시각적 AR 모델의 이러한 특정 과제들을 해결하기 위해 설계된 프레임워크인 **연속 스펙큘레이티브 디코딩(Continuous Speculative Decoding)**을 제안합니다. 이 접근 방식은 세 가지 시너지 효과를 내는 전략을 통합합니다:

1. 근사된 수용 기준 및 궤적 정렬 (Approximated Acceptance Criterion and Trajectory Alignment)

분포 불일치로 인한 낮은 수용률 문제를 해결하기 위해, 저자들은 실용적인 근사법과 새로운 정렬 전략을 도입합니다:

• 근사된 기준: 전체 디노이징 궤적에 대한 결합 확률 비를 계산하는 대신(계산 비용이 높고 발산하기 쉬움), 초안과 타겟 궤적이 동일한 초기 잠재 변수 $x_0$를 공유할 때의 결합 확률 비 $p(Y_p)/q(Y_q)$를 계산합니다.
• 디노이징 궤적 정렬: 초안과 타겟 출력 간의 괴리를 최소화하기 위해, 저자들은 디노이징 궤적을 정렬하는 방법을 제안합니다. 재매개변수화 근접성(Reparameterization Proximity) 정리에 기초하여, 재매개변수화 단계($x_{t-1} = \mu_\theta(x_t, t) + \Sigma_\theta(x_t, t)\epsilon_t$) 동안 초안과 타겟 모델 모두에 동일한 노이즈 벡터 $\epsilon_t$를 설정함으로써 출력 간의 기대 거리를 크게 줄일 수 있습니다. 이러한 정렬은 초안 모델의 궤적이 타겟 모델의 고확률 영역에 더 가깝게 유지되도록 보장하여 수용률을 높입니다.

2. 토큰 프리필링 (Token Pre-filling)

저자들은 초안 모델과 타겟 모델 간의 접두사 임베딩(Prefix embedding) 불일치로 인해 초기 자기회귀 단계에서 수용률이 특히 낮다는 점을 관찰했습니다. 이를 완화하기 위해, 초안 모델 대신 타겟 모델이 초기 토큰의 작은 부분(예: 5%)을 생성하도록 하는 토큰 프리필링을 제안합니다. 이는 초기 단계의 수용률을 안정화하면서도 상당한 추론 지연을 추가하지 않고 일관된 접두사를 보장합니다.

3. 수정된 분포를 위한 수락-거절 샘플링 (Acceptance-Rejection Sampling for Modified Distribution)

해석적 표현식이 없는 수정된 분포($p'(x)$)를 처리하기 위해, 본 논문은 수락-거절 샘플링(Acceptance-Rejection Sampling) 기법을 사용합니다.

• 상한 도출: $M \cdot p(Y) \geq p'(Y)$를 만족하는 적절한 상한 $M$을 도출합니다. $M = 1/Z$ (여기서 $Z$는 다루기 힘든 정규화 상수)로 설정함으로써, 명시적인 적분을 계산할 필요를 제거합니다.
• 효율적인 임계값 계산: 결정적으로, 거절 임계값 $\alpha_s$는 동일한 디노이징 궤적 정렬 특성을 사용하여 도출됩니다. 이를 통해 모델의 파라미터로 정의된 가우시안 분포만을 사용하여 임계값을 계산할 수 있으며, 수정된 분포로부터 샘플링하기 위해 필요한 반복적이고 비용이 많이 드는 확산 모델 추론 과정을 피할 수 있습니다.

주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

• 최초의 연속 스펙큘레이티브 디코딩: 연속 분포로 스펙큘레이티브 디코딩의 간극을 메운 최초의 연구로서, 연속 시각적 AR 모델의 상당한 가속을 가능하게 합니다.
• 낮은 수용률에 대한 해결책: 근사된 기준, 재매개변수화 근접성에 기반한 디노이징 궤적 정렬, 그리고 토큰 프리필링을 통해 낮은 수용률 문제를 해결합니다.
• 다룰 수 있는 재샘플링: 적절한 상한을 가진 맞춤형 수락-거절 샘플링 방식을 통해 수정된 분포로부터 샘플링할 수 있게 하며, 복잡한 적분을 피합니다.
• 플러그 앤 플레이 통합: 제안된 방법은 추가적인 학습이나 구조적 변경 없이 기존의 세 가지 연속 시각적 AR 모델(MAR, xAR, Harmon)에서 검증되었습니다.

실험 결과

ImageNet (256×256 및 512×512 해상도)과 MSCOCO/MJHQ 데이터셋을 사용하여 MAR, xAR, Harmon 모델에 대해 광범위한 실험을 수행했습니다.

• 속도 향상: 이 접근 방식은 다양한 모델과 해상도에 걸쳐 2배 이상의 실제 시간(Wall-time) 속도 향상을 달성했습니다. 구체적인 결과는 다음과 같습니다:
  • MAR: 최대 2.33배 속도 향상.
  • xAR: 최대 2.72배 속도 향상.
  • Harmon: 최대 2.54배 속도 향상.
• 품질 보존: FID, Inception Score, CLIPScore, Geneval 등의 정량적 지표는 가속화된 생성이 원래의 타겟 모델과 대등한 이미지 품질을 유지함을 보여줍니다. 지표의 표준 편차가 낮게 유지되어 안정성을 입증했습니다.
• 절제 연구 (Ablation Studies):
  • 궤적 정렬: 초안과 타겟 토큰 사이의 평균 거리를 >2.0에서 ~1.0으로 줄여, 수용률을 ~7%에서 >30%로 높였습니다.
  • 프리필링: 5%의 프리필링 비율이 최적임이 밝혀졌으며, 이는 0% 프리필링에 비해 초기 단계의 수용률을 크게 개선하고 시각적 아티팩트를 감소시켰습니다.

의의 및 주장

본 논문은 이 작업이 자기회귀 이미지 생성 가속화를 위한 필수적인 진화라고 규정합니다. 스펙큘레이티브 디코딩이 이산 도메인에서는 성공적이었으나, 연속 분포를 위한 유사한 이론의 부재가 연속적 AR 모델의 효율성을 저해해 왔습니다. 분포 불일치와 비해석적 적분이라는 이론적 과제를 해결함으로써, 본 연구는 더 빠른 연속적 AR 모델의 실질적인 배포를 가능하게 합니다. 저자들은 이 방법이 기존 아키텍처에 원활하게 통합될 수 있는 견고하고 손실 없는(분포 측면에서) 가속 전략을 제공하며, 연속적 자기회귀 프로세스를 사용하는 비전 및 기타 도메인의 효율적인 추론을 위한 경로를 제공한다고 주장합니다.