기술 요약: 추측성 결합 디코딩 (SCD)

문제 제기

자기회귀 (AR) 모델링은 텍스트, 이미지, 비디오, 로봇공학 등 다양한 모달리티에 걸친 현대 생성형 AI 의 핵심 기둥이 되었습니다. 그러나 토큰 단위 생성의 고유한 지연 시간으로 인해 실제 배포는 심각한 제약을 받으며, 이미지 및 비디오와 같은 고차원 데이터의 경우 수천 번의 순차적 순방향 통과가 필요합니다.

**추측성 디코딩 (SD)**은 단일 순방향 단계에서 여러 토큰을 생성하여 추론을 가속화하기 위해 제안되었으나, 기존 방법들은 시각적 생성 분야에서 다음과 같은 중대한 한계에 직면해 있습니다:

1. 학습 기반 SD: 별도의 계산적으로 작은 '초안 (draft)' 모델 학습을 요구하여 오버헤드 및 통신 병목 현상을 초래합니다.
2. 학습 없는 SD (예: 추측성 야코비 디코딩 - SJD): 타겟 모델의 이전 반복 출력을 초안으로 사용하여 초안 모델의 필요성을 제거합니다. 그러나 SJD 는 텍스트 기반 SD 에 비해 제한된 속도 향상 (일반적으로 약 2 배) 을 겪습니다.
3. 손실성 SD: 속도를 위해 생성 품질을 희생하는 방법들은 출력 분포를 저하시켜 표준 SD 의 '무손실' 보장을 위반합니다.

SJD 에서 확인된 핵심 문제는 초안 토큰 샘플링 과정의 불안정성입니다. SJD 는 이전 반복의 분포에서 독립적으로 초안 토큰을 샘플링하기 때문에, 충돌 확률 (동일한 토큰을 두 번 샘플링하는 것) 은 극히 낮게 유지됩니다. 이는 반복 간 컨텍스트 유사성에서 높은 분산을 초래하여 수용률을 수렴하지 못하게 하고 전체 가속화를 제한합니다.

방법론: 추측성 결합 디코딩 (SCD)

저자들은 정보 이론적 개념인 **결합 (Coupling)**을 도입하여 SJD 를 확장한 학습 없는 무손실 프레임워크인 **추측성 결합 디코딩 (SCD)**을 제안합니다.

핵심 통찰

추측성 디코딩에서의 수용률은 타겟 분포 $p$와 초안 분포 $q$ 사이의 총변동 (TV) 거리와 반비례합니다. SJD 에서 초안 분포 $q$는 이전 반복의 출력입니다. 저자들은 $p^{(t)}$와 $p^{(t-1)}$ 분포가 유사할 수 있지만, 이러한 분포로부터의 독립적 샘플링은 동일한 토큰 ($X^{(t)} = X^{(t-1)}$) 을 생성할 확률이 낮음을 관찰합니다. 이러한 토큰 수준의 충돌 부재는 야코비 반복 궤적을 불안정하게 만듭니다.

해결책: 결합

SCD 는 SJD 의 독립 샘플링 단계를 결합된 샘플링 과정으로 대체합니다. 주변 분포가 $p$와 $q$로 유지되지만 $x=y$일 확률이 최대화되도록 결합 분포 $\pi(x, y)$를 구성함으로써, SCD 는 초안 궤적을 안정화합니다.

이 논문은 두 가지 구체적인 결합 전략을 소개합니다:

1. 최대 결합 ($\pi_{MC}$):

   • 메커니즘: 토큰 쌍 $(X^{(t)}, X^{(t-1)})$을 결합 분포에서 샘플링하기 위해 수정된 거부 샘플링 (MRS) 알고리즘 (원래 SD 검증에 사용됨) 을 활용합니다.
   • 속성: 이는 결합 비용에 대한 이론적 상한을 달성합니다: $C(\pi_{MC}) = 1 - D_{TV}(p, q)$.
   • 구현: SJD 알고리즘에 단일 줄 수정만 필요합니다. 초안 단계 (샘플링) 와 검증 단계 (거부 샘플링) 가 동일한 연산이 되어 벡터화되고 원활하게 통합될 수 있습니다.

2. 검불 결합 ($\pi_{GS}$):

   • 메커니즘: 검블 - 맥스 (Gumbel-Max) 트릭에 기반하여, 연속된 반복 간에 동일한 무작위 검블 노이즈 벡터를 공유함으로써 범주형 샘플링 과정을 결합합니다.
   • 속성: 결합 비용에 대한 하한 $\frac{1 - D_{TV}}{1 + D_{TV}}$를 제공합니다.
   • 이점: 단일 단계 충돌에 있어 최대 결합보다 약간 덜 최적화되었지만, 높은 시간적 중복성 (예: 비디오 생성) 이나 쉬운 초안 예측이 있는 작업에서 더 나은 장기 안정성을 제공하여 유익함을 입증합니다.

주요 기술적 주장

• 무손실 보장: 샘플링된 토큰의 주변 분포는 원래 타겟 분포와 동일하게 유지됩니다. 따라서 SCD 는 SD 의 이론적 정확성을 유지하여 출력 분포가 표준 AR 디코딩과 정확히 동일함을 보장합니다.
• 제로 오버헤드: 결합 메커니즘 (MRS 또는 검블 노이즈 생성) 은 표준 SJD 순방향 통과에 비해 무시할 수 있는 계산 및 메모리 오버헤드를 도입합니다.
• 안정화: 반복 간에 동일한 토큰을 샘플링할 확률을 최대화함으로써, SCD 는 수용률을 크게 높이고 수렴 궤적의 분산을 줄입니다.

실험 결과

저자들은 MS-COCO, Parti-Prompt, Real-Estate-10k 등의 데이터셋을 사용하여 AR 이미지 및 비디오 생성 모델 (Lumina-mGPT, Janus-Pro, Cosmos-1-AR) 에 SCD 를 평가했습니다.

주요 발견

1. 상당한 속도 향상:
   • 이미지 생성: SCD 는 표준 AR 디코딩 대비 최대 4.2 배, 표준 SJD 대비 1.8 배의 속도 향상을 달성합니다 (NFE 를 약 2300 에서 약 560 으로 감소).
   • 비디오 생성: 높은 시간적 중복성으로 인해 SCD 는 표준 AR 디코딩 대비 최대 13.6 배의 속도 향상을 달성합니다.
2. 품질 보존:
   • 정량적 지표 (FID, IS, CLIP-Score, FVD) 는 바닐라 AR 또는 표준 SJD 대비 생성 품질의 저하가 없음을 보여줍니다.
   • 정성적 시각화는 출력이 기준 AR 모델과 시각적으로 구별할 수 없음을 확인시켜 줍니다.
3. 베이스라인과의 비교:
   • SCD 는 무손실 품질을 유지하면서 학습 없는 손실성 방법 (GSD 등) 보다 속도가 우수합니다.
   • 추가 학습이 필요 없음에도 불구하고 속도와 품질 모두에서 학습 기반 SD 방법 (EAGLE 및 LANTERN 등) 을 능가합니다.
4. 확장성: 성능 향상은 더 큰 윈도우 크기 ($L$) 에 따라 증가하며, 결합 메커니즘이 더 긴 시간 범위에서 SJD 의 수렴을 효과적으로 안정화함을 나타냅니다.

중요성 및 주장

이 논문은 SCD 가 독립 샘플링으로 인한 불안정성을 해결함으로써 추측성 야코비 디코딩의 중요한 성능 병목 현상을 해결한다고 주장합니다. 이 연구의 중요성은 다음과 같습니다:

• 학습 없는 효율성: 별도의 초안 모델 학습 비용 없이 시각 AR 모델에 대해 막대한 가속화 (최대 13.6 배) 를 제공합니다.
• 무손실 가속화: 손실성 방법의 품질 트레이드오프를 피하면서 표준 AR 디코딩과 동일한 출력 분포라는 이론적 보장을 유지합니다.
• 간결성: 이 방법은 기존 SJD 구현에 최소한의 수정 (단일 줄 변경) 만 요구하므로 접근성이 높고 배포가 용이합니다.
• 일반화 가능성: 이 접근법은 다양한 모달리티 (이미지 및 비디오) 와 모델 아키텍처에서 효과적이므로, 시각 도메인에서 확률적 샘플링을 처리하는 추측성 디코딩 방식의 근본적인 개선을 시사합니다.

저자들은 결합을 통해 분포적 유사성을 실현된 토큰 공간으로 이전시킴으로써, SCD 가 자기회귀 시각 생성을 위한 학습 없는 추측성 디코딩의 잠재력을 완전히 unlocking 한다고 결론지었습니다.