기술 요약: 블록 검증을 통한 추측적 확산 모델의 가속화

문제 정의

확산 모델(Diffusion models)은 생성 모델링의 지배적인 패러다임이 되었으나, 거대 신경망의 수많은 순차적 평가가 필요하기 때문에 추론 과정이 여전히 계산적으로 매우 비쌉. **추측적 디코딩(Speculative decoding)**은 빠른 "드래프터(drafter)" 모델을 사용하여 토큰 시퀀스를 제안하고 이를 더 큰 "타겟(target)" 모델이 검증하게 함으로써 대규모 언어 모델(LLM)을 성공적으로 가속화했지만, 이를 연속적인 확산 모델에 적용하는 데에는 상당한 어려움이 따릅니다.

핵심적인 난제는 **잔차 분포(residual distribution)**에 있습니다. 이산적인 LLM 환경에서는 드래프트 토큰이 거절될 경우, 타겟 확률과 드래프트 확률 사이의 양의 차이로 정의되는 잔차 분포 $r_\Gamma$로부터 새로운 토큰을 추출하는 과정이 매우 단순합니다. 반면, 연속적인 확산 공간에서는 이 잔차 분포로부터 샘플링하는 것이 간단하지 않습니다. 기존의 적응 방식들은 높은 비용과 무작위 실행 시간을 초래하는 비효율적인 거부 샘플링(rejection sampling)에 의존하거나, 혹은 **반사 결합(reflection coupling)**이라는 결정론적 보정 방식을 사용하여 잔차 자체를 우회합니다. 이는 효율적이긴 하지만, 더 발전된 검증 전략의 사용을 방해합니다.

특히, LLM에서 최첨단 기술인 블록 검증(block verification)(토큰별 검증 대신 드래프트 토큰 전체 블록을 공동으로 검증하여 수용률을 극대화하는 방식)은 확산 모델에 성공적으로 적용되지 못했습니다. 그 이유는 블록 검증이 블록의 공동 수용 확률에 의존하는 일반화된 잔차 분포로부터 샘플링을 요구하는데, 연속 공간을 위한 효율적이고 정확한 샘플링 알고리즘이 존재하지 않았기 때문입니다.

방법론

본 논문은 효율적인 추측적 확산을 가능하게 하는 통합 프레임워크를 제안합니다. 이 방법론은 세 가지 주요 구성 요소로 이루어져 있습니다.

1. 잔차 분포의 효율적 샘플링

저자들은 드래프트 모델과 타겟 모델을 나타내는 가우시안 분포 $p$와 $q$에 대하여, 잔차 분포 $r_\Gamma(y) \propto \max\{0, q(y) - p(y)\}$로부터 샘플링하는 새로운 원스텝(one-step) 알고리즘을 도입합니다.

• 직교 분해(Orthogonal Decomposition): 이 방법은 가우시안 랜덤 변수의 직교 분해를 활용합니다. 샘플링 작업을 다음 두 단계로 분리합니다:
  1. 평균 차이 벡터 $\Delta = (m_p - m_q)/\sigma$의 방향을 따르는 1D 샘플링 작업.
  2. $\Delta$에 직교하는 표준 가우시안 성분.
• 계산 가능성(Tractability): 이를 통해 고차원 샘플링 문제를 다루기 쉬운 1D 작업으로 축소합니다. 1D 분포 $\psi_\alpha$는 해석적으로 도출되며, 누적 분포 함수(CDF)는 표준 정규 CDF를 사용하여 점별(pointwise)로 계산되므로 효율적인 역 샘플링(예: 이분법 탐색)이 가능합니다.
• 일반화: 이 알고리즘은 블록 검증 프레임워크에 필수적인 가중치 파라미터 $\alpha \in (0, 1]$를 지원합니다. $\alpha=1$로 설정하면 표준 토큰 단위 검증을 위한 표준 잔차를 회복합니다.

2. 확산을 위한 블록 검증

새로운 샘플링 절차를 활용하여, 저자들은 (Sun et al. [2025]에 의해 원래 LLM용으로 제안된) 블록 검증 전략을 확산 모델에 맞게 조정합니다.

• 메커니즘: 드래프트 토큰을 순차적으로 검증하는 대신, $\gamma$개의 드래프트 토큰 전체 블록을 공동으로 검증합니다. 블록의 수용 확률을 극대화하며, 첫 번째 거절된 토큰의 인덱스 $\tau$(또는 블록의 끝)를 결정합니다.
• 이론적 보장: 저자들은 이 블록 검증 체계가 제안된 분해 잔차와 함께 사용될 때 최종 출력 분포가 타겟 모델의 분포 $q$와 정확히 일치하여 샘플 품질을 보존함을 증명합니다.
• 결정론적 보정의 불가능성: 본 논문은 드래프트 길이 $\gamma \ge 2$인 블록 검증의 경우, 역전 가능하면서 상수 자코비안 인자를 갖는 유효한 결정론적 잔차 보정(기존 연구에서 사용된 반사 결합과 같은 방식)이 존재할 수 없음을 명시적으로 증명합니다(Proposition 3.2). 이는 본 연구에서 제안된 확률적 잔차 샘플링 방식의 필요성을 뒷받침합니다.

3. 프리 드래프터 (The Free Drafter)

본 논문은 추가 학습이 필요 없는 자기 추측적(self-speculative) 메커니즘인 **프리 드래프터(Free Drafter)**를 도입하고 분석합니다.

• 개념: 현재 라운드의 타겟 모델 스코어 함수를 재사용하여 전체 타겟 모델 평가에 상응하는 비용을 발생시키는 **프로즌 드래프터(Frozen Drafter)**와 달리, 프리 드래프터는 이전 추측 라운드의 병렬 검증 단계에서 계산된 스코어 함수를 재사용합니다.
• 효율성: 이를 통해 드래프트 시퀀스를 생성하는 데 드는 한계 비용을 전체 타겟 모델 평가에 비해 무시할 수 있는 수준으로 낮춥니다.
• 이론적 분석: 저자들은 "블록 효율(block efficiency)"(라운드당 평균 수용된 샘플 수)을 분석합니다. 그들은 프로즌 드래프터가 확산 교환성(diffusion exchangeability) 특성에 더 잘 부합하여 이론적으로 더 높은 블록 효율을 달달할 수 있지만, 프리 드래프터가 실제 실행 시간(wall-clock time) 측면에서는 프로즌 드래프터보다 엄격하게 우수함을 보여줍니다.

주요 기여

1. 효율적인 $\Gamma$-최대 결합(Maximal Coupling): 복잡한 거부 샘플링에 의존하던 기존 기술을 크게 단순화하여, 확산 모델을 위한 잔차 분포 $r_\Gamma$ 샘플링 원스텝 알고리즘을 구현했습니다.
2. 연속 모델을 위한 블록 검증: 드래프트 블록의 공동 검증을 가능하게 하여 수용률을 높이는 블록 검증을 확산 모델에 성공적으로 적용했습니다.
3. 결정론적 보정의 이론적 한계: 드래프트 길이 $\ge 2$인 경우 결정론적 반사 스타일의 보정이 불가능함을 입증하여, 확률적 잔차 샘플링의 필요성을 이론적으로 규명했습니다.
4. 프리 드래프터: 이전에 계산된 스코어를 재사용하여 오버헤드를 최소화하는 학습이 필요 없는 자기 추측적 드래프터를 도입했습니다.
5. 실험적 검증: 제안된 블록 검증 체계가 별도의 학습 없이도 표준 추측적 샘플링(토큰 단위 검증)에 비해 실행 시간을 최대 **6.3%**까지 단축함을 입증했습니다.

실험 결과

저자들은 다양한 노이즈 파라미터($\epsilon$)와 드래프트 크기($\gamma=7$)를 사용하여 픽셀 및 잠재 공간(latent space) 모두에서 여러 데이터셋(CelebA, ImageNet, LSUN, CIFAR10)에 대해 접근 방식을 평가했습니다.

• 속도 향상: 추측적 확산은 표준 DDPM을 실행 시간 기준으로 1.9배에서 3.6배 가속화합니다.
• 블록 검증 vs. 토큰 검증: 토큰 단위 검증(SampleVerification)에서 블록 검증(BlockVerification)으로 전환하면 대부분의 데이터셋에서 1.5%에서 6.3% 사이의 일관된 실행 시간 가속 개선을 보입니다.
  • 이러한 이득은 노이즈 수준이 높거나(낮은 $k$) 디노이징 단계가 많을 때 더욱 두드러집니다.
  • 블록 효율이 이미 매우 높았던(~6) CIFAR10의 경우, 블록 검증 체계의 오버헤드로 인해 한계 이득이 미미하거나 약간 음수였습니다.
• 품질: Fréchet Inception Distance (FID) 점수가 모든 추측적 변형 및 베이스라인 DDPM과 일관되게 유지됨을 확인하여, 가속화가 샘플 품질을 저하시지 않음을 입증했습니다.
• 프리 vs. 프로즌 드래프터: 실험을 통해 프로즌 드래프터가 더 높은 블록 효율을 달성함에도 불구하고, 프리 드래프터가 더 우수한 실행 시간 가속을 제공함을 확인했습니다. 예를 들어, 1000 단계의 디노이징을 사용하는 ImageNet의 경우, 프리 드래프터는 약 3.91배의 가속을 제공한 반면, 프로즌 드래프터는 더 높은 블록 효율에도 불구하고 실행 시간 측면에서 약 30% 더 느렸습니다.

의의 및 주장

본 논문은 연속 공간에서의 잔차 샘플링 병목 현상을 해결함으로써 추측적 디코딩의 잠재력을 완전히 끌어냈다고 주장합니다. 주요 의의는 다음과 같습니다:

• 블록 검증 가능화: LLM에서 수용률을 극대화하기 위해 알려진 최적의 기술인 블록 검증을 확산 모델에 처음으로 성공적으로 구현했습니다.
• 학습이 필요 없는 가속화: 제안된 "프리 드래프터"는 별도의 드래프터 모델을 학습시키는 비용 없이도 실용적인 제로 트레이닝(zero-training) 가속을 제공하여, 추측적 확산을 더 쉽고 효율적으로 만듭니다.
• 이론적 엄밀성: 결정론적 보정의 한계와 자기 추측적 전략의 이론적 경계에 대한 공식적인 증명을 제공합니다.

저자들은 추측적 확산이 디노이징 단계를 획기적으로 줄이는 다른 방법들과 결합될 경우(즉, 추측이 가장 효과적인 고노이즈 영역이 짧아질 경우) 수익 체감의 법칙이 작용할 수 있다고 결론짓지만, 제안된 블록 검증과 프리 드래프터는 확산 모델의 추론 지연 시간을 줄이는 데 있어 중요한 진전임을 강조합니다.