PACER: Blockwise Pre-verification for Speculative Decoding with Adaptive Length

기술 요약: PACER: 적응형 길이를 갖춘 블록 단위 사전 검증 기반 추측 디코딩(Speculative Decoding)

문제 정의
대규모 언어 모델(LLM)은 그 자기회귀적(autoregressive) 특성으로 인해 계산 능력보다는 메모리 대역폭에 의해 주로 제약을 받으며, 이로 인해 상당한 추론 지연 시간이 발생합니다. 추측 디코딩(Speculative Decoding, SD)은 더 작은 "드래프트(draft)" 모델을 사용하여 여러 토큰을 미리 예측하고, 이를 더 큰 "타겟(target)" 모델이 병렬로 검증하는 방식을 통해 이를 해결합니다. 그러나 기존의 SD 방식은 일반적으로 디코딩 과정 전체에서 고정된 드래프트 윈도우 크기($\gamma$)를 사용합니다.

저자들은 이러한 고정 윈도우 방식의 결정적인 비효율성을 지적합니다: 드래프트 토큰의 최적 개수는 디코딩 단계마다 크게 달라집니다.

• 보수적인 윈도우(Conservative Windows): 너무 작은 고정 윈도우는 드래프트 모델을 조기에 중단시켜, 수용 가능한 토큰을 생성할 기회를 놓치게 만들고 불필요하게 비용이 많이 드는 타겟 모델의 포워드 패스(forward pass)를 강제합니다.
• 공격적인 윈도우(Aggressive Windows): 너무 큰 고정 윈도우는 타겟 모델에 의해 결국 거절될 드래프트 토큰에 대한 계산 낭비를 초래합니다.
  윈도우 크기를 조정하려는 기존 방법들은 드래프트 모델의 출력값(예: 토큰 확률 또는 엔트로피)에 의존하는 경우가 많으나, 이는 모델의 미교정(miscalibration) 및 과잉 확신(overconfidence) 문제로 인해 신뢰하기 어려울 수 있습니다. 또한, 모델이 동일한 장치를 공유하는 경우 PEARL과 같은 다른 병렬 접근 방식들은 리소스 스케줄링에 어려움을 겪습니다.

방법론: PACER
본 논문은 경량화된 학습 가능 블록 단위 사전 검증 레이어를 사용하여 드래프트 윈도우 크기를 동적으로 제어하는 프레임워크인 PACER(Pre-verification for Adaptive Length)를 제안합니다.

1. 블록 단위 생성 및 사전 검증: 고정된 수의 토큰을 생성하는 대신, 드래프트 모델은 $b$ 크기의 블록 단위로 토큰을 생성합니다. 각 블록이 생성된 후, 사전 검증 레이어($M_B$)는 해당 블록의 은닉 상태(hidden states)를 위치 임베딩(positional embeddings)과 함께 분석하여 토큰의 수용 확률을 추정합니다.
2. 적응형 중단 기준: 시스템은 블록의 평균 추정 수용률을 계산합니다. 이 비율이 동적 임계값 $t$보다 낮아지면 드래프트 생성을 중단하고, 누적된 토큰들을 정식 검증을 위해 타겟 모델로 보냅니다. 수용률이 높으면 드래프트 모델은 다음 블록을 계속 생성합니다.
3. 동적 임계값 설정: 수용 확률이 자연스럽게 감소함에 따라 드래프트 모델이 지나치게 긴 시퀀스를 생성하는 것을 방지하기 위해, 성공적인 블록이 나올 때마다 임계값 $t$를 성장 인자 $\rho$만큼 증가시킵니다. 이는 드래프트 길이가 길어짐에 따라 중단 기준을 점진적으로 더 엄격하게 만듭니다.
4. 학습: 사전 검증 레이어는 표준 교차 엔트로피 손실(cross-entropy loss)을 사용하여 학습됩니다. 학습 데이터는 타겟 모델 상에서 추측 디코딩 과정을 시뮬레이션하여 드래프트 토큰을 "수용됨" 또는 "거절됨"으로 라벨링함으로써 구축되며, 이를 통해 추론과 학습 간의 정렬을 보장합니다. 효율성을 높이기 위해, 여러 디코딩 단계의 학습 데이터를 커스텀 어텐션 마스크와 함께 단일 시퀀스로 패킹하여 학습합니다.

주요 기여

• 체계적 분석: 저자들은 수용 길이가 디코딩 단계에 따라 크게 변한다는 실증적 증거를 제시하며, 고정 윈도우 크기가 최적이 아니며 동적 조정이 이론적으로 최대 $1.4\times$의 속도 향상을 가져올 수 있음을 입증했습니다.
• 새로운 프레임워크: PACER은 문맥 정보와 위치 인코딩을 활용하여 드래프트 길이를 동적으로 결정하는 학습 가능한 블록 단위 사전 검증 메커니즘을 도입하여, 엔트로피와 같은 신뢰할 수 없는 휴리스틱 지표에 의존하는 것을 피합니다.
• 호환성: PACER은 구절 수준 생성(phrase-level generation)을 통해 드래프트 품질을 개선하는 Ouroboros와 같은 다른 추측 디코딩 개선 기술들과 직교(orthogonal)하도록 설계되었습니다.
• 포괄적 평가: DeepSeek-Coder, Llama-2, Qwen-2.5 등 다양한 모델 제품군과 코드 생성, 수학적 추론, 요약 등 다양한 벤치마크에 대해 광범위한 실험을 수행했습니다.

결과

• 속도 향상: PACER은 바닐라 자기회귀 디코딩 대비 최대 $2.66\times$의 속도 향상을 달ach하며, 테스트된 모든 벤치마크에서 고정 윈도우 크기를 사용하는 표준 추측 디코딩보다 일관되게 우수한 성능을 보였습니다.
• 통합: Ouroboros와 결합했을 때, PACER은 GSM8K 데이터셋에서 자기회귀 디코딩 대비 최고 $3.09\times$의 속도 향상을 달성했습니다.
• 효율성: 사전 검증 레이어는 최소한의 오버헤드(DeepSeek-Coder 1.3B/33B 실험에서 전체 추론 시간의 약 $2.1\%$)만을 추가하면서 타겟 모델의 포워드 패스 횟수를 크게 줄입니다.
• 절제 연구(Ablation Studies): 본 연구는 위치 임베딩과 임계값 성장 인자 모두 핵심적인 구성 요소임을 확인했습니다. 이를 제거하면 디코딩 속도가 저하되거나 비효적인 드래프트 길이가 발생합니다.

의의
본 논문은 PACER이 데이터 기반의 적응형 메커니즘을 도입함으로써 고정 윈도우 추측 디코딩의 한계를 효과적으로 해결한다고 주장합니다. 문맥적 사전 검증을 바탕으로 드래프트 길이를 동적으로 조절함으로써, PACER은 거절된 드래프트로 인한 계산 낭비를 최소화하고 빈번한 타겟 모델 검증 오버헤드를 줄입니다. 저자들은 PACER을 고품질 드래프트 생성 기술의 대체재가 아니라, 추측의 길이를 최적화하여 LLM 추론 가속화의 추가적인 성능 향상을 이끌어내는 보완적인 레이어로 정의합니다.