기술 요약: 전문가 정렬 기반의 디커플드 대조 디코딩 (Decoupled Contrastive Decoding via Expert-Aligned Drafting)

문제 정의

대조 디코딩(Contrastive Decoding, CD)은 강력한 '전문가(expert)' 모델을 약한 '아마추어(amateur)' 모델로 교정함으로써 대규모 언어 모델(LLM)의 생성 품질을 개선한다. 그러나 표준 CD는 토큰당 두 번의 모델 패스(전문가 및 아마추어)를 요구하므로 추론 비용이 높다. 스펙큘레이티브 디코딩(speculative decoding)은 생성을 가속화할 수 있지만, 이를 CD에 적용할 때 핵심적인 설계 선택 사항인 제안 정렬(proposal alignment) 문제가 발생한다. 구체적으로, 제안자(proposer)가 대조 분포를 근사하기 위해 아마추어 신호를 포함해야 하는가, 아니면 대조 교정 작업을 전적으로 검증 단계에 맡기고 드래프터(drafter)를 전문가에만 정렬된 상태로 유지해야 하는가? 기존의 SCD(Speculative Contrastive Decoding) 및 CoS(Chain-of-Speculation)와 같은 방식은 아마추어 모델을 직렬 제안 경로에 결합하여 높은 지연 시간을 초래한다.

방법론

핵심 진단: 대조 인식 드래프팅(Contrastive-Aware Drafting)의 실패

저자들은 경량 드래프터에 아마추어 신호를 통합하는 '대조 인식(contrastive-aware)' 방식이 전문가 정렬 방식을 사용하는 것보다 더 나은 성능을 내는지 조사한다. 이를 위해 동일한 조건 하에서 두 가지 통제된 진단을 수행한다:

1. 매칭된 교차-$\alpha$ 학습(Matched Cross-$\alpha$ Training): 아키텍처와 데이터를 고정한 채 다양한 목표 대조 강도($\alpha$)로 훈련된 이중 입력 EAGLE 변형 모델을 사용한다.
2. 근사 이중 드래프터 분해(Approximate Dual-Drafter Decomposition): 전문가 및 아마추어 분포를 별도로 학습하고 추론 시에 이를 분석적으로 재결합하는 방법이다.

결과: 두 진단 모두 대조 인식 드래프팅이 전문가 정렬 드래프팅보다 수락된 길이(accepted length)를 일관되게 개선하지 못한다는 것을 보여준다. 분석 결과는 다음과 같다:

• 대조 신호(교정 항)는 종종 경량 드래프터의 고유한 오차보다 약하다.
• 81.1%의 위치에서 신호 크기가 1.0 미만인 반면, 48.7%의 위치에서는 상당한 전문가 측 제안 오차(KL 발산 $\ge$ 2.0)가 나타난다.
• 별도의 전문가/아마추어 근사치로부터 대조 분포를 재구성하는 것은 대조 신호로 교정하기보다는 드래프터의 베이스라인 오차를 증폭시키는 경향이 있다.
• 긍정적인 이득은 고신호-저오차 영역의 작은 구간에 국한되며, 이는 재구성 오차로 인한 일반적인 성능 저하를 상쇄하기에 불충분하다.

제안 솔루션: 디커플드 대조 디코딩 (Decoupled Contrastive Decoding, DCD)

이러한 진단을 바탕으로, 저자들은 제안 생성과 대조 교정을 분리하는 **디커플드 대조 디코딩(DCD)**을 제안한다:

• 전문가 정렬 제안(Expert-Aligned Proposing): 경량 드래프터(예: EAGLE3)는 엄격하게 전문가 모델의 분포($\pi_p$)를 근사하도록 훈련되고 사용된다. 이 드래프터는 드래프트 단계에서 아마추어 신호나 대조 타겟을 모델링하려고 시도하지 않는다.
• 대조 검증(Contrastive Verification): 아마추어 모델($M_q$)은 오직 검증 단계만을 위해 예약된다. 스펙큘레이티브 수락/거절 로직은 드래프트된 토큰을 변경되지 않은 전체 대조 분포 $\pi_{CD}$에 대해 평가한다.
• 무손실 보장(Lossless Guarantee): 검증 단계가 정확히 정규화된 CD 분포 $\pi_{CD}$를 타겟팅하기 때문에, 제안자를 변경하더라도 최종 출력 분포는 변하지 않으며, 이는 vanilla CD의 이론적 보장을 보존한다.

이 시스템은 아마추어 모델을 드래프트 루프에 포함시키는 데 드는 값비싼 직렬 비용(약 $\gamma \cdot t_q$)을 경량 전문가 정렬 제안자의 비용(약 $\gamma \cdot t_e$, 여기서 $t_e \ll t_q$)으로 대체한다.

주요 기여

1. 제안 정렬의 공식화: 본 논문은 스펙큘레이티브 CD에서의 핵심 설계 선택 사항인 "제안 정렬"을 식별하고 공식화하여, 아마추어 결합형, 대조 인식형, 전문가 정렬형 경로를 구분한다.
2. 진단적 근거 제시: 통제된 실험(Cross-$\alpha$ 및 Dual-Drafter)을 통해, 경량 드래프터에서 대조 신호를 모델링하려는 시도가 드래프터의 오차가 약한 대조 신호를 압도하기 때문에 일반적으로 역효과를 낸다는 점을 입증한다.
3. DCD 구현: 아마추어 모델을 직렬 제안 경로에서 제외함으로써 실질적인 배포 수준의 속도 향상을 달나서, 무손실 가속기를 도입한다. 저자들은 이를 EAGLE3 기반 제안자와 N-gram 제안자를 통해 구현하였다.

결과

성능 지표

GSM8K, MMLU, HumanEval, CNN/DM을 포함한 데이터셋에서 8B 클래스 모델 제품군(LLAMA-3, QWEN3, LLAMA-EFT)을 대상으로 평가하였다:

• 속도 향상: EAGLE3 기반의 DCD($DCD_{EAGLE3}$)는 vanilla CD 대비 평균 그리디(greedy) 속도를 1.65배에서 1.95배까지 향상시킨다.
• 지연 시간 감소: 아마추어 결합형 제안 경로(SCD/CoS)와 비교했을 때, DCD는 MMLU 제안 경로 지연 시간을 약 5~12배 감소시킨다.
• 강건성: 70B 확장 모델에서도 DCD는 약 2배에 가까운 속도 향상을 유지한다.
• 비교: 어려운 설정(예: $\alpha=0.5$인 QWEN3)에서 경쟁 방법들(SCD, CoS)은 특정 작업에서 1.0배 미만의 속도 향상을 보이는 반면, DCD는 이득을 유지한다(예: MMLU에서 1.60배).

일관성 및 정확도

• 태스크 정확도: 실험을 통해 DCD가 vanilla CD의 출력 분포를 보존함을 확인했다. GSM8K 및 MMLU에서의 정확도는 다양한 대조 강도($\alpha$)에 대해 vanilla CD를 밀접하게 추종한다.
• $\alpha$에 대한 강건성: 대조 강도가 증가함에 따라, DCD는 아마추어 결합형 베이스라인들에 비해 수락된 길이 측면에서 더 완만하게 저하된다. 이는 전문가 정렬 드래프터가 아마추어 페널티로 인해 분포가 이동하더라도 타겟과의 정렬을 유지하는 능력 덕분이다.

의의 및 주장

본 논문은 CD를 가속화하는 주요 병목 현상이 정교한 드래프터의 부재가 아니라, 아마추어 모델을 제안 루프에 결합하는 아키텍처 설계 결정에 있다고 주장한다. DCD는 드래프팅(전문가 정렬)과 검증(대조)을 **디커플링(decoupling)**함으로써, CD의 품질 보증을 희생하지 않고 상당한 효율성 이득을 달성한다.

저자들은 DCD가 출력 분포에 대해 **무손실(lossless)**이며, 특정 대조 타겟을 위해 아마추어 모델이나 드래프터를 재학습할 필요가 없다(EAGLE3 기반 DCD의 경우)는 점을 강조한다. 이 연구는 대조 목적 함수를 위한 스펙큘레이티브 디코딩의 경우, "제안 경로"는 속도와 전문가 정렬에 최적화되어야 하며, "검증 경로"가 복잡한 분포 교정을 처리해야 함을 시사한다.

결론적으로, 대조 인식 드래프팅이 이론적으로는 높은 신호-낮은 오차 영역에서 이점을 제공할 수 있으나, 이러한 영역은 실제 적용 시 추가되는 복잡성과 오차 증폭을 정당화하기에는 너무 희소하다. 따라서 전문가 정렬 기반의 디커플드 접근 방식이 배포를 위한 더 우수한 전략이다.