기술 요약: 목표를 넘어: 추측적 디코딩에서의 모방에서 협업으로

1. 문제 제기

추측적 디코딩 (SPD) 은 대규모 언어 모델 (LLM) 추론을 가속화하기 위한 표준 기술입니다. 이는 작은 '초안 (draft)' 모델을 사용하여 미래 토큰 시퀀스를 제안하고, 이를 더 큰 '타겟' 모델이 병렬로 검증하는 방식을 사용합니다. SPD 의 지배적인 패러다임은 모방에 의존합니다. 즉, 초안 모델은 타겟 모델의 분포를 근사하도록 훈련되며, 초안 토큰은 타겟의 예측과 정확히 일치할 때만 수용됩니다.

저자들은 이 패러다임이 비최적이라고 주장합니다. 이는 암묵적으로 모든 토큰 위치에서 타겟 모델이 유일한 권위라고 가정하기 때문입니다. 실제로 타겟 모델은 전반적으로 우월하지만, 모든 국소적 결정에서 균일하게 더 나은 것은 아닙니다. 추론 및 코드 생성과 같은 작업에서는 초안과 타겟 간의 불일치가 반드시 초안의 오류를 의미하는 것은 아닙니다. 이는 타겟 모델의 실수를 피하는 유용한 대체 경로를 나타낼 수 있습니다. 현재 SPD 방법은 초안 모델의 이러한 '중첩되지 않은 (non-nested)' 강점을 폐기하여 시스템을 타겟 모델 단독의 성능 한계로 제한합니다.

2. 방법론: 협업적 추측적 디코딩 (CoSpec)

이 논문은 초안과 타겟 모델 간의 관계를 순수한 모방에서 능동적인 협업으로 전환하는 협업적 추측적 디코딩 (CoSpec) 프레임워크를 소개합니다. 불일치를 검증 실패로 취급하는 대신, CoSpec 은 이를 최종 작업 유틸리티를 극대화하는 분기 (초안 또는 타겟) 를 선택할 기회로 간주합니다.

핵심 아키텍처

CoSpec 은 SPD 의 표준 계산 구조를 유지합니다:

1. 초안 작성 (Drafting): 초안 모델이 $K$개의 토큰 블록을 제안합니다.
2. 검증 (Verification): 타겟 모델이 단일 병렬 패스로 블록을 검증합니다.
3. 중재 (Arbitration): 초안과 타겟이 불일치하는 위치에서 학습된 중재 정책이 초안 토큰을 수용할지 아니면 타겟 토큰으로 fallback 할지 결정합니다.

중재 정책

중재 정책 ($\pi_\theta$) 은 초안 백본에 LoRA 어댑터를 사용하는 경량 모델로, 다음을 관찰합니다:

• 입력 프롬프트와 검증된 접두사.
• 초안 블록.
• 타겟 검증 토큰.

이는 하이브리드 어텐션 마스크를 활용합니다. 컨텍스트는 인과적으로 어텐션하는 반면, 초안 - 타겟 영역은 후보를 비교하기 위해 양방향 어텐션을 사용합니다. 정책은 각 불일치에서 초안 토큰을 수용할 확률을 출력합니다.

강화 학습을 통한 훈련

정책은 2 단계 파이프라인을 사용하여 훈련됩니다:

1. 지도 학습 웜업: 일반 SPD 롤아웃에 대한 판정자 (judge) 가 표시한 선호도를 사용하여 초기화됩니다.
2. 강화 학습 (RL): 전체 CoSpec 롤아웃에 대해 그룹 상대 정책 최적화 (GRPO) 를 사용하여 최적화됩니다.

보상 설계 (Reward Shaping):
보상 함수는 분포 보존이 아닌 최종 작업 유틸리티 (예: 답변 정확도) 를 극대화하도록 설계되었습니다.

• 정확한 롤아웃: 첫 번째 불일치 이후 수용된 스팬의 길이에 비례하여 보상을 부여합니다 ($\rho_r$). 이는 정책이 유용한 초안 연장을 수용하도록 장려합니다.
• 부정확한 롤아웃: 다음에 대해 페널티를 부과합니다:
  • 타겟 분포 하에서 매우 확률이 낮은 초안 토큰을 수용하는 경우 (위험 정규화).
  • 불일치를 거부하고 결국 오류로 이어지는 타겟 분기로 fallback 하는 경우 (정책이 fallback 을 '안전한' 기본값으로 취급하지 않도록 방지).
• 정규화: 프롬프트 그룹 내에서 이득 (advantages) 이 정규화되며, 정확하고 부정확한 롤아웃이 혼합된 그룹에 대해서는 긍정적 및 부정적 신호의 크기를 균형 있게 맞추기 위해 특정 스케일링이 적용됩니다.

3. 주요 기여

1. 패러다임 전환: 이 논문은 '타겟에 한정된 모방'에서 '협업적 디코딩'으로 이동하는 일반화된 SPD 패러다임을 정립하여, 초안 모델의 연산이 최종 작업 결과에 더 유용할 때 초안 모델이 기여할 수 있도록 합니다.
2. CoSpec 프레임워크: 두 모델의 상호 보완적 강점을 활용하여 불일치 시 초안 토큰을 선택적으로 수용하는 학습된 중재 정책의 도입.
3. 이론적 기반: Proposition 3.1 은 '국소적 상호 보완성 갭 (local complementarity gap)'을 수립하여, 초안 분기가 불일치 상태의 비영집합에서 더 높은 기대 유틸리티를 가질 때, 오라클 중재자가 타겟 충실도 검증자보다 엄격하게 더 나은 성능을 낼 수 있음을 증명합니다.
4. 실증적 검증: 여러 벤치마크에서 속도와 작업 정확도 모두에서 CoSpec 이 최첨단 성능을 달성함을 보여주는 광범위한 실험.

4. 실험 결과

저자들은 수학 추론 (GSM8K, MATH-500), 코드 생성 (HumanEval, MBPP), 일반 지식 작업에서 LLaMA-3.3-70B/8B 및 Qwen3-32B/4B 쌍을 사용하여 CoSpec 을 평가했습니다.

• 단독 타겟 모델 대비 성능: CoSpec 은 일관되게 타겟 모델의 단독 성능을 능가합니다.
  • LLaMA-70B (Greedy): 평균 점수가 90.05(타겟 전용) 에서 91.73으로 향상되었으며, 3.96 배의 속도 향상을 기록했습니다.
  • Qwen3-32B (Greedy): 평균 점수가 83.84에서 86.46으로 향상되었으며, 2.05 배의 속도 향상을 기록했습니다.
• 베이스라인 비교: CoSpec 은 정확도 측면에서 타겟 보존 방법 (SpS, REST, EAGLE-3) 보다 우수하며, 속도와 정확도 모두에서 느슨하게 검증된 방법 (FLy) 보다 우수합니다. 또한 AASD 와 같은 유틸리티 개선 베이스라인보다도 성능이 뛰어납니다.
• 상호 보완성 분석: 실험 결과, 타겟 모델이 전체적으로 더 많은 예제를 해결하지만, '오라클 유니온 (오라클의 합집합, 즉 어느 모델이든 해결한 예제)'은 항상 타겟 단독보다 높았습니다. CoSpec 은 이러한 중첩되지 않은 성공 사례의 약 **50–65%**를 회복합니다.
• 일반화: 훈련된 중재자는 작업별 재훈련 없이도 보지 못한 도메인 (대화, 사실적 QA, 다국어 추론) 으로 일반화되어, 중재 정책이 작업별 콘텐츠가 아닌 상호작용 패턴을 학습함을 시사합니다.

5. 중요성 및 주장

이 논문은 초안 모델의 역할을 재정의함으로써 추측적 디코딩에 대한 새로운 관점을 제시한다고 주장합니다. 초안 모델은 단순히 타겟을 근사하는 가속기로만 기능하는 것이 아니라, 상호 보완적 제안자로 작용합니다.

저자들은 이 접근법이 타겟 분포에 대한 엄격한 준수가 아닌 답변 정확도로 결과가 판단되는 작업 (수학, 코드, 사실적 QA 등) 에 특히 관련이 있다고 강조합니다. '분포 보존'에서 '최종 작업 유틸리티'로 목표를 전환함으로써 CoSpec 은 상당한 추론 속도 향상을 유지하면서 타겟 모델의 성능 한계를 깨뜨릴 수 있음을 보여줍니다. 이 연구는 미래의 추측적 디코딩 시스템이 엄격한 모방이 아닌 학습된 중재를 통해 중첩되지 않은 모델의 강점을 활용하는 데 초점을 맞춰야 함을 시사합니다.