🤖 machine learning

Variational Speculative Decoding: Rethinking Draft Training from Token Likelihood to Sequence Acceptance

이 논문은 드래프트 훈련을 타겟 모델의 시퀀스 수용을 극대화하기 위한 변분 추론으로 재구성하여, 적응형 가중치 및 정규화를 갖춘 기댓값 최대화 절차를 통해 훈련-디코딩 간의 불일치를 해결함으로써 기존 방식보다 상당한 추론 속도 향상을 달성하는 새로운 프레임워크인 변분 추측 디코딩(Variational Speculative Decoding, VSD)을 소개한다.

원저자: Xiandong Zou, Jianshu Li, Jing Huang, Pan Zhou

게시일 2026-08-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiandong Zou, Jianshu Li, Jing Huang, Pan Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초고성능 로봇에게 이야기를 쓰는 법을 가르치려 한다고 상상해 보세요. 이 로봇은 거대 언어 모델(LLM)로 알려져 있는데, 매우 유능하지만 동시에 엄청나게 느립니다. 이 로봇은 문장을 한 단어씩 써 내려가며, 다음 단어를 생각하기 위해 매 단어마다 멈춰 서서 고민하는 방식으로 작동합니다. 이 "멈춰서 생각하기" 과정은 안전하고 정확하지만, 이 때문에 로봇은 마치 당밀 속을 헤치며 나아가는 것처럼 느껴지게 만듭니다.

이 속도를 높이기 위해, 과학자들은 "추측 디코딩(speculative decoding)"이라는 영리한 기술을 발명했습니다. 이것을 두 명의 팀으로 생각해보세요. 빠르고 활기찬 주니어 조수("초안 모델", draft model)와 현명하고 느린 감독관("타겟 모델", target model)입니다. 주니어 조수는 이야기의 다음 몇 단어를 매우 빠르게 추측하려고 노력합니다. 그러면 감독관이 이 추측들을 검토합니다. 만약 추측이 맞다면, 로봇은 그 모든 단어를 한꺼번에 받아들여 느리게 "생각하는" 시간을 건너뜁니다. 만약 추측이 틀렸다면, 감독관이 이를 수정하고 다시 시도합니다. 목표는 주니어 조수가 길고 정확한 단어의 사슬을 추측하게 하여, 감독관이 이를 큰 묶음으로 승인할 수 있게 함으로써 전체 과정을 비약적으로 빠르게 만드는 것입니다.

하지만 여기에는 함정이 있습니다. 주니어 조수는 보통 "완벽한" 정답을 보여주고 그 단 하나의 경로를 암기하도록 훈련받습니다. 하지만 실제 게임에서 감독관은 단 하나의 경로만을 보는 것이 아니라, 가능한 수많은 선택지들로 이루어진 하나의 나무(tree)를 보며 그중 최선의 것들을 골라냅니다. 주니어 조수를 단 하나의 직선 경로만을 따르도록 훈련시키는 것은, 감독관이 실제로 거대한 숲의 옵션들을 살펴보고 있을 때 그 모델을 아주 형편없게 만든다는 사실이 밝혀졌습니다. 조수가 훈련받는 방식과 실제로 게임을 수행하는 방식 사이의 이러한 불일치는 이 AI 로봇들의 속도를 저해해 왔습니다.

논문의 핵심 아이디어: 조수를 훈련하는 새로운 방법

이 논문에서 연구자들은 **변분 추측 디코딩(Variational Speculative Decoding, VSD)**이라는 새로운 훈련 방법을 제안합니다. 연구자들은 기존의 초안 모델 훈련 방식이, 마치 레이싱 카 드라이버에게 복잡하고 구불구불한 코스를 주행하는 실제 경주를 가르치는 대신, 오직 하나의 곧은 트랙에서만 운전하도록 가르치는 것과 같다는 점을 깨달았습니다.

기존 방식의 문제점
저자들은 현재의 방식들이 초안 모델을 "탐욕스럽게(greedy)" 훈련시킨다고 설명합니다. 즉, 이 모델은 항상 가장 가능성이 높은 다음 단어 하나를 선택하도록 교육되어, 하나의 직선적인 텍스트 경로를 만들어냅니다. 하지만 실제 게임 중에 시스템은 단 하나의 선만을 체크하는 것이 아니라, 다양한 단어 조합으로 이루어진 "트리(tree)"를 생성한 뒤 그중 최선의 것들을 선택합니다. 논문은 이것이 불일치를 만든다는 것을 보여줍니다. 즉, 모델은 특정 경로 하나에 대해서는 완벽하도록 훈련받지만, 실제 게임은 수많은 경로에 대해 능숙할 것을 요구한다는 것입니다. 실제로 실험 결과, 모델이 훈련받은 "완벽한" 경로가 게임 도중 버려지는 경우가 약 30%에 달했습니다. 이는 그 경로가 여러 옵션 중에서 실제로 최선의 선택이 아니었기 때문입니다.

새로운 해결책: 숲 전체로부터 배우기
VSD는 훈련의 규칙을 바꿉니다. 단순히 하나의 직선 경로를 암기하는 대신, 새로운 방법은 초안 모델을 "변분 추 inference(variational inference)" 문제로 취급합니다. 쉽게 말해, 이 모델은 단 하나의 나무가 아니라 전체 숲의 가능성을 이해하도록 학습됩니다. 모델은 단순히 단 하나의 "최선"의 단어를 추측하는 것이 아니라, 감독관에 의해 승인될 가능성이 높은 일련의 경로들을 추측하는 법을 배웁니다.

이를 위해 연구자들은 영리한 2단계 프로세스(Expectation-Maximization 절차라고 불림)를 사용합니다:

추측 단계 (E-step): 모델은 많은 다양한 가능한 이야기 경로들을 생성합니다. 특별한 "오라클(oracle, 똑똑한 필터)"이 이 경로들을 검사하여, 감독관의 테스트를 통과할 것처럼 보이는 경로들은 남겨두고 좋지 않은 것들은 버립니다.
학습 단계 (M-step): 모델은 이렇게 "남겨진" 경로들로부터 학습합니다. 하지만 여기서 반전이 있습니다. 연구자들은 학습을 안정적이고 스마트하게 만들기 위해 두 가지 특별한 도구를 추가했습니다.
- 적응형 거부 가중치 (Adaptive Rejection Weighting, ARW): 이것은 학생이 어려움을 겪고 있는지 아는 코치 역할을 합니다. 모델이 많은 잘못된 추측을 하고 있다면, 코치는 노이즈를 무시하고 소수의 좋은 추측에 집중합니다. 모델이 잘하고 있다면, 코치는 모델이 더 빨리 개선될 수 있도록 실수를 주목합니다.
- 신뢰도 인지 정규화 (Confidence-Aware Regularization, CAR): 이것은 모델이 "과도한 자신감"을 갖지 않도록 방지합니다. 만약 모델이 틀린 추측에 대해 99% 확신한다면, 이 도구는 큰 벌점을 부여합니다. 이는 모델에게 겸손함을 가르치고, 잘못된 생각에 고집스럽게 매달리는 대신 다른 옵션들을 탐색하도록 가르칩니다.

연구 결과
연구자들은 LLaMA와 같은 텍스트 전용 모델부터 LLaVA와 같이 이미지를 볼 수 있는 모델에 이르기까지 여러 가지 AI 모델에 대해 이 새로운 방법을 테스트했습니다. 그들은 VSD가 모델을 멍청하게 만들지 않으면서도 일관되게 AI를 더 빠르게 만든다는 것을 발견했습니다.

속도: 텍스트 모델의 경우, VSD는 기존의 최고 방식인 EAGLE-3보다 최대 9.6% 더 빠르게 만들었습니다.
승인율: "조수"는 한 번에 더 많은 단어를 승인받을 수 있었습니다. 평균적으로, 기존 방식이 5~~6개의 토큰(텍text 덩어리)을 승인받았던 것에 비해, VSD는 한 번에 **6~~7개**의 토큰을 승인받았습니다.
멀티모달의 마법: 이미지와 텍스트 모델에서도 동일하게 잘 작동하여, 해당 모델들을 위한 기존 최고의 방식인 ViSpec보다 속도를 7.9% 향상시켰습니다.

이것이 중요한 이유
이 논문은 조수에게 단 하나의 움직임이 아닌 전체 게임을 생각하는 법을 가르침으로써 어떻게 AI의 속도를 크게 높일 수 있는지를 증명합니다. 저자들은 자신들의 방법이 "기대 승인 길이(expected acceptance length, 한 번에 승인되는 단어 수)"를 개선한다는 것을 수학적으로 보장한다는 것을 보여주었습니다. 그들은 단순히 추측한 것이 아니라, 코딩, 수학 문제 풀이, 이미지에 대한 질문 답변 등 다양한 과업에 걸쳐 이를 측정했습니다.

요약하자면, VSD는 초안 모델이 단 하나의 움직임이 아닌 전체 게임을 고려하도록 훈련함으로써 훈련의 불일치를 해결하며, 이를 통해 모델이 추측을 할 때 감독관이 실제로 승인할 가능성이 높은 추측을 하도록 보장합니다. 이는 AI가 마치 당밀 속을 헤매는 것이 아니라, 전력 질주하는 것처럼 느끼게 만듭니다.

기술 요약: 변분 추측 디코딩 (Variational Speculative Decoding, VSD)

1. 문제 정의: 학습-디코딩 분포 불일치 (Training-Decoding Distributional Discrepancy)

기존의 추측 디코딩(speculative decoding) 방식은 경량화된 초안 모델(draft model)이 토큰을 제안하고, 타겟 모델이 이를 병렬로 검증함으로써 대규모 언어 모델(LLM) 및 멀티모달 LLM(MLLM)의 추론 속도를 가속화합니다. 그러나 근본적인 학습-디코딩 불일치가 존재합니다.

결정론적 학습 vs. 확률적 디코딩: 기존의 초안 모델은 일반적으로 단일 "그리디(greedy)" 토큰 궤적을 예측하도록 교차 엔트로피(cross-entropy)를 통해 학습됩니다. 반면, 실제 디코딩은 확률적인 다중 경로 샘플링(예: 트리 기반 탐색), 후보 순위 지정, 그리고 여러 경로의 검증을 포함합니다.
토큰 수준의 가능도 vs. 경로 수준의 효용성: 학습은 단일 경로를 따르는 개별 토큰의 가능도(likelihood)를 최적화합니다. 그러나 디코딩은 경로 수준에서 의사결정을 내리며, 여기서 초안 경로의 가치는 시퀀스 전반에 걸친 누적 확신도와 검증 과정에서의 생존 능력에 달려 있습니다.
결과: 표준적인 학습 방식은 초안 분포를 단일 결정론적 경로로 붕괴시킵니다. 본 논문의 실증적 분석에 따르면, 학습 시의 그리디 경로 중 약 30%가 초안 트리 구축 과정에서 제거되며, 최종적으로 수락된 경로가 그리디 경로와 일치하는 경우는 약 36%에 불과합니다. 이러한 불일치는 달성 가능한 추론 가속도를 제한합니다.

2. 방법론: 변분 추측 디코딩 (Variational Speculative Decoding, VSD)

저자들은 **변분 추측 디코딩(VSD)**을 제안하며, 이는 초안 학습을 잠재적 초안 경로(latent draft paths)에 대한 변분 추론 문제로 재정의합니다.

2.1. 변분 정식화 (Variational Formulation)

VSD는 초안 경로 $z$ 를 잠재적 제안(latent proposal)으로 취급합니다. 목표는 경로가 유효할(즉, 타겟 모델에 의해 수락될) 주변 확률(marginal probability)을 최대화하는 것입니다.

경로 수준의 유효성: 초안 경로 $z = (z_1, \dots, z_\ell)$ 에 대해, 유효성 확률 $\kappa(x, z)$ 는 모든 토큰이 수락될 결합 확률로 정의됩니다: $\kappa(x, z) = \prod_{i=1}^\ell \alpha_i(x, z_{<i})$ , 여기서 $\alpha_i$ 는 토큰 단위 수락 확률입니다.
증거 하한 (Evidence Lower Bound, ELBO): 저자들은 로그 주변 수락 확률 $\log Z_\theta(x)$ $lo g Z_{θ} (x)$ 에 대한 ELBO를 도출합니다:
$\mathcal{L}_{VSD}(\psi; x) = \mathbb{E}_{z \sim q_\psi}[\log \kappa(x, z)] - D_{KL}(q_\psi(z|x) \parallel p_\theta(z|x))$
- 첫 번째 항은 초안 모델이 높은 수락 확률을 가진 경로(경로 수준의 효용성)를 생성하도록 유도합니다.
- 두 번째 항(KL 발산)은 초안 분포를 타겟 모델의 분포에 가깝게 유지하여 퇴보적인 해(degenerate solutions)를 방지하는 정규화 역할을 합니다.

2.2. 기댓값 최대화(EM)를 통한 최적화

유효한 경로에 대한 사후 확률(posterior)을 구하는 것은 난해하므로, VSD는 몬테카를로 기반의 EM 절차를 사용하여 ELBO를 최적화합니다.

E-단계 (Oracle-Filtered Sampling): 초안 모델이 후보 경로 배치를 생성합니다. "오라클"(타겟 모델의 그리디 경로 기반)이 이 후보들을 필터링하여, 높은 효용성을 가진 경로는 유지하고 거부된 경로는 타겟 정책으로부터 얻은 교정 샘플로 대체합니다. 이를 통해 유효 경로 사후 확률의 경험적 근사치를 구축합니다.
M-단계 (Weighted Likelihood Maximization): 초안 모델 파라미터는 E-단계에서 수락된 샘플의 가능도를 최대화하도록 업데이트됩니다. 안정성과 효율성을 보장하기 위해 두 가지 메커니즘이 도입됩니다:
1. 적응형 거부 가중치 (Adaptive Rejection Weighting, ARW): 제어 변수 계수가 초안 모델의 현재 신뢰도에 따라 거부된 샘플의 가중치를 동적으로 재조정합니다. 이는 그래디언트 분산을 줄여 초안 모델이 약할 때 발생하는 불안정한 업데이트를 방지합니다.
2. 신뢰도 인지 정규화 (Confidence-Aware Regularization, CAR): 유효하지 않은 경로에 높은 확신도를 부여하는 것을 억제합니다(hard-negative mining). 이는 초안 모델의 확신도를 기준으로 거부된 제안의 가중치를 재조정하여, 검증 비용을 높이는 과잉 확신 오류를 방지합니다.

3. 주요 기여

새로운 프레임워크: VSD는 초안 학습을 단일 토큰 예측이 아닌 잠재 경로에 대한 변분 추론으로 공식화함으로써, 학습-디코딩 분포 불일치를 명시적으로 해결한 최초의 프레임워크입니다.
이론적 보장:
- 정리 1: VSD 목적 함수를 최대화하는 것이 기대 수락 길이(expected accepted length)의 증명 가능한 하한을 높인다는 것을 입증합니다.
- 정리 2: VSD가 기존의 KL 전용 학습(단순히 $D_{KL}(q_\psi \parallel p_\theta)$ 를 최소화하는 방식)보다 기대 수락 길이에 대해 엄격하게 더 타이트한 하한을 제공함을 보여줍니다.
- 정리 3: 각 EM 단계에서의 최적 초안 분포가 단계별 유효 경로 사후 확률임을 규명합니다.
알고리즘 혁신: ARW와 CAR의 통합은 초안 트리의 몬테카를로 샘플링에서 발생하는 높은 분산을 관리하며 경로 수준 목적 함수의 학습을 안정화합니다.

4. 실험 결과

저자들은 LLaMA-3.1/3.3, Vicuna, DeepSeek-R1과 같은 다양한 LLM과 LLaVA-1.5와 같은 MLLM을 대상으로 MT-Bench, HumanEval, GSM8K 및 다양한 시각적 작업(VQAv2, ChartQA 등) 벤치마크에서 VSD를 평가했습니다.

성능 향상:
- LLM: VSD는 SOTA인 EAGLE-3 대비 최대 9.6%의 속도 향상을 달行하며, 평균적으로 수락 길이를 7.6% 개선합니다.
- MLLM: VSD는 최상의 ViSpec 베이스라인 대비 최대 7.9%의 속도 향상을 달성하며, 수락 길이를 7.9% 개선합니다.
호환성: VSD는 모듈식 구조로, 기존 방법론(예: EAGLE-3, MSD, ViSpec, GRIFFIN, HASS)을 강화하는 데 적용될 수 있으며, 기반이 되는 초안 아키텍처에 관계없이 일관된 성능 향상을 보여줍니다.
절제 연구 (Ablation Studies):
- 잠재 제안의 수( $S$ )를 늘릴수록 성능이 일관되게 향상되어, 다중 경로 탐색을 활용하는 VSD의 능력을 확인시켜 줍니다.
- ARW와 CAR 모두 성능에 크게 기여합니다. 이들을 제거하면 높은 분산과 과잉 확신 오류로 인해 속도 향상 및 수락 길이가 감소합니다.
- VSD는 긴 호라이즌의 일관성이 필요한 작업(예: 코드 생성, 수학적 추론)과 베이스라인의 그리디 수락률이 낮은 경우에 더 큰 상대적 이득을 보입니다.

5. 의의 및 주장

본 논문은 VSD가 추측 디코딩 학습의 원칙적인 전환을 의미한다고 주장합니다. 토큰 수준의 가능도에서 시퀀스 수락으로 이동함으로써, VSD는 초안 모델의 목적 함수를 실제 디코딩 과정(다중 경로 검증)과 일치시킵니다.

이론적 정렬: 이 연구는 변분 하한과 실제 실행 시간(wall-clock) 가속도 사이의 직접적인 수학적 연결을 확립하여, 전통적인 토큰 수준 학습보다 효율성 향상을 이론적으로 보장합니다.
실질적 영향: 결과는 VSD가 출력 품질을 저하시키지 않으면서(lossless) 텍스트 및 멀티모달 모델의 추론 효율성을 크게 높이는 보완적이고 즉각 적용 가능한(drop-in) 향상책임을 입증합니다.
한계점: 저자들은 현재 설정에서 잠재 제안의 수( $S$ )를 40 이상으로 확장하는 데 계산적 제약이 있음을 언급했으나, 더 큰 $S$ 를 사용할 경우 추가적인 이득이 있을 것으로 기대하고 있습니다. 또한 VSD를 다른 모달리티(예: 음성)로 확장하는 것을 향후 과제로 꼽았습니다.