🤖 machine learning

Approximate Speculative Decoding

이 논문은 새로운 초안 모델을 요구하거나 미세 조정을 할 필요 없이, 후회 예산(regret budget)에 기반하여 초안 토큰의 불일치를 선택적으로 수용함으로써 유효한 접미사를 재사용하여 처리량을 향상시키는, 자기회귀 생성 속도를 가속화하는 훈련 불필요 방식인 근사적 추측 디코딩(Approximate Speculative Decoding, ASD)을 소개한다.

원저자: Yuannuo Feng, Zegang Peng, Yuxin Xie, Yubing Ye, Yizhe Chen, Wenshuai Yao, Wenyong Zhou, Wang Kang

게시일 2026-08-05

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yuannuo Feng, Zegang Peng, Yuxin Xie, Yubing Ye, Yizhe Chen, Wenshuai Yao, Wenyong Zhou, Wang Kang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 매우 똑똑하지만 믿을 수 없을 정도로 느린 친구와 함께 이야기를 쓰려고 한다고 상상해 보세요. 당신이 이야기에 새로운 단어를 하나 추가하려고 할 때마다, 당신은 친구가 열심히 생각하고, 자신의 지식 도서관 전체를 확인한 뒤, 다음에 올 단어가 무엇인지 정확히 알려줄 때까지 기다려야 합니다. 이것이 현대의 AI 언어 모델이 작동하는 방식입니다. 그들은 한 번에 한 단어씩 텍다를 생성하며, "생각하는" 부분이 대부분의 시간을 차지하여 마치 페인트가 마르는 것을 지켜보는 것처럼 느껴지게 만듭니다. 이를 가속화하기 위해 과학자들은 "추측적 디코딩(speculative decoding)"이라는 기술을 발명했습니다. 이것은 마치 당신을 위해 다음 몇 단어를 미리 추측해 주는 빠르고 유능한 보조원을 두는 것과 같습니다. 그런 다음 당신은 느리지만 전문적인 친구에게 그 추측들이 맞는지 빠르게 확인해 달라고 요청합니다. 만약 전문가가 그 추측들에 동의한다면, 당신은 단 한 단어가 아니라 여러 단어를 한꺼번에 쓸 수 있게 되어 엄청난 시간을 절약할 수 있습니다.

하지만 여기에는 함정이 있습니다. 전문가 친구는 규칙에 매우 엄격합니다. 만약 보조원이 전문가가 선택했을 절대적인 완벽한 단어가 아닌 단 하나라도 잘못 추측한다면, 전문가는 즉시 전체 과정을 중단합니다. 그들은 그 차례에 보조원이 추측했던 나머지 모든 단어를 버립니다. 설령 그 단어들 대부분이 실제로 완벽했더라도 말이죠. 이는 마치 시험지를 채점하는 선생님이 단 하나의 오답을 보자마자 읽기를 멈추고 나머지 종이를 모두 쓰레기통에 던져버리는 것과 같습니다. 이 "전부 아니면 전무(all-or-nothing)" 규칙은 이야기를 완벽하게 유지해주지만, 보조원의 노력을 낭비하게 만들고 속도를 늦춥니다.

이 논문은 더 똑똑하고 유연한 선생님처럼 행동하는 **근사적 추측적 디코딩(Approximate Speculative Decoding, ASD)**이라는 새로운 방법을 소개합니다. 기존의 방식처럼 실수 하나 때문에 시험지 전체를 버리는 대신, ASD는 다음과 같이 묻습니다: "이 실수가 아주 미미한가? 그리고 보조원이 그 다음 몇 단어는 제대로 맞혔는가?" 만약 대답이 "예"라면, ASD는 그 작은 실수를 수용하고, 그 뒤에 따라오는 좋은 단어들을 유지하며 계속 진행합니다. 이는 마치 선생님이 "너 'because'의 철자는 틀렸지만, 그다음 열 단어는 완벽하게 썼으니, 그 단어 하나만 고치고 계속 가자"라고 말하는 것과 같습니다. 연구진은 사소한 오류에 대해 조금 더 관대해짐으로써, 이야기의 품질을 망치지 않으면서도 AI를 훨씬 더 빠르게 작성할 수 있다는 것을 발견했습니다.

"예산이 정해진" 보조사의 이야기

ASD의 핵심 아이디어는 모든 실수를 재앙으로 취급하지 않는 것입니다. 기존 방식에서는 보조원이 최선의 선택이 아닌 단어를 추측하면 시스템이 즉시 중단되었습니다. 하지만 저자들은 때때로 보생의 "틀린" 추측이 실제로는 정답과 매우 유사하며, 그 뒤에 오는 단어들은 여전히 완벽하다는 사실을 깨달았습니다.

이를 해결하기 위해 팀은 **예산(budget)**이 있는 시스템을 만들었습니다. 상상해 보세요, 당신에게는 "실수 토큰"이 담긴 항아리가 있습니다. 당신은 몇 번의 작은 실수를 할 수 있지만, 그 대가는 항아리에서 지불해야 합니다.

로컬 게이트(The Local Gate): 실수를 수용하기 전에, 시스템은 그 실수가 얼마나 "나쁜지"를 확인합니다. 만약 보조원의 추측이 완벽한 단어보다 아주 약간 덜 유력한 정도라면, 그것은 저렴한 실수입니다. 만약 엄청난 오류라면, 그것은 너무 많은 토큰을 소모하므로 시스템은 "안 된다"라고 말합니다.
블록 캡(The Block Cap): 한 번의 추측 묶음(batch) 내에서 너무 많은 실수를 할 수는 없습니다. 이는 보조원이 한꺼번에 너무 부정확해지는 것을 방지합니다.
요청 예산(The Request Budget): 이것은 전체 대화 동안 사용할 수 있는 총 토큰 항아리입니다. 일단 토ken을 다 쓰면, 당신은 다시 완벽해져야 합니다(기존의 엄격한 규칙을 따라야 합니다).

마법은 시스템이 작은 실수를 수용할 때 일어납로. 보조의 다음 몇 가지 추측이 실제로 완벽했기 때문에(즉, 전문가가 선택했을 것과 일치했기 때문에), 시스템은 그것들을 "재사용"할 수 있습니다. 시스템은 그것들을 다시 확인하기 위해 느린 전문가에게 요청할 필요가 없습니다. 그냥 그것들을 수용하고 앞으로 나아갑니다. 이는 "중단하고 버리는" 순간을 "수정하고 계속 가는" 순간으로 바꿉니다.

연구 결과

연구진은 수학 문제 풀이부터 코드 작성까지 다양한 작업에 대해 매우 인기 있는 AI 모델들(Qwen3, DeepSeek 등)을 사용하여 이 아이디어를 테스트했습니다. 그들은 모델을 새로 학습시키거나 보조원에게 새로운 것을 가르칠 필요가 없었습니다. 단지 "선생님"(검증기)이 채점하는 방식만을 바꾸었을 뿐입니다.

결과는 꽤 유망했습니다. 이 예산 기반 접근 방식을 사용함으로써, 시스템은 추가 학습 없이도 더 빨라졌습니다.

7가지의 서로 다른 작업 세트에서, 시스템은 엄격한 기존 방식에 비해 평균적으로 7.78% 더 빨라졌습니다.
MATH-500 데이터셋과 같은 최상의 경우, 속도는 11.73% 향상되었습니다.
DeepSeek-V4-Flash라는 거대 모델을 테스트했을 때, 수용률(시스템이 유지한 추측의 비율)이 약 10%에서 16% 정도 상승하는 것을 확인했습니다.

논문은 이 방법이 모든 것을 완벽하게 만드는 마법의 지팡이는 아니라는 점을 주의 깊게 명시하고 있습니다. 저자들은 이 방법이 AI가 답에 도달하는 경로를 변경한다는 점을 분명히 밝힙니다. 때때로 이야기가 약간 달라질 수 있고, 최종 답은 맞더라도 "해시"(텍text의 디지털 지문)가 변할 수 있습니다. 예를 들어, 일부 코딩 테스트에서는 정확도가 약간(1.5 퍼센트 포인트 미만) 떨어졌지만, 다른 많은 작업에서는 정확도가 동일하게 유지되거나 오히려 약간 향상되었습니다.

이것이 중요한 이유

이 논문의 묘미는 더 빠르고 새로운 AI를 구축하거나 새로운 보조원을 훈련할 필요가 없다는 데 있습니다. 단지 이미 가지고 있는 게임의 규칙을 바꾸는 것뿐입니다. 이는 마치 엄격한 교통 경찰이 모든 사소한 위반에 대해 차를 세우느라 도시 전체의 흐름을 늦추고 있을 때, 더 유연한 접근 방식이 아주 작고 관리 가능한 위험만을 감수하며 교통 흐름을 원활하게 유지할 수 있다는 것을 깨닫는 것과 같습니다.

저자들은 이 방법이 현재의 AI 시스템에서 더 많은 속도를 뽑아낼 수 있는 좋은 방법이라고 제안합니다. 그들은 속도 향상이 실질적이고 측정 가능하다는 점(일부 사례에서 최대 15.26%)을 강조하면서도, 사용자가 엄격한 완벽함을 아주 조금 양보하는 대신 속도를 얻는다는 점을 인지해야 한다고 강조합니다. 이것은 계산된 절충안입니다. 당신은 이야기를 훨씬 더 빨리 완성할 수 있으며, 대부분의 사람들에게는 미세한 표현의 차이가 전혀 중요하지 않을 것입니다. 논문은 이 "예산 기반" 접근 방식이 품질이 충분히 좋은지 확인하는 조건 하에, AI 생성을 더 빠르게 만드는 실용적인 학습 불필요(training-free) 방법이라고 결론짓습니다.

기술 요약: 근사적 추측 디코딩 (Approximate Speculative Decoding, ASD)

문제 정의

자기회귀적 대규모 언어 모델(LLM)은 토큰을 순차적으로 생성하며, 이 과정에서 거대한 타겟 모델의 반복적인 실행으로 인한 심각한 추론 병목 현상을 야기한다. 추측 디코딩(Speculative decoding)은 경량화된 "드래프터(drafter)" 모델을 사용하여 미래의 토큰 블록을 제안하고, 이를 타겟 모델이 병렬로 검증하는 방식을 통해 이 문제를 해결한다.

표준 그리디 검증(standard greedy verification) 하에서, 프로세스는 엄격하게 이진적(binary)이다: 검증기는 타겟 모델의 argmax(그리디) 토큰과 정확히 일치하는 가장 긴 접두사(prefix)를 확정한다. 불일치가 발생하는 즉히 프로세스는 중단되며, 나머지 드래프트 토큰들은 폐기되고 단 하나의 타겟 복구 토큰이 추가된다. 이 방식은 두 가지 주요 한계를 갖는다:

내재적 이진 절단(Inherent Binary Truncation): 타겟 로짓(logit)과의 차이가 미미한(낮은 후회/regret) 드래프트 토큰을, 타겟 모델이 강력하게 기피하는 토큰과 동일하게 취급하여 불일치가 발생하자마자 즉시 중단한다.
계산 낭비(Wasted Computation): 교사 강제(teacher-forced) 검증 패스에서, 타겟 모델은 이미 (불일치를 포함한) 접두사를 조건으로 하여 후속 드래프트 토큰들에 대한 점수를 매겼다. 조기 불일치가 발생하더라도, 그 이후의 연속된 접후(suffix)는 이미 새로운 실현된 접두사(realized prefix) 하에서 "타겟-그리디(target-greedy)" 상태일 수 있다. 표준 검증은 이러한 재사용 가능한 토큰들을 폐기하며, 이를 복구하기 위해 추가적인 타겟 포워드 패스를 요구한다.

핵 핵심 과제는 비-그리디(non-greedy) 토큰을 수용하는 것이 디코딩 궤적을 변경한다는 점이다. 비록 이것이 재사용 가능한 접후를 해제할 수는 있으나, 손실 없는 최적화는 아니다. 통제되지 않은 불일치의 누적은 작업 품질을 저하시킬 수 있다. 본 논문은 목표가 불일치를 무시하는 것이 아니라, 누적되는 크기를 제어하면서 제한된 수의 명시적 예외를 허용하는 것이라고 상정한다.

방법론: 근사적 추측 디코딩 (ASD)

ASD는 "첫 불일치 절단" 규칙을 예산 기반 최장 접두사 선택(budgeted longest-prefix selection) 전략으로 대체하는 학습 불필요(training-free) 검증기 측 방법론이다. 이는 드래프트 모델을 수정하지 않고도 작동하며, 미세 조정(fine-tuning)을 요구하지 않고, 추가적인 타겟 모델 포워드 패스를 더하지 않는다.

핵심 메커즘

로컬 타겟-로짓 후회 (Local Target-Logit Regret):
드래프트 토큰 $x_i$ 와 타겟 argmax $y^*_i$ 에 대해, ASD는 $r_i = z_i(y^*_i) - z_i(x_i)$ 인 로컬 후회(regret)를 계산한다. 이는 올바른 토큰에 대한 타겟의 선호도를 드래프트 토큰과 비교하여 나타낸다.
3계층 제어 시스템 (Three-Layer Control System):
ASD는 다음 세 가지 제약 조건을 모두 만족할 때만 불일치를 수용하며, 이를 통해 가장 긴 실행 가능한 연속 접두사를 선택할 수 있게 한다:
- 로컬 후회 게이트 ( $g$ ): 정규화된 게이트 $r_i / q_i \leq g$ (여기서 $q_i$ 는 남은 제안 길이)는 개별적으로 비용이 많이 드는 불일치를 필터링하여, 잠재적인 접후 재사용에 비례하는 예외를 선호하도록 한다.
- 블록당 예외 캡 ( $M$ ): 오류의 집중을 방지하기 위해 단일 드래프트 블록 내에서의 예외 수를 제한한다.
- 지속적 요청 레벨 후회 예산 ( $B$ ): 전체 요청에 걸친 누적 후회( $s$ )를 관리하는 장부를 유지한다. 접두사는 $C_t \leq B - s$ 인 경우에만 실행 가능하다. 이는 생성 과정 전반의 총 편차를 제한한다.
실현된 접두사 접후 재사용 (Realized-Prefix Suffix Reuse):
ASD가 불일치로 끝나는 접두사를 확정하면, 실현된 히스토리(수용된 불일치를 포함한 히스토리) 하에서도 여전히 타겟-그리디 상태를 유지하는 후속 드래프트 토큰들을 재사용한다. 이 토큰들은 추가적인 근사적 결정이나 추가적인 타겟 포워드 패스 없이 확정된다.
벡터화된 구현 (Vectorized Implementation):
알고리즘은 위의 제약 조건들을 바탕으로 드래프트 블록의 각 위치에 대한 실행 가능성 마스크(feasibility mask)를 구축한다. 수용된 길이는 누적 합(cumulative sums)과 곱(products)을 통해 $O(K)$ 시간 내에 계산 가능한 마스크의 가장 긴 '모두 참(all-true)' 접두사이다. $B=0$ 일 때, ASD는 표준의 엄격한 그리디 검증을 정확히 복구한다.

주요 기여

본 논문은 세 가지 주요 기여를 한다:

정식화: 근사적 그리디 검증을 예산 기반 최장 연속 접두사 선택 문제로 정식화하며, 수용된 드래프트-타겟 불일치를 계상하기 위해 지속적인 요청 레벨 장부를 활용한다.
메커니즘 식별: 실현된 접두사 접후 재사용을 식별하고 정형화하여, 캐시가 일관되게 업데이트되는 한, 예외 수용 후에도 연속적인 타겟-그리디 접후를 추가적인 근사 결정 없이 확정할 수 있음을 입증한다.
경험적 검증: 제안 생성 메커니즘의 변경 없이 다양한 모델과 태스크에서 처리량(throughput)을 유의미하게 개선함을 보여주는 실험적 증거를 제공한다.

실험 결과

Qwen3-8B/14B, Llama-3.1-8B, Qwen2.5-7B 타겟과 DSpark, EAGLE3, Medusa 드래프터를 조합하여 GSM8K, MATH-500, HumanEval, MBPP, MMLU, MT-Bench, Alpaca 벤치마크에서 실험을 수행하였다.

처리량 이득 (Throughput Gains): ASD는 일치하는 엄격한 추측 디코딩 대비 고정 워크로드 처리량을 3.05%–15.26% 향상시킨다.
- Qwen3-14B + DSpark-14B의 경우, 7개 태스크 평균 이득은 **7.78%**이다.
- 관찰된 최고 이득은 Llama-3.1-8B + EAGLE3를 사용한 GSM8K에서 **15.26%**였다.
정확도 트레이드오프 (Accuracy Trade-offs): 이 방법은 출력 보존형 최적화가 아닌 제어된 근사화이다.
- 주요 DSpark-14B 매트릭스에서 7개 중 5개 태스크가 비음수(non-negative)의 정확도 변화를 보였다.
- 관찰된 정확도 감소는 미미했다 (예: HumanEval에서 -0.61 포인트, MT-Bench에서 -0.64 포인트).
- GSM8K 및 MATH-500에서 해시 발산(hash divergence)은 95%를 초과하여 궤적이 변경되었음을 나타냈으나, 측정된 정확도는 안정적이거나 오히려 향상되었다.
확장성 (Scalability): 이득은 다양한 드래프터 제품군(DSpark, EAGLE3, Medusa)과 타겟 모델 전반에 걸쳐 지속되며, 이는 이 데가 제안 구조보다는 검증기 측 메커니즘에 의해 주도됨을 나타낸다.
대규모 모델 호환성: DSpark를 사용한 DeepSeek-V4-Flash (284B)의 FP4-to-FP8 호환 설정에서, ASD는 GSM8K 및 MATH-500에서 검증기 측 수용률을 약 10%–16% 높였다.

의의 및 주장

본 논문은 ASD가 광범위하게 호환 가능한, 학습이 필요 없는 빠른 그리디 블록 단위 추측 디코딩 경로를 제공한다고 주장한다. 그 의의는 다음과 같다:

제안과 검증의 분리: 드래프터를 개선하는 데 집중하는 기존 연구와 달리, ASD는 점수 산출이 완료된 후의 검증기 결정 과정을 최적화한다.
명시적 트레이드오프 제어: 지속적인 후회 예산과 로컬 게이트를 도입함으로써, ASD는 엄격한 검증의 이진적 "전부 아니면 전무(all-or-nothing)" 성격을 넘어 속도-정확도 경계선을 명시적으로 튜닝할 수 있게 한다.
시스템 효율성: 타겟 검증 라운드를 줄이고 타겟 점수가 매겨진 접후를 재사용함으로써, 추가적인 포워드 패스나 모델 재학습 없이 처리량 이득을 달고한다.

저자들은 ASD가 누적된 로컬 후회를 제한하지만, 동일한 출력을 보장하거나 의미론적 보존 또는 태스크 정답성을 보장하는 것은 아님을 강조한다. 따라서, 특정 타겟, 드래프터 및 워크로드 조합에 대해 검증기 제어 파라미터를 분리된 데이터에서 동결한 후, 자연스러운 EOS(End-of-Sentence) 태스크 품질 감사를 수행하는 배포 모델을 권장한다.