🤖 machine learning

A Practical Investigation of Training-free Relaxed Speculative Decoding

이 논문은 학습이 필요 없는 완화된 투기적 디코딩(relaxed speculative decoding)에 대한 실질적인 조사와 통합된 프레임워크를 제공하며, 이러한 방법들이 속도 향상이나 능력 향상을 제공할 수 있음에도 불구하고, 종종 상당한 능력 평가를 요구하고 경량화된 전용 드래프터보다는 고품질의 언어 모델 드래프터에 의존한다는 점을 밝히고 있습니다.

원저자: Guoxuan Xia, Luka Ribar, Paul Balanca

게시일 2026-07-10

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Guoxuan Xia, Luka Ribar, Paul Balanca

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑하지만 속도는 느린 로봇 친구(검증자, Verifier)와 함께 이야기를 쓰려고 한다고 상상해 보세요. 당신이 단어를 하나 추가하려고 할 때마다, 로봇은 멈춰서 열심히 생각한 뒤 한 글자 한 글자 타이핑해야 합니다. 이것이 바로 현대의 대부분의 AI 챗봇이 작동하는 방식입니다. 매우 뛰어나지만, 한 번에 한 가지 일만 할 수 있기 때문에 고통스러울 정도로 느립니다.

속도를 높이기 위해, 연구자들은 **추측적 디코딩(Speculative Decoding)**이라는 기술을 발명했습니다. 이 기술은 빠르고 재빠른 조수(초안 작성자, Drafter)를 데려와서 다음 몇 단어를 매우 빠르게 추측하게 합니다. 그러면 느린 로봇은 이 추측들을 한꺼번에 확인합니다. 만약 추측이 맞다면, 아주 잘된 일입니다! 이야기는 빠르게 진행됩니다. 만약 추측이 틀렸다면, 로봇은 그것을 수정하고 계속 진행합니다. 결정적으로, 이 기술의 "엄격한(strict)" 버전에서는 로봇이 매우 신중하기 때문에 최종적인 이야기의 품질을 절대 바꾸지 않습니다. 단지 더 빠르게 도달할 뿐입니다. 마치 단 하나의 쉼표조차 반드시 필요한 경우가 아니면 절대 바꾸지 않는 교정가와 같습니다.

하지만 최근 일부 연구자들은 이렇게 질문했습니다. "만약 우리가 로봇을 조금 더 느긋하게 만들어준다면 어떨까? 만약 우리가 완벽하게 옳지는 않더라도, 훨씬 더 빠르게 가기 위해 몇몇 추측을 받아들일 수 있다면 어떨까?" 이것을 **완화된 추측적 디코딩(Relaxed Speculative Decoding)**이라고 부릅니다. 이 아이디어는 이야기의 품질을 아주 조금 희생하는 대신 엄청난 속도 향상을 얻거나, 혹은 빠른 조수가 더 많은 자유를 가짐으로써 이야기를 오히려 더 좋게 만드는 것을 목표로 합니다.

이 논문은 그러한 아이디어를 테스트하기 위한 실질적인 조사입니다. 저자들은 이러한 "완화된" 방법들을 테스트하기 위해 실험실을 구축했으며, AI를 구축하는 방식을 바꿀 수도 있는 놀라운 진실들을 발견했습니다.

핵심 폭로: 단순히 "완화"하는 것이 전부가 아니다

이 논문에서 발견한 가장 중요한 사실은 규칙을 완화하는 것이 모두가 생각했던 것처럼 마법의 해결책이 아니라는 점입니다.

이것을 레이싱 카에 비유해 보겠습니다. 엔진(완화)을 튜닝할 수는 있지만, 타이어 크기가 잘못되었거나(초안 길이, Draft Length) 드라이버가 너무 무겁다면(초안 작성자의 비용, Cost of the Drafter) 더 빨리 갈 수 없습니다. 저자들은 단순히 한 번에 추측하는 단어의 개수(초안 길이)를 적절히 선택하고, 빠른 조수를 실행하는 비용을 저렴하게 유지하는 것이 복잡한 새로운 방법들을 사용하는 것보다 속도에 더 큰 영향을 미친다는 것을 발견했습니다. 실제로, 이러한 기본적인 설정들을 최적화하는 것만으로도 이야기의 품질을 위험에 빠뜨리지 않으면서도 복잡한 새로운 방법들과 동일한 속도 향상을 얻을 수 있습니다.

"조수" 문제: 모든 빠른 친구가 좋은 추측가는 아니다

여기서 까다로운 문제가 발생합니다. 많은 "완화된" 방법들은 빠른 조수가 그 자체로 훌륭한 언어 모델이라는 점에 의존합니다. 그들은 조수가 약간의 실수를 하더라도 이야기가 여전히 말이 될 만큼 똑똑하다고 가정합니다.

논문은 대부분의 완화된 방법들을 사용할 때 최신 전문화된 "다중 토큰 예측(Multi-Token Prediction, MTP)" 모듈을 사용하는 것에 대해 명시적으로 반대합니다. 이들은 현대 AI 모델에 내장된, 다음 몇 단어를 추측하기 위해 만들어진 작고 매우 빠른 추가 기능들입니다. 저자들은 이 MTP 모듈들이 엄격한 규칙 아래에서는 추측을 잘 해내지만, "완화된" 추측가로 쓰기에는 부적합하다는 것을 발견했습니다.

왜 그럴까요? 그들은 실제로 똑똑한 언어 모델이 아니라, 그저 패턴 매칭기에 불과하기 때문입니다. 이들을 "완화"하여 사용하면, 그들은 횡설수설하기 시작합니다. 그들은 루프에 갇혀 똑같은 수학 방정식을 고장 난 레코드판처럼 반복하거나, 끝도 없이 의미 없는 말을 늘어놓습니다. 논문은 이 방법들이 초당 더 많은 단어를 처리할 수는 있을지 몰라도, AI가 그저 헛소리를 지껄이고 있기 때문에 최종 답변을 읽는 데는 오히려 더 오래 걸린다는 것을 보여줍니다.

핵심 발견: 만약 당신의 빠른 조수가 특화된 경량 도구(예: MTP 모듈)라면, 대부분의 완화된 방법을 사용하지 마십시오. 그 방법들은 당신의 AI를 혼란에 빠진 앵무새처럼 만들 것입니다. 논문은 한 가지 주요 예외를 언급하는데, 진실로부터 얼마나 벗어나는지에 대해 매우 엄격한 CACTUS라는 방법은 이러한 경량 도구로도 약간의 속도 향상을 짜낼 수 있지만, 이 역시 더 똑똑한 조수를 사용하는 것에 비하면 고전한다는 점을 지적합니다.

"강력한 조수"의 트레이드오프

반대로, 만약 당신이 단순한 도구가 아니라 강력하고 똑똑한 언어 모델을 조수로 사용한다면, 완화된 방법들은 훨씬 더 잘 작동합니다. 이들은 이야기를 망치지 않으면서 실제로 속도를 높일 수 있습니다.

하지만 여기에는 함정이 있습니다. 강력한 조수는 실행하는 데 비용이 많이 듭니다. 즉, 더 많은 컴퓨터 자원이 필요합니다. 따라서 더 빠른 이야기를 얻을 수는 있겠지만, 컴퓨터를 실행하는 비용이 올라가서 속도 향상 효과를 깎아먹게 됩니다. 논문은 업계가 관리하기 쉽다는 이유로 저렴한 MTP 모듈을 사용하는 방향으로 움직이고 있다고 제안하지만, 이는 갈등을 유발합니다: 최고의 "완화된" 속도 향상을 약속하는 방법들은 정작 업계가 멀리하려는 비싸고 똑똑한 조수를 필요로 하기 때문입니다.

"원 사이즈 피츠 올(One Size Fits All)"의 신화

또 다른 큰 발견은, 하나의 "완화 설정"( $\alpha$ 라고 불리는 숫자)을 골라서 모든 곳에 적용할 수는 없다는 것입니다. 논문은 이 설정들을 수학 문제(AIME)와 과학 질문(GPQA)에 대해 테스트했습니다. 그 결과, 수학에 아주 잘 작동하는 설정이 과학 질문에서는 성능을 완전히 망가뜨릴 수 있다는 것을 발견했습니다.

이것은 다음을 의미합니다: 만약 현실 세계에서 완화된 디코딩을 사용하고 싶다면, 당신이 신경 쓰는 모든 작업에 대해 이를 주의 깊게 테스트해야 합니다. "이것을 설정하고 잊어버려도 된다"는 식의 접근은 불가능합니다. 만약 당신의 AI가 수학에 완벽해야 한다면, 코딩에 완벽해야 할 때와는 다르게 튜닝해야 할 수도 있습니다.

실제로 이야기를 개선하는 단 하나의 방법

**추측적 대조 디코딩(spec-cont-dec)**이라는 방법은 조금 다른 일을 합니다. 이 방법은 단순히 더 빨라지려고 노력하는 대신, AI를 더 똑똑하게 만들려고 시 합니다. 이 방법은 빠른 조수를 사용하여 똑똑한 로봇의 생각에서 나쁜 아이디어들을 "빼내는" 방zu입니다.

논문은 이 방법이 (수학 테스트 점수처럼) 답변의 품질을 실제로 개선할 수 있다는 것을 발견했습니다. 하지만 여기에는 대가가 따릅니다: AI의 속도를 늦춥니다. 이것은 트레이드오프입니다. 더 똑똑한 답변을 얻는 대신, 더 오래 기다려야 합니다. 이것은 속도를 위해 능력을 희생하는 유일한 방법이며, 논문은 당신이 기다릴 용의가 있다면 이 방법이 작동한다는 것을 확인해 줍니다.

실무자를 위한 결론

논문은 "완화된 추측적 디코딩"이 표준적인 엄격한 버전의 마법 같은 "즉시 대체 가능한(drop-in)" 교체품이 아니라고 결론짓습니다.

과장된 광고를 믿지 마십시오: 어떤 방법이 속도를 약속한다고 해서, 그것이 당신의 특정 AI 설정에서도 작동한다는 뜻은 아닙니다.
조수를 확인하십시오: 만약 당신이 작고 특화된 초안 작성 도구를 사용하고 있다면, 대부분의 완화된 방법은 아마도 당신의 AI를 횡설수설하게 만들 것입니다. CACTUS가 유일한 잠재적 예외이지만, 그마저도 한계가 있습니다.
기본 사항을 먼저 튜닝하십시오: 화려한 완화 기술을 시도하기 전에, 한 번에 몇 단어를 추측할 것인지와 당신의 추측 도구가 비용을 얼마나 차지하는지를 먼저 최적화하십시오. 이것이 가장 가성비 좋은 방법입니다.
모든 것을 테스트하십시오: 이러한 방법들을 당신의 특정 작업에 맞춰 테스트해야 합니다. 한 가지 작업에 적합한 설정이 다른 작업에서는 실패할 수 있습니다.

요약하자면, 이 논문은 규칙을 완화하는 것이 효과가 있을 수는 있지만, 이는 똑똑한 조수와 세심한 튜닝이 필요한 섬세한 균형 잡기라는 점을 시사합니다. 최신 경량 AI 도구를 사용하는 대부분의 사람들에게는, 엄격하고 검증된 방법을 고수하는 것이 실제로 더 안전하고 효과적인 선택일 수 있습니다.

기술 요약: 학습이 필요 없는 완화된 투기적 디코딩(Training-free Relaxed Speculative Decoding)에 관한 실질적 조사

문제 정의

자기회귀적 대규모 언이 모델(LLM)은 현대 머신러닝 애플리케이션을 지배하고 있으나, 순차적인 토큰 생성으로 인한 고유한 생성 지연 시간 문제를 겪고 있다. **투기적 디코딩(Speculative Decoding, Spec-Dec)**은 더 빠른 보조 "드래프터(drafter)" 모델을 사용하여 제안된 토큰을 타겟 "검증기(verifier)" LLM이 병렬로 검증함으로써 추론을 가속화하지만, 표준 구현 방식은 **무손실(lossless)**이다. 즉, 검증기의 샘플링 분포를 엄격하게 보존한다.

최근 연구는 이 엄격한 분포 보존을 완화함으로써, 엄격한 spec-dec에서는 거부될 토큰이라도 의미적으로 유효하다면 수용하여 추가적인 속도 향상이나 심지어 능력 향상을 얻을 수 있다는 점을 시사한다. 그러나 **완화된 투기적 디코딩(Relaxed Speculative Decoding)**에 관한 문헌은 파편화되어 있으며, 서로 다른 실험 설정, 좁은 벤치마크, 그리고 속도와 능력 사이의 트레이드오프에 관한 상충하는 서사들을 보여준다. 특히 경량화된 전용 다중 토큰 예측(MTP) 드래프터로의 전환을 고려할 때, 이러한 학습이 필요 없는 완화 기법들이 실제 배포 시나리오에서 실행 가능한지에 대한 실무적인 가이드가 부족한 실정이다.

방법론

저자들은 학습이 필요 없는 완화된 투기적 디코딩 접근 방식을 분류하고 평가하기 위한 통합 프레임워크를 제 제안한다.

통합 프레임워크: 본 논문은 특정 알고리즘 단계(거부, 잔차 샘플링, 보너스 토큰 샘플링)에서 검증기 분포 $p$ 를 대체하는 완화된 타겟 분포( $\pi_{rej}, \pi_{res}, \pi_{bonus}$ )를 도입하여 완화된 spec-dec을 정형화한다. 이 프레임워크는 다양한 기존 방법들(예: CACTUS, Mentored Decoding, r-fuzzy, Speculative Cascades, Ensemble, Speculative Contrastive Decoding)을 단일 알고리즘 구조(Algorithm 2) 아래에 포함한다.
가속 모델링: 저자들은 생성 길이를 고려하도록 가속 모델을 개선한다. 엄격한 spec-dec과 달리, 완화된 방식은 평균 응답 길이( $\bar{L}$ )를 변화시킬 수 있다. 유효 가속도는 다음과 같이 모델링된다:
$S_{relax} \approx \frac{\bar{L}_{AR}}{\bar{L}_{relax}} \cdot \frac{\bar{l}_{accept} + 1}{1 + N_{draft} \cdot c_{rel}}$
여기서 $c_{rel}$ 은 드래프터의 상대적 비용이며, $\bar{l}_{accept}$ 는 수용된 평균 드래프트 토큰 수이다.
실험적 벤치마킹:
- 모델: 세 가지 드래프터-검증기 쌍을 테스트하였다: 전용 단일 레이어 MTP 모듈(Qwen3.5 MTP + 27B), 약한 일반 언어 모델(Qwen3 0.6B + 32B), 그리고 강한 일반 언어 모델(Qwen3 8B + 32B).
- 벤치마크: 현대적 추론 벤치마크(AIME 2024, GPQA Diamond, LiveCodeBench Lite)를 사용하였으며, 적용 가능한 경우 "사고 모드(thinking mode)"를 채택하였다.
- 파라미터: 드래프트 길이( $N_{draft} \in \{3, 5, 10, 20\}$ )와 상대적 드래프터 비용( $c_{rel} \in \{0.05, 0.2, 0.5\}$ )의 범위를 포괄하여 평가하였다.

주요 기여

분류 및 통합: 본 논문은 다양한 완화된 spec-dec 방법들을 일관된 분류 체계로 정리하여, 그들의 알고리즘적 차이와 근본적인 서사(예: 능력을 속도를 위해 희생하는 것 vs 능력을 향상시키는 것)를 명확히 한다.
실질적 조사: 다양한 드래프터 유형과 추론 설정에 걸쳐 이러한 방법들을 종합적으로 비교함으로써, 기존 문헌의 공정한 비교 결여 문제를 해결한다.
핵심 통찰 추출: 저자들은 드래프터의 능력, 드래프트 길이, 그리고 완화의 실행 가능성 사이의 상호작용을 강조하며 실무자를 위한 실질적인 가이드라인을 도출한다.

주요 결과 및 발견

1. 드래프트 길이 vs. 완화

엄격한 spec-dec 하에서 드래프트 길이( $N_{draft}$ )를 최적화하는 것은 완화를 적용하는 것과 비슷하거나 종종 더 큰 가속 효과에 영향을 미친다. 특정 설정에 대한 최적의 $N_{draft}$ 가 짧다면, 완화는 개선을 위한 "여지(headroom)"가 적기 때문에 수확 체감의 법칙이 나타난다.

2. 드래프터 능력의 결정적 역할

약한/전용 드래프터 (MTP): 경량화된 전용 MTP 모듈(예: Qwen3.5 MTP)은 대부분의 완화된 spec-dec 방식에 적합하지 않다. 이들은 엄격한 거부 조건 하에서는 잘 작동하지만, 완화된 거부 조건에서는 신뢰할 수 있는 언어 모델로서 기능하지 못한다. 이러한 드래프터로 완화를 적용하면 다음과 같은 현상이 발생한다:
- 상당한 능력 저하.
- "횡설수설하는(rambling)" 응답(반복 루프, 더 길어진 생성 길이)이 발생하여, 토큰 처리량 이득을 상쇄하고 결과적으로 순 가속도를 저하시킬 수 있음.
- 검증기로부터의 이탈을 엄격하게 제어하는 방식(예: CACTUS)만이 MTP 드래프터와 유용한 트레이드오프를 보여주었다.
강한 드래프터: 독립적인 언어 모델로서 강력한 드래프터(예: Qwen3 8B)는 거의 손실 없는 가속과 더 나은 능력-속도 트레이드오프를 가능하게 한다. 그러나 이러한 드래프터는 높은 추론 비용( $c_{rel}$ )을 초래하여 실제 달성 가능한 절대적 가속도를 제한한다.

3. 능력-속도 트레이드오프

CACTUS 및 Mentored Decoding: 이 방법들은 알고리즘적, 경험적으로 유사하며, 검증기로부터의 제어된 이탈을 제공한다.
드래프터 확신도에 의존하는 방법: 드래프터의 분포에 명시적으로 의존하는 방식(예: Speculative Cascades, r-fuzzy)은 드래프터가 약한 언어 모델일 경우 유용한 트레이드오프를 제공하지 못하며, 속도 이득 없이 능력 저하만을 초래한다.
Speculative Contrastive Decoding (Spec-Cont-Dec): 이 방법은 구별된다. 이는 "아마추어" 드래프터로부터 분포를 밀어냄으로써 능력을 향상시키는 것을 목표로 한다. 약한 드래프터를 사용할 때 속도를 희생하여 능력을 향상시키는 데 성공했으나, 강한 드래프터를 사용할 때는 능력을 향상시키지 못했다.

4. 하이퍼파라미터 일반화

완화 파라미터( $\alpha$ )는 서로 다른 태스크 간에 안정적으로 일반화되지 않는다. 한 벤치마크(예: AIME 2024)에서 좋은 트레이드오프를 보이는 $\alpha$ 값이 다른 벤치마크(예: GPQA)에서는 상당한 능력 손실을 일으킬 수 있다. 이는 태스크별 튜닝과 평가가 필수적임을 의미한다.

의의 및 주장

본 논문은 완화된 투기적 디코딩이 이론적 이점을 제공하지만, 그 실용성은 설정(setting)에 따라 크게 달라진다고 주장한다.

드롭인 교체 불가: 완화된 spec-dec은 엄격한 spec-dec의 보편적인 드롭인 교체제로 간주되어서는 안 된다. 이는 엄격한 spec-dec이 피할 수 있는 **능력 평가(capability evaluation)**라는 부담을 부과한다.
배포 제약: 능력이 중요한 배포 환경에서는, 완화 파라미터를 튜닝하기 위해 광범한 능력 평가에 투자할 의지가 없다면 엄격한 spec-dec이 여전히 선호된다.
드래프터 불일치: 커뮤니티의 경량화된 전용 MTP 드래프터로의 이동은, 드래프터가 유능한 일반 언어 모델임을 가정하는 경우가 많은 많은 완화된 spec-dec 방식의 전제 조건과 충돌한다.
전체론적 최적화: 실무자는 완화를 고려하기 전에 드래프트 길이와 드래프터 비용( $c_{rel}$ )을 최적화하는 것을 우선시해야 한다. 이러한 요소들이 실질적인 가속도에 더 깊은 영향을 미치는 경우가 많기 때문이다.

결론적으로, 저자들은 완화된 방식이 유용할 수 있지만(특히 강한 드래프터를 사용하거나 이탈을 엄격히 제어하는 방식의 경우), 이는 맹목적인 채택이 아닌 신중한, 배포별 튜닝과 평가를 요구한다는 주의적이지만 건설적인 가이드를 제공한다.