DIVERSED: Relaxed Speculative Decoding via Dynamic Ensemble Verification
이 논문은 타겟 모델의 분포를 엄격하게 일치시키는 기존 검증 방식의 한계를 극복하고, 작업 및 컨텍스트에 따라 동적으로 가중치를 조정하는 앙상블 검증기를 통해 추론 속도를 크게 향상시키면서도 생성 품질을 유지하는 'DIVERSED'라는 새로운 완화된 스펙큘레이티브 디코딩 프레임워크를 제안합니다.
원저자:Ziyi Wang, Siva Rajesh Kasa, Ankith M S, Santhosh Kumar Kasa, Jiaru Zou, Sumit Negi, Ruqi Zhang, Nan Jiang, Qifan Song
인공지능이 글을 쓸 때는 보통 한 글자씩 천천히 써나갑니다 (이걸 '자기 autoregressive' 방식이라고 합니다). 마치 한 걸음 한 걸음 신중하게 걷는 것과 같습니다.
기존의 'Speculative Decoding(추측적 디코딩)' 방식은 다음과 같이 작동합니다:
**작은 보조 레이서 (Draft Model)**가 먼저 "아마도 이 단어가 올 거야!"라고 여러 단어를 미리 추측해서 써봅니다.
**큰 메인 레이서 (Target Model)**가 그 추측을 엄격하게 검사합니다.
"맞아!" → 그대로 채택.
"아니야, 틀렸어!" → 모두 버리고, 다시 처음부터 다시 검사해야 합니다.
문제점: 메인 레이서가 너무 엄격해서 ("완벽하게 맞아야 해!") 많은 추측을 거절합니다. 이거 때문에 시간이 많이 걸립니다. 마치 "이 단어 100% 정확해야 해, 틀리면 다 다시 써!"라고 하는 꼴입니다.
💡 DIVERSED 의 해결책: "현명한 팀장"
이 논문에서 제안한 DIVERSED는 이 엄격한 검사를 조금 유연하게 바꾸는 방법입니다.
1. 고정된 규칙 vs. 상황에 맞는 판단
기존 방식 (Static Ensemble): "무조건 보조 레이서의 말을 30% 믿고, 메인 레이서의 말을 70% 믿자"라고 고정된 규칙을 적용합니다.
비유: 모든 상황에 똑같은 안경을 끼고 보는 것과 같습니다. 때로는 너무 어둡고, 때로는 너무 밝아서 잘 안 보일 수 있습니다.
DIVERSED 방식 (Dynamic Ensemble): **"지금 이 문맥에서는 뭐가 중요할까?"**를 실시간으로 판단합니다.
비유:현명한 팀장이 상황을 보고 안경을 바꿔 끼는 것입니다.
수학 문제의 계산 부분이나 중요한 결론이 나올 때는: "엄격하게! 메인 레이서의 말을 99% 믿어!" (오류 방지)
연결되는 접속사나 사소한 설명 부분에서는: "어차피 비슷하니까, 보조 레이서의 말을 80% 믿고 넘어가자!" (속도 향상)
2. 왜 이렇게 하는 걸까요?
논문은 "모든 틀린 추측이 나쁜 건 아니다"라고 말합니다.
예시: "오늘 날씨가 [맑음] 입니다." vs "오늘 날씨가 [맑다] 입니다."
문법적으로 미묘하게 다를 수 있지만, 의미는 같습니다. 기존 방식은 이를 '틀린 것'으로 치고 다시 쓰게 하지만, DIVERSED 는 "아, 의미는 통하니까 그냥 넘어가자"라고 판단하여 시간을 아낍니다.
하지만 "3 + 4 = [7]"을 "3 + 4 = [8]"으로 바꾸면 안 되죠. DIVERSED 는 이런 중요한 순간에는 자동으로 엄격해집니다.
🏆 결과: 어떻게 변했나요?
더 많은 추측을 받아들임: DIVERSED 는 보조 레이서가 제안한 단어 중 거의 20~30% 더 많이 받아들입니다. (기존 방식은 너무 많이 거절했습니다.)
정확도는 그대로: 속도는 빨라졌지만, 답이 틀리는 일은 없습니다. 수학 문제나 코딩에서도 똑같이 정확한 답을 냅니다.
최적의 균형 (Pareto Frontier): 속도와 정확도 사이에는 보통 ' trade-off(상충 관계)'가 있습니다. "더 빨리 하면 정확도가 떨어지고, 더 정확하면 느려진다"는 법칙이 있는데, DIVERSED 는 이 법칙을 뛰어넘었습니다. (그림 1, 2 참조)
📝 한 줄 요약
"DIVERSED 는 인공지능이 글을 쓸 때, '중요한 순간에는 엄격하게, 사소한 순간에는 유연하게' 판단하도록 도와주는 똑똑한 팀장입니다. 덕분에 인공지능은 더 빠르면서도 똑똑하게 답변할 수 있게 되었습니다."
이 기술은 앞으로 우리가 AI 와 대화할 때, 기다리는 시간을 획기적으로 줄여주면서도 여전히 똑똑한 답변을 받을 수 있게 해줄 것입니다.
1. 문제 정의 (Problem)
대형 언어 모델 (LLM) 의 추론 속도를 높이기 위해 Speculative Decoding (예측적 디코딩) 이 널리 사용되고 있습니다. 이 방법은 작은 'Draft Model(예측 모델)'이 토큰을 여러 개 미리 생성하고, 큰 'Target Model(목표 모델)'이 이를 병렬로 검증하여 수용하는 방식입니다.
하지만 기존 방식에는 다음과 같은 한계가 존재합니다:
경직된 검증 (Rigid Verification): 기존 방법 (Lossless SD) 은 Draft Model 이 생성한 토큰이 Target Model 의 분포와 정확히 일치할 때만 수용합니다. 이는 검증 단계에서 많은 수의 유효한 토큰을 불필요하게 거부 (Rejection) 하여, 전체적인 수용률 (Acceptance Rate) 을 낮추고 속도 향상 효과를 제한합니다.
정적 Ensemble 의 한계: 검증 규칙을 완화하기 위해 Draft 와 Target 모델의 분포를 고정된 가중치 (Static Weight) 로 섞는 'Static Ensemble' 방식이 제안된 바 있습니다. 이는 Pareto Frontier(속도와 품질의 최적 균형) 를 따르지만, 모든 문맥과 태스크에 동일한 가중치를 적용하기 때문에, 문맥에 따라 중요한 토큰에서는 품질이 떨어지거나, 중요하지 않은 토큰에서는 불필요하게 엄격해질 수 있습니다.
2. 방법론 (Methodology)
저자들은 이러한 한계를 극복하기 위해 DIVERSED (DynamIc VErification RElaxed SpEculative Decoding) 를 제안합니다. 이는 동적 앙상블 검증기를 학습하여 문맥과 태스크에 따라 유연하게 검증 규칙을 완화하는 프레임워크입니다.
핵심 구성 요소
동적 앙상블 분포 (Dynamic Ensemble Distribution):
고정된 가중치 대신, 현재 문맥 (x0:t−1) 과 토큰 위치에 따라 변하는 가중치 wt를 사용합니다.
앙상블 분포 νt는 다음과 같이 정의됩니다: νt(x)=wtpt(x)+(1−wt)qt(x) (여기서 pt는 Target Model, qt는 Draft Model 의 분포)
가중치 wt는 Draft 와 Target 모델의 은닉 상태 (htq,htp) 를 입력으로 받는 신경망 (Ensemble Head) 을 통해 학습됩니다.
학습 전략 (Training Strategy):
토큰 수준의 지도 학습 레이블이 부재하므로, 강화 학습 (Reinforcement Learning) 을 사용합니다.
목적 함수: 태스크의 최종 보상 (예: 수학 문제 정답 여부, 요약 품질 점수) 을 최대화하면서, 동시에 높은 수용률을 장려하는 정규화 항을 포함합니다. E[R(x1:T)+λ∑(1−TV(qt,νt))]
이를 통해 모델은 "어떤 문맥에서는 Target 에 가깝게 (품질 유지), 어떤 문맥에서는 Draft 에 가깝게 (수용률 증가)" 판단하도록 학습됩니다.
추론 과정 (Inference):
Draft Model 이 토큰 시퀀스를 생성하면, Target Model 은 병렬로 검증합니다.
학습된 Ensemble Head 가 각 단계별 가중치 wt를 계산하여 동적 앙상블 분포를 생성하고, 이를 기반으로 완화된 검증 규칙을 적용하여 토큰을 수용하거나 거부합니다.
3. 주요 기여 (Key Contributions)
이론적 분석 (Theoretical Justification):
기존 연구들이 가정했던 토큰 검증의 독립성 (i.i.d.) 가정을 제거하고, 토큰 위치와 순차적 의존성을 고려한 정확한 기대 수용 길이 (Expected Acceptance Length) 식을 유도했습니다.
정적 앙상블 (Static Ensemble) 이 Lossy Speculative Decoding 의 Pareto Frontier 상에 위치함을 증명했습니다.
동적 검증 프레임워크 제안:
문맥과 태스크에 따라 적응적으로 검증 규칙을 조절하는 DIVERSED를 제안하여, 정적 가중치 방식이 도달할 수 없는 Pareto Frontier 이상의 성능을 달성했습니다.
실험적 검증:
다양한 모델 쌍 (Llama, Qwen, Gemma) 과 태스크 (수학 추론, 요약, 코딩) 에서 DIVERSED 가 기존 방법들보다 현저히 높은 수용률을 달성하면서도 생성 품질을 유지함을 입증했습니다.
4. 실험 결과 (Results)
수용률 및 속도 향상:
Llama-3.1-8B/1B 모델 쌍에서 DIVERSED 는 모든 태스크에서 기존 Lossy 방법 및 Static Ensemble 대비 최대 28% 이상 수용률을 향상시켰습니다.
수용률 증가와 벽시계 시간 (Wall-clock time) 감소는 강한 상관관계를 보이며, DIVERSED 는 가장 빠른 추론 속도를 기록했습니다.
품질 유지:
GSM8K(수학), CNNDM/XSum(요약), MBPP(코딩) 등 다양한 벤치마크에서 DIVERSED 는 수용률을 높임에도 불구하고 Target Model 과 유사하거나 동등한 생성 품질 (Accuracy, ROUGE-2, Pass@1) 을 유지했습니다.
Pareto Frontier 우위:
Fig 1 및 Fig 10 에서 보듯, DIVERSED 는 정적 앙상블이 형성하는 Pareto Frontier 를 상회하여, 동일한 지연 시간 (Latency) 에서 더 높은 품질을, 혹은 동일한 품질에서 더 낮은 지연 시간을 달성했습니다.
Case Study:
수학 문제 해결 시, 중요한 논리 단계에서는 Target 분포에 가깝게 검증하여 오답을 방지하고, 덜 중요한 부분에서는 Draft 를 수용하여 속도를 높이는 유연성을 보여주었습니다.
5. 의의 및 결론 (Significance)
이 논문은 Speculative Decoding 의 병목 현상인 '경직된 검증'을 해결하기 위해 학습 가능한 동적 검증기를 도입했다는 점에서 의미가 큽니다.
효율성과 품질의 균형: 단순히 Draft 모델을 미세 조정하거나 구조를 변경하는 것이 아니라, 검증 단계의 '규칙'을 학습함으로써 태스크와 문맥에 최적화된 효율성을 달성했습니다.
실용성: 기존 모델 아키텍처를 변경하지 않고도 (Draft/Target 모델 유지), 학습된 검증 헤드를 추가하여 추론 속도를 획기적으로 개선할 수 있는 방법을 제시했습니다.
미래 방향: 토큰 단위뿐만 아니라 블록 단위 결정으로 확장하거나, 학습된 검증기의 태스크 간 전이 (Cross-task transfer) 가능성을 열어두었습니다.
결론적으로, DIVERSED 는 대규모 언어 모델의 추론 비용을 줄이면서 고품질 생성을 유지하는 데 있어 새로운 효율성 - 품질의 균형점 (Pareto Frontier) 을 제시한 중요한 연구입니다.