💬 NLP

D-cut: Adaptive Verification Depth Pruning for Batched Speculative Decoding

D-Cut은 초안 신뢰도와 런타임 비용 모델에 따라 동시 요청 간의 검증 예산을 동적으로 할당함으로써, 높은 동시성 환경에서 계산 낭비를 방지하는 동시에 추론 속도를 크게 향상시키는 배치형 투기적 디코딩을 위한 적응형 검증 깊이 프루닝 기법이다.

원저자: Tianyu Liu, Yuhao Shen, Rui Cen, Junhan Shi, Jiebin Zhang, Guangshuo Qin, Hong Liu, Song Liu, Guanghua Yu, Jianchen Zhu

게시일 2026-07-17

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Tianyu Liu, Yuhao Shen, Rui Cen, Junhan Shi, Jiebin Zhang, Guangshuo Qin, Hong Liu, Song Liu, Guanghua Yu, Jianchen Zhu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 수천 명의 사람들에게 동시에 질문에 답하는 거대하고 빠른 도서관을 운영하고 있다고 상상해 보세요. 이 도서관에는 믿기지 않을 정도로 똑똑한 사서(AI) 한 명이 있습니다. 하지만 이 사서는 매우 특정한 방식으로 일합니다. 단 한 번에 한 단어씩만 적을 수 있습니다. 복잡한 질문에 답하기 위해, 사서는 생각하고, 한 단어를 적고, 다시 멈추고, 생각하고, 다음 단어를 적는 과정을 반복해야 합니다. 이 "한 번에 한 단어씩"이라는 규칙이 도서관이 정체되는 주요 원인입니다. 사서는 다음 단어를 선반에서 가져오기 위해 대부분의 시간을 기다리며 보냅니다.

이를 빠르게 하기 위해, 엔지니어들은 '추측 디코딩(speculative decoding)'이라는 영리한 기술을 발명했습니다. 사서가 한 번에 한 단어씩 쓰는 대신, 약간 덜 똑똑하지만 빠른 조수(초안 작성자, drafter)를 고용하여 몇 단어를 한꺼번에 추측하게 하는 것입니다. 사서는 이 추측들을 빠르게 확인합니다. 만약 추측이 맞다면, 사서는 그 단어들을 한꺼번에 수락하여 '생각-멈춤-쓰기'의 주기를 건너뜁니다. 이것은 조수가 "다음 세 단어는 'The', 'quick', 'and', 'brown'일 거예요!"라고 외치면, 사서가 "맞아요, 당신 말이 맞습니다!"라고 말하며 바로 넘어가는 것과 같습니다. 이 방식은 도서관이 한산할 때 아주 잘 작동합니다. 하지만 도서관에 64명의 사람이 동시에 질문을 던지며 북적거릴 때는 어떻게 될까요? 조수는 모든 사람을 위해 긴 추측 목록을 외칠 수 있지만, 사서는 그 모든 것을 확인하느라 과부하가 걸립니다. 만약 추측이 틀리면, 사서는 버려질 단어들을 확인하는 데 귀중한 시간을 낭비하게 되어 도서관 전체의 속도를 늦추게 됩니다. 이것이 바로 이 논문이 다루는 퍼즐입니다: 인파가 엄청나게 몰릴 때도 어떻게 속도 향상을 유지할 것인가 하는 문제입니다.

문제점: 너무 많은 추측, 부족한 시간

Tencent Hunyuan의 연구원들은 시스템의 결함을 발견했습니다. 최근에 나온 새로운 조수들(DFlash와 같은 모델)은 예를 들어 한 번에 15단어씩 긴 추측 목록을 외치는 데 매우 능숙해졌습니다. 도서관이 비어 있을 때, 이것은 초능력이었습니다. 사서는 대부분의 추측을 수락했고, 도서관은 질문들을 매우 빠르게 처리했습니다.

하지만 인파가 늘어나면(즉, "배치 크기" 또는 동시 요청 수가 증가하면), 시스템은 무너지기 시작했습니다. 조수는 계속해서 긴 목록을 외쳤지만, 이제 여유가 없어진 사서는 그 모든 것을 빠르게 확인할 수 없었습니다. 더 나은 문제는, 그 긴 목록 중 상당수가 틀렸다는 점입니다. 사서는 결국 거절될 쓰레기 같은 단어들을 확인하는 데 모든 에너지를 낭비했습니다. 이는 마치 혼잡한 콘서트장에서 보안 요원이 줄 서 있는 15명의 신분증을 일일이 확인했는데, 알고 보니 10명이 가짜여서 진짜 팬들을 들여보내는 데 쓸 수 있었던 시간을 허비한 것과 같았습니다. 연구원들은 인파가 몰리는 높은 부하 상황에서는 이 "긴 추측" 방식이 단순히 사서가 혼자서 한 단어씩 일하는 것보다 오히려 더 느려진다는 사실을 발견했습니다.

해결책: D-cut (스마트한 문지기)

이 문제를 해결하기 위해 팀은 D-cut이라는 새로운 전략을 제안했습니다. D-cut을 조수와 사서 사이에 서 있는 매우 똑똑한 문지기라고 생각해보세요.

조수가 모든 사람을 위해 긴 추측 목록을 외치고 사서가 그것을 모두 확인하게 두는 대신, D-cut은 실시간으로 인파와 추측을 살펴봅니다. D-cut은 두 가지 간단한 질문을 던집니다:

조수의 확신도는 어느 정도인가? 조수가 높은 확신을 가지고 외친다면, 문지기는 그 추측들을 통과시킵니다. 만약 조수가 우물쭈물하거나 불확실하다면, 문지기는 목록을 짧게 자릅니다.
사서는 얼마나 지쳤는가? 문지기는 사서의 현재 작업량을 확인합니다. 사서가 과부하 상태라면(예: 바쁜 GPU 칩 위에서), 문지기는 더 엄격해져서 더 많은 추측을 잘라냅니다. 만약 사서가 신선하고 강력한 상태라면(예: 더 빠른 다른 칩 위에서), 문지기는 더 많은 추측을 통과시킵니다.

D-cut은 단 한 사람만을 위해 목록을 자르는 것이 아니라, 전체 요청 배치를 살펴봅니다. D-cut은 어떤 사람에게는 조수가 천재처럼 굴지만, 다른 사람에게는 조수가 엉뚱한 추측을 하고 있다는 것을 깨닫습니다. 따라서 D-cut은 "검증 예산"(사서가 확인해야 하는 시간)을 파악하여, 성공 가능성이 가장 높은 사람들에게 집중적으로 배분합니다. 불확실한 요청에서 확신이 낮은 긴 꼬리 부분의 추측들을 쳐내고(pruning), 사서의 에너지를 확신이 높은 부분에 집중시킵니다.

실제 환경에서의 작동 방식

연구진은 작은 모델부터 거대한 모델까지, 그리고 다양한 유형의 컴퓨터 칩에서 이 아이디어를 테스트했습니다. 그 결과 D-cut은 바쁜 시기에 게임 체인저라는 것을 입증했습니다:

높은 인파 속에서도 구원 투수 역할: 요청 수가 많을 때(예: 64명이 동시에 접속), 기존 방식(DFlash)은 종종 너무 느려져서 표준적인 "한 단어씩 처리" 방식보다 오히려 더 느려졌습니다. D-cut은 이를 해결했습니다. 인파가 몰려도 속도 향상을 유지했습니다.
수치적 성과: 테스트에서 D-cut은 높은 부하 상황에서 평균 속도를 표준 방식 대비 1.26배에서 1.65배로 높였습니다. 일부 특정 대규모 모델에서는 무려 3.0배의 속도에 도달하기도 했습니다.
하드웨어 적응성: D-cut의 가장 멋진 기능 중 하나는 인파가 몰리기 전에 사서가 얼마나 빠른지 미리 파악한다는 것입니다. D-cut은 컴퓨터 칩(H20 또는 H800 GPU 등)을 프로파일링하여 단어를 확인하는 비용이 얼마나 드는지 확인합니다. 단어를 확인하는 비용이 비싸면(느린 칩의 경우), D-cut은 더 공격적으로 자릅니다. 비용이 저렴하면 덜 자릅니다. 즉, 새로운 컴퓨터마다 사람이 일일이 조정할 필요 없이 스스로 알아서 판단합니다.

하지 않는 것 (그리고 배제하는 것)

D-cut이 무엇이 아닌지 아는 것도 중요합니다. D-cut은 조수를 더 똑똑하게 만들거나 사서가 생각하는 방식을 바꾸려 하지 않습니다. 또한 AI가 내놓는 최종 답변을 바꾸지도 않습니다. 출력값은 사서가 모든 것을 직접 확인했을 때와 정확히 동일하지만, 훨씬 더 빠르게 도달할 뿐입니다.

이 논문은 "길수록 항상 좋다"는 생각에 명시적으로 반박합니다. 그들은 인파가 많을 때 (DFlash처럼) 무작정 긴 추측 목록을 생성하는 것이 나쁜 아이디어임을 보여주었습니다. 모든 사람에게 동일한 수의 추측을 확인하는 "원 사이즈 피츠 올(one size fits all)" 방식은 실패합니다. 왜냐하면 모든 사람에게 동일한 양의 확인이 필요하지 않기 때문입니다. D-cut은 포괄적인 확인보다 선택적인 확인이 더 낫다는 것을 증명합니다.

핵심 요약

연구진은 단순히 이것이 작동할 것이라고 제안한 것이 아니라, 실제로 측정했습니다. 그들은 수천 개의 요청이 있는 실제 서버에서 시뮬레이션과 실세계 테스트를 수행했습니다. 결과는 명확했습니다. 확신이 낮은 추측은 자르고 확신이 높은 것에 집중하는 스마트하고 적응력 있는 문지기가 됨으로써, D-cut은 도서관 문이 터져 나갈 듯이 붐빌 때도 AI 도서관을 빠르게 돌아가도록 유지했습니다. 이는 효율적인 시스템이 될 수 있었던 시스템을, 선택적인 확인이 때로는 가장 빠르게 가는 방법임을 증명하며 효율성을 유지하는 법을 보여주었습니다.

기술 요약: D-cut: 배치형 투기적 디코딩을 위한 적응형 검증 깊이 프루닝 (Adaptive Verification Depth Pruning)

1. 문제 정의

투기적 디코딩(Speculative decoding)은 초안 생성(draft generation)과 검증(verification)을 분리함으로써 대규모 언어 모델(LLM) 추론을 가속화하는 주요한 무손실 접근 방식으로 부상했습니다. 최근의 발전된 방식인 블록 병렬 초안 생성기(예: DFlash)는 단일 순전파(forward pass)를 통해 전체 블록의 초안 토큰을 생성하며, 이를 통해 초안 길이와 초안 생성 지연 시간(latency)을 분리하고 낮은 동시성 설정에서 높은 평균 수용 토큰 수(Mean Accepted Tokens, MAT)를 달성합니다.

그러나 본 논문은 **고동시성 배치 서빙(high-concurrency batched serving)**에서의 결정적인 병목 현상을 식별합니다:

검증 비용의 폭발: 배치 크기( $B$ )가 증가함에 따라, 타겟 모델은 매 스텝마다 $B \times (D+1)$ 개의 토큰을 검증해야 합니다 (여기서 $D$ 는 초안 길이). 이는 검증 과정을 메모리 제한적(memory-bound) 단계에서 연산 제한적(compute-bound) 단계로 전환시킵니다.
비효율적인 자원 할당: 고동시성 시나리오에서 길고 고정된 깊이의 초안은 높은 거절률(rejection rate)을 초래합니다. 예를 들어, 초안 길이가 15일 때 평균 수용 길이는 약 6개에 불과할 수 있으며, 이는 검증된 토𝑘의 약 60%가 거절됨을 의미합니다.
최적화되지 않은 처리량: 거절된 토큰들을 검증하는 데 드는 계산 비용은 스텝 시간을 팽창시켜, 고동시성(예: $bs=64$) 환경에서 투기적 디코딩의 처리량이 표준 자기회귀(autoregressive, AR) 디코딩 수준으로 정체되거나 오히려 떨어지게 만듭니다.
정적 vs 동적 요구사항: 기존 방식들은 일반적으로 배치 내 모든 요청에 대해 균일한 검증 깊이를 적용합니다. 이는 요청 간의 수용 길이 편차와 다양한 하드웨어 환경(예: 연산 능력이 제한된 H20 vs 연산 능력이 풍부한 H800 GPU)에 따른 검증 계산 비용의 차이를 반영하지 못합니다.

2. 방법론: D-cut

저자들은 검증 예산(verification budget)을 전체 배치의 공유 자원으로 취급하여, 수용될 가능성이 가장 높은 토큰에 동적으로 할당하는 적응형 프루닝 전략인 D-cut을 제안합니다. 이 방법은 타겟 모델을 수정하거나 추가 학습을 요구하지 않습니다.

핵심 메커니즘

교차 요청 프루닝 (신뢰도 기반 - Cross-Request Pruning):
- 모든 요청에 대해 고정된 깊이를 검증하는 대신, D-cut은 초안 생성기의 예측 신뢰도(confidence)를 사용하여 배치의 모든 후보 토큰 위치를 점수화합니다.
- 각 위치에 대해 블록이 깊이 $k$ 까지 생존할 확률을 나타내는 "접두사 곱(prefix-product)" 점수( $s_{i,k}$ )를 계산합니다.
- 배치의 모든 후보 위치를 이 점수에 따라 전역적으로 순위를 매깁니다. 신뢰도가 낮은 접미사(suffix)는 프루닝하고, 신뢰도가 높은 접두사(prefix)는 유지합니다. 이를 통해 검증 예산을 수익이 낮은 요청에서 수익이 높은 요청으로 이동시킵니다.
런타임 적응형 깊이 선택 (Runtime-Adaptive Depth Selection):
- 추가 토큰을 검증하는 비용은 런타임 환경(GPU 유형, 모델 아키텍처, 병렬화 전략, 배치 크기)에 따라 크게 달라진다는 점을 인식하여, D-cut은 프로파일링된 비용 모델을 포함합니다.
- 프로파일링: 서버 시작 시, D-cut은 다양한 이산적 검증 예산 비율( $\rho \in \{0.25, 0.50, 0.75, 1.00\}$ )과 배치 크기에 대한 엔드 투 엔드(end-to-end) 투기적 스텝 지연 시간을 프로파일링합니다.
- 최적화: 서빙 중에 D-cut은 예상 속도 향상(speedup)을 최대화하는 최적의 전역 예산 비율( $\rho^*$ )을 동적으로 선택합니다. 속도 향상은 기대 이익(신뢰도 점수에 기반한 예상 MAT)과 하드웨어 프로파일링된 실행 비용의 비율로 공식화됩니다.
- 이를 통해 D-cut은 연산이 제한된 하드웨어(예: H20)나 초안 품질이 낮을 때는 공격적으로 프루닝하고, 검증 비용이 저렴한 연산 풍부 하드웨어(예: H800)에서는 더 많은 토큰을 유지하도록 적응합니다.

파이프라인 개요

초안 생성 (Drafting): 초안 생성기가 신뢰도 점수와 함께 토큰 블록을 생성합니다.
점수 산출 및 순위 지정 (Scoring & Ranking): 선택기(selector)가 모든 위치를 평탄화(flatten)하고, 접두사 곱 점수를 계산한 뒤 전역적으로 순위를 매깁니다.
예산 선택 (Budget Selection): 선택기는 사전 프로파일링된 비용 테이블을 참조하여 유틸리티 대비 비용 비율을 최대화하는 최적의 예산 비율 $\rho^*$ 를 선택합니다.
패킹 (Packing): 상위 $K$ 개의 점수를 가진 위치들이 조밀한(dense) 검증 배치로 패킹됩니다. 중요한 점은, 점수가 접두사 곱 형태이므로 각 요청에 대해 유지되는 위치들이 연속적인 접두사를 형성하여, 기존 추론 엔진 및 CUDA 그래프와의 호환성을 보장한다는 것입니다.
검증 (Verification): 타겟 모델이 패킹된 배치를 검증합니다.

3. 주요 기여

병목 현상 식별: 본 논문은 고동시성 배치 서빙에서 긴 고정 깊이 초안(DFlash와 같은)이 높은 거절 토큰 비용으로 인해 표준 AR 디코딩보다 성능이 저하될 수 있음을 실증적으로 보여줍니다.
D-cut 알고리즘: 초안 신뢰도와 런타임 적응형 깊이 선택에 의해 가이드되는, 학습이 필요 없는 무손실 교차 요청 검증 깊이 프루닝 전략을 제시합니다.
런타임 비용 모델링: 프루닝 전략이 정적 휴리스틱에 의존하는 대신 특정 배포 환경(하드웨어, 배치 크기, 모델 아키텍처)에 적응할 수 있도록 하는 프로파일링된 비용 모델을 도입했습니다.
시스템 통합: D-cut은 검증 예산을 이산적인 비율로 제한함으로써, 조각별(piecewise) CUDA 그래프 캡처와 호환성을 유지하고 형상 폭발(shape explosion)을 방지하여 기존 추론 엔진(예: vLLM)과 함께 작동하도록 설계되었습니다.

4. 실험 결과

저자들은 NVIDIA H20 및 H800 GPU에서 6개의 타겟 모델(Dense 및 MoE 아키텍처 포함)과 5개의 벤치마크(Math, Code, Chat)를 대상으로 D-cut을 평가했습니다.

처리량 개선: 고동시성(배치 크기 32) 환경에서, D-cut은 DFlash 베이스라인 대비 평균 속도 향상을 **1.26×에서 1.65×**로 개선합니다.
가속 성능 회복: 긴 초안을 사용하는 DFlash가 고동시성에서 AR 디코딩보다 성능이 떨어지는 Dense 모델의 경우, D-cut은 양(+)의 가속을 회복시킵니다.
MoE 성능: Mixture-of-Experts (MoE) 모델에서 D-cut은 AR 디코딩 대비 최대 3.0×의 속도 향상을 달enc합니다.
하드웨어 적응성:
- 연산이 제한된 H20에서는 D-cut이 공격적으로 프루닝하며(종종 25% 예산 선택), 고정 비율 베이스라인보다 훨씬 뛰어난 성능을 보입니다.
- 연산이 풍부한 H800에서는 더 많은 토큰을 유지하도록 적응하여(종종 50% 이상), 불필요한 프루닝 없이 처리량을 극대화합니다.
강건성 (Robustness): D-cut은 표준 긴 초안 방식들이 완전히 실패하는 확률적 타겟 샘플링(Temperature 1) 환경에서도 이점을 유지합니다.

5. 의의 및 주장

본 논문은 현재의 투기적 디코딩 시스템이 가진 근본적인 불일치, 즉 "더 긴 초안이 항상 더 좋다"는 가정에 문제를 제기합니다. 저자들은 배치 서잉에서 검증 연산(verification compute)이 바로 희소한 자원이라고 주장합니다.

패러다임의 전환: 이 연구는 단일 요청의 수용 길이를 최대화하는 것에서 배치 검증 효율성을 관리하는 것으로 초점을 전환합니다.
실질적 영향: D-cut은 강력한 블록 병렬 초안 생성기를, 그렇지 않았다면 해로웠을 고동시성 프로덕션 환경에서도 사용할 수 있게 합니다.
한계점: 저자들은 시스템 통합 측면의 과제를 인정합니다. 검증 배치의 형상이 변하기 때문에 현재의 추론 엔진(Spec-V2 및 조각별 CUDA 그래프 등)의 정적 형상 가정을 충족하기 위한 세심한 처리가 필요합니다. 이들은 동적 검증의 잠재력을 완전히 실현하기 위해서는 서빙 프레임워크와의 긴밀한 공동 설계(co-design)가 필요할 수 있다고 언급했습니다.

요약하자면, D-cut은 더 많은 토큰을 수용함으로써 얻는 알고리즘적 이득과 이를 검증하는 데 드는 하드웨어 비용 사이의 균형을 동적으로 맞추는 메커니즘을 제공하며, 이를 통해 과중한 부하 상황에서도 투기적 디코딩이 유효한 가속 기술로 남을 수 있도록 보장합니다.