💬 NLP

MineDraft: A Framework for Batch Parallel Speculative Decoding

이 논문은 소규모 드래프트 모델의 작성 지연을 대규모 타겟 모델의 검증 과정과 중첩하여 실행함으로써 기존 추측적 디코딩의 순차적 병목 현상을 해결하고, vLLM 플러그인으로 구현되어 처리량과 지연 시간을 획기적으로 개선한 'MineDraft'라는 배치 병렬 추측적 디코딩 프레임워크를 제안합니다.

원저자: Zhenwei Tang, Arun Verma, Zijian Zhou, Zhaoxuan Wu, Alok Prakash, Daniela Rus, Bryan Kian Hsiang Low

게시일 2026-03-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhenwei Tang, Arun Verma, Zijian Zhou, Zhaoxuan Wu, Alok Prakash, Daniela Rus, Bryan Kian Hsiang Low

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎮 마인크래프트처럼: AI 가 더 빨리 글을 쓰는 비법 'MINEDRAFT'

이 논문은 거대한 인공지능 (LLM) 이 글을 쓸 때, 기다리는 시간을 줄여서 속도를 2 배 가까이 높이는 새로운 방법을 소개합니다. 이름은 **'MINEDRAFT(마인드래프트)'**입니다.

이 기술이 어떻게 작동하는지, 마치 마인크래프트 게임과 레스토랑 주방에 비유해서 쉽게 설명해 드릴게요.

1. 기존 방식의 문제점: "한 번에 하나씩" 하는 비효율

지금까지 AI 가 글을 쓸 때는 보통 이런 방식으로 작동했습니다.

**작은 AI(초안 작성자)**가 "다음 단어는 뭐지?"라고 추측해서 몇 단어를 미리 적어봅니다. (예: "오늘 날씨가")
**큰 AI(검증자)**가 그 추측을 확인합니다. "오, 맞네! 그다음은 '좋아'겠구나."
문제: 큰 AI 는 작은 AI 가 추측하는 동안 손을 놓고 기다려야 했습니다. 마치 요리사가 식재료를 손질하는 동안 아무것도 안 하고 서 있는 것과 같습니다. 이 '기다리는 시간'이 전체 속도를 늦추는 주범이었습니다.

2. MINEDRAFT 의 해결책: "이중 작업"과 "배치 병렬"

MINEDRAFT 는 이 기다리는 시간을 아예 없애버립니다. 어떻게요? 두 개의 작업 그룹 (Batch) 을 만들어서 번갈아 가며 일하게 합니다.

🎮 마인크래프트 비유: "다음 블록 미리 로드"

마인크래프트를 해보셨나요? 플레이어가 현재 블록을 걷고 있을 때, 게임은 앞으로 다가올 다음 블록들을 미리 불러와서 준비해 둡니다. 그래서 플레이어가 그 블록에 도착했을 때 멈추지 않고 계속 달릴 수 있죠.

MINEDRAFT 도 똑같습니다.

그룹 A가 글을 쓰고 있을 때 (검증 중), 그룹 B는 다음 글을 미리 준비합니다 (초안 작성 중).
그룹 A 가 끝나는 순간, 그룹 B 는 이미 준비된 초안을 가지고 바로 검증을 시작합니다.
동시에 그룹 A 는 새로운 초안을 준비합니다.

이렇게 한쪽이 일하는 동안 다른 쪽이 준비를 하니까, AI 는 멈추는 시간 없이 계속 글을 쓸 수 있게 됩니다.

3. 구체적인 작동 원리: "주방의 두 팀"

이제 이걸 레스토랑 주방으로 비유해 볼까요?

기존 방식:
- 팀 1 (초안): "오늘 메뉴는 김치찌개야!"라고 종이에 적습니다.
- 팀 2 (검증): 종이를 보고 "맞아, 김치찌개!"라고 확인합니다.
- 문제: 팀 2 는 팀 1 이 종이를 쓰는 동안 빈손으로 서 있어야 합니다.
MINEDRAFT 방식:
- 팀 1 (검증): 지금 "김치찌개"를 확인하고 손님에게 내줍니다.
- 동시에 팀 2 (초안): "다음 메뉴는 비빔밥이야!"라고 미리 종이에 적어둡니다.
- 다음 단계: 팀 1 이 비빔밥을 확인하고, 팀 2 는 그다음 메뉴 (불고기) 를 미리 적습니다.
- 결과: 두 팀이 서로 번갈아 가며 일을 하므로, 주방장이 (큰 AI) 는 항상 일할 게 있고, 손님은 기다리는 시간이 거의 없습니다.

4. 이 기술이 가져온 놀라운 성과

연구팀이 이 방식을 실제로 적용해 보니 정말 놀라운 결과가 나왔습니다.

처리 속도 (Throughput): 기존 방식보다 최대 75% 더 빠릅니다. (예: 1 초에 100 단어를 쓰던 게 175 단어로 늘어남)
대기 시간 (Latency): 사용자가 입력을 하고 답을 받을 때까지 걸리는 시간이 최대 39% 줄어듭니다.
비용: 별도의 복잡한 훈련이 필요 없으며, 그래픽 카드 (GPU) 1 대만 더 추가하면 됩니다.

5. 왜 중요한가요?

이 기술은 vLLM이라는 유명한 AI 실행 프로그램에 바로 적용 가능한 '플러그인' 형태로 만들어졌습니다.这意味着:

개발자들은 복잡한 코드를 다시 쓸 필요 없이, 이 플러그인만 설치하면 됩니다.
앞으로 우리가 AI 챗봇과 대화할 때, 답변이 훨씬 더 재빨리 돌아올 것입니다.
특히 긴 글을 쓰거나 복잡한 질문을 할 때, AI 가 멈칫거리는 현상이 크게 줄어들 것입니다.

요약

MINEDRAFT는 AI 가 글을 쓸 때 "기다리는 시간"을 "일하는 시간"으로 바꾼 혁신적인 방법입니다. 마치 마인크래프트가 다음 블록을 미리 로드하듯, AI 가 다음 단어를 미리 준비하면서 현재 단어를 확인하는 방식으로, 두 작업을 동시에 겹쳐서 속도를 획기적으로 높였습니다.

이제 AI 는 더 이상 "생각하는 척"하며 기다리지 않고, 계속해서 흐르는 물처럼 빠르게 글을 써낼 수 있게 되었습니다! 🚀

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 추론 속도를 가속화하기 위해 널리 사용되는 **Speculative Decoding (SD, 추측적 디코딩)**은 작은 '드래프트 모델 (Draft Model)'이 토큰 시퀀스를 제안하고, 큰 '타겟 모델 (Target Model)'이 이를 병렬로 검증하는 방식입니다. 그러나 기존 SD 의 주요 한계는 다음과 같습니다.

순차적 실행의 병목: 드래프트 (제안) 단계와 검증 (Verification) 단계가 엄격하게 순차적으로 실행됩니다. 즉, 타겟 모델이 검증하는 동안 드래프트 모델은 대기 상태가 되거나, 그 반대의 상황이 발생합니다.
드래프트 지연 (Latency): 드래프트 모델의 계산 시간이 추론 전체의 임계 경로 (Critical Path) 에 포함되므로, 드래프트 단계에서 발생하는 지연이 전체 처리 속도를 제한합니다.
기존 병렬화 방법의 한계: 기존 연구들은 드래프트와 검증을 병렬화하려 시도했으나, 이를 위해 막대한 GPU 메모리 (VRAM) 를 추가로 소모하거나, 드래프트 모델을 위한 별도의 학습 단계를 요구하거나, 단일 요청 (Single-request) 에만 국한되는 등의 단점이 있었습니다.

2. 제안 방법: MINEDRAFT (Methodology)

이 논문은 MINEDRAFT라는 새로운 프레임워크를 제안하여, **배치 병렬 추측적 디코딩 (Batch Parallel Speculative Decoding, PSD)**을 구현합니다. 핵심 아이디어는 드래프트 지연을 숨기기 위해 드래프트와 검증을 겹쳐서 (Overlapping) 실행하는 것입니다.

핵심 메커니즘

이중 배치 관리 (Dual Batch Management):
- 시스템은 요청을 두 개의 배치 (Batch 0, Batch 1) 로 나눕니다.
- Batch A는 드래프트 모델이 토큰을 생성하는 동안, Batch B는 타겟 모델이 이전 단계에서 생성된 드래프트 토큰을 검증합니다.
- 각 SD 단계가 끝날 때마다 두 배지의 역할이 교차합니다 (드래프트용 $\leftrightarrow$ 검증용).
- 이 방식은 마인크래프트 (Minecraft) 게임 엔진이 플레이어가 현재 블록을 조작하는 동안 다음 블록 (Chunk) 을 미리 로드하는 '배경 로딩' 방식에서 영감을 받았습니다.
하드웨어 및 통신 아키텍처:
- GPU 분리: 드래프트 모델과 타겟 모델이 서로 다른 GPU 에서 실행됩니다.
- 직접 통신: 드래프트 모델이 생성한 토큰을 타겟 모델로 직접 전송하기 위해 GPU 간 직접 통신 (Direct GPU-to-GPU communication) 을 사용합니다.
- vLLM 통합: MINEDRAFT 는 vLLM 라이브러리의 플러그인으로 구현되어, PagedAttention 및 연속 배치 (Continuous Batching) 와 호환됩니다.
스케줄러 패치 (Scheduler Patch):
- 기존 vLLM 스케줄러는 모든 요청에 대해 KV 블록을 할당하지만, MINEDRAFT 는 드래프트 단계에서는 검증되지 않은 요청에 대한 불필요한 KV 블록 할당을 방지하도록 로직을 수정하여 메모리 효율성을 높입니다.
예외 처리 (Fallback Mechanism):
- 두 배치 중 하나가 비어버리는 경우 (예: 요청 완료), 시스템은 자동으로 표준 SD 모드로 전환하여 안정성을 보장합니다.

3. 주요 기여 (Key Contributions)

이론적 효율성 증명: PSD 가 표준 SD 대비 최소 **37%**의 종단 간 지연 (End-to-End Latency) 감소를 달성할 수 있음을 이론적으로 증명했습니다. (드래프트 모델의 품질에 대한 mild assumption 하에)
새로운 프레임워크 제안: 추가 GPU 1 대만 사용하여 드래프트와 검증을 병렬화하는 MINEDRAFT 프레임워크를 설계했습니다.
실용성 및 호환성: vLLM 플러그인으로 구현되어 실제 프로덕션 환경에서 즉시 사용 가능하며, EAGLE, TETRIS, PEARL 등 기존 드래프트 전략과 결합하여 성능을 더욱 향상시킬 수 있습니다.

4. 실험 결과 (Results)

다양한 모델 구성 (Qwen3, Llama-3, Vicuna 등) 과 데이터셋 (ShareGPT, Arena, Tough 등) 을 대상으로 실험한 결과는 다음과 같습니다.

처리량 (Throughput) 향상:
- 표준 SD 대비 최대 **75.68%**의 처리량 향상.
- 기존 최상의 베이스라인 (PEARL 등) 대비 평균 **65.02%**까지 향상.
종단 간 지연 (End-to-End Latency) 감소:
- 표준 SD 대비 최대 **39.51%**의 지연 시간 단축.
- 평균적으로 26.58% ~ 39.51% 사이의 지연 감소 달성.
메모리 이점:
- 큰 드래프트 모델 (예: Qwen3-8B) 을 사용할 때, 표준 SD 는 동일한 GPU 메모리 내에서의 VRAM 충돌로 인해 실행 불가 (OOM) 인 경우가 많았으나, MINEDRAFT 는 드래프트 모델을 전용 GPU 에 배치하여 이 문제를 해결했습니다.
모델 크기 영향:
- 드래프트 모델이 너무 작으면 검증 성공률이 낮고, 너무 크면 드래프트 시간이 검증 시간을 초과하여 병렬화 이득이 사라집니다. 실험 결과, 중간 크기의 모델 (예: Qwen3-1.7B) 이 속도와 정확도 간의 최적 균형을 보여주었습니다.

5. 의의 및 결론 (Significance)

MINEDRAFT 는 LLM 추론 가속화 분야에서 드래프트 단계의 지연을 숨기는 (Hiding Latency) 새로운 패러다임을 제시합니다.

자원 효율성: 추가적인 GPU 1 대만 투자하여 기존 SD 의 한계를 극복하고, 대규모 모델 배포 시 발생할 수 있는 메모리 병목 현상을 해결합니다.
확장성: 다양한 드래프트 알고리즘 (EAGLE, TETRIS 등) 과 독립적으로 작동하므로 (Orthogonal), 기존 최적화 기법과 결합하여 추가적인 성능 향상을 이끌어낼 수 있습니다.
실용적 적용 가능성: vLLM 플러그인으로 제공되어 연구뿐만 아니라 실제 서비스 환경에서의 적용 가능성을 입증했습니다.

결론적으로, MINEDRAFT 는 추측적 디코딩의 병렬화 문제를 체계적으로 해결하여, LLM 추론의 처리량과 응답 속도를 획기적으로 개선하는 강력한 솔루션입니다.