💬 NLP

Efficient Training-Free Multi-Token Prediction via Embedding-Space Probing

이 논문은 모델 가중치 수정이나 보조 드래프트 모델 없이 임베딩 공간의 마스크 토큰을 활용한 프로빙 기법으로 병렬 다중 토큰 예측을 수행하여, LLM 의 생성 처리량을 획기적으로 향상시키는 효율적이고 훈련이 필요 없는 방법을 제안합니다.

원저자: Raghavv Goel, Mukul Gagrani, Mingu Lee, Chris Lott

게시일 2026-03-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Raghavv Goel, Mukul Gagrani, Mingu Lee, Chris Lott

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 거대 언어 모델 (LLM, 예: 챗봇) 이 더 빠르고 효율적으로 글을 쓸 수 있게 해주는 새로운 방법을 소개합니다.

기존의 AI 는 글을 쓸 때 "한 글자, 한 글자" 순서대로만 생각했습니다. 마치 사람이 글을 쓸 때 한 자씩 타이핑하듯, AI 도 한 번에 한 개의 단어만 예측하고 확인하는 과정을 반복했죠. 이 방식은 컴퓨터 자원을 많이 쓰면서도 속도가 느린 단점이 있었습니다.

이 논문은 **"AI 가 이미 미래의 단어를 알고 있는데, 우리가 그걸 꺼내 쓰는 방법을 찾았다"**는 놀라운 사실을 발견하고, 이를 이용해 학습 없이 (Training-Free) 속도를 획기적으로 높이는 방법을 제안합니다.

이해하기 쉽게 세 가지 핵심 비유로 설명해 드릴게요.

1. 핵심 아이디어: "예측의 눈"을 뜨게 하는 마법 가림막 (Mask Token)

기존 방식:

AI 가 "오늘 날씨가..."라고 말했을 때, 다음 단어를 고르기 위해 머리를 굴려 "맑다", "비", "구름" 중 하나를 고릅니다. 그다음 "맑다"를 선택하면, 다시 "오늘 날씨가 맑다"를 보고 다음 단어를 고릅니다. (한 번에 한 번만 생각함)

이 논문의 방식:

AI 가 "오늘 날씨가..."라고 말했을 때, AI 의 뇌속에 **보이지 않는 가상의 가림막 (Mask Token)**을 끼워 넣습니다. 이 가림막은 AI 에게 "너는 이미 다음 3 단어를 다 알고 있잖아? 그걸 보여줘!"라고 묻는 역할을 합니다.

비유: 마치 시험지를 볼 때, 정답을 이미 알고 있는 학생이 문제를 풀 때처럼, AI 가 "다음 3 단어를 동시에 예측해봐"라고 요청하는 것입니다.
중요한 점: AI 를 다시 가르치거나 (학습), 별도의 보조 모델을 붙일 필요가 없습니다. 그냥 AI 가 가진 잠재력을 **적절한 질문 (가림막)**으로 꺼내는 것뿐입니다.

2. 작동 원리: "나뭇가지"를 키우고 다듬기 (Dynamic Tree & Pruning)

AI 가 동시에 여러 단어를 예측하면, 그중에는 틀린 말도 섞여 있을 수 있습니다. 그래서 논리는 다음과 같이 작동합니다.

나뭇가지 키우기 (Tree Expansion):
AI 가 "다음 단어는 A 일 수도 있고, B 일 수도 있어"라고 여러 가지 가능성을 나열합니다. 이때 가능성 높은 것들만 골라 나뭇가지처럼 뻗어가는 구조를 만듭니다.
- 비유: 길을 가다가 갈림길이 여러 개 나올 때, 가장 유력한 길 (A) 과 그다음 유력한 길 (B) 을 모두 탐색하되, 엉뚱한 길 (C) 은 아예 가지 않는 것입니다.
다듬기 (Pruning):
만약 AI 가 "오늘 날씨가... 맑다... 맑다"라고 중복된 단어를 예측하면, 그건 쓸모없는 가지입니다. 논리는 이런 중복되거나 확률이 낮은 나뭇가지를 잘라내어 (Pruning) 계산량을 줄입니다.
- 비유: 정원사가 자란 나뭇가지 중 병든 가지나 겹치는 가지를 잘라내어, 나무가 더 건강하고 빠르게 자라게 하는 것과 같습니다.
검증 (Verification):
AI 가 예측한 "맑다"가 진짜 맞는지, AI 본인이 다시 한 번 확인합니다. 맞으면 그대로 받아들이고, 틀리면 다시 처음부터 시작합니다. 하지만 한 번에 여러 단어를 동시에 검증하므로, 전체 속도는 훨씬 빨라집니다.

3. 왜 이것이 혁신적인가? (효율성과 속도)

이 방법을 쓰면 다음과 같은 이점이 생깁니다.

학습 불필요 (Training-Free): AI 모델을 다시 학습시키지 않아도 됩니다. 기존에 있는 AI 모델을 그대로 가져와서 이 '마법 가림막' 기법만 적용하면 됩니다.
속도 향상: 한 번의 계산으로 여러 단어를 처리하므로, 최대 19% 까지 속도가 빨라지고, 컴퓨터 (GPU) 를 덜 쓰게 됩니다.
작은 기기에서도 가능: 별도의 무거운 보조 모델이 필요 없기 때문에, 스마트폰이나 작은 서버 같은 제한된 환경에서도 빠르게 AI 를 쓸 수 있습니다.

요약: 한 문장으로 정리하면?

"기존의 AI 는 한 걸음씩 천천히 걸었지만, 이 논문은 AI 에게 '미래를 미리 보는 안경 (가림막)'을 끼워주어, 한 번에 여러 걸음을 동시에 내딛게 하고, 그중에서 가장 확실한 길만 골라 빠르게 목적지에 도달하게 했습니다."

이 기술은 AI 가 더 빠르고 저렴하게 우리 일상 (번역, 글쓰기, 코딩 등) 에 들어올 수 있는 길을 열어준다고 할 수 있습니다.

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 기본적으로 다음 토큰 생성 (Next-token generation) 을 위해 훈련되었지만, 잠재적으로 여러 개의 미래 토큰을 예측할 수 있는 능력을 가지고 있습니다. 기존 연구들은 이 능력을 활용하여 생성 속도를 높이기 위해 다중 토큰 예측 (Multi-Token Prediction, MTP) 기법을 도입했습니다. 그러나 기존 접근법들은 다음과 같은 한계가 있었습니다:

추가 훈련 필요: 보조 헤드 (Auxiliary heads) 나 드래프트 모델 (Draft models) 을 훈련시키기 위해 방대한 데이터와 GPU 컴퓨팅 자원이 필요함.
모델 수정: 베이스 모델의 가중치를 변경하거나 추가 파라미터를 도입해야 함 (예: Medusa, Eagle 등).
엣지 디바이스 부적합: 추가 메모리 오버헤드와 계산 비용으로 인해 리소스가 제한된 환경 (모바일, 엣지) 에 적용하기 어려움.

따라서, 모델의 가중치를 변경하거나 추가 훈련 없이 (Training-free), 기존 frozen LLM 을 그대로 사용하면서 병렬 생성을 가능하게 하는 효율적인 방법이 필요했습니다.

2. 방법론 (Methodology)

저자들은 임베딩 공간 프로빙 (Embedding-Space Probing) 을 기반으로 한 새로운 학습 없는 MTP 프레임워크를 제안합니다. 핵심 아이디어는 모델의 내부 생성 능력을 유도하기 위해 프롬프트에 동적으로 생성된 마스크 토큰 (Mask Tokens) 을 주입하는 것입니다.

주요 구성 요소:

마스크 토큰 주입 (Mask Token Injection):
- 모델의 임베딩 공간에서 동적으로 생성된 마스크 토큰 ( $m_1, m_2, \dots, m_k$ ) 을 입력 프롬프트에 추가합니다.
- 초기화 전략: 프롬프트의 마지막 토큰 임베딩, 전체 임베딩 분포 샘플링, 프롬프트 임베딩의 평균 (Mean-prompt) 등을 사용합니다. 실험 결과, 프롬프트 임베딩의 평균을 기반으로 한 '소프트 초기화'가 가장 우수한 성능을 보였습니다.
- 생성 단계에서 마스크 토큰은 생성된 토큰에 기반하여 업데이트되며 (Equation 4), 이는 모델이 미래 토큰을 예측하는 데 필요한 컨텍스트 정보를 제공합니다.
동적 토큰 트리 확장 (Dynamic Token Tree Expansion):
- 고정된 Top-K 구조 대신, 모델의 불확실성에 따라 적응적으로 토큰 경로를 확장합니다.
- 누적 확률 기반: 각 단계에서 가장 확률이 높은 토큰 (Top-1) 만 자식 노드로 확장하여 트리를 구성하되, 전체 블록 복잡도 (Block Complexity, BC) 제한 내에서 최적의 경로를 선택합니다.
- 이는 수동으로 설계된 트리 구조의 필요성을 없애고 다양한 작업에 유연하게 대응하게 합니다.
병렬 검증 및 가지치기 (Parallel Verification & Pruning):
- 마스크 토큰을 통해 예측된 여러 미래 토큰을 베이스 모델이 한 번의 포워드 패스 (Forward Pass) 에서 병렬로 검증합니다.
- 트리 가지치기: 연속된 반복 토큰 (예: "the" -> "the") 이나 낮은 확률의 경로를 제거하여 중복을 줄이고 다양성을 확보합니다.
- 검증된 토큰만 최종 출력에 포함시켜 손실 없는 (Lossless) 생성을 보장합니다.
효율적인 구현 (Efficient Implementation):
- 트리 구조에 따른 어텐션 마스크와 위치 인덱스 (Position IDs) 를 재사용하거나 오프셋만 조정하여 GPU 연산 오버헤드를 최소화했습니다.

3. 이론적 근거 (Theoretical Insight)

정렬 (Alignment) 현상: 디코더 레이어를 거치면서 마스크 토큰의 은닉 상태 (Hidden State) 가 실제 다음 토큰의 상태와 점진적으로 정렬 (Cosine Similarity 증가) 된다는 것을 관찰했습니다.
Lemma 3.1: 마스크 토큰과 실제 다음 토큰의 은닉 상태 간 코사인 유사도가 특정 임계값 ( $\delta^*$ ) 을 초과하면, 실제 정답 토큰이 마스크 토큰의 Top-K 예측 목록에 포함됨을 수학적으로 증명했습니다. 이는 LLM 이 재훈련 없이도 미래 토큰을 예측할 수 있는 구조적 잠재력을 가지고 있음을 시사합니다.

4. 실험 결과 (Results)

저자들은 SpecBench 벤치마크 (요약, 번역, 코딩, 수학 등 다양한 작업) 에서 LLaMA3 및 Qwen3 모델을 사용하여 평가를 진행했습니다.

성능 향상:
- 수용 길이 (Acceptance Length, $\tau$ ): 기존 학습 없는 베이스라인 (Lookahead Decoding, Prompt Lookup Decoding 등) 대비 LLaMA3 에서 약 12%, Qwen3 에서 8~12% 향상.
- 처리량 (Throughput): 모델 호출 횟수를 줄여 최대 15~19% 증가한 토큰 생성 속도 달성.
- 모델 호출 감소: 블록 복잡도 (BC) 30 및 60 설정에서 모델 포워드 호출 횟수를 최대 40% 감소시킴.
작업별 특징:
- 오픈형 작업 (창작, 역할극): 단일 마스크 토큰과 넓은 트리 구조가 효과적.
- 닫힌형 작업 (코딩, 수학, 번역): 두 개의 마스크 토큰과 깊고 집중된 트리 구조가 더 유리.
리소스 효율성: 추가 모델이나 캐시가 필요 없어 메모리 오버헤드가 적으며, 엣지 디바이스 환경에 적합함.

5. 주요 기여 (Key Contributions)

학습 없는 MTP 패러다임: 추가 훈련이나 외부 드래프트 모델 없이, 임베딩 공간의 마스크 토큰 프로빙을 통해 다중 토큰 생성을 가능하게 함.
동적 트리 확장: 예측 확률에 기반하여 적응적으로 성장하는 토큰 트리 메커니즘 제안.
효율적인 구현: 정적 트리 어텐션 마스크와 위치 업데이트를 GPU 친화적으로 최적화하여 처리량 극대화.
이론적/실증적 증명: 마스크 토큰과 실제 토큰 간의 정렬이 다중 단계 예측의 정확성을 보장함을 증명.
포괄적 평가: 다양한 모델과 작업에서 일관된 성능 개선을 입증.

6. 의의 및 결론 (Significance)

이 논문은 LLM 추론 가속화 분야에서 중요한 전환점을 제시합니다.

접근성: 고비용의 재훈련이나 복잡한 아키텍처 변경 없이도, 기존 frozen 모델을 즉시 가속화할 수 있어 엣지 컴퓨팅 및 모바일 환경에서의 LLM 배포 장벽을 낮춥니다.
해석 가능성: LLM 의 내부 표현이 미래 토큰을 예측할 수 있는 잠재력을 가지고 있음을 보여주어, 모델의 기계적 해석성 (Mechanistic Interpretability) 연구에도 기여합니다.
실용성: 손실 없는 생성을 보장하면서도 추론 속도를 획기적으로 개선하여, 실시간 애플리케이션 및 대규모 서비스의 효율성을 높이는 데 기여할 것으로 기대됩니다.