🤖 machine learning

Fast and Expressive Multi-Byte Prediction with Probabilistic Circuits

이 논문은 미래 토큰들에 대한 결합 분포를 인코딩함으로써 표현력과 지연 시간 사이의 절충안을 최적화하고, 이를 통해 기존 모델의 성능을 유지하면서도 바이트 수준 및 서브워드 LLM 생성을 크게 가속화하는 확률 회로 기반의 멀티 토큰 예측 프레임워크인 MTPC를 소개한다.

원저자: Andreas Grivas, Lorenzo Loconte, Emile van Krieken, Piotr Nawrot, Yu Zhao, Euan Wielewski, Pasquale Minervini, Edoardo Ponti, Antonio Vergari

게시일 2026-06-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Andreas Grivas, Lorenzo Loconte, Emile van Krieken, Piotr Nawrot, Yu Zhao, Euan Wielewski, Pasquale Minervini, Edoardo Ponti, Antonio Vergari

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 이야기를 쓰려고 노력 중이라고 상상해 보세요. 하지만 당신에게는 매우 엄격한 규칙이 하나 있습니다. 바로 한 번에 한 글자씩만 써야 한다는 것입니다. 글자를 하나 타이핑할 때마다, 당신은 멈춰서 생각하고, 당신의 아주 똑똑한 뇌(AI)에게 다음에 올 것이 무엇인지 물어봐야 합니다. 이것이 현재 대부분의 대규모 언어 모델(LLM)이 작동하는 방식입니다. 이는 정확하지만, 만약 당신이 단어가 아닌 "바이트(text의 기본 단위)" 단위로 글을 쓰고 있다면 매우 느려집니다. 왜냐하면 단 하나의 문장을 쓰기 위해 수천 개의 글자를 일일이 타이핑해야 하기 때문입니다.

이 논문은 품질을 떨어뜨리지 않으면서 이 속도 문제를 해결하기 위한 새로운 방법인 MTPC(Multi-Token Prediction Circuits)를 소개합니다.

작동 방식은 다음과 같습니다. 일상적인 비유를 들어 설명하겠습니다.

1. 문제점: "추측 게임" vs "수정구슬"

속도를 높이기 위해 연구자들은 **다중 토큰 예측(Multi-Token Prediction, MTP)**이라는 기술을 시도했습니다. 한 글자씩 추측하는 대신, AI가 글자의 덩어리 전체를 한꺼번에 추측하도록 하는 것입니다 (예를 들어, 단어의 다음 8글자를 한꺼번에 추측하는 것).

기존 방식 (독립성 가정): 당신이 단어의 다음 8글자를 추측하고 있는데, 각 글자를 서로 아무런 관계가 없는 것처럼 취급한다고 상상해 보세요. 첫 번째 글자를 추측하고, 그다음 두 번째, 세 번째를 추측하는데, 첫 번째 글자가 "C"라면 두 번째 글자는 "Z"가 될 가능성이 낮다는 사실을 완전히 무시하는 것입니다.
- 결과: 이 방식은 빠르지만, 엉터리가 됩니다. 모델이 글자들이 서로 어울려야 한다는 것을 깨닫지 못했기 때문에 "Pretoria" 대신 "Cretoria"나 "Craporia" 같은 글자를 만들어낼 수 있습니다. 이는 마치 벽돌이 서로 맞는지 확인하지 않고 무작위로 집을 짓는 것과 같습니다.
새로운 방식 (MTPC): 저자들은 이렇게 말합니다. "글자를 개별적으로 추측하는 것을 멈춥시다. 전체 덩어리를 하나의 연결된 그룹으로 추측합시다." 그들은 **확률적 회로(Probabilistic Circuit)**라는 수학적 도구를 사용합니다.
- 비유: 기존 방식이 사람들이 돌아가며 무작위 단어를 속삭이는 쪽지 전달 방식이라면, 새로운 방식은 오케스트라를 이끄는 지휘자와 같습니다. 지휘자(회로)는 만약 첫 번째 악기가 C-메이저 화음을 연주한다면, 다음 악기들은 반드시 그 화음에 어울리는 음을 연주해야 한다는 것을 알고 있습니다. 즉, 글자 사이의 **의존성(dependencies)**을 이해하는 것입니다.

2. 도구 모음: "회로 설계사"

이 논문은 속도와 지능 사이의 균형을 맞추기 위해 글자들이 얼마나 "연결"될지를 선택할 수 있는 유연한 프레임워크(MTPC)를 제안합니다. 그들은 다양한 "아키텍처(회로의 형태)"를 제공합니다.

FF (Fully Factorised): "무작위 추측" 모드입니다. 빠르지만 멍청합니다. (오케스트라 단원들이 각자 따로 연주하는 것과 같습니다).
CP (Canonical Polyadic): "그룹 추측" 모드입니다. 몇 가지 주요 테마를 먼저 추측하고 그 주변에 글자들을 배치합니다. 조금 더 똑똑합니다.
HMM (Hidden Markov Model): "연쇄 반응" 모드입니다. 첫 번째 글자가 두 번째에 영향을 주고, 두 번째가 세 번째에 영향을 주는 식입니다. 매우 똑똑하지만, 하나가 끝날 때까지 기다려야 하므로 느립니다.
BTree (Binary Tree): "팀 허들(Team Huddle)" 모드입니다. 이 논문의 주인공입니다. 8개의 글자를 두 그룹(각 4개)으로 나눈다고 상상해 보세요. 모델은 첫 번째 그룹과 두 번째 그룹을 동시에 추측하지만, 이들은 전체적인 테마에 대해 서로 합의할 수 있도록 연결된 "팀 리더(숨겨진 변수)"를 가집니다.
- 왜 뛰어난가: "연쇄 반응"의 지능을 가지면서도, 두 가지 일을 동시에 수행하기 때문에 "무작위 추측"의 속도를 낼 수 있습니다.

3. 안전망: "추측적 디코딩 (Speculative Decoding)"

"만약 AI가 한 덩어리를 한꺼번에 추측했는데, 틀리면 어떡하죠?"라는 걱정이 들 수 있습니다.

논문은 **추측적 디코딩(Speculative Decoding)**이라는 기술을 사용합니다.

비유: 빠른 달리기 선수(초안 모델, Draft Model)와 느리지만 매우 정확한 심판(검증기, Verifier)을 상상해 보세요.
1. 빠른 달리기 선수가 앞서 달려나가며 다음 8글자를 추측합니다.
2. 느린 심판이 이 글자들을 하나씩 체크합니다.
3. 만약 심판이 선수의 추측에 동의하면, 아주 좋습니다! 그 글자들을 그대로 유지합니다.
4. 만약 심파이 동의하지 않는다면, 그 즉시 멈추고, 잘못된 추측들을 버린 뒤, 심판이 승인한 글자들만 남깁니다.

초안 모델(MTPC)은 글자들이 어떻게 연결되는지 잘 이해하기 때문에(BTree 회로 덕분에), 심판이 선수의 추측에 동의하는 빈도가 이전보다 훨씬 높습니다. 덕분에 우리는 더 많은 빠른 추측들을 유지할 수 있고, 전체 과정을 빠르게 만들 수 있습니다.

4. 결과: 품질 저하 없이 속도 높이기

저자들은 이 기술을 두 가지 특정 AI 모델에 테스트했습니다:

EvaByte: 이미 바이트 단위로 글을 쓰는 모델.
Llama 3.2 3B (Byte): 바이트 단위로 글을 쓰도록 변환된 인기 모델.

연구 결과:

엄청난 속도 향상: 기존의 "한 번에 한 글자씩" 방식과 비교했을 때, MTPC는 EvaByte를 5.15배, Llama를 2.24배 더 빠르게 만들었습니다.
"독립성" 기술보다 우수함: 단순히 글자를 독립적으로 추측하는 다른 빠른 방법들과 비교해도, MTPC는 1.17배 더 빨랐습니다.
품질 손실 없음: 결정적으로, "안전망(추측적 디코딩)" 덕분에 최종 출력물은 AI가 한 글자씩 썼을 때와 정확히 동일한 품질을 유지합니다. 속도를 위해 정확도를 희생하지 않았습니다.

요약

이 논문은 글자를 개별적인 문자가 아닌 연결된 그룹으로 추측하도록 AI를 학습시킴으로써, AI 텍스트 생성을 더 빠르게 만드는 새로운 방법을 제시합니다. 추측들을 조직하기 위해 스마트한 "이진 트리(Binary Tree)" 구조를 사용하고, 이를 검증할 "심판"을 활용함으로써, 품질을 완벽하게 보장하면서도 엄청난 속도 향상(최대 5배)을 달 achievement 했습니다. 이는 마치 타이피스트에게 단어 전체를 한 번에 치는 법을 가르치되, 오타를 즉시 잡아내는 안전망을 갖추게 하는 것과 같습니다.

기술 요약: 확률적 회로를 이용한 빠르고 표현력 있는 멀티 바이트 예측

문제 정의

자기회귀(Autoregressive, AR) 대규모 언어 모델(LLM)은 텍ant을 한 번에 하나의 토큰씩 생성하며, 이로 인해 높은 지연 시간과 에너지 비용이 발생합니다. 이러한 병목 현상은 특히 바이트 수준(byte-level) LLM에서 심각한데, 이들은 토크나이저가 없지만 서브워드 모델에 비해 동일한 길이의 텍스트를 생성하는 데 훨씬 더 많은 디코딩 단계가 필요하기 때문입니다. **멀티 토큰 예측(Multi-Token Prediction, MTP)**은 미래의 토큰 윈도우를 동시에 예측함으로써 해결책을 제시하지만, 기존 방식들은 **표현력(expressiveness)**과 효율성(efficiency) 사이의 결정적인 트레이드오프에 직면해 있습니다:

독립성 가정: 현재의 많은 MTP 방법들은 미래의 토큰들이 독립적이라고 가정합니다(완전 인수 분해, FF). 이는 효율적이지만 표현력을 희생하며, 이로 인해 "바이트 살라드(byte-salad)" 형태의 연속(예: 유효한 바이트들의 무의미한 조합)이 나타나거나 투기적 디코딩(speculative decoding) 시 수락률(acceptance rate)이 낮아지는 결과를 초래합니다.
얕은 자기회귀 헤드(Shallow Autoregressive Heads): 다른 방식들(예: Hydra, EAGLE)은 예측 윈도우 내에서 자기회귀 생성을 유지합니다. 이는 더 표현력이 높지만, 진정한 공동 MTP라기보다는 가속된 AR 디코딩에 더 가까우며, 의존 구조를 조절 가능한 모델링 선택지로 노출하지 못합니다.
지연 시간 vs. 표현력: 완전 인수 분해 모델과 복잡한 결합 분포 사이의 스펙트럼을 과도한 지연 시간 없이 탐색할 수 있는 체계적인 프레임워크가 부족합니다.

방법론: MTPC 프레임워크

저자들은 미래 토큰에 대한 결합 분포를 매개변수화하기 위해 **확률적 회로(Probabilistic Circuits, PCs)**를 활용하는 MTPC(Multi-Token Prediction Circuits) 프레임워크를 제안합니다. MTPC는 결합 분포를 계층적 혼합 모델을 인코딩하는 트랙터블(tractable)한 계산 그래프로 취급하여, 아키텍처 변형에 대한 체계적인 탐색을 가능하게 합니다.

핵심 구성 요소

확률적 회로 아키텍처: MTPC는 기존의 방법들을 일반화하고, 미래 바이트 간의 의존성을 모델링하기 위해 새로운 구조들을 도입합니다:
- MTPC-FF: 입력 단위들의 곱으로 표현되는 완전 인수 분해 모델(표준 독립 MTP와 동일)입니다.
- MTPC-CP: 이산 잠재 변수를 도입하여 인수 분해된 성분들의 혼합을 만드는 텐서 분해(Canonical Polyadic decomposition) 방식이며, 일부 의존성을 회복합니다.
- MTPC-HMM: 시간 의존적 전이 행렬을 통해 먼 거리의 의존성을 포착하기 위해 일련의 잠재 변수를 사용하는 은닉 마르코프 모델(Hidden Markov Model) 매개변수화입니다.
- MTPC-BTree: 잠재 변수의 계층 구조를 인코딩하는 새로운 이진 트리(Binary Tree) 인수 분해 방식입니다. 이 구조는 HMM에서 발견되는 비대칭성과 지연 시간 문제를 해결하며, 토큰과 잠재 변수의 병렬 샘플링을 가능하게 합니다.
LLM을 통한 매개변수화:
- 프레임워크는 LLM 백본(선택적 LoRA 어댑터 포함)을 사용하여 입력 이력으로부터 문맥적 특징을 추출합니다.
- 신경망 헤드는 이러한 특징들을 PC의 매개변수(입력 단위 분포 및 합 단위 가중치)로 매핑하여 **신경 조건부 회로(neural conditional circuit)**를 생성합니다.
- 이를 통해 모델은 특정 회로 구조(FF, CP, HMM, BTree)를 추상화하고 텐서화된 매개변수를 학습하는 데 집중할 수 있습니다.
투기적 디코딩 통합:
- MTPC는 드래프트 모델(MTPC 헤드)과 검증기(AR LLM)가 동일한 백본을 공유하는 **자기 투기적 디코딩(self-speculative decoding)**을 채택합니다.
- 드래프트 모델은 PC로부터 윈도우 내의 토큰들을 병렬로 샘플링합니다.
- 검증기는 이 토큰들을 병렬로 수락하거나 거부합니다.
- 보장 사항: 이 프레임워크는 그리디 디코딩(greedy decoding) 출력이 대상 AR LLM과 동일함을 보장하며, 샘플링이 기대치 내에서 대상과 일치하도록 하여 생성 품질의 손실이 없음을 보장합니다.
트레이드오프 차원:
- 회로 아키텍처: 의존성 모델링과 계산 비용 사이의 균형을 맞추기 위해 FF, CP, HMM, BTree 중 선택합니다.
- 레이어 공유: 드래프트 모델의 LoRA 레이어 수를 조정하여(0~4개), 드래프트와 검증기 간의 표현력-지연 시간 트레이드오프를 제어합니다.

주요 기여

MTPC 프레임워크: 독립성 가정을 완화하고 텐서 분해 방법(CP 등)을 통일된 PC 프레임워크로 일반화하여, 빠른 MTP 프레임워크를 도입했습니다.
체계적인 트레이드오프 분석: 수락된 토큰(표현력)과 생성 지연 시간 사이의 관계를 엄격하게 규명했습니다. 논문은 가장 표현력이 높은 모델(예: HMM)이 항상 최적의 처리량을 달는 것이 아니라, BTree와 같이 병렬성이 더 뛰어난 아키텍처가 최적의 처리량을 달성한다는 것을 보여줍니다.
실증적 검증: MTP 역량을 가진 두 가지 바이트 수준 LLM에 MTPC를 적용했습니다:
- EvaByte (6.5B): MTP 기능과 함께 사전 학습된 바이트 수준 모델.
- Llama 3.2 3B (Byte): MTP를 위해 사전 학습되지 않은, 인기 있는 서브워드 모델을 바이트화한 버전.

실험 결과

저자들은 Tulu 3 데이터셋을 사용하여 NVIDIA L40S 및 RTX 3090 GPU에서 MTPC를 평가했습니다.

처리량 이득 (Throughput Gains):
- EvaByte: MTPC는 표준 AR 생성 대비 5.15배, 독립성 가정을 가진 MTP(FF) 대비 1.17배의 속도 향상을 달성했습니다.
- Llama 3.2 3B: MTPC는 AR 생성 대비 2.24배, FF MTP 대비 1.17배의 속도 향상을 달성했습니다.
아키텍처 성능:
- BTree vs. HMM: HMM은 높은 수락률을 달성했지만, 자기회귀적 특성으로 인해 높은 지연 시간이 발생하여 전체적인 처리량은 낮았습니다. BTree 아키텍처는 병렬 샘플링을 가능하게 하여 최적의 균형을 맞추었으며, 특히 큰 윈도우 크기( $n=16$ )에서 가장 높은 처리량을 달성했습니다.
- LoRA 레이어: 드래프트 모델에 LoRA 어댑터를 추가하면 표현력(수락된 토큰)은 증가하지만 지연 시간도 함께 증가합니다. 최적의 설정은 모델마다 달랐습니다. EvaByte에는 1개의 LoRA 레이어가 최적이었고, Llama에는 2개의 LoRA 레이어가 유리했습니다.
윈도우 크기: 예측 윈도우를 $n=16$ 으로 확장하는 것은 LoRA 어댑터와 결합했을 때 표현력이 높은 회로(HMM, BTree)에 대해 $n=8$ 일 때보다 처리량을 크게 높였습니다.

의의 및 주장

본 논문은 MTPC가 독립적 예측과 얕은 자기회귀 헤드 사이의 이분법적 선택을 넘어, MTP 아키텍처 변형의 스펙트럼을 탐색하는 체계적인 방법을 제공한다고 주장합니다. 확률적 회로를 활용함으로써, 이 프레임워크는 연구자들이 트랙터블(tractable)함을 유지하면서 토큰 간 의존성을 명시적으로 모델링할 수 있게 해줍니다.

저자들은 이러한 처리량 이득이 생성 품질의 저하 없이 달성되었음을 강조하며, 투기적 디코딩 과정이 대상 AR LLM과의 정렬을 보장하기 때문이라고 설명합니다. 이 연구는 바이트 수준 LLM이 계산 오버헤드로 인해 어려움을 겪을 수 있지만, 이러한 효율적인 멀티 바이트 예측 전략을 통해 주류가 될 수 있음을 시사합니다. 이 프레임워크는 차세대 바이트 수준 모델의 효율성을 최적화하기 위한 유연한 도구로서 제시되며, 코드와 모델은 공개적으로 제공됩니다.