💬 NLP

LiLiCorr: Lightweight Likelihood Correlation of Parallel Drafts for Speculative Decoding

LiLiCorr는 드래프터의 위치별 주변 분포를 효율적으로 상관시켜 토큰 간의 결합 일관성을 포착함으로써, 최소한의 지연 시간 오버헤드로 수락 길이와 전체 처리량을 크게 향상시키는 경량화된 스펙큘레이티브 디코딩 방식입니다.

원저자: Matan Rusanovsky, Yoav Miron, Roy Uziel, Omer Belhasin, Ran Zilberstein, Maor Ashkenazi, Michael Elad

게시일 2026-08-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Matan Rusanovsky, Yoav Miron, Roy Uziel, Omer Belhasin, Ran Zilberstein, Maor Ashkenazi, Michael Elad

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

책을 읽는 것이 즉각적으로 이루어지는 세상을 상상해 보십시오. 이는 단어들이 더 빨리 나타나기 때문이 아니라, 페이지를 넘기기도 전에 당신의 정신이 문단 전체를 예측할 수 있기 때문입니다. 이것이 바로 '추측적 디코딩(speculative decoding)'이라 불리는 기술의 약속이며, 인공지능이 전례 없는 속도로 말하고 글을 쓰도록 설계된 방법입니다. 이 과정의 핵심은 단순한 분업에 의존합니다. 작고 빠른 모델이 다음에 올 내용을 추측하는 초안 작성자 역할을 하고, 더 크고 강력한 모델이 그 추측을 검증하는 심판 역할을 하는 것입니다. 만약 심판이 초안 작성자의 예측에 동의하면, 시스템은 그 추측을 수용하고 모든 단어를 처음부터 하나씩 생성하는 느린 단계를 건너뛰어 앞으로 나아갑니다. 초안 작성자가 긴 단어의 줄을 정확하게 맞출 것이라고 신뢰할 수 있는 정도가 빠를수록, 전체 대화의 흐름은 더 빨라집니다. 그러나 한 가지 지속적인 문제가 이 기술의 발목을 잡아왔습니다. 초안 작성자가 개별 단어는 제대로 맞히더라도, 그것들을 일관된 문장으로 결합하는 데는 실패한다는 점입니다. 이는 마치 모든 음표를 개별적으로는 완벽하게 연주하지만, 음표들이 순서대로 연주될 때는 부조화스럽고 터무니없는 멜로디를 만들어내는 음악가와 같습니다.

NVIDIA의 연구진은 속도를 희생하지 않으면서 이러한 일관성의 문제를 해결하기 위해 'LiLiCorr'라는 새로운 방법을 도입했습니다. 이 시스템은 한 번의 빠른 폭발적인 동작으로 미래의 단어 블록 전체를 예측할 수 있는 'DFlash'라는 초안 모델을 기반으로 구축되었습니다. DFlash는 믿을 수 없을 정도로 빠르지만, 각 단어 위치를 독립적인 사건으로 취급합니다. 즉, 첫 번째 슬롯에는 "The dog"를 제안하고 두 번째에는 "meows"를 제안할 수는 있지만, 문장 전체의 맥락에는 "The cat"이 더 적합했을 것이라는 사실을 깨닫지 못할 수 있습니다. 이 새로운 접근 방식은 초안 작성자를 완벽하도록 재학습시키려 하는 대신, 빠른 편집자 역할을 하는 가벼운 논리 계층을 추가합니다. 이 편집자는 초안 작성자가 각 위치에 대해 제안한 상위 몇 개의 후보를 살펴보고, 그것들이 얼마나 잘 연결되는지 확인합니다. 이 편집자는 각 후보 단어에 두 개의 방향성 신호를 할당하는데, 하나는 앞 단어와 얼마나 잘 어울리는지를 나타내고, 다른 하나는 뒷 단어를 위해 얼마나 잘 준비되어 있는지를 나타냅니다. 이러한 신호들을 비교함으로써, 시스템은 어떤 단어의 시퀀스가 매끄럽고 논리적인 경로를 형성하는지 즉각적으로 식별하여, 큰 모델이 거부했을 법한 부조화스러운 조합들을 폐기합니다.

이 설계의 탁월함은 효율성에 있습니다. 시스템은 단어를 하나씩 느린 순차적 체인으로 확인하는 대신, 후보 단어들 사이의 모든 가능한 연결을 단 하나의 거대한 계산을 통해 병렬적으로 동시에 평가합니다. 이를 통해 시스템은 가장 일관된 시퀀스를 거의 즉각적으로 찾아내며, 선택을 확정 짓는 간단한 최종 단계만을 남겨둡니다. 연구진은 이 편집자가 초안 작성자와 손을 맞추어 작동하도록 훈련함으로써, 두 모델이 서로 협력하는 법을 배웠으며, 결과적으로 초안 작성자가 편집자가 긴 문장으로 연결하기 더 쉬운 후보들을 제안하게 된다는 것을 발견했습니다. 수학 문제 풀이부터 코드 작성, 대화에 이르기까지 9가지의 다양한 벤치마크 테스트에서 이 새로운 방법은 기존의 방식들을 지속적으로 능가했습니다. 이 방식은 편집되지 않은 초안 작성자에 비해 수용된 단어의 수를 9%에서 19% 사이로 증가시켰으며, 72개의 테스트 시나리오 중 70개에서 가장 높은 전체 속도를 기록했습니다. 심지 even 훈련 데이터보다 10배 더 긴 입력을 처리하도록 요청받았을 때도 선두를 유지하며, 이 후보 연결 방식이 견고하고 확장 가능하다는 것을 증명했습니다.

이 결과는 AI의 속도를 높이는 데 있어 병목 현상이 단순히 초안 작성자를 더 빠르게 만드는 것뿐만 아니라, 초안 작성자의 추측을 검증하기 더 쉽게 만드는 것에 있다는 점을 시사합니다. 추측의 일관성을 심판에게 보내기 전에 미리 수정함으로써, 시스템은 거절과 재생성으로 인한 낭비되는 시간을 방지합니다. 이 접근 방식은 상관관계를 파악하기 위해 메인 모델의 막대한 계산 능력을 필요로 하지 않습니다. 대신, 텍_블록당 전체 시간의 약 2.8%만을 차지하는 아주 작은 특화 네트워크를 사용합니다. 연구진은 이 작은 추가가 엄청난 수익을 가져온다는 것을 입증했으며, 이를 통해 시스템이 이전보다 훨씬 빠르게 정보를 처리할 수 있게 했습니다. 다른 방법들은 모든 단어에 대해 복잡한 검사를 수행하거나 메인 모델이 추가적인 작업을 수행하도록 함으로써 이를 해결하려 했지만, LiLiCorr는 초안 작성자가 이미 제공하는 정보를 탐색하기 쉬운 구조로 조직함으로써 성과를 달ей했습니다. 이 연구 결과는 고속 AI의 미래를 위한 열쇠가 더 큰 모델을 만드는 것이 아니라, 생성된 단어들 사이의 점들을 연결하는 더 스마트하고 효율적인 방법을 구축하는 데 있을 수 있음을 보여줍니다.

기술 요약: LiLiCorr

문제 정의

추측적 디코딩(Speculative decoding)은 더 작은 "드래프터(drafter)" 모델이 미래의 토큰들을 제안하고, 더 큰 "타겟(target)" 모델이 이를 병렬로 검증함으로써 자기회귀적 언어 모델의 추론 속도를 가속화합니다. DFlash와 같은 유망한 드래프터 클래스는 확산형(diffusion-style) 아키텍처를 사용하여 단 한 번의 순방향 패스(forward pass)로 전체 미래 토큰 블록을 예측합니다. 그러나 이러한 모델들은 위치별 주변 확률 분포(per-position marginals)(특정 위치에서의 토큰 확률을 독립적으로 예측)를 기반으로 학습됩니다.

결과적으로, DFlash가 생성하는 토큰들은 개별적으로는 그럴듯할 수 있지만, **결합된 상태에서는 일관성이 결여(jointly incoherent)**되는 경우가 많습니다. 각 슬롯에서 가장 확률이 높은 토큰을 독립적으로 선택하면 타겟 모델이 조기에 거절하는 시퀀스가 생성되어, 수용 길이(acceptance length)와 그에 따른 가속 효과를 제한하게 됩니다. 이러한 마진(marginals)으로부터 일관된 시퀀스를 복구하는 것은 조합론적으로 매우 어렵습니다. 왜냐하면 $B$ 개의 위치와 $V$ 크기의 어휘 사전(vocabulary)을 가진 블록에 대한 결합 분포는 $V^B$ 개의 실현 가능성을 가지므로, 이를 명시적으로 모델링하는 것은 불가능하기 때문입니다. 기존 솔루션들은 비용이 많이 드는 드래프터의 반복적인 정교화(iterative refinement)에 의존하거나, 상관관계의 부담을 타겟 모델로 전가하거나(이는 추측의 목적을 저해함), 혹은 슬롯을 하나씩 처리하는 순차적 자기회귀 교정 네트워크를 사용합니다.

방법론: LiLiCorr

LiLiCorr(Lightweight Likelihood Correlation)는 단 한 번의 네트워크 패스만으로 슬롯별 마진으로부터 일관된 시퀀스를 복구함으로써 이 문제를 해결합니다. 이 방식은 문제를 전체 결합 분포를 모델링하는 것이 아니라, 후보 격자(candidate lattice) 상의 스코어링 모델을 학습하는 것으로 취급합니다.

1. 후보 격자 및 표현 (Candidate Lattice and Representation)

각 슬롯에서 단일 토큰을 선택하는 대신, LiLiCorr는 드래프터의 주변 분포에서 추출한 상위- $K$ 개의 후보 토큰을 $B-1$ 개의 추측 슬롯 각각에 대해 유지합니다.

노드 구축: 각 후보 토큰은 다음 네 가지 구성 요소의 합으로 형성된 벡터(노드)로 표현됩니다:
1. 해당 토큰의 동결된(frozen) 타겟 모델 입력 임베딩.
2. 해당 슬롯의 드래프터 은닉 상태(해당 슬롯의 모든 후보와 공유됨).
3. 드래프터의 신뢰도(로그 확률, 순위 등)의 스칼라 특징을 처리하는 소형 네트워크.
4. 슬롯 인덱스와 후보 순위에 대한 학습된 인코딩.
문맥적 처리: 경량 양방향 트랜스포머(bidirectional Transformer)가 전체 $(B-1) \times K$ 격자를 공동으로 처리합니다. 이를 통해 모든 후보는 다른 모든 후보(슬롯 내의 경쟁 후보 및 인접 슬롯의 후보 모두)와 정보를 교환하여 블록 전체의 문맥을 인코딩할 수 있습니다.

2. In/Out 벡터를 통한 상관관계 (Correlation via In/Out Vectors)

각 후보 노드에 대해, LiLiCorr는 두 개의 정규화된 벡터인 in 벡터( $i$ )와 out 벡터( $o$ )를 생성합니다.

쌍별 스코어링 (Pairwise Scoring): 인접한 슬롯 $s$ 와 $s+1$ 은 $s$ 의 후보의 out 벡터와 $s+1$ 의 후보의 in 벡터 사이의 코사인 유사도를 계산함으로써 결합됩니다.
효율성: 이 공식은 상관관계 로직을 **배치 행렬 곱셈(batched matrix multiplications)**으로 축소합니다. 단 한 번의 순방향 패스 이후, 전체 블록에 대한 모든 쌍별 상호작용이 병렬로 계산됩니다.
안정성: 코사인 유사도(상수 $\sigma$ 에 의해 스케일링됨)를 사용함으로써, 공동 학습 시 공유된 DFlash 백본을 불안정하게 만들 수 있는 무제한적인 점수 크기를 방지합니다.

3. 학습 목표 (Training Objectives)

LiLiCorr는 DFlash 드래프터와 **공동 학습(co-trained)**됩니다. 학습 손실은 세 가지 구성 요소로 이루어집니다:

DFlash 손실: 드래프터를 위한 표준 슬롯별 교차 엔트로피(cross-entropy).
오라클 접두사 교차 엔트로피 ( $L_{CE}$ ): 이전 슬롯의 정답 토큰을 조건으로 하여, 정답 토큰의 순위를 가장 높게 매기도록 LiLiCorr를 훈련시키는 교사 강제(teacher-forced) 손실입니다. 결정적으로, 감독(supervision)은 정답이 상위- $K$ 후보 안에 포함되어 있는 가장 긴 선행 슬롯 구간인 "오라클 접두사(oracle prefix)"에만 적용됩니다.
디스트랙터 페널티 ( $L_{dist}$ ): 타겟 모델이 낮게 평가하는 후보에 페널티를 부여하는 비용 인식 항입니다. 이는 정답 대비 기대 타겟 비용을 최소화하며, 특히 타겟 모델이 거절할 "혼란을 주는(confusers)" 토큰을 억제하여 정답 토큰을 위한 마진을 넓힙니다.

4. 디코딩 (Decoding)

추론 시 프로세스는 2단계로 진행됩니다:

병렬 스코어링: 단 한 번의 LiLiCorr 패스로 모든 in/out 벡터와 모든 쌍별 매칭 점수를 병렬로 계산합니다.
순차적 그리디 워크 (Sequential Greedy Walk): 블록을 왼쪽에서 오른쪽으로 확정합니다. 각 슬롯에서 이전에 확정된 후보와의 매칭을 최대화하는 후보를 선택합니다. 이 그리디 워크는 순차적이지만 네트워크 가중치를 건드리지 않으므로 계산 비용이 매우 저렴합니다.

주요 기여 (Key Contributions)

새로운 정식화: 전체 결합 분포의 난해함을 피하면서, 후보 경로 상의 스코어링 모델을 학습함으로써 슬롯별 주변 분포로부터 일관된 시퀀스를 복구하는 가능도 기반(likelihood-based) 접근법을 제시합니다.
병렬 상관관계: 상관관계 로직을 효율적이고 병렬 처리가 가능한 행렬 연산으로 축소했습니다. 슬롯당 한 번씩 교정 네트워크를 실행하는 기존의 드래프트 타임 방식과 달리, LiLiCorr는 단 한 번의 패스로 전체 후보 격자를 스코어링한 후 저렴한 그리디 선택을 수행합니다.
최첨단 성능 (SOTA): 이 방법은 다양한 설정에서 DFlash 드래프터 및 기존의 Domino, DSpark와 같은 동시 작업들을 능가하며 새로운 벤치마크를 기록했습니다.

실험 결과

저자들은 Qwen3-8B 및 Qwen3-4B 타겟 모델을 사용하여 수학, 코드, 채팅 등 9개의 벤치마크에서 LiLiCorr를 평가했습니다.

수용 길이 (Acceptance Length): 바닐라 DFlash 드래프터와 비교했을 때, LiLiCl est는 모든 벤치마크에서 수용 길이를 9%에서 19%까지 증가시켰습니다.
처리량 (Throughput): LiLiCorr는 테스트된 72개 설정 중 70개에서 가장 높은 처리량을 달 기록했습니다 (벤치마크, 타겟 크기, 디코딩 방식, 동시성 수준 변화 포함).
- 가장 강력한 베이스라인인 Domino보다 평균적으로 최대 5.3% 더 높은 성능을 보였습니다.
- LiLiCorr 헤드는 전체 블록 레이턴시의 **2.8%**만을 차지하며, 최적화 시 Domino의 헤드보다 약 2.4배 더 저렴합니다.
일반화 능력: 위치 인코딩이 확장(예: YaRN 활용)된다면, 훈련 범위보다 10배 더 긴 입력(최대 32K 토큰)에서도 성능 우위가 유지됩니다.
절제 연구 (Ablation): 디스트랙터 페널티가 특히 짧은 프롬프트에서 중요하며, 수용 길이를 추가로 1.5%에서 8.9%까지 높인다는 것을 입증했습니다.

의의 및 주장

본 논문은 LiLiCorr가 드래프트 토큰의 상관관계를 순차적 자기회귀 패스로부터 분리함으로써 추측적 디코딩의 구조적 개선을 나타낸다고 주장합니다. 모든 상관관계 작업을 단 한 번의 병렬 패스로 수행함으로써, 드래프터의 오버헤드를 최소화하면서 수용 길이를 극대화합니다.

저자들은 이 방법의 **범위가 제한적(modest in its scope)**임을 강조합니다: 이는 드래프터가 정답을 포함하는 후보 풀(the "oracle prefix")을 제안할 수 있는 능력에 의존합니다. 만약 정답 토큰이 상위- $K$ 후보 안에 없다면 LiLiCorr는 이를 복구할 수 없습니다. 그러나 후보 풀의 제약 내에서, 이 방식은 결합된 일관성을 복구하기 위한 매우 효율적인 메커니즘을 제공하며, 고동시성 및 긴 문맥 시나리오를 포함한 광범위한 서빙 조건에서 가장 빠른 시스템임을 입증했습니다. 이 연구는 인접한 쌍 이상의 슬롯을 결합하는 것이 접두사 수용(prefix acceptance) 하에서 그 비용을 정당화할 수 있는지에 대한 열린 질문을 남기며, 향후 연구 방향을 제시합니다.