💬 NLP

Structuring The Future: Diffusion LLM Speculative Decoding via Calibrated Draft Graphs

이 논문은 보정되고 동적으로 가지치기된 유향 초안 그래프(directed draft graphs)를 활용하여 모델 추론 횟수와 토큰 생성률을 대폭 감소시키면서도 원래의 출력 분포를 증명 가능한 방식으로 보존함으로써 Diffusion LLM 추론을 가속화하는 스피피(Spiffy)라는 추측적 디코딩 알고리즘을 소개한다.

원저자: Sudhanshu Agrawal, Risheek Garrepalli, Raghavv Goel, Christopher Lott, Fatih Porikli, Mingu Lee

게시일 2026-06-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sudhanshu Agrawal, Risheek Garrepalli, Raghavv Goel, Christopher Lott, Fatih Porikli, Mingu Lee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한, 복잡한 퍼즐을 풀려고 노력하고 있다고 상상해 보세요.

과거의 방식 (자기회귀 모델 - Autoregressive Models):
현재 대부분의 AI 모델은 매우 신중하고 느린 퍼즐 해결사처럼 작동합니다. 조각 하나를 놓은 뒤, 그것이 맞는지 확인하고, 그다음 조각을 놓은 뒤 다시 확인하는 식입니다. 이들은 한 번에 하나의 조각만 다룰 수 있습니다. 아무리 똑똑하더라도 "한 번에 한 단계씩"이라는 리듬에 갇혀 있기 때문에 느릴 수밖에 없습니다.

새로운 방식 (확산 모델 - Diffusion Models):
최근 "디퓨전 LLM(Diffusion LLM)"이라 불리는 새로운 유형의 AI가 등장했습니다. 이 모델은 캔버스 전체를 한눈에 보는 화가라고 생각하면 됩니다. 붓 터치를 하나하나 순차적으로 하는 대신, 전체 그림을 보고 이론적으로는 여러 부분을 동시에 수정할 수 있습니다. 이는 엄청난 속도를 낼 수 있는 잠재력을 가지고 있습니다.

문제점:
하지만 실제로 이 "화가들"은 너무 조심스럽습니다. 그림을 완벽하게 만들기 위해, 현재 이들은 한 번에 캔버스의 아주 작은 지점 하나만을 수정하도록 허용되어 있습니다. 그들은 벽 전체를 칠할 수 있는 초능력을 가졌음에도 불구하고, 마치 점 하나를 찍고 있는 것처럼 행동하고 있습니다. 이는 그들의 속도 잠재력을 낭비하는 일입니다.

해결책: Spiffy
이 논문은 Spiffy(Speculation for Diffusion LLM Efficiency)라는 새로운 방법을 소개합니다. 이는 조심스러운 화가들이 그림을 망치지 않으면서도 더 빠르게 작업할 수 있도록 돕는 방법입니다.

Spiffy가 어떻게 작동하는지 다음의 비유들을 통해 알아보겠습니다.

1. "오토파일럿" 추측 게임

보통 속도를 높이기 위해, 여러분은 더 작고 빠른 두 번째 화가("드래프트 모델")를 고용하여 다음 몇 개의 조각이 어떻게 되어야 할지 추측하게 할 수도 있습니다. 그러면 메인 화가가 그 추측이 맞는지 확인합니다.

함정: 두 번째 화가를 고용하는 것은 비용과 훈련 시간이 듭니다.
Spiffy의 비결: Spiffy는 두 번째 화가를 고용하지 않습니다. 대신, 메인 화가에게 작업하는 동안 자신의 미래 단계를 스스로 추측하도록 요청합니다. 이것은 마치 화가가 잠시 멈춰 서서 "내가 이 부분을 수정한다면, 바로 옆에 있는 이 세 곳도 즉시 수정할 수 있을 것이라고 확신해"라고 말하는 것과 같습니다.

2. 가능성의 "플로차트" (드래프트 그래프)

과고의 "한 번에 한 조각씩" 방식에서 추측은 보통 직선 형태(마치 한 줄로 늘어선 사람들처럼)로 이루어집니다.

Spiffy의 혁신: 디퓨전 모델은 전체 그림을 볼 수 있기 때문에(양방향성), Spiffy는 추측을 플로차트("방향성이 있는 드래프트 그래프") 형태로 구성합니다.
비유: '당신의 선택에 따라 이야기가 달라지는' 모험 소설을 상상해 보세요. 단순히 다음 문장을 추측하는 대신, Spiffy는 여러 가지 가능한 경로를 동시에 그려냅니다.
- 경로 A: "고양이가 매트 위에 앉았다."
- 경로 B: "고양이가 카펫 위에 앉았다."
- 경로 C: "강아지가 매트 위에 앉았다."
  Spiffy는 모델이 앞뒤를 동시에 볼 수 있는 능력을 활용하여 이러한 경로들을 특정 구조로 설정합니다.

3. "캘리브레이션/교정" (지도 학습하기)

화가가 실제 작업을 시작하기 전, Spiffy는 적은 양의 예시를 사용하여 빠르고 단 한 번뿐인 연습 과정을 거칩니다.

비유: 이것은 코치가 선수가 연습하는 모습을 몇 번 지켜본 뒤, 그 선수가 할 법한 가장 유력한 움직임의 지도를 그리는 것과 같습니다. 이 지도는 가장 효율적인 경로가 되도록 "교정(calibrated)"됩니다.
결과: 이 지도는 오프라인에서 한 번 생성되며, 이후 모든 작업에 사용됩니다. 따라서 실제 작업을 느리게 만들지 않습니다.

4. "가지치기" (막다른 길 제거)

때때로 플로차트가 너무 커지고 혼란스러워질 수 있습니다.

비유: Spiffy는 스마트한 정원사처럼 행동합니다. 화가가 작업하는 동안, Spiffy는 플로차트의 가지들을 살펴봅니다. 만약 어떤 가지가 올바른 경로가 아닐 것 같다면, Spiffy는 즉시 그 가지를 잘라냅니다. 이를 통해 과정이 빠르고 가장 유망한 추측에만 집중할 수 있게 유지합니다.

결과

이 방법을 통해 Spiffy는 디퓨전 모델이 앞서 나갈 수 있게 해줍니다. 문장을 완성하기 위해 100단계를 거치는 대신, 10단계를 한 번에 검증하기 위해 100단계를 사용하는 식입니다.

논문의 발견 사항:

속도: 그들은 여러 오픈 소스 AI 모델(LLaDA, Dream, SDAR 등)을 대상으로 테스트했습니다.
효율성: 모델이 "생각"해야 하는 횟수(계산 수행)를 최대 8.6배까지 줄였습니다.
출력 속도: 실제 단어(토큰) 생성 속도는 최대 6.3배 빨라졌습니다.
정확도: 결정적으로, 속도가 빨라졌음에도 불구하고 답변의 품질은 정확히 동일하게 유지되었습니다. 모델은 더 빠르게 움직인다고 해서 실수를 저지르지 않았습니다.

요약하자면:
Spiffy는 디퓨전 AI 모델이 전체 그림을 보는 본연의 능력을 사용할 수 있게 해주는 영리한 기술입니다. 한 번에 한 단계씩 움직이는 대신, 이들은 가장 가능성 높은 미래 단계들에 대한 사전 계산된 지도를 사용하여 앞으로 건너뛰고, 그 도약을 즉시 검증하며, 품질 저하 없이 훨씬 더 빠르게 작업을 마칩니다.

기술 요약: 미래를 구조화하다: 보정된 드래프트 그래프를 통한 확산형 LLM의 추측 디코딩 (Spiffy)

1. 문제 정의

확산형 대규모 언어 모델(dLLM)은 병렬적이고 양방향적인 생성을 가능하게 함으로써 자기회귀(AR) 모델과는 다른 패러다임 전환을 제시하지만, 현재 심각한 추론 병목 현상에 직면해 있습니다. AR-LLM이 매 추론 단계마다 하나의 토큰 생성에 국한되는 것과 달리, dLLM은 이론적으로 다중 토큰 디코딩을 지원할 수 있습니다. 그러나 출력 품질을 유지하기 위해, LLaDA나 Dream과 같은 오픈 소스 dLLM들은 종종 매 반복마다 단 하나의 토큰만을 언마스킹(unmasking)하는 방식을 기본값으로 사용하며, 이는 이들이 가진 높은 속도의 병렬성 잠재력을 상쇄합니다.

스펙큘레이티브 디코딩(speculative decoding)과 같은 기존의 가속 기술은 de-facto로 작은 "드래프터(drafter)" 모델이 제안한 토큰을 더 큰 타겟 모델이 검증하는 방식에 의존합니다. 이를 dLLM에 직접 적용하는 것은 다음과 같은 이유로 어렵습니다:

비인과적 요인 분해(Non-Causal Factorization): dLLM은 인과적 시퀀스가 아닌 토큰 블록에 대한 결합 분포를 모델링하므로, 표준적인 트리 기반 드래프팅 전략을 수정 없이 적용할 수 없습니다.
드래프트 검증: 표준 검증은 손실 없는(lossless) 결과를 보장하기 위해 양방향 어텐션 메커니즘에 적응해야 합니다.
오버헤드: 별도의 호환 가능한 드래프트 모델을 학습시키고 배포하는 것은 상당한 계산 및 엔지니어링 오버헤드를 발생시킵니다.

2. 방법론: Spiffy

저자들은 dLLM을 위해 설계된 특화된 추측 디코딩 알고리즘인 Spiffy(Speculation for Diffusion LLM Efficiency)를 제안합니다. Spiffy는 독립적인 드래프트 모델을 사용하는 대신, 타겟 dLLM의 분포 자체를 활용하여 드래프트 상태를 생성함으로써 별도의 드래프트 모델이 필요하지 않도록 합니다.

핵심 구성 요소

오토-스펙큘레이션(Auto-Speculation): 별도의 드래프터를 사용하는 대신, Spiffy는 각 타임스텝에서 타겟 dLLM의 분포로부터 직접 드래프트 상태를 샘플링합니다. 이를 통해 별도의 모델을 학습하고 실행하는 비용을 피할 수 있습니다.
유향 드래프트 그래프(Directed Draft Graphs): AR-LLM의 추측용 드래프트 트리와 달리, Spiffy는 드래프트 상태를 유향 드래프트 그래프로 구조화합니다.
- 동기: dLLM은 양방향 어텐션을 활용하므로, 하나의 드래프트 상태가 여러 경로를 통해 도달될 수 있습니다. 그래프 구조는 드래프트 블록이 여러 부모를 가질 수 있게 함으로써 이를 포착합니다.
- 구조: 타임스텝 $t_a$ 의 드래프트 블록이 타임스텝 $t_b$ 의 블록의 부모가 되는 조건은 $t_b = t_a - 1$ 이며, 자식 블록의 언마스크된 토큰 집합이 부모의 언마스크된 토큰 집합의 상위 집합(superset)인 경우입니다. 이를 통해 시스템은 단 한 번의 모델 호출로 여러 드래프트를 수용하여 여러 디노이징 단계를 건너뛸 수 있습니다.
오프라인 보정(Offline Calibration): 가장 유망한 그래프 구조(즉, 어떤 토큰 위치와 어휘 선택을 추측할 것인가)를 결정하기 위해, 저자들은 보정 알고리즘을 도입했습니다.
- 이 알고리즘은 소규모 데이터셋(예: MATH500 및 MBPP의 25개 샘플)에서 베닐라(vanilla) dLLM을 실행합니다.
- 언마스킹 시퀀스(토큰 위치 순위와 어휘 순위의 쌍으로 표현됨)의 빈도를 기록합니다.
- 특정 예산( $D$ 드래프트 노드)에 맞는 가장 빈번한 연결된 부분 그래프를 선택하여 최적화된 그래프를 구축합니다.
동적 프루닝(Dynamic Pruning): 추론 중에 보정된 그래프(많은 노드를 포함할 수 있음)는 스코어링 메트릭에 따라 더 작은 예산( $D^*$ )으로 동적으로 프루닝됩니다. 점수는 노드와 그 자식 노드의 토큰 확률의 기하 평균이며, 이를 통해 높은 확률의 시퀀스를 우선시하여 수용률을 극대화하는 동시에 계산 비용을 최소화합니다.
검증(Verification): 검증 과정은 타겟 모델이 여러 드래프트 후보를 병렬로 평가할 수 있도록 커스텀 블록 단위 어텐션 마스크를 사용합니다. 만약 드래프트가 타겟의 샘플링된 상태와 일치하면, 시스템은 이를 수용하고 드래프트의 예측 분포를 사용하여 다음 타임스텝으로 건너뛰며, 남은 드래프트들에 대해 이 과정을 반복합니다.

3. 주요 기여

본 논문은 다섯 가지 주요 기여를 설명합니다:

dLLM을 위한 추측 디코딩: 드래프팅과 검증에 대한 확산 모델의 공식적 정의를 제공하며, Spiffy가 모델의 출력 분포를 보존(손실 없는 가속)함을 증명합니다.
유향 드래프트 그래프: dLLM의 양방향 특성을 활용하여 여러 수용 경로를 허용하도록 설계된 추측 트리(speculative trees)의 일반화 모델입니다.
보정 및 프루닝: 최적화된 그래프 구조를 생성하기 위한 새로운 오프라인 보정 절차와, 수용률과 계산 효율성 사이의 균형을 맞추기 위한 동적 프루닝 메트릭을 도입했습니다.
오토-스펙큘레이션: 타겟 모델 분포를 활용하여 추측을 수행하는 방식으로, 보조 드래프트 모델의 오버헤드를 제거했습니다.
실험적 검증: 다양한 오픈 소스 dLLM(LLaDA-8B, Dream-7B, SDAR-8B)과 벤치마크(GSM8K, HumanEval, MATH500, MBPP)를 통한 포괄적인 평가를 수행했습니다.

4. 결과

저자들은 프리픽스(prefix) KV 캐싱 및 임계값 기반 동적 언마스킹과 결격하여 Spiffy를 평가했습니다. 주요 결과는 다음과 같습니다:

추론 감소: Spiffy는 시퀀스 생성을 위해 필요한 모델 추론 횟수(Function Evaluations)를 최대 8.6배 감소시킵 초합니다.
토큰 속도 향 향상: 이 방법은 초당 토큰 수(TPS)를 최대 6.3배 가속합니다.
정확도 보존: 테스트된 모든 모델과 작업에서 Spiffy는 원래 모델의 정확도를 유지하며, 이는 손실 없는(lossless) 특성을 확인시켜 줍니다.
강건성(Robustness): Spiffy는 다양한 샘플링 온도와 서로 다른 도메인(코딩, 수학, 일반 텍스트)에서도 효과적으로 작동합니다.
오버헤드: 드래프팅, 프루닝 및 마스크 구축에 드는 계산 오버헤드는 미미합니다(드래프팅에 모델 추론 시간의 약 6%, 수용에 약 5%). 전체 순전파(forward pass) 비용은 베닐라 추론보다 약 25%만 더 높습니다.

5. 의의 및 주장

본 논문은 Spiffy를 dLLM의 내재된 병렬성을 실현하기 위한 핵심 단계로 자리매김합니다. 저자들은 다음과 같이 주장합니다:

손실 없는 가속: Spiffy는 dLLM을 가속화하는 증명 가능한 손실 없는 방법을 제공하며, 이를 통해 이 모델들을 고처리량 애플리케이션에 상업적으로 활용할 수 있는 근본적인 간극을 해결합니다.
아키텍처 적응: 트리 기반에서 그래프 기반 추측으로 전환함으로써, 비인과적이고 양방향적인 dLLM의 특성을 성공적으로 활용하는 추측 디코딩 원리를 구현했습니다.
보조 모델 없는 효율성: 오토-스펙큘레이션 접근 방식은 별도의 드래프트 모델을 학습시키고 유지 관리하는 엔지니어링 부담 없이도 고품질의 추측이 가능하다는 것을 보여줍니다.
확장성: 이 프레임워크는 더 적은 디노이징 단계를 요구할 수 있는 미래의 dLLM과도 호환되도록 설계되었으며, 이는 Spiffy가 분야가 발전함에 따라 효과적인 가속 솔선으로 남을 것임을 시사합니다.

결론적으로 Spiffy는 dLLM의 이론적 속도와 실제 추론 지연 시간 사이의 간극을 효과적으로 메우며, 현재 및 미래의 확산 기반 언어 모델을 위한 강력한 가속 전략을 제공합니다.