Parallel Token Prediction for Language Models

이 논문은 단일 모델 호출로 여러 토큰을 예측하여 생성 속도를 2.4 배 향상시키는 '병렬 토큰 예측 (PTP)' 프레임워크를 제안하고, 이를 통해 기존 언어 모델의 순차적 디코딩 한계를 극복함을 보여줍니다.

핵심

한 번에 여러 단어를 예측하는 마법: '병렬 토큰 예측 (PTP)' 설명

이 논문은 인공지능 (LLM) 이 글을 쓸 때 겪는 '지루한 기다림' 문제를 해결하는 새로운 방법을 소개합니다. 기존 방식보다 약 2.4 배 더 빠른 속도로 글을 생성할 수 있게 해주는 기술입니다.

이해하기 쉽게 요리사와 레시피에 비유해서 설명해 드릴게요.

---

1. 문제: 왜 AI 는 글을 쓸 때 느릴까요? (기존 방식)

지금까지의 AI 는 '한 번에 한 단어씩' 글을 썼습니다.

• 비유: 요리사가 요리를 할 때, 양파를 다진 뒤 그 양파를 넣고, 다진 뒤 그걸로 소스를 만들고, 소스를 만든 뒤 그걸로 고기를 굽는 식입니다.
• 현실: AI 도 "다음 단어는 뭘까?"라고 생각해서 하나를 뽑고, 그걸로 문맥을 바꿔서 "그럼 그 다음 단어는?"을 다시 생각합니다.
• 결과: 긴 글을 쓸수록 AI 는 매번 "생각 - 쓰기 - 생각 - 쓰기"를 반복해야 해서 속도가 매우 느립니다.

2. 해결책: PTP(병렬 토큰 예측) 의 등장

이 논문이 제안한 PTP는 "한 번에 여러 단어를 동시에 예측하는" 기술입니다.

• 비유: 이제 요리사는 한 번에 "양파 다지기, 소스 만들기, 고기 굽기"를 동시에 시작할 수 있습니다.
• 핵심 아이디어: AI 가 "다음 단어가 뭐지?"라고 추측하는 대신, **"우리가 미리 정해둔 비밀 번호 (랜덤 숫자)"**를 보고 "이 번호가 나오면 다음 단어는 A, 그 다음 단어는 B 가 될 거야"라고 미리 정해버리는 것입니다.

3. 어떻게 작동할까요? (비밀 번호의 마법)

기존 AI 는 확률만 보고 단어를 뽑지만, PTP 는 두 가지 입력을 받습니다.

1. 지금까지 쓴 글 (맥락)
2. 비밀 번호 (랜덤 숫자, $u$)

• 상황: AI 가 "오늘 날씨가..."라고 썼다고 칩시다.
  • 기존 AI: "맑을지, 비 올지" 고민하다가 '맑음'을 뽑고, 그걸로 다음 단어를 다시 고민합니다.
  • PTP: "오늘 날씨가..." + **비밀 번호 '0.5'**를 받습니다.
  • 결과: AI 는 "아, 비밀 번호가 0.5 라면, 다음 단어는 '맑음', 그 다음 단어는 '좋다', 그 다음 단어는 '오늘'이겠구나!"라고 한 번에 다 정해버립니다.

이렇게 비밀 번호를 미리 입력으로 주면, AI 는 미래를 미리 계산해서 한 번에 여러 단어를 동시에 뱉어낼 수 있게 됩니다.

4. 왜 이게 중요한가요? (속도와 정확성)

• 속도: 글자 하나를 뽑을 때마다 AI 가 머리를 굴리는 횟수가 줄어듭니다. 마치 한 번에 5 개의 단어를 동시에 써내려가는 것과 같습니다. 실험 결과, 기존 방식보다 2.4 배나 빨라졌습니다.
• 정확성: 다른 연구들은 "여러 단어를 동시에 쓸 때 서로가 서로를 모르고 엉뚱한 말을 할 수 있다"는 문제가 있었습니다. (예: "import"와 "def"가 섞여서 "import def" 같은 이상한 코드 생성)
  • 하지만 PTP 는 비밀 번호가 모든 단어를 연결해주기 때문에, 문맥이 끊기지 않고 자연스럽게 여러 단어를 동시에 생성합니다.

5. 요약: 이 기술이 가져올 변화

이 기술은 마치 AI 의 '생각 속도'를 높여주는 부스터와 같습니다.

• 기존: AI 가 한 걸음씩 천천히 걷습니다. (한 번에 한 단어)
• PTP: AI 가 한 번에 여러 걸음을 뛸 수 있게 됩니다. (한 번에 여러 단어)

실생활 예시:
지금까지 AI 에게 "파이썬으로 팩토리얼 함수를 만들어줘"라고 요청하면, AI 가 한 글자씩 타이핑하듯 느리게 생성했다면, 이 기술을 쓰면 한 번에 문장 전체가 뚝딱 완성되어 나타날 수 있습니다.

이 기술이 상용화되면, AI 채팅이나 문서 작성, 코드 생성이 훨씬 더 자연스럽고 빠르게 이루어져서 우리가 AI 를 사용할 때 느끼는 '기다림'이 사라질 것입니다.

기술 요약

논문 요약: 언어 모델을 위한 병렬 토큰 예측 (Parallel Token Prediction for Language Models)

이 논문은 ICLR 2026 에 제출된 것으로, 대규모 언어 모델 (LLM) 의 추론 속도를 획기적으로 개선하기 위한 새로운 프레임워크인 **병렬 토큰 예측 (Parallel Token Prediction, PTP)**을 제안합니다.

1. 문제 정의 (Problem)

현재의 언어 모델은 자기회귀 (Autoregressive) 방식으로 동작합니다. 즉, 한 번의 순전파 (forward pass) 를 통해 다음 토큰 하나만 예측하고, 이를 기반으로 다음 토큰을 예측하는 과정을 반복합니다.

• 병목 현상: 토큰 생성이 순차적으로 이루어지기 때문에, 긴 문장을 생성할 때 지연 시간 (latency) 이 크게 증가합니다.
• 기존 방법의 한계:
  • Speculative Decoding (추측적 디코딩): 작은 모델이 여러 토큰을 제안하고 큰 모델이 검증하는 방식이지만, 여전히 제안 모델은 자기회귀적으로 동작하거나 병렬성이 제한적입니다.
  • 독립적 예측 (Independent Prediction): 여러 토큰을 독립적으로 예측하는 방식은 문법적, 의미적 일관성을 해쳐 불일치 (incoherence) 를 초래합니다.
  • Discrete Diffusion: 여러 단계를 거쳐 문장을 정제하지만, 여전히 순차적인 요소가 포함되어 있습니다.

2. 방법론 (Methodology)

PTP 는 자기회귀적 의존성을 깨고 여러 토큰을 **단일 모델 호출 (single model call)**로 동시에 예측할 수 있도록 합니다. 핵심 아이디어는 무작위성 (randomness) 의 위치를 이동시키는 것입니다.

• 보조 변수 (Auxiliary Variables) 의 도입:

  • 기존 자기회귀 모델은 토큰 $t_i$를 예측한 후 확률 분포에서 샘플링 ($u_i \sim U[0,1]$) 을 수행합니다.
  • PTP 는 이 샘플링 과정에 필요한 보조 변수 $u_i$를 모델의 입력으로 직접 제공합니다.
  • 이론적으로, 이전 토큰과 보조 변수 $u_i$가 주어지면 다음 토큰 $t_i$는 **결정론적 함수 (deterministic function)**가 됩니다. 즉, $t_i = f(t_{<i}, u_i)$로 표현 가능합니다.

• PTP 의 두 가지 변형:

  1. One-Hot PTP (O-PTP): 보조 변수 $u_i$를 포함하여 다음 토큰을 직접 예측합니다. 출력은 원-핫 (one-hot) 분포가 되며, 가장 확률이 높은 토큰을 선택합니다. 이는 기존 모델을 빠르게 모방 (distill) 하기에 적합합니다.
  2. Categorical PTP (C-PTP): 현재 토큰 $t_k$를 예측할 때, 해당 토큰의 보조 변수 $u_k$는 제외하고 과거의 보조 변수들 ($u_i, ..., u_{k-1}$) 만 입력으로 받습니다. 이를 통해 각 토큰의 조건부 확률 분포 $P(t_k | t_{<k})$를 복원할 수 있어, 스승 모델 (Teacher) 없이 데이터만으로 학습 (Inverse Autoregressive Training) 이 가능합니다.

• 오류 수정 및 디코딩 전략:

  • Partial Quadratic Decoding: 단일 호출로 모든 토큰을 완벽하게 예측하는 것은 모델 용량 한계로 어렵습니다. 따라서 제안된 토큰들을 스승 모델이 검증하는 Speculative Decoding과 결합합니다.
  • 기존 Quadratic Decoding 의 $O(N^2)$ 비용 문제를 해결하기 위해, 제안 모델의 **신뢰도 (confidence)**를 기반으로 검증해야 할 브랜치 (branch) 를 동적으로 할당하는 효율적인 방식을 제안합니다.

3. 주요 기여 (Key Contributions)

1. PTP 프레임워크 제안: 이산 데이터 (discrete data) 를 위한 모델링 접근법으로, 단일 호출로 상호 의존적인 여러 토큰을 생성합니다.
2. 이론적 증명 (Theorems 1 & 2): PTP 가 자기회귀 모델과 동일한 표현력 (expressiveness) 을 가지며, 보조 변수를 통해 임의의 길이의 토큰 시퀀스를 병렬로 샘플링할 수 있음을 수학적으로 증명했습니다.
3. 효율적인 오류 수정: Partial Quadratic Decoding 을 통해 긴 시퀀스 생성 시에도 높은 수락률 (acceptance rate) 을 유지하면서 지연 시간을 최소화하는 방식을 제안했습니다.
4. 실험적 성과: 다양한 태스크와 모델 크기에서 기존 방법론보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 속도 향상 (Speedup): SpecBench(다양한 언어 태스크) 에서 Vicuna-7B 모델을 기반으로 한 O-PTP 는 2.4 배의 월클럭 (wall-clock) 속도 향상을 달성했습니다.
• 수락 토큰 수: 스펙큘레이티브 디코딩 단계당 평균 4.2 개의 토큰이 성공적으로 수락되었습니다. 이는 기존 자기회귀식 드래프트 모델보다 훨씬 높은 수치입니다.
• 모델 크기별 성능: 작은 모델 (Draft model) 을 사용하는 기존 Speculative Decoding 과 달리, PTP 는 더 큰 모델을 드래프트 모델로 사용했을 때 더 큰 속도 향상을 보였습니다.
• 독립성 vs 의존성: 보조 변수를 사용하지 않고 토큰을 독립적으로 예측하는 방식 (Independent Prediction) 에 비해, PTP 는 토큰 간의 의존성을 고려하여 의미적으로 일관된 토큰 쌍을 생성하며, 수락 토큰 수를 유의미하게 증가시켰습니다.
• 스스로 학습 (Self-training): C-PTP 는 스승 모델 없이 데이터만으로 학습하여 자기회귀 모델과 유사한 퍼플렉시티 (Perplexity) 를 달성했습니다.

5. 의의 및 결론 (Significance)

• 자기회귀 병목의 해소: PTP 는 언어 모델의 생성 과정이 본질적으로 순차적일 필요가 없음을 보여주었습니다. 보조 변수를 입력으로 활용함으로써, 모델이 "샘플링하는 과정"을 학습하게 하여 병렬 생성을 가능하게 했습니다.
• 실시간 응용 가능성: 추론 지연 시간을 획기적으로 줄임으로써, 실시간 대화 시스템이나 대규모 배치 처리 등 LLM 의 실용적 적용 범위를 넓혔습니다.
• 미래 전망: 이 프레임워크는 멀티모달 생성, 대규모 모델의 처음부터 학습 (training from scratch), 그리고 더 긴 시퀀스 계획 (planning) 등으로 확장될 수 있는 가능성을 열었습니다.

결론적으로, 이 논문은 언어 모델의 추론 속도를 높이기 위한 새로운 패러다임을 제시하며, 이론적 엄밀함과 실험적 유효성을 모두 갖춘 중요한 연구로 평가됩니다.