💬 NLP

Pair-In, Pair-Out: Latent Multi-Token Prediction for Efficient LLMs

본 논문은 별도의 검증자 패스의 오버헤드 없이 대규모 언어 모델에서 상당한 지연 시간 가속화와 향상된 추론 성능을 달성하기 위해 잠재 입력 압축과 다중 토큰 출력 예측, 그리고 경량의 신뢰도 기반 수용 메커니즘을 통합한 통합 프레임워크인 Pair-In, Pair-Out (PIPO) 을 제안합니다.

원저자: Wenhui Tan, Minghao Li, Xiaoqian Ma, Siqi Fan, Xiusheng Huang, Liujie Zhang, Ruihua Song, Weihang Chen

게시일 2026-05-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wenhui Tan, Minghao Li, Xiaoqian Ma, Siqi Fan, Xiusheng Huang, Liujie Zhang, Ruihua Song, Weihang Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델 (LLM) 을 한 번에 한 단어씩 이야기를 써 내려가는 매우 똑똑하지만 매우 느린 필경사로 상상해 보세요. 어려운 수학 문제를 풀거나 복잡한 코드를 작성하려면 이 필경사는 최종 답안을 쓰기 전에 '생각의 사슬 (chain of thought)'을 길게 생성하며 소리 내어 생각해야 합니다. 문제는 한 단어를 쓰고 멈추어 생각한 뒤 다음 단어를 쓰는 과정이 극도로 느리고 비용이 많이 든다는 점입니다.

이 논문은 필경사가 더 많은 실수를 저지르지 않으면서 훨씬 더 빨라지도록 하는 **PIPO(Pair-In, Pair-Out)**라는 새로운 방법을 소개합니다. 간단한 비유를 들어 작동 원리를 설명해 보겠습니다.

1. 문제: '한 번에 한 걸음씩' 병목 현상

현재 필경사는 타자기를 두드리는 사람처럼 작동합니다. 한 글자를 치고 'Enter'를 누른 뒤 기계가 처리할 때까지 기다렸다가 다음 글자를 치는 식입니다. 필경사가 아무리 똑똑해도 기계는 한 번의 사이클에 한 글자만 처리할 수 있으므로 느립니다.

2. 해결책: '이중 데크' 버스 (PIPO)

PIPO 는 도로 규칙을 바꿉니다. 필경사가 한 번에 한 단어를 처리하는 대신, PIPO 는 한 번에 두 단어를 처리하게 합니다.

Pair-In(압축): 필경사가 두 개의 글자 (예: "T"와 "h") 가 쌓인 더미를 받으면, 이를 기계에 따로 입력하는 대신 특수한 '압축기'가 이를 하나의 작고 단단한 패키지 (잠재 표현) 로 접어 넣습니다. 마치 좁은 문으로 들어갈 수 있도록 큰 지도를 작은 주머니 스카프로 접는 것과 같습니다.
여정: 기계가 이 단일 '접힌' 패키지를 처리합니다.
Pair-Out(펼치기): 기계가 처리를 마치면 단순히 한 글자만 내뱉지 않습니다. 결과를 받아 즉시 두 개의 글자를 만들어내는 특수한 '펼치기' 헤드가 있습니다. 예를 들어 예상되는 다음 단어와 예측된 초안 단어 ("e"와 " ") 를 동시에 생성합니다.

결과: 필경사는 이제 기계 사이클 한 번당 두 글자를 씁니다. 이는 글쓰기 속도를 실질적으로 두 배로 높입니다.

3. 위험: '맞추기 게임'

하지만 함정이 있습니다. 두 번째 단어를 예측하는 것은 추측입니다. 만약 추측이 틀리면 문장 전체가 말이 안 되게 될 수 있습니다.

구식 방법 (추론적 디코딩): 과거에는 추측이 맞는지 확인하기 위해 필경사가 멈추어 거대한 '검증' 테스트 (마치 수석 편집자가 초안을 다시 전체 읽는 것) 를 수행한 뒤 추측이 좋은지 결정해야 했습니다. 이 검증 단계가 너무 느려서 속도 향상 효과를 상쇄해 버렸습니다.
PIPO 의 방법 (신뢰도 헤드): PIPO 는 필경사 옆에 작고 초고속인 '신뢰도 미터'를 설치합니다. 이 미터는 두 단어를 보고 즉시 "이 두 번째 단어가 맞을 확률이 95% 입니다"라고 말하거나 "확신이 없으니 건너뛰겠습니다"라고 판단하도록 훈련되었습니다.
- 미터가 **"Go"**라고 말하면, 필경사는 두 단어 모두를 유지합니다.
- 미터가 **"No"**라고 말하면, 필경사는 첫 번째 단어는 유지하고 두 번째 단어를 흐름을 유지하기 위해 '빈칸 (패딩)'으로 대체합니다.

4. 비결: 실수에서 배우기 (On-Policy Distillation)

그렇다면 이 '신뢰도 미터'는 느린 편집자 없이 어떻게 이렇게 정확하게 학습할 수 있을까요?

이 논문은 On-Policy Distillation이라는 교묘한 학습 트릭을 사용합니다.

필경사 (학생) 가 이야기를 쓰려고 시도한다고 상상해 보세요.
훨씬 더 똑똑한 교사 (더 크고 사전 훈련된 모델) 도 같은 이야기를 씁니다.
시스템은 학생의 추측과 교사의 답을 비교합니다.
마법: 시스템은 '교사'가 구식 방법의 '편집자'와 정확히 같은 일을 하고 있음을 깨닫습니다. 따라서 매번 느린 편집자 검사를 실행하는 대신, 시스템은 학습 단계에서 교사의 답을 이용해 작은 '신뢰도 미터'를 훈련시킵니다.
일단 훈련이 끝나면, 신뢰도 미터는 실제 작성 과정에서 느린 편집자가 필요 없이 추측을 언제 믿고 언제 조심해야 하는지 정확히 알게 됩니다.

5. 결과: 더 빠르고 더 똑똑함

이 논문은 AIME 수학 경시대회와 코딩 벤치마크와 같은 어려운 수학 및 코딩 작업에서 이를 테스트했습니다.

속도: 한 번에 두 단어를 처리하고 느린 편집자 검사를 건너뛰기 때문에, PIPO 는 표준 방법보다 2 배에서 2.6 배 더 빠릅니다. 첫 번째 단어를 훨씬 더 빠르게 내보내고 흐름을 유지합니다.
정확도: 놀랍게도 단순히 빨라진 것뿐만 아니라 더 좋아졌습니다. 입력을 압축하여 같은 공간에 더 많은 '생각'을 담음으로써 모델은 더 길고 완전한 추론 사슬을 생성할 수 있었습니다. 일부 테스트에서는 기존 방법 대비 성공률이 7 포인트 이상 급증했습니다.

요약

PIPO 는 일차로 도로에서 이중 차선 고속도로로 배송 트럭을 업그레이드하는 것과 같습니다.

화물 (입력) 을 압축하여 두 개의 패키지를 하나의 슬롯에 맞춥니다.
두 개의 패키지를 한 번에 배송합니다 (출력).
이미 답을 알고 있는 교사에 의해 훈련된 스마트 센서(신뢰도 헤드) 를 사용하여 두 번째 패키지를 유지할지 결정합니다.

이를 통해 AI 는 더 오래 생각하고 더 빠르게 답변하여 일반적인 속도 저하 없이 복잡한 문제를 해결할 수 있습니다.

기술 요약: 효율적인 LLM 을 위한 Pair-In, Pair-Out (PIPO)

1. 문제 제기

현대 대규모 언어 모델 (LLM) 은 수학 및 코딩과 같은 복잡한 작업을 위해 긴 사고 연쇄 (CoT) 추론에 점점 더 의존하고 있습니다. 이러한 패러다임은 정확도를 향상시키지만, 중요한 추론 병목 현상을 초래합니다. 표준 자기회귀 (autoregressive) 디코딩은 각 순전파 (forward) 단계에서 토큰 하나만 생성하므로, 긴 추론 궤적의 경우 토큰당 비용이 주요 지연 요인이 됩니다.

기존 솔루션은 두 가지 독립적인 방향에서 이 문제를 해결합니다.

입력 측면: 잠재 압축 방법 (예: CoLaR) 은 여러 입력 토큰을 단일 연속 표현으로 병합하여 시퀀스 길이를 줄입니다.
출력 측면: 멀티 토큰 예측 (MTP) 과 추측적 디코딩 (예: EAGLE, Medusa) 은 각 단계에서 여러 토큰을 생성하려고 시도합니다. 그러나 이러한 방법들은 일반적으로 드래프트 토큰을 검증하기 위해 값비싼 "검증자" 패스 (대형 백본의 전체 순전파) 를 필요로 하며, 이는 특히 긴 컨텍스트 길이에서 효율성 향상을 상쇄하는 경우가 많습니다. 또한, 검증되지 않은 MTP 방법은 신뢰할 수 없는 드래프트를 전파하여 정확도를 저하시킬 위험이 있습니다.

현재로서는 무거운 검증자 비용을 치르지 않고도 입력 압축과 출력 멀티 토큰 예측을 동시에 활용하는 통합 프레임워크는 존재하지 않습니다.

2. 방법론: Pair-In, Pair-Out (PIPO)

PIPO 는 잠재 압축과 멀티 토큰 예측을 LLM 백본을 중심으로 거울상 연산으로 취급하는 통합 프레임워크를 제안합니다.

2.1 핵심 아키텍처

이 프레임워크는 단일 토큰이 아닌 토큰 쌍으로 작동합니다.

Pair-In (압축): 경량 MLP 압축기는 두 개의 연속된 입력 토큰 임베딩 ( $x_{2i}, x_{2i+1}$ ) 을 단일 잠재 표현 ( $z_i$ ) 으로 접습니다. 이는 유효 입력 길이를 절반으로 줄입니다.
$z_i = f_\theta([x_{2i}; x_{2i+1}])$
압축기는 백본의 사전 학습 분포를 유지하도록 $f_\theta([a; b]) \approx a + b$ 가 되도록 초기화됩니다.
Pair-Out (예측): 백본은 압축된 잠재 상태를 처리하여 숨겨진 상태 ( $h^b_i$ $h_{i}^{b}$ ) 를 생성합니다.
1. 백본 토큰: 표준 LM 헤드는 다음 백본 토큰 ( $x_{2i+2}$ ) 을 예측합니다.
2. 드래프트 토큰: 멀티 토큰 예측 (MTP) 헤드는 백본 숨겨진 상태와 예측된 백본 토큰을 조건으로 하여 추가 드래프트 토큰 ( $x_{2i+3}$ ) 을 예측합니다.
3. 신뢰도 헤드: 경량 MLP 는 드래프트 토큰에 대한 신뢰도 점수 ( $c_i$ ) 를 예측합니다.
  $c_i = g_\phi([h^b_i; h^d_i])$
- 수락 논리: $c_i \geq \tau_c$ 인 경우 드래프트 토큰이 수락되며, 다음 입력 쌍은 두 개의 새로 생성된 토큰으로 구성됩니다. 거부된 경우 드래프트는 패딩 토큰 ( $x_{pad}$ ) 으로 대체되고, 다음 입력 쌍은 $(x_{2i+2}, x_{pad})$ 가 됩니다. 이는 수락 여부와 관계없이 인터페이스가 일관되게 유지되도록 보장합니다.

2.2 학습 전략

PIPO 는 학습과 추론 간의 격차를 해소하기 위해 2 단계 학습 프로세스를 활용합니다.

지도 미세 조정 (SFT):
- 모델은 백본과 드래프트 토큰 모두에 대해 교차 엔트로피 (CE) 손실을 사용한 다음 쌍 예측 (next-pair prediction) 목적 함수로 학습됩니다.
- 신뢰도 헤드는 이진 교차 엔트로피 (BCE) 손실을 사용하여 부트스트랩되며, 신뢰도 점수가 실제 드래프트 토큰의 확률과 정렬되도록 합니다.
- 무작위 패딩: 학습 중 드래프트 위치의 일부는 무작위로 패딩 토큰으로 대체되어 모델이 거부 시나리오에 노출되도록 합니다.
온-정책 증류 (OPD):
- PIPO 는 학생의 현재 정책을 사용하여 응답을 롤아웃함으로써 학습 - 추론 분포 이동을 해결합니다.
- 핵심 통찰: OPD 에서 "교사"의 역할은 추측적 디코딩의 "검증자"와 기능적으로 동일합니다. 둘 다 더 강력한 참조 분포에 대한 드래프트의 일관성을 판단합니다.
- 무료 감독: 신뢰도 헤드의 수락 확률은 OPD 손실 계산에서 직접 유도됩니다: $y_c = \min(p_t(x)/p_s(x), 1)$ . 여기서 $p_t$ 는 교사 (백본) 확률이고 $p_s$ 는 학생 (드래프트) 확률입니다.
- 이를 통해 신뢰도 헤드는 추가 순전파나 별도의 검증자 모델 없이도 거부 샘플링 기준을 레이블로 사용하여 학습될 수 있습니다.

3. 주요 기여

통합 프레임워크: PIPO 는 입력 측 잠재 압축과 출력 측 멀티 토큰 예측을 대칭적인 "Pair-In/Pair-Out" 인터페이스로 통합하여 입력 길이를 효과적으로 절반으로 줄이고 단계당 출력을 두 배로 늘립니다.
검증자 제거: OPD 교사와 추측적 검증자가 동일한 역할을 한다는 점을 관찰하여, PIPO 는 거부 샘플링 비율을 무료 레이블로 사용하여 경량 신뢰도 헤드를 학습합니다. 이는 매 단계마다 발생하는 값비싼 백본 검증자 패스를 단일 MLP 순전파로 대체합니다.
효율성과 정확도: 이 방법은 Time-to-First-Token (TTFT) 과 Time-Per-Output-Token (TPOT) 에서 상당한 속도 향상을 달성하면서도 복잡한 추론 벤치마크에서 pass@4 정확도를 향상시킵니다.

4. 실험 결과

저자들은 Qwen3.5-4B 및 Qwen3.5-9B 백본을 AIME 2025, GPQA-Diamond, LiveCodeBench v6, LongBench v2의 네 가지 벤치마크에 걸쳐 평가했습니다.

정확도: PIPO + OPD 는 모든 방법 중 가장 높은 pass@4 점수를 달성했습니다.
- Qwen3.5-9B 에서 PIPO 는 일반 자기회귀 디코딩 대비 pass@4 를 +7.15 포인트 향상시켰습니다.
- Qwen3.5-4B 에서 개선 폭은 최우수 베이스라인 대비 +3.83 포인트였습니다.
- 더 긴 컨텍스트 예산 (최대 32K 슬롯) 으로 갈수록 이 우위는 확대되었으며, PIPO 는 동일한 예산 내에서 더 많은 완전한 추론 체인을 수용할 수 있기 때문입니다.
효율성:
- TTFT: 압축된 프리필 (prefill) 단계로 인해 (예: 128K 입력 길이에서) 최대 2.64 배의 속도 향상을 달성했습니다.
- TPOT: 백본 순전파당 두 개의 토큰이 생성되므로 최대 2.07 배의 속도 향상을 달성했습니다.
애블레이션 연구:
- 비선형 압축기는 필수적이며, 선형 압축기는 성능이 크게 저하되었습니다.
- 압축기를 덧셈 합 ( $a+b$ ) 으로 초기화하는 것이 안정성에 중요합니다.
- 신뢰도 헤드는 신뢰할 수 없는 드래프트를 효과적으로 거부하여 무작위 거부 베이스라인보다 우수한 성능을 보이며, pass@4 를 최대화하는 "적정 지점" (임계값 $\tau_c \approx 0.95$ ) 을 찾았습니다.

5. 중요성 및 주장

이 논문은 PIPO 가 효율적인 LLM 디코딩 접근 방식의 변화를 나타낸다고 주장합니다.

대칭성: 입력 압축과 출력 확장은 경쟁 전략이 아니라 결합할 수 있는 보완적인 거울상 연산임을 보여줍니다.
비용 분산: 검증 비용을 성공적으로 분산합니다. 매 단계마다 무거운 추론 비용 (전체 백본 패스) 을 지불하는 대신, 검증 로직을 경량 학습 신호 (신뢰도 헤드) 로 증류하여 반복적인 추론 비용을 일회성 학습 신호로 전환합니다.
실용성: 이 프레임워크는 주로 상용 구성 요소 (사전 학습된 MTP 헤드, 표준 백본) 에 의존하며 소수의 추가 모듈 (압축기 및 신뢰도 헤드) 만 필요하므로 기존 강력한 LLM 에 배포하는 것이 가능합니다.

저자들은 쌍별 처리 (더 큰 압축 인자가 아닌) 에 초점을 맞춘 점, 텍스트 전용 모델로 제한된 점, 그리고 오픈 엔디드 생성보다는 검증 가능한 답변이 있는 작업 (수학/코딩) 에 주로 평가된 점 등 한계를 지적합니다. 그러나 PIPO 는 신뢰성을 희생하지 않으면서 긴 체인 추론의 추론 비용을 줄이기 위한 견고한 경로를 제공한다고 주장합니다.