💬 NLP

Speculative Decoding Across Languages

이 논문은 작업 특화 미세 조정, 단일 언어 미세 조정, 그리고 n-gram 모델을 비교함으로써 비영어권 언어에 대한 추측적 디코딩 효율성을 향상시키는 방법들을 조사하며, 작업 특화 증류가 효율성을 개선하지만 일반화 능력이 부족한 반면, n-gram 모델은 낮은 수용률에도 불구하고 빠른 초안 생성 덕분에 일관되게 상당한 속도 향상을 제공한다는 점을 밝혀냈다.

원저자: Nirajan Paudel, Michael Ginn, Luc De Nardi, Alexis Palmer

게시일 2026-06-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nirajan Paudel, Michael Ginn, Luc De Nardi, Alexis Palmer

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 모국어가 아닌 언어로 긴 이야기를 쓰거나 문서를 번역하려고 한다고 상상해 보세요. 당신에게는 아주 똑똑하지만 속도가 느린 "마스터 작가"(대규모 언어 모델)가 있습니다. 이 작가는 모든 단어를 완벽하게 써 내려갈 수 있지만, 단어 하나하나를 생각하는 데 시간이 매우 오래 걸립니다.

속도를 높이기 위해, 당신은 "스피디 어시스턴트"(초안 모델)를 고용합니다. 어시스턴트는 다음 몇 단어를 빠르게 추측하고, 마스터 작가는 그저 그것들을 확인하기만 하면 됩니다. 만약 추측이 맞으면, 마스터 작가는 그 단어들을 한꺼번에 받아들여 시간을 절약할 수 있습니다. 이것을 **추측 디코딩(Speculative Decoding)**이라고 부릅니다.

하지만, 이 논문은 중대한 문제를 발견했습니다: 어시스턴트는 영어에는 능숙하지만, 다른 언어에는 형편없다는 것입니다.

연구자들이 이 문제를 해결하기 위해 시도한 내용을 쉬운 비유를 들어 설명하면 다음과 같습니다.

문제점: "누구에게도 맞지 않는" 어시스턴트

연구자들이 이 속도 향상 기술을 11가지 다른 언어(네팔어, 체로키어, 요루바어 등)에 적용했을 때, 표준적인 "스피디 어시스턴트"(작은 AI 모델)는 계속해서 틀린 추측을 내놓았습니다. 어시스턴트가 너무 자주 틀렸기 때문에, 마스터 작가는 추측을 거절하고 처음부터 다시 시작해야 했습니다. 이로 인해 과정이 마스터 작가가 혼자 쓰는 것보다 오히려 더 느려졌습니다.

이는 마치 런던은 완벽하게 알지만 네팔은 가본 적도 없는 가이드가 가이드를 하는 것과 같습니다. 당신이 카트만두를 안내해 달라고 요청하면, 그 가이드는 끊임없이 길을 잃을 것이고, 결국 당신이 직접 걷는 것보다 수정하는 데 더 많은 시간을 낭비하게 될 것입니다.

그들이 테스트한 세 가지 해결책

연구자들은 특정 언어를 위한 더 나은 어시스턴트를 훈련시키기 위해 세 가지 다른 방법을 시도했습니다.

1. "특화된 인턴" (태스크 특화 증류 - Task-Specific Distillation)

그들은 마스터 작가를 데려다가 영어를 대상 언어로 번역하는 법을 어시스턴트에게 구체적으로 가르쳤습니다.

결과: 이는 번역 작업에는 매우 효과적이었습니다. 어시스턴트는 번역 작업을 위한 다음 단어를 추측하는 데 매우 능숙해졌습니다.
함정: 이 어시스턴트는 오직 번역만을 아는 전문가와 같았습니다. 연구자들이 동일한 언어로 이야기(완전히 다른 작업)를 써달라고 요청하자, 어시스턴트는 처참하게 실패했습니다. 일반화가 불가능했던 것입니다. 너무 지나치게 특화되어 있었습니다.

2. "범용 독서가" (일반 도메인 증류 - General Domain Distillation)

어시스턴트에게 오직 번역만 가르치는 대신, 해당 언어로 된 방대한 양의 일반 텍스트(뉴스, 책 등)를 입력하여 패턴을 학습하게 했습니다.

결과: 별 도움이 되지 않았습니다. 어시스턴트는 훈련되지 않은 버전과 비교했을 때 단어를 추측하는 능력이 크게 향상되지 않았습니다. 이는 도서관의 책들을 읽었지만, 정작 어떻게 글을 쓰거나 문장을 효과적으로 번역할지는 배우지 못한 것과 같습니다.

3. "초고속 계산기" (N-그램 모델 - N-Gram Models)

복잡한 AI 모델을 사용하는 대신, 매우 단순한 통계적 방법인 N-그램 모델을 사용했습니다. 이것을 지능적인 AI가 아니라, 마지막 몇 단어를 보고 "통계적으로 다음 단어는 보통 'the'나 'is'이다"라고 말하는 초고속 계산기라고 생각하십시오.

결과: 이것이 놀라운 승자였습니다.
- 정확도: 그리 똑똑하지는 않았습니다. AI 모델들보다 더 자주 틀렸습니다.
- 속도: 믿을 수 없을 정도로 빨랐습니다. 구조가 매우 단순했기 때문에, 거의 즉각적으로 추측을 생성할 수 있었습니다.
- 결과: 비록 추측이 틀리는 경우가 더 많았음에도 불구하고, 추측 자체의 압도적인 속도 덕분에 전체 시스템은 훨씬 빠르게 작업을 마칠 수 있었습니다. 이는 단어를 무작위로 추측하더라도 초당 100단어를 타이핑하는 아이가, 항상 맞지만 초당 한 단어만 타이핑하는 교수보다 결과적으로 일을 더 빨리 끝내는 것과 같습니다.

핵심 요약

이 논문은 영어 이외의 언어에 대해서는 "똑똑하지만 느린" AI 어시스턴트가 속도를 높이는 데 실패하는 경우가 많다고 결론짓습니다.

만약 한 가지 특정한 작업(예: 번역)이 필요하다면, 특화된 AI 어시스턴트를 훈련시킬 수 있지만, 이는 다른 작업(예: 이야기 쓰기)에는 도움이 되지 않습니다.
만약 다양한 작업과 언어에서 일관된 속도를 원한다면, 가장 좋은 옵션은 사실 단순하고 빠른 통계 모델(N-그램)입니다. 이것은 아주 똑똑하지는 않지만, 너무나 빠르기 때문에 매번 더 똑똑한 모델들을 이깁니다.

요약하자면, 영어 이외의 언어의 경우, 때로는 "멍청하지만 빠른" 접근 방식이 일을 처리하는 데 가장 좋은 방법이 될 수 있습니다.

기술 요약: 언어 간 추측적 디코딩 (Speculative Decoding Across Languages)

문제 정의

추측적 디코딩(Speculative decoding)은 경량화된 "드래프트(draft)" 모델이 여러 토큰을 제안하고, 이를 더 큰 "검증기(verifier)" 모델이 병렬로 검증함으로써 대규모 언어 모델(LLmathcal LLM)의 추론 속도를 가속화하는 기술이다. 이 기술은 영어에서는 효과적이지만, 본 논문은 작은 드래프트 모델이 더 큰 모델에 비해 다국어 능력이 불균형적으로 떨어진다는 결정적인 한계를 지적한다. 결과적으로, 비영어권 언어를 생성할 때 드래프트된 토큰의 수용률(acceptance rate)이 크게 떨어진다. 이러한 낮은 수용률은 추측적 디코딩의 가속 이점을 상쇄하며, 때로는 표준 자기회귀(autoregressive) 디코딩보다 생성 속도가 더 느려지는 결과를 초래한다. 이러한 격차는 토큰화 편향으로 인해 토큰 수가 더욱 증가할 수 있는 저자원 언어에 대한 기존의 기술적 불평등을 심화시킨다.

방법론

저자들은 Qwen 3.5 모델 제품군을 사용하여 11개 언어(암하라어, 베르베르어, 체로키어, 네팔어, 요루바어 포함)에 걸쳐 추측적 디코딩 효율성을 평가한다. 검증기는 9B 파라미터 모델이며, 베이스라인 드래프트 모델은 동일 계열의 0.8B 파라미터 모델이다. 연구는 드래프트 모델을 학습하거나 구축하기 위한 세 가지 뚜렷한 전략을 비교한다:

태스크 특화 증류 (Task-Specific Distillation): 특정 번역 프롬프트에 대해 검증기의 분포와 KL 발산(KL divergence)을 최소화하도록 병렬 번역 데이터(영어에서 대상 언어로)를 사용하여 드래프트 모델을 미세 조정한다.
일반 도메인 증류 (General Domain Distillation): 태스크 특화 프롬프트 없이 대상 언어의 라벨이 없는 단일 언어 코퍼스를 사용하여 드래프트 모델을 미세 조정한다.
N-그램 모델링 (N-Gram Modeling): Qwen 토크나이저를 사용하여 동일한 단일 언어 코퍼스에서 단순 n-gram 모델(특히 bigram)을 학습시킨다.

평가는 다음 두 가지 태스크를 다룬다:

인도메인 (In-Domain): 기계 번역 (영어에서 대상 언어로).
아웃오브도메인 (Out-of-Domain): 대상 언어를 사용한 개방형 스토리 생성 (특정 스토리 데이터에 대한 학습 없이 일반화 성능을 테스트하기 위함).

성능은 수용률 ( $\alpha$ )과 가속 계수 ( $f$ )를 통해 측정되며, 후자는 드래프트 모델과 검증기 모델 사이의 순전파(forward pass) 시간 비율을 기준으로 계산된다.

주요 결과

1. 베이스라인의 비효效성

수정되지 않은 작은 드래프트 모델을 사용하는 표준 추측적 디코딩은 비영어권 언어에 대해 저조한 결과를 보인다. 11개 언어 전반의 평균 수용률은 약 0.40이었으며, 이는 1.02 $\times$ 에 가까운 가속 계수를 기록하여 이 기술을 사실상 무용하게 만들었다.

2. 증류: 효과적인 인도메인, 낮은 일반화 능력

태스크 특화 증류: 번역 데이터로 미세 조정한 모델은 번역 태스크에서 수용률을 유의미하게 향상시켰으며( $\bar{\alpha} = 0.60$ ), 1.28 $\times$ 의 가속을 달 생성했다. 그러나 이 모델들은 스토리 생성 태스크로 일반화하는 데 실패하여 성능이 베이스라인 이하로 저하되었다( $\bar{\alpha} = 0.43$ , $\bar{f} = 1.03\times$ ).
일반 도메인 증류: 단일 언어 코퍼스로 증류하는 방식은 번역에 대해 베이스라인보다 미미한 개선을 보였으나, 모든 언어에서 수정되지 않은 베이스라인을 일관되게 능가하지는 못했다.

3. N-Gram 모델: 낮은 비용을 통한 우수한 속도

테스트된 방법 중 가장 낮은 수용률을 보였음에도 불구하고( $\text{스토리 생성 시 } \bar{\alpha} = 0.24, \text{번역 시 } \bar{\alpha} = 0.30$ ), n-gram 모델은 일관되게 가장 높은 가속 계수를 제공했다 (스토리 생성 시 최대 1.39 $\times$ , 평균 1.30 $\times$ ).

이유: n-gram 모델은 신경망 드래프트 모델( $\approx 0.033$ 초인 0.8B 모델 대비 $\approx 0.001$ 초)에 비해 계산 비용이 무시할 수 있을 정도로 낮다. 이러한 유리한 비용 비율 ( $c = t_{draft}/t_{target}$ ) 덕분에 시스템은 낮은 수용률에도 불구하고 상당한 가속을 달성할 수 있다.

4. 번역 품질과의 상관관계 부재

본 연구는 모델의 번역 능력(chrF 점수로 측정)과 드래프트 모델의 수용률 사이에 유의미한 상관관계가 없음을 발견하였으며, 이는 수용률이 단순히 특정 언어에 대한 모델의 숙련도를 나타내는 대리 지표라는 가설에 도전한다.

의의 및 주장

본 논문은 표준적인 작은 신경망 드래프트 모델을 사용할 경우, 표준 추측적 디코딩이 비영어권 언어에 대해 종종 해롭거나 무용할 수 있다고 주장한다. 주요 기여는 단순한 n-gram 모델이 낮은 수용률에도 불구하고, 최소한의 추론 비용 덕분에 다국어 추측적 디코딩을 위한 매우 실행 가능하고 종종 더 우월한 대안임을 입증한 것이다.

저자들은 비영어 생성의 경우, 복잡한 신경망 드래프트 모델을 학습시키는 것이 아니라 단일 언어 코퍼스가 가용할 때 n-gram 드래프트 모델로 동적으로 전환하는 것이 최적의 전략일 수 있다고 주장한다. 이 접근 방식은 광범한 태스크 특화 학습 데이터나 복잡한 증류 파이프라인 없이도 소외된 언어의 생성 속도 격차를 완화할 수 있는 실질적인 경로를 제공한다.

본 연구는 결과가 Qwen 3.5 제품군과 테스트된 11개 언어에 국한된다는 점과 생성된 스토리의 품질이 낮았다는 점을 언급하며 한계를 인정하였으나, 초점은 엄격히 추론 속도 지표에 맞추어져 있었다.