When to Ensemble: Identifying Token-Level Points for Stable and Fast LLM Ensembling

이 논문은 긴 형식의 텍스트 생성에서 기존 엔셈블링 방식의 한계를 극복하기 위해 토큰화 불일치와 모델 간 합의 정도를 고려하여 토큰 단위로 선택적으로 엔셈블링하는 'SAFE' 프레임워크를 제안하고, 이를 통해 정확도와 효율성을 동시에 향상시켰음을 보여줍니다.

핵심

🎤 1. 문제 상황: "여러 명이 함께 노래 부르면 왜 망할까?"

여러 개의 AI 모델을 합쳐서 (Ensemble) 더 좋은 답변을 만들려고 할 때, 기존 연구자들은 **"매 순간 모든 AI 의 의견을 모아 가장 확신 있는 단어를 고른다"**는 방식을 썼습니다. 마치 5 명의 전문가가 한 문장을 함께 쓰는데, 매 단어마다 5 명 모두의 입을 모아 가장 적합한 단어를 고르는 셈이죠.

하지만 이 방식에는 두 가지 큰 함정이 있었습니다.

❌ 함정 1: "단어 조각 맞추기 실패" (토큰화 불일치)

각 AI 모델은 단어를 자르는 방식 (토큰화) 이 다릅니다.

• A 모델: "Sofia"라는 이름을 **"So", "fia"**로 자릅니다.
• B 모델: "Sofia"를 하나의 덩어리로 봅니다.

기존 방식대로라면, A 모델이 먼저 "So"를 선택했다고 칩시다. 그런데 B 모델은 "So"라는 조각을 본 적이 없습니다. B 모델 입장에서는 "So"라는 이상한 조각이 갑자기 튀어나온 거죠. 마치 한 사람이 "사과"라고 말하는데, 다른 사람은 "사"만 듣고 "과"가 뭘까? 하며 당황하는 상황입니다.

이런 '이상한 조각 (OOV-like token)'이 계속 쌓이면, AI 는 엉뚱한 글자를 내뱉기 시작합니다. (예: "Sofia"가 "SofÃA"로 변해버림)

❌ 함정 2: "너무 많은 회의" (비효율)

매 단어마다 5 명의 AI 가 모두 의견을 내고 합치는 과정은 시간이 매우 오래 걸립니다. 긴 글을 쓸 때는 이 '회의' 횟수가 수천 번이나 일어나서 속도가 매우 느려집니다.

---

🚀 2. 해결책: SAFE (안정적이고 빠른 합동 작전)

이 논문은 **"항상 합치는 게 좋은 게 아니다"**라고 말합니다. 대신 **"언제 합칠지, 언제 혼자 맡길지"**를 똑똑하게 판단하는 SAFE라는 방법을 제안합니다.

SAFE 는 **작가 (Drafter)**와 검수관 (Verifier) 역할을 나누어 작동합니다.

📝 1 단계: 작가가 먼저 써내려가기 (Generate)

가장 빠른 AI 하나를 '작가'로 뽑습니다. 이 작가는 문장을 미리 몇 개씩 (예: 5 개) 빠르게 써냅니다. 이때 다른 AI 들은 아직 개입하지 않습니다.

🔍 2 단계: 검수관들이 "이거 괜찮아?" 확인하기 (Verify)

나머지 AI 들은 '작가'가 쓴 문장을 한 번에 훑어보며 두 가지를 확인합니다.

1. "이 단어 조각이 다른 AI 들에게도 자연스러운가?" (OOV 체크)
   • 만약 작가의 단어가 다른 AI 들의 자르는 방식과 맞지 않아서 "이상한 조각"이 된다면, 합치는 것을 멈춥니다. (안정성 확보)
2. "다른 AI 들도 이 단어를 확신하는가?" (의견 일치 체크)
   • 만약 다른 AI 들도 거의 같은 단어를 선택할 확률이 매우 높다면, 굳이 복잡한 합치기 과정을 거칠 필요가 없습니다. 그냥 작가의 단어를 그대로 받아들입니다. (효율성 확보)

🤝 3 단계: 진짜 필요한 곳만 합치기 (Ensemble)

위 두 조건을 통과한 중요한 지점에서만 모든 AI 의 의견을 모아 최종 단어를 결정합니다. 이때 의견이 너무 흐릿하면 (누가 옳은지 모르겠다면), 확신을 주는 방향으로 의견을 모으는 '날카롭게 만들기 (Sharpening)' 기술을 적용합니다.

---

💡 3. 왜 이 방법이 좋은가요?

• 🛡️ 안정성 (Stable): 이상한 단어 조각이 섞이는 것을 막아, 글이 뚝뚝 끊기거나 엉뚱한 글자가 나오는 것을 방지합니다. 긴 글 (수학 문제 풀이 등) 을 쓸 때 특히 중요합니다.
• ⚡ 속도 (Fast): 매 단어마다 모든 AI 를 부르는 게 아니라, 필요한 곳만 골라서 부르기 때문에 속도가 개인 AI 하나를 쓸 때와 비슷해집니다.
• 🧩 유연성 (Plug-and-Play): 기존에 쓰던 AI 합치기 기술에 이 '검수' 과정을 추가하기만 하면 바로 효과를 볼 수 있습니다.

📊 4. 실제 결과

실험 결과, SAFE 를 적용하면 기존 방법보다 정확도가 높아지고, 특히 수학 문제나 긴 추론이 필요한 작업에서 기존 방법보다 훨씬 좋은 성능을 보였습니다. 심지어 전체 단어 중 1% 미만만 합쳐도 성능이 크게 향상되었습니다.

🏁 요약

기존의 "무조건 다 합쳐라" 방식은 서로 다른 언어 (단어 조각 방식) 를 쓰는 AI 들이 함께 일할 때 혼란을 빚고 느려집니다.

SAFE 는 **"작가는 먼저 쓰고, 검수관은 '이거 괜찮아?'만 확인한 뒤, 정말 필요할 때만 합쳐라"**는 전략으로, 혼란 없이 빠르고 정확한 AI 협업을 가능하게 합니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 앙상블 (Ensembling) 은 개별 모델의 상호 보완적인 강점을 활용하여 성능을 향상시키는 유망한 방법입니다. 특히 다음 토큰의 확률 분포를 집계하여 가장 확신 있는 토큰을 선택하는 확률 수준 (Probability-level) 앙상블은 다양한 작업에서 효과적이었습니다.

그러나 기존 앙상블 방법들은 긴 형식 (Long-form) 생성, 특히 연쇄 사고 (Chain-of-Thought, CoT) 추론이 필요한 상황에서 심각한 한계를 보입니다. 주요 문제는 다음과 같습니다:

• 토크나이저 불일치 (Tokenization Mismatch): 서로 다른 LLM 은 서로 다른 토크나이저를 사용합니다. 앙상블이 매 토큰마다 수행될 때, 한 모델이 생성한 토큰이 다른 모델의 토크나이저 관점에서 'OOV(Out-of-Vocabulary) 와 유사한 토큰'이 될 수 있습니다. 예를 들어, "Sofia"라는 단어를 생성할 때 한 모델은 "So"를 먼저 생성하고 다른 모델은 "Sofia"를 하나의 토큰으로 인식할 경우, "So"는 후자의 모델에게 비정상적인 접두사가 되어 다음 토큰 확률 분포를 왜곡시킵니다.
• 불안정한 생성 (Instability): 이러한 왜곡은 오류가 누적되어 잘못된 토큰 반복이나 의미 없는 문자열 생성을 초래하며, 결과적으로 CoT 추론 성능을 급격히 저하시킵니다.
• 비효율성 (Inefficiency): 모든 토큰에서 앙상블을 수행하면, 서로 다른 어휘 집합을 정렬 (Alignment) 하는 과정이 반복되어 계산 비용이 크게 증가합니다.

2. 제안 방법: SAFE (Stable And Fast LLM Ensembling)

저자들은 긴 시퀀스 생성 시 언제 (When) 앙상블을 수행할지 결정하는 것이 성능과 효율성의 핵심이라고 주장하며, 이를 해결하기 위해 SAFE 프레임워크를 제안합니다. SAFE 는 두 가지 핵심 요소를 고려하여 앙상블 위치를 선별적으로 결정합니다:

1. 토크나이저 불일치 (Tokenization Mismatch): OOV 와 유사한 토큰이 도입되지 않는지 확인.
2. 모델 간 합의 (Consensus): 모델들의 다음 토큰 확률 분포가 충분히 일치하는지 확인.

SAFE 는 Generate-Verify-Ensemble의 3 단계 사이클을 반복합니다:

A. Generate (생성)

• Drafter (작성자): 성능이 가장 좋은 모델을 선택하여 미리 정해진 길이 (예: 5 토큰) 의 시퀀스를 생성합니다.
• Speculative Strategy: 모든 모델이 autoregressive 방식으로 토큰을 생성하는 대신, Drafter 만이 생성을 수행하여 계산 비용을 줄입니다.

B. Verify (검증)

• Verifier (검증자): 나머지 모델들이 Drafter 가 생성한 토큰 시퀀스를 한 번의 forward pass 로 검토합니다.
• 앙상블 트리거 조건: 다음 두 가지 조건을 모두 만족할 때만 해당 토큰에서 앙상블을 수행합니다.
  1. OOV-like 토큰 검증: 직전 토큰이 Verifier 모델의 토크나이저 관점에서 유효한 접두사인지 확인합니다. (불일치가 발생하면 앙상블을 중단하고 다음 시퀀스로 이동).
  2. 앙상블 분포 검증: Drafter 가 생성한 토큰이 모든 모델의 확률 분포에서 가장 확신 있는 토큰인지 확인합니다.
     • 모든 모델이 동일한 토큰을 최대로 예측하거나 (Unanimous consensus),
     • 평균 확률이 0.5 를 초과하는 경우, 앙상블을 생략합니다.
     • 이는 불필요한 어휘 정렬 연산을 줄여 효율성을 높입니다.

C. Ensemble (앙상블)

• 검증된 위치에서만 앙상블을 수행합니다.

• 확률 Sharpening (Probability Sharpening): 서로 다른 토크나이저로 인해 같은 단어가 여러 하위 토큰으로 분산되어 앙상블 분포가 과도하게 평탄해 (Smooth) 질 수 있습니다. 이를 해결하기 위해 확률 Sharpening 전략을 적용하여 가장 그럴듯한 토큰에 확률 질량을 집중시킵니다.

  • 휴리스틱 방법: 특정 임계값 이상의 하위 토큰 확률을 공통 접두사 토큰으로 재할당.
  • 기하 평균 (Geometric Mean): 개별 모델의 확률이 낮은 토큰을 강력히 패널티 처리하여 합의된 토큰에 집중.

• KV Cache 관리: 앙상블로 토큰이 변경될 경우, 기존 KV 캐시와 실제 입력 시퀀스 간의 불일치를 해결하기 위해 각 모델의 KV 캐시를 주기적으로 정리 (Prune) 하여 동기화합니다.

3. 주요 기여 (Key Contributions)

1. 안정성 확보: OOV 와 유사한 토큰이 모델에 유입되는 것을 방지하여 긴 형식 생성 (CoT 포함) 에서 안정적인 텍스트 생성을 보장합니다.
2. 효율성 극대화:
   • Drafter 만 생성을 수행하여 autoregressive 비용 절감.
   • 불필요한 앙상블 연산을 줄여 전체 생성 속도를 단일 모델 수준으로 가속화.
   • KV 캐시 최적화를 통한 추가적인 속도 향상.
3. Plug-and-Play: 기존 앙상블 방법 (UniTE, GaC 등) 에 SAFE 로직을 추가하기만 해도 성능과 효율성이 동시에 개선됩니다.
4. 새로운 통찰: 긴 시퀀스 생성에서는 "언제 앙상블할지" 결정하는 것이 "무엇을 앙상블할지"보다 더 중요함을 증명했습니다.

4. 실험 결과 (Results)

다양한 벤치마크 (MMLU-redux, MATH500, GSM8K, BBH, ARC-C) 와 모델 조합 (Internlm3, Qwen2.5, EXAONE 등) 에서 실험이 수행되었습니다.

• 성능 향상: 기존 방법 (UniTE) 은 CoT 환경에서 개별 모델보다 성능이 크게 떨어졌으나, SAFE 를 적용한 UniTE 는 대부분의 경우 개별 모델보다 우수한 성능을 기록했습니다.
  • 예: MATH500 에서 UniTE 단독은 59.6 점이었으나, SAFE 적용 시 77.4 점으로 크게 향상되었습니다.
• 효율성:
  • 낮은 앙상블 비율: 전체 토큰의 1% 미만 (수학 데이터셋의 경우 약 4.85%) 만 앙상블하여도 성능 향상을 달성했습니다.
  • 지연 시간 (Latency): SAFE 를 적용하면 기존 앙상블 방법보다 지연 시간이 크게 줄어들어, 단일 모델과 유사한 속도를 유지하면서도 높은 정확도를 제공합니다.
• 모델 크기 확장: 32B 규모의 모델에서도 동일한 성능 향상을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 앙상블이 긴 형식 생성과 복잡한 추론 작업에서도 실용적으로 적용될 수 있음을 입증했습니다. 기존에는 토크나이저 불일치와 계산 비용 문제로 인해 긴 문장 생성 시 앙상블을 기피했거나 성능이 저하되었으나, SAFE는 토큰 레벨의 안전한 시점을 식별함으로써 이 문제를 해결했습니다.

이는 단일 모델의 성능 한계를 넘어서면서도, 별도의 추가 학습 없이 여러 모델의 지식을 통합할 수 있는 실용적이고 배포 가능한 (Deployable) 앙상블 전략을 제시했다는 점에서 의의가 큽니다. 특히, CoT 추론이 필수적인 복잡한 문제 해결 작업에서 LLM 앙상블의 새로운 표준을 제시합니다.