ConFu: Contemplate the Future for Better Speculative Sampling

이 논문은 타겟 모델의 미래 생성 방향을 예측할 수 있는 'ConFu'라는 새로운 스펙큘레이티브 디코딩 프레임워크를 제안하여, 기존 EAGLE-3 대비 토큰 수용률과 생성 속도를 8~11% 향상시킨다고 설명합니다.

핵심

ConFu: AI 가 "미래를 미리 생각하게" 만드는 혁신

이 논문은 거대한 인공지능 (LLM) 이 글을 쓸 때, 속도는 빠르되 실수는 줄이는 새로운 방법을 소개합니다. 제목인 ConFu(Contemplate the Future) 는 "미래를 깊이 고민하다"라는 뜻입니다.

이 기술을 이해하기 위해 **유능한 작가 **(타겟 모델)와 **빠른 보조 작가 **(드래프트 모델)가 함께 글을 쓰는 상황을 상상해 보세요.

---

1. 기존 방식의 문제점: "눈가림하고 달리기"

지금까지 AI 가 글을 빠르게 쓰려면, 거대한 '주작가'가 매번 한 글자씩 천천히 쓰는 대신, '보조 작가'가 몇 글자 미리 예측해서 주작가에게 확인을 받았습니다. (이걸 'Speculative Decoding'이라고 합니다.)

하지만 기존 방식에는 치명적인 약점이 있었습니다.

• 상황: 보조 작가는 지금까지 쓴 내용만 보고 다음 글자를 예측합니다.
• 문제: 마치 눈가림을 하고 달리는 것과 같습니다. 처음에는 방향이 맞지만, 조금만 달리면 주작가가 생각한 '진짜 의도'와 보조 작가의 '예측'이 점점 달라집니다.
• 결과: 주작가에게 확인을 받으면 "아니, 그건 아니야"라고 거절당하는 경우가 많아져서, 결국 속도 이득이 줄어들었습니다.

2. ConFu 의 해결책: "미래의 나침반"을 주다

ConFu 는 이 문제를 해결하기 위해 보조 작가에게 '미래의 나침반'을 쥐어줍니다.

• 핵심 아이디어: 보조 작가는 "지금까지의 내용"뿐만 아니라, **주작가가 '지금 무엇을 생각하고 있는지' **(미래의 방향)를 미리 알 수 있어야 합니다.
• 구체적 방법:
  1. **생각 토큰 **(Contemplate Tokens) 주작가가 글을 쓰다가 잠시 멈춰서 "내가 지금 이 문장을 쓸 때, 다음에 어떤 흐름으로 이어질지 생각해보자"라고 스스로에게 신호를 보냅니다. 이 신호를 '생각 토큰'이라고 부릅니다.
  2. 미래 신호 공유: 이 '생각'을 보조 작가에게도 알려줍니다. 마치 주작가가 "나 지금 이 주제에 대해 깊은 고민 중이야, 너도 그 흐름을 따라가봐"라고 속삭이는 것과 같습니다.
  3. **동적 적응 **(MoE) 상황마다 필요한 생각이 다릅니다. 수학 문제를 풀 때는 "다음 식은..."이라는 생각이 필요하고, 소설을 쓸 때는 "다음 장면은..."이라는 생각이 필요합니다. ConFu 는 상황에 따라 **가장 적합한 '생각'을 자동으로 골라주는 전문가 시스템 **(MoE)을 사용합니다.

3. 비유로 설명하는 ConFu 의 작동 원리

[기존 방식: 눈가림하고 달리기]

보조 작가는 "오늘 날씨가 좋네"라고 썼습니다. 주작가는 "그래, 그래서 산책을 갔지"라고 생각했습니다. 하지만 보조 작가는 다음에 "그리고 커피를 마셨다"라고 예측했습니다. (주작가의 생각과 다름).
결과: 주작가가 "아니야, 산책 갔는데 커피는 안 마셨어"라고 거절합니다. (속도 느려짐)

[ConFu 방식: 나침반을 들고 달리기]

보조 작가는 "오늘 날씨가 좋네"라고 썼습니다. 이때 주작가는 "생각 토큰"을 통해 "나는 산책 후 카페에 갈 생각 중이야"라는 미래 신호를 보냅니다.
보조 작가는 이 신호를 받고 "그리고 카페에 갔다"라고 예측합니다.
결과: 주작가는 "정답이야!"라고 바로 승인합니다. (속도 빨라짐)

4. 왜 이것이 중요한가요?

• 더 빠른 속도: 보조 작가의 예측이 주작가의 생각과 더 잘 맞기 때문에, 거절당하는 횟수가 줄어듭니다. 실험 결과, 기존 최고의 기술 (EAGLE-3) 보다 8~11% 더 빠른 속도를 보여줍니다.
• 에너지 절약: 불필요한 계산을 줄여 전기를 아낄 수 있습니다.
• 품질 유지: 속도를 높인다고 해서 글의 품질이 떨어지거나, AI 의 원래 성격을 바꾸지 않습니다. 단순히 '생각하는 방식'을 더 똑똑하게 만든 것입니다.

5. 결론

ConFu 는 AI 에게 "지금 당장만 보지 말고, 미래의 흐름을 미리 상상해봐"라고 가르친 기술입니다.

마치 유능한 조수에게 "주인님의 다음 행보가 무엇일지 미리 눈치채고 준비해라"라고 시키면, 주인님이 지시하기 전에 일을 미리 해치울 수 있는 것과 같습니다. 이 작은 '미래에 대한 고민'이 AI 가 글을 쓰는 속도를 획기적으로 높여주는 열쇠가 되었습니다.

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 추론 속도를 가속화하기 위해 Speculative Decoding(추측적 디코딩) 이 널리 사용되고 있습니다. 이 방식은 경량 드래프트 모델 (Draft Model) 이 후보 토큰을 생성하고, 타겟 모델이 이를 검증하여 여러 토큰을 한 번에 수락하는 방식입니다.

하지만 기존 방법론 (특히 최신 SOTA 인 EAGLE 시리즈 포함) 은 다음과 같은 근본적인 한계를 가집니다:

• 오류 누적 (Error Accumulation): 드래프트 모델이 현재 접두어 (prefix) 만을 조건으로 하여 다음 토큰을 예측하기 때문에, 디코딩이 진행될수록 드래프트 모델의 분포가 타겟 모델의 분포에서 점차 벗어나게 됩니다.
• 미래 방향성 부재: 드래프트 모델이 단순히 '다음 토큰'만 예측할 뿐, 타겟 모델이 생성하려는 미래의 전체적인 방향성 (Semantic Trajectory) 을 고려하지 못합니다. 이로 인해 검증 단계에서 토큰이 거부될 확률이 높아지고, 전체적인 가속화 효율이 제한됩니다.

2. 방법론 (Methodology)

이 논문은 ConFu (Contemplate the Future) 라는 새로운 추측적 디코딩 프레임워크를 제안합니다. 핵심 아이디어는 드래프트 모델이 타겟 모델의 현재 '생각 (Thought)' 또는 미래 생성 방향을 미리 인지하도록 하는 것입니다.

주요 구성 요소:

1. Contemplate Tokens 및 Soft Prompts (미래 예측 신호 활용):

   • Contemplate Token: 입력 접두어에 추가되는 특수 토큰으로, 타겟 모델이 다음 출력을 생성하기 전에 추가적인 계산 (잠재적 사고) 을 수행하게 합니다.
   • Soft Prompts: 학습 가능한 프롬프트 토큰을 사용하여 타겟 모델이 중간 추론 신호를 노출하도록 유도합니다.
   • 동작 원리: 타겟 모델은 이 신호들을 통해 미래 생성 방향에 대한 벡터 (Future Prediction Vector, $f$) 를 생성하고, 이를 드래프트 모델에 보조 입력으로 제공합니다. 드래프트 모델은 이 '미래 신호'를 조건으로 하여 더 정확한 토큰을 생성합니다.

2. MoE 기반 동적 Contemplate Token (Dynamic Contemplate Tokens with MoE):

   • 고정된 임베딩은 다양한 문맥 (수학 추론, 긴 글 작성 등) 에 대해 일관된 미래 예측을 제공하기 어렵습니다.
   • 이를 해결하기 위해 혼합 전문가 모델 (Mixture-of-Experts, MoE) 아키텍처를 도입했습니다.
   • 직전 수락된 토큰의 숨겨진 상태 (Hidden State) 를 입력으로 받아, 현재 문맥에 가장 적합한 '전문가 (Expert)'들을 선택하여 동적으로 Contemplate Token 임베딩을 생성합니다. 이를 통해 문맥 인식형 미래 예측이 가능해집니다.

3. 강건한 학습 프레임워크 (Robust Training Framework):

   • Anchor Token Sampling: 학습 시 모든 토큰 위치에 Contemplate Token 을 삽입하면 메모리 오버헤드가 급증합니다. 이를 해결하기 위해 시퀀스에서 일부 토큰 (Anchor Tokens) 만을 샘플링하여 해당 위치에만 토큰을 삽입하고 손실 (Loss) 을 계산합니다.
   • Future Prediction Replication: 미래 예측은 작은 위치 변화에 대해 강건해야 한다는 가정을 기반으로, Anchor Token 의 미래 예측을 인접한 비-Anchor 토큰들에게도 재사용하여 학습합니다. 이는 모델이 미래 방향성을 더 안정적으로 학습하도록 돕습니다.

3. 주요 기여 (Key Contributions)

• 미래 지향적 추측적 디코딩 프레임워크: 드래프트 모델이 타겟 모델의 잠재적 '생각 (Continuous Reasoning Tokens)'을 활용하여 미래 생성 방향을 예측하도록 한 최초의 작업입니다.
• 저비용 고효율 메커니즘: 타겟 모델의 추론 비용 증가를 최소화하면서 (병렬 처리 및 경량화), 드래프트 모델의 정확도를 획기적으로 높이는 Contemplate Token 및 Soft Prompt 기법을 제안했습니다.
• 동적 적응형 아키텍처: MoE 를 활용한 동적 Contemplate Token 을 통해 다양한 생성 태스크에 유연하게 대응하는 능력을 확보했습니다.
• 새로운 연구 방향 제시: 추측적 디코딩과 잠재적 추론 (Latent Reasoning) 패러다임을 결합하여 LLM 추론 가속화의 새로운 지평을 열었습니다.

4. 실험 결과 (Results)

SpecBench 벤치마크에서 Llama-3 (3B 및 8B) 모델을 타겟으로 하여 최신 SOTA 모델인 EAGLE-3와 비교 실험을 수행했습니다.

• 성능 향상: 다양한 태스크 (글쓰기, 질문 답변, 요약, 번역, 코딩, 수학 추론 등) 에서 ConFu 는 EAGLE-3 대비 토큰 수락률 (Acceptance Rate) 및 생성 속도가 8~11% 향상되었습니다.
• 온도 (Temperature) 영향: 특히 낮은 샘플링 온도 (Greedy decoding, $T=0$) 에서 성능 향상이 두드러졌습니다. 이는 낮은 온도에서 타겟 분포가 더 결정적이어서 미래 방향 예측이 더 효과적이기 때문입니다.
• 다양한 조건에서의 일관성: 드래프트 노드 수 (30, 60) 와 모델 크기 (3B, 8B) 에 관계없이 일관된 성능 개선을 보였습니다.
• Ablation Study: MoE(동적 토큰) 와 Future Prediction Replication(강건한 학습) 을 제거했을 때 성능이 저하됨을 확인하여, 제안된 각 구성 요소의 유효성을 입증했습니다.

5. 의의 및 결론 (Significance)

• 오류 누적 해결: 기존 드래프트 모델의 주요 병목 현상인 '오류 누적'을 타겟 모델의 미래 방향성 신호를 통해 효과적으로 완화했습니다.
• 시스템 최적화: 타겟 모델의 구조를 변경하거나 미세 조정 (Fine-tuning) 하지 않고도 추론 속도를 높일 수 있어, 기존 모델 배포에 즉시 적용 가능한 솔루션입니다.
• 지속 가능한 AI: 계산 비용과 에너지 소비를 줄이면서도 출력 품질을 유지하므로, 엣지 디바이스 및 대규모 서비스 환경에서의 LLM 배포에 긍정적인 영향을 미칩니다.

요약하자면, ConFu는 드래프트 모델에게 "미래를 contemplate(사색) 하도록" 함으로써, 단순한 토큰 예측을 넘어 타겟 모델의 의도를 파악하게 하여 추측적 디코딩의 효율성을 극대화한 획기적인 연구입니다.