Evo: Autoregressive-Diffusion Large Language Models with Evolving Balance

이 논문은 autoregressive 와 확산 (diffusion) 생성 방식을 통합한 'Evo'라는 새로운 대규모 언어 모델을 제안하며, 토큰의 의미적 성숙도에 따라 두 방식을 동적으로 균형 있게 조정하여 추론 속도와 생성 품질을 동시에 극대화한다는 점을 강조합니다.

핵심

🚀 Evo: 언어 모델의 '새로운 두뇌'를 소개합니다

안녕하세요! 오늘 소개해 드릴 논문은 Evo라는 새로운 인공지능 모델을 다룹니다. 이 모델은 지금까지 우리가 알고 있던 두 가지 거대한 AI 방식 ( Autoregressive 와 Diffusion) 을 하나로 합쳐서, 더 똑똑하면서도 더 빠른 언어 생성을 가능하게 합니다.

복잡한 수학 공식 대신, 일상적인 비유를 통해 Evo 가 어떻게 작동하는지 쉽게 설명해 드릴게요.

---

1. 기존 방식의 문제점: "왼쪽에서 오른쪽으로만 쓰는 작가" vs "다시 쓰는 화가"

지금까지의 AI 언어 모델들은 크게 두 가지 방식으로 글을 썼습니다.

• 방식 A: autoregressive (AR) 모델 (예: 기존 GPT 시리즈)

  • 비유: 한 줄 한 줄을 왼쪽에서 오른쪽으로 순서대로 써나가는 작가입니다.
  • 장점: 매우 빠릅니다. 한 단어를 쓰면 바로 다음 단어를 생각합니다.
  • 단점: 실수를 하면 고치기 어렵습니다. "오늘 날씨가..."라고 썼는데 뒤에 "비"가 아니라 "눈"이 와야 한다는 걸 나중에 알아도, 이미 쓴 글은 수정할 수 없습니다. (실수가 쌓여서 글이 엉망이 될 수 있어요.)

• 방식 B: Diffusion (확산) 모델

  • 비유: 처음엔 잡음 (노이즈) 으로 가득 찬 캔버스에 그림을 그리는 화가입니다.
  • 장점: 전체적인 구도를 먼저 잡고, 나중에 디테일을 다듬습니다. 실수가 있어도 다시 고칠 수 있습니다.
  • 단점: 너무 느립니다. 그림을 완성하려면 수십 번, 수백 번을 다시 그려야 하니까요.

기존의 시도: 두 방식을 섞으려 했지만, 대부분 "이 부분은 작가에게 맡기고, 저 부분은 화가에게 맡기자"라고 구역을 딱 나누는 방식이었습니다. 그래서 여전히 느리거나, 유연하지 못했습니다.

---

2. Evo 의 혁신: "진화하는 생각의 흐름"

Evo 는 이 두 방식을 완전히 다른 두 가지가 아니라, 같은 생각의 흐름 (Flow) 의 다른 단계로 봅니다.

🌟 핵심 비유: "나뭇가지가 자라나는 과정"

Evo 는 글을 쓸 때, **각 단어마다 '성장 단계 (Maturity)'**를 정합니다.

• 어떤 단어는 이미 '완성된 열매' (낮은 성장 단계):
  • 예를 들어 "사과" 같은 확실한 단어는, **작가 (AR)**처럼 빠르게 확정하고 넘어갑니다. "사과"라고 한 번 쓰면 바로 다음으로 갑니다.
• 어떤 단어는 아직 '새싹' (높은 성장 단계):
  • 예를 들어 복잡한 수학 문제나 논리적 추론이 필요한 부분 ("만약 ~라면, ~일 것이다") 은 **화가 (Diffusion)**처럼 여러 번 다듬습니다. 전체적인 맥락을 보고 "아, 이 단어는 '가능성'이 아니라 '필연'이어야겠다"라고 생각하며 여러 번 수정합니다.

Evo 의 마법:
이 모델은 한 문장 안에서 어떤 단어는 빠르게 확정하고, 어떤 단어는 천천히 다듬을 수 있습니다. 마치 한 사람이 글을 쓰면서, 쉬운 단어는 빠르게 쓰고, 어려운 논리 부분은 잠시 멈추고 깊게 생각한 뒤 다시 쓰는 것과 같습니다.

---

3. Evo 가 왜 특별한가요?

✅ 1. "상황에 맞는 속도 조절" (Adaptive Balance)

기존 모델들은 "무조건 10 번 다시 그려야 해" (Diffusion) 혹은 "무조건 한 번에 써야 해" (AR) 라고 정해져 있었습니다.
하지만 Evo 는 불확실한 부분일수록 더 많이 생각하고, 확실한 부분은 빠르게 넘어갑니다.

• 결과: 복잡한 수학 문제나 코딩은 정확도가 매우 높아졌지만, 일반적인 대화는 기존 모델만큼이나 빠릅니다.

✅ 2. "하나의 두뇌" (Unified Framework)

이전에는 AR 과 Diffusion 을 따로 학습시켰다가 합치는 방식이었는데, Evo 는 처음부터 하나의 모델로 학습합니다.

• 비유: 두 개의 다른 엔진을 달아서 자동차를 만드는 게 아니라, 한 개의 엔진이 상황에 따라 속도와 힘을 조절하는 하이브리드 카를 만든 것과 같습니다.

---

4. 실제 성과: "스피드와 지능의 완벽한 조화"

논문에서 Evo 8B(80 억 개의 파라미터를 가진 모델) 를 테스트한 결과가 놀랍습니다.

• 추론 능력 (수학, 논리): 기존 최고의 모델들보다 훨씬 잘 풀었습니다. (예: GSM8K 수학 문제, HumanEval 코딩 테스트)
  • 이유: 복잡한 문제를 풀 때, Evo 는 "잠깐 멈추고 전체 그림을 그려본 뒤" 답을 쓰기 때문입니다.
• 속도: 확산 (Diffusion) 방식의 느린 단점을 거의 없앴습니다.
  • 이유: 모든 단어를 다듬는 게 아니라, 필요한 부분만 다듬기 때문입니다. 기존 AR 모델과 거의 비슷한 속도로 돌아갑니다.

---

5. 한 줄 요약

Evo 는 "빨리 쓰는 것"과 "잘 쓰는 것"을 선택해야 했던 과거를 끝냈습니다.

마치 현명한 작가처럼, 쉬운 말은 빠르게 쓰고, 어려운 논리는 잠시 멈춰서 깊이 생각한 뒤 다듬습니다. 그 결과, 매우 똑똑하면서도 매우 빠른 새로운 AI 시대를 열었습니다.

이 기술이 발전하면, 앞으로 우리가 AI 와 대화할 때 더 정확한 답변을 받으면서도 기다리는 시간은 거의 들지 않게 될 것입니다! 🌱✨

기술 요약

1. 문제 제기 (Problem Statement)

현재 대규모 언어 모델 (LLM) 은 주로 자기회귀 (Autoregressive, AR) 방식을 기반으로 합니다. AR 모델은 토큰을 왼쪽에서 오른쪽으로 순차적으로 생성하여 확장성이 뛰어나고 추론 속도가 빠르다는 장점이 있지만, 다음과 같은 한계가 있습니다.

• 누적 오류 (Compounding Errors): 초기 생성 단계의 오류가 후속 토큰 생성에 전파되어 전체적인 일관성을 해칠 수 있습니다.
• 전역적 계획 부족: 순차적 생성 특성상 전체 문맥을 미리 계획하거나 (Global Planning), 생성 후 수정 (Iterative Refinement) 하는 데 어려움이 있습니다.

이를 해결하기 위해 확산 모델 (Diffusion Models) 이 언어 생성에 적용되고 있습니다. 확산 모델은 노이즈를 제거하며 텍스트를 생성하는 방식으로, 반복적인 자기 수정과 전역적 조율이 가능하지만, 다음과 같은 단점이 있습니다.

• 추론 비용: 많은 반복 단계 (Inference Steps) 가 필요하여 AR 모델에 비해 추론 속도가 매우 느립니다.
• 제어력 부족: 고수준의 의미적 제어가 어렵고, AR 모델에 비해 퍼플렉시티 (Perplexity) 가 낮은 경향이 있습니다.

기존의 AR 와 Diffusion 을 결합한 하이브리드 모델들은 두 방식을 단순히 병렬로 배치하거나 블록 단위로 고정된 규칙을 적용하여, 적응형 균형 (Adaptive Balance) 을 이루지 못했습니다. 즉, 불확실성이 높은 부분에만 확산 방식을 적용하고, 확실한 부분에는 AR 방식을 적용하는 유연한 메커니즘이 부재했습니다.

2. 방법론 (Methodology)

저자들은 Evo라는 새로운 모델을 제안하며, AR 와 Diffusion 을 단일한 연속적인 진화적 생성 프레임워크 (Continuous Evolutionary Generative Framework) 내에서 통합합니다.

핵심 개념: 이중 잠재 궤적 (Duality Latent Trajectory)

Evo 는 텍스트 생성을 토큰별 벡터 임베딩이 진행 변수 (Progression Variable, $t_i \in [0, 1]$) 에 따라 진화하는 과정으로 재해석합니다.

• $t_i \approx 0$ (낮은 값): 확신 있는 AR 와 같은 정제 (Refinement) 단계.
• $t_i \approx 1$ (높은 값): 확산 스타일의 전역적 계획 (Planning) 단계.
• 모델은 각 토큰의 불확실성에 따라 $t_i$를 학습하여 AR 와 Diffusion 간의 균형을 적응형 (Adaptively) 으로 조절합니다.

이론적 통합 (Theoretical Unification)

• AR 와 Diffusion 모델은 모두 공유된 확률 흐름 (Shared Probability Flow) 의 이산화 (Discretization) 로서 도출될 수 있음을 수학적으로 증명했습니다.
• AR 는 데이터에서 데이터로의 결정론적 흐름 (Deterministic Flow) 에 해당하고, Diffusion 은 노이즈에서 데이터로의 확률적 역방향 흐름 (Stochastic Reverse Path) 에 해당하지만, 둘은 동일한 잠재 공간에서의 경로로 볼 수 있습니다.

모델 아키텍처 및 학습

• 구조: 시간 조건부 (Time-conditioned) Transformer 기반. 모든 토큰과 시간 단계에 걸쳐 공유되는 벡터 필드 (Vector Field, $F_\theta$) 를 학습합니다.
• 학습 목표: 변분 하한 (Variational ELBO) 을 최적화합니다. 이는 잠재 코드 ($Z$) 와 진행 시간 ($t_i$) 을 동시에 추론하도록 설계되었습니다.
• 동작:
  • 학습: 각 토큰에 대해 잠재 벡터와 해당 토큰의 의미적 성숙도 ($t_i$) 를 예측합니다.
  • 추론 (Decoding): 초기 잠재 상태와 $t_i$를 샘플링한 후, $t_i$에 따라 필요한 정제 단계 수를 동적으로 조절합니다. 불확실성이 높은 토큰은 더 많은 확산 스타일 정제를 거치고, 확실한 토큰은 AR 스타일로 빠르게 생성됩니다.

3. 주요 기여 (Key Contributions)

1. 이론적 통합: AR 와 Diffusion 이 동일한 확률 흐름의 서로 다른 표현임을 증명하고, 이를 하나의 연속적 생성 프레임워크로 통합했습니다.
2. 적응형 균형 메커니즘: 고정된 규칙이 아닌, 토큰별 불확실성에 기반하여 AR(정밀한 생성) 과 Diffusion(전역적 계획) 간의 균형을 동적으로 조절하는 진행 변수 ($t_i$) 를 도입했습니다.
3. 효율성과 성능의 동시 달성: 기존 확산 모델의 느린 추론 속도를 극복하면서도, AR 모델의 전역적 계획 부족 문제를 해결하여 빠른 추론 속도와 높은 생성 품질을 동시에 달성했습니다.
4. End-to-End 학습: 잠재 흐름과 시간 단계 예측기를 함께 학습하여, 의미적 계획과 언어적 정밀도를 단일 모델에서 통합적으로 처리합니다.

4. 실험 결과 (Results)

Evo 8B 모델은 15 개의 다양한 벤치마크에서 SOTA(State-of-the-Art) 또는 매우 경쟁력 있는 성능을 보였습니다.

• 성능 (Performance):
  • 추론 (Reasoning): GSM8K(86.4), ARC-C(65.6) 에서 기존 AR 모델 (LLaMA3, Qwen2.5) 보다 우수한 성능을 보였습니다. 특히 수학 및 논리 문제에서 초기 오류가 누적되는 AR 모델의 단점을 보완했습니다.
  • 코드 생성 (Code Generation): HumanEval(60.6), MBPP(77.4) 에서 AR 전용 모델 및 기존 AR+Diffusion 하이브리드 모델 (BD3-LM 등) 을 크게 상회했습니다.
  • 일반 언어 이해: MMLU, TruthfulQA 등에서도 최상위권 성능을 기록했습니다.
• 효율성 (Efficiency):
  • 추론 속도: Evo 8B 는 초당 52 토큰 (tokens/s) 의 속도를 기록하여, AR 모델인 LLaMA3(58 tokens/s) 과 거의 유사한 속도를 유지했습니다.
  • 지연 시간 (Latency): 전체 지연 시간은 8.6 초로, 기존 확산 기반 모델 (20 초 이상) 이나 다른 하이브리드 모델 (32.5 초 등) 에 비해 압도적으로 빠릅니다.
  • 원인: 확산 스타일의 계산이 불확실한 영역에만 국한되어 적용되기 때문입니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 설계에 있어 새로운 패러다임을 제시합니다.

• AR 와 Diffusion 의 대립 해소: 두 방식을 상호 배타적인 선택이 아닌, 생성 과정의 서로 다른 단계 (계획 vs 정제) 로서 통합함으로써 각 방식의 장점을 극대화했습니다.
• 실용적 가치: 높은 추론 정확도 (특히 복잡한 논리 및 코드 생성) 를 유지하면서도 상용화에 필요한 빠른 추론 속도를 제공하여, 실제 응용 분야에서의 확산 모델의 실용성을 크게 높였습니다.
• 미래 방향: Evo 는 생성 모델이 "어디에서 계획하고, 어디에서 정제할지" 스스로 학습하는 적응형 시스템으로 발전할 수 있음을 보여주었습니다.

요약하자면, Evo는 AR 의 속도와 Diffusion 의 유연성을 결합하여, 불확실성에 기반한 동적 자원 할당을 통해 기존 모델들의 한계를 극복한 차세대 언어 모델입니다.