The Diminishing Returns of Early-Exit Decoding in Modern LLMs
이 논문은 최신 대규모 언어 모델 (LLM) 의 발전으로 인해 레이어별 조기 종료 (early-exit) 기법의 효과가 점차 감소하고 있으며, 특히 MoE 나 SSM 보다 Dense Transformer 구조와 대규모 베이스 모델에서 조기 종료의 잠재력이 더 높다는 것을 규명했습니다.
원저자:Rui Wei, Rui Du, Hanfei Yu, Devesh Tiwari, Jian Li, Zhaozhuo Xu, Hao Wang
생각해 보세요. 거대 언어 모델 (LLM) 은 100 개의 역이 있는 긴 지하철과 같습니다.
입구 (Layer 1): 질문을 받은 상태.
출구 (Layer 100): 최종 답변을 내놓는 상태.
과거의 모델들은 중간 역 (예: 30 번 역) 에서도 이미 목적지가 명확해져서 더 이상 갈 필요가 없는 경우가 많았습니다. 그래서 "아, 여기서 내리면 충분해!"라고 생각하며 중간 역에서 내려 (Early-Exit) 시간을 절약할 수 있었습니다.
하지만 최신 모델들은 어떻게 변했을까요?
🔍 이 연구가 발견한 3 가지 핵심 사실
1. "중간 역은 이제 목적지를 알려주지 않아" (층의 중복성 감소)
과거: 30 번 역에 도착했을 때, "아, 우리는 서울역으로 가는구나!"라고 확실히 알 수 있었습니다.
현재: 최신 모델들은 100 번 역 (최종 역) 에 가까워질 때까지 정답을 확정 짓지 않습니다. 중간 역에 내리면 "아직 뭐가 될지 모르겠는데?"라는 불확실한 상태가 됩니다.
결과: 중간에 내려서 시간을 아끼려다 정답을 틀릴 확률이 너무 높아져서, 아예 처음부터 끝까지 타고 가는 게 더 나을 때가 많습니다.
2. "크고 복잡한 기차일수록 더 오래 타야 해" (모델 크기와 구조)
작은 기차 (작은 모델): 중간에 내려도 어느 정도 목적지를 맞출 수 있습니다.
거대한 기차 (200 억 개 이상의 파라미터): 역이 너무 많고 복잡해서, 중간에 내리면 길을 잃기 쉽습니다. 하지만 역설적으로 모델이 너무 크고 복잡할수록 (파라미터가 많을수록) 중간에 내릴 여지가 조금 더 생깁니다. (너무 단순한 모델은 오히려 중간에 멈추기 어렵다는 뜻입니다.)
구조의 차이:
일반적인 모델 (Dense Transformer): 역이 하나하나 차근차근 이어져 있어 중간에 내릴 기회가 있습니다.
전문가 모델 (MoE) & 새로운 기술 (SSM): 특정 역에서 전문가만 태우거나, 역과 역이 너무 밀접하게 연결되어 있어 중간에 내리면 시스템이 꼬여버립니다.
3. "교육을 더 받을수록 더 신중해진다" (학습 과정의 영향)
초기 학습 (Base Model): 아직 덜 배운 상태라 중간에 내리면 "아마 이거겠지?"라고 대충 맞힐 수 있습니다.
고급 학습 (Instruction Tuned): 전문가 교육을 받고 나면, 정답을 확신할 때까지 끝까지 고민하게 됩니다. 중간에 멈추면 "아직 생각 중이야"라고 하거나 엉뚱한 답을 내놓습니다. 즉, 학습을 많이 시킬수록 중간에 멈추기 어려워집니다.
💡 이 연구가 우리에게 주는 교훈
"무조건 중간에 내려라"는 옛말: 예전에는 모델을 빨리 돌리기 위해 중간에 멈추는 기술이 유행했지만, 최신 모델들은 그 기술이 잘 먹히지 않습니다.
새로운 기준이 필요함: 연구팀은 "이 모델이 중간에 멈추기 좋은가?"를 판단하는 **새로운 점수 (적응도 점수)**를 만들었습니다. 이 점수를 보면, "이 모델은 70% 까지 타고 내려가도 괜찮지만, 이 모델은 95% 까지 타고 가야 해"라고 미리 알 수 있습니다.
미래의 방향:
거대하고 복잡한 모델을 쓸 때는 중간에 멈추는 것보다 처음부터 끝까지 계산하는 게 더 안전할 수 있습니다.
만약 중간에 멈추고 싶다면, 모델을 처음부터 '중간에 멈추는 것'을 고려해서 다시 훈련시켜야 할 수도 있습니다.
📝 한 줄 요약
"최신 AI 는 너무 똑똑하고 복잡해져서, 중간에 멈추고 답을 내기엔 너무 위험해졌습니다. 이제 우리는 모델의 특성을 정확히 파악해서, 언제 멈출지 신중하게 결정해야 합니다."
이 연구는 AI 를 더 빠르고 저렴하게 쓰려는 노력 (중간 멈춤) 이, 모델이 발전할수록 한계에 부딪히고 있음을 경고하면서도, 어떤 모델은 여전히 그 기회를 가질 수 있는지를 찾는 나침반을 제시합니다.
1. 문제 정의 (Problem Statement)
대규모 언어 모델 (LLM) 추론에서 조기 종료 (Early-Exit) 는 모델이 중간 계층에서 이미 충분한 확신을 갖게 되면 계산을 중단하여 지연 시간 (latency) 과 계산 비용을 줄이는 기법입니다. 기존 연구들은 이전 세대 LLM 들에서 많은 계층이 중복 (redundancy) 되어 있어 중간 계층에서도 정확한 예측이 가능하다는 가정에 기반하여 조기 종료를 효과적으로 활용했습니다.
그러나 최근의 LLM 들은 다음과 같은 변화로 인해 기존 가정이 더 이상 유효하지 않을 수 있습니다:
개선된 사전 학습 (Pretraining) 레시피: 더 다양하고 방대한 데이터셋 사용.
아키텍처 변화: 더 깊은 네트워크, 강화된 정규화, 전문가 혼합 (MoE) 설계, 상태 공간 모델 (SSM) 도입 등.
중복성 감소: 이러한 변화는 중간 표현이 최종 계층의 출력을 잘 근사하지 못하게 만들거나, 정보 흐름을 후기 계층으로 이동시켜 조기 종료 기회를 제한할 수 있습니다.
현재까지 현대 LLM 들이 여전히 조기 종료에 적합한지, 그리고 어떤 요인이 그 적합성에 영향을 미치는지에 대한 체계적인 평가는 부족했습니다.
2. 방법론 (Methodology)
저자들은 현대 LLM 의 조기 종료 적합성을 정량화하고 벤치마킹하기 위해 다음과 같은 방법론을 제시했습니다.
새로운 지표: 조기 종료 적응성 점수 (Early-Exit Adaptability Score, EAS)
모델의 가속화 잠재력 (Skip Ratio) 과 정확도 손실 (Similarity) 간의 균형을 잡기 위해 고안된 지표입니다.
Skip Ratio (wℓ): 종료 계층 ℓ에서 건너뛸 수 있는 계층의 비율 (L−ℓ/L).
Layer-to-Final Similarity (Sℓ): 중간 계층의 표현 (Hidden state, Logits, Top-K) 과 최종 계층의 표현 간의 코사인 유사도.
EAS 계산: 가속화 이득과 유사도를 가중 기하평균으로 결합하여 [0,1] 범위의 점수로 산출합니다.
오라클 평가 (Oracle Evaluation):
실제 모델이 아닌, 이상적인 조건 (정확한 유사도 정보 활용) 에서 조기 종료를 가정하여 모델이 가질 수 있는 이론적 상한선 (Upper Bound) 을 평가합니다.
데이터셋 및 모델:
데이터셋: GPQA, GSM8K, HumanEval, MMLU 등 다양한 작업 (추론, 수학, 코딩, 지식) 과 출력 길이를 포함.
모델: Llama2/3/4, Qwen2/3, GPT-OSS, Mamba1/2 등 다양한 아키텍처 (Dense, MoE, SSM) 와 규모 (20B 이상 포함) 를 포괄.
3. 주요 기여 (Key Contributions)
새로운 메트릭 및 벤치마크 프레임워크: 모델의 내재적 조기 종료 적합성을 정량화하는 EAS 와 오라클 평가 기반의 벤치마크를 제안했습니다.
조기 종료 효율성의 감소 추세 발견: 최신 LLM 세대일수록 조기 종료의 효과가 감소하는 경향을 확인했습니다.
조기 종료에 영향을 미치는 핵심 요인 규명: 모델 규모, 아키텍처 유형, 학습 레시피 (Pretraining/Post-training) 가 조기 종료 가능성에 미치는 영향을 체계적으로 분석했습니다.
4. 주요 결과 (Key Results)
4.1 현대 LLM 의 조기 종료 적합성 감소 (Observation 1)
계층별 유사도 변화: 최신 모델 (Llama3, Qwen3 등) 은 초기 계층에서 최종 계층과의 유사도가 낮고, 네트워크 말미에 급격히 상승하는 경향을 보입니다. 이는 중간 표현이 최종 결정을 내리기 위해 후기 계층에서 정교하게 다듬어짐을 의미하며, 중간 계층의 중복성이 감소했음을 시사합니다.
과거 vs 현재: 이전 모델 (Llama2 등) 은 초기 계층에서도 비교적 높은 유사도를 보였으나, 최신 모델은 그렇지 않아 조기 종료의 "안전한 창 (Safe Window)"이 좁아졌습니다.
4.2 모델 규모와 아키텍처의 영향 (Observation 2)
모델 규모 (Scale):더 큰 모델 (특히 20B 파라미터 이상) 일수록 조기 종료 적합성이 높습니다. 파라미터와 계층 수가 증가할수록 계층 간 중복성이 다시 증가하는 경향이 있습니다.
아키텍처 유형:
Dense Transformer: 가장 높은 조기 종료 잠재력을 보입니다.
MoE (Mixture-of-Experts): 동적으로 전문가를 선택하고 최종 결정을 늦게 내리는 구조로 인해 적합성이 낮습니다.
SSM (State Space Models, 예: Mamba): 상태 업데이트가 깊이와 긴밀하게 결합되어 있어 중간 표현이 후기 변환에 의존적이므로 가장 적합성이 낮습니다.
4.3 학습 레시피의 영향
연속 학습 (Continued Pretraining) 및 미세 조정 (Fine-tuning): 사전 학습이 진행될수록, 그리고 지시 학습 (Instruction Tuning) 이 적용될수록 조기 종료 적합성이 감소합니다.
학습이 진전될수록 중간 계층의 유사도가 낮아지는 '평탄화 (Plateau)' 현상이 나타나며, 중요한 의사결정과 확률 보정이 최종 계층으로 집중됩니다.
Base 모델이 Instruction-tuned 모델보다 조기 종료에 더 적합합니다.
4.4 작업 (Workload) 의 영향
작업 유형 (MMLU, GSM8K 등) 에 따른 조기 종료 패턴은 모델 자체의 특성에 비해 약하게만 영향을 받습니다. 즉, 조기 종료 가능성은 주로 모델의 내부 구조와 학습 상태에 의해 결정됩니다.
5. 의의 및 결론 (Significance & Conclusion)
현실적인 통찰: 기존 조기 종료 기법들이 최신 LLM 에 적용될 때 기대했던 성능 향상 (지연 시간 단축) 이 이전 세대보다 훨씬 제한적일 수 있음을 경고합니다.
모델 선택 가이드: 연구자와 개발자는 특정 모델을 최적화하기 전에 EAS 와 같은 지표를 통해 해당 모델이 조기 종료에 적합한지 미리 평가할 수 있습니다.
추천: 대규모 (20B+), Dense Transformer 아키텍처, Base 모델이 조기 종료 최적화에 가장 유리합니다.
비추천: 최신 MoE/SSM 아키텍처나 지시 학습이 완료된 모델은 추가적인 미세 조정 (Fine-tuning) 없이는 조기 종료로 인한 이득을 얻기 어렵습니다.
미래 방향: 단순한 조기 종료가 아닌, 모델의 내부 표현을 변경하는 추가 학습 (Auxiliary heads 등) 이나 새로운 아키텍처 설계가 필요함을 시사합니다.
이 논문은 현대 LLM 의 발전이 추론 효율성 기법 (조기 종료) 에 미치는 역설적인 영향 (정확도는 높아졌으나 중복성은 줄어들어 효율화 기법이 어려워짐) 을 처음으로 체계적으로 규명한 연구로 평가됩니다.