🤖 machine learning

TIDE: Token-Informed Depth Execution for Per-Token Early Exit in LLM Inference

TIDE 는 모델 재학습 없이 HuggingFace 기반의 모든 LLM 에 적용 가능한 사후 학습 시스템으로, 토큰별 난이도에 따라 각 토큰이 가장 일찍 수렴하는 계층에서 조기에 종료되도록 하여 추론 지연 시간을 단축하고 처리량을 향상시킵니다.

원저자: Jaber Jaber, Osama Jaber

게시일 2026-03-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jaber Jaber, Osama Jaber

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

TIDE: 거대한 AI 의 '지혜로운 휴식'을 만드는 기술

이 논문은 거대한 언어 모델 (LLM) 이 글을 쓸 때, 매번 모든 단어를 처음부터 끝까지 똑같은 힘으로 처리하는 비효율을 해결하는 새로운 방법인 TIDE를 소개합니다.

기존의 AI 는 "the(그)" 같은 쉬운 단어와 "미적분 풀이" 같은 어려운 단어를 처리할 때, 32 개의 층 (Layer) 을 모두 똑같이 거치며 똑같은 에너지를 씁니다. 마치 매번 100 층짜리 빌딩의 꼭대기까지 엘리베이터를 타고 올라가야만 1 층에 내려갈 수 있는 상황과 비슷하죠.

TIDE 는 이 문제를 해결하기 위해 **"각 단어마다 가장 적합한 층에서 내려오게 하는 똑똑한 안내원"**을 도입합니다.

🌊 TIDE 가 무엇인가요? (비유로 설명)

TIDE 를 **지하철 역의 '스마트 게이트'**라고 상상해 보세요.

기존 방식 (비효율적):
모든 승객이 역을 통과할 때, 역의 가장 깊은 곳 (최종 층) 까지 다 내려가야만 출구를 찾을 수 있습니다. "집에 가는 길"을 이미 알고 있는 사람도, "처음 온 사람"도 모두 32 층을 다 내려와야 합니다.
TIDE 방식 (효율적):
역에는 **작은 안내 로봇 (라우터)**이 여러 층마다 설치되어 있습니다.
- 승객이 8 층에 도착했을 때, 로봇이 "이 사람은 이미 목적지를 알고 있으니 여기서 나가세요!"라고 판단하면, 그 사람은 8 층에서 바로 출구로 나갑니다.
- 하지만 복잡한 문제를 가진 승객은 로봇이 "아직 부족하네요"라고 말하면 16 층, 32 층까지 계속 내려갑니다.

이렇게 각 단어 (승객) 마다 필요한 깊이만 계산하면, AI 는 훨씬 더 빠르고 에너지를 아끼게 됩니다.

🛠️ TIDE 는 어떻게 작동하나요?

TIDE 의 가장 놀라운 점은 기존 AI 모델을 다시 가르칠 필요가 없다는 것입니다.

준비 단계 (교정):
AI 모델을 잠시 멈추고, 2,000 개의 간단한 문장 (위키텍스트) 을 읽게 합니다. 이때 AI 가 각 층을 거칠 때 단어의 의미가 얼마나 '완성'되었는지 (마지막 층과 얼마나 비슷한지) 측정합니다.
- 예시: "the"라는 단어는 8 층에서 이미 의미가 완성되지만, "미적분"이라는 단어는 32 층까지 가야 완성됩니다.
- 이 데이터를 바탕으로 **작은 안내 로봇 (라우터)**을 3 분 만에 훈련시킵니다. 이 로봇은 4MB 정도의 아주 작은 파일입니다.
실제 작동 (추론):
이제 AI 가 글을 쓸 때, 모든 층을 모두 거치지만 (KV 캐시 무결성 유지), 안내 로봇이 "이 단어는 여기서 충분해!"라고 판단하는 순간, 그 층의 결과만 가져와서 다음 단어를 예측합니다.
- 핵심: AI 는 물리적으로 층을 건너뛰지 않지만, 결과를 가져오는 시점을 조절해서 시간을 아낍니다.

🚀 TIDE 가 가져온 성과

이 기술을 적용한 결과, 놀라운 변화가 일어났습니다.

속도 향상: AI 가 글을 쓰는 속도가 최대 8.1% 빨라졌습니다.
대기 시간 감소: 사용자가 질문을 입력했을 때 답변을 시작하기까지 걸리는 시간이 7.2% 줄었습니다.
정확도 유지: 수학 문제를 풀거나 복잡한 논리를 전개할 때도, 99% 의 단어는 일찍 나갔지만 정답은 여전히 완벽하게 맞았습니다.
- 비유: "고양이가 앉았다"라고 할 때, '고양이'와 '앉았다'는 32 층까지 갔지만, 'the(그)' 같은 쉬운 단어는 8 층에서 바로 나갔습니다. 하지만 문장의 의미는 전혀 훼손되지 않았습니다.

💡 왜 이것이 중요한가요?

지금까지 AI 를 빠르게 만들려면 모델을 더 작게 만들거나, 별도의 '예측 모델'을 함께 써야 했습니다. 하지만 TIDE 는 기존에 훈련된 거대한 AI 모델을 그대로 쓰면서, 아주 작은 '안내 로봇'만 추가해서 속도를 높입니다.

누구나 쓸 수 있음: HuggingFace 에 있는 어떤 모델이든 바로 적용 가능합니다.
하드웨어 자동 인식: 최신 GPU 가든 구형 GPU 가든 자동으로 맞춰줍니다.
오픈 소스: 누구나 무료로 코드를 가져다 쓸 수 있습니다.

📝 한 줄 요약

TIDE 는 거대한 AI 가 "이 단어는 이미 다 알아요!"라고 스스로 판단할 때, 불필요한 계단 (층) 을 더 이상 오르지 않게 하여, 더 빠르고 더 가볍게 글을 쓰게 해주는 똑똑한 기술입니다.

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 현재 모든 토큰에 대해 모델의 모든 레이어를 동일하게 통과시킵니다. 이는 의미 있는 추론 단계가 필요한 토큰과 단순한 기능어 (예: "the", "a") 가 동일한 32 레이어 연산을 수행함을 의미합니다.

비효율성: 표현 유사성 연구에 따르면, 많은 토큰은 마지막 레이어에 도달하기 훨씬 전 (중간 레이어) 에 이미 최종 은닉 상태와 거의 동일한 상태에 수렴합니다.
비용: 이러한 불필요한 연산은 지연 시간 (Latency) 증가, 처리량 (Throughput) 감소, 그리고 에너지 소비 증가로 이어집니다.
기존 방법의 한계:
- 인코더 전용: DeeBERT 등 기존 방법은 BERT 분류 작업에 특화되어 있으며, KV 캐시를 사용하는 autoregressive 생성에는 적용되지 않습니다.
- 재학습 필요: LayerSkip 등 일부 방법은 모델 재학습 (Pre-training) 을 요구하여 사전 훈련된 체크포인트를 사용하는 사용자에게 비실용적입니다.
- 신뢰도 기반 휴리스틱: Softmax 엔트로피 등을 이용한 방법은 생성 작업에서 엔트로피가 본질적으로 높기 때문에 신뢰할 수 없는 종료 신호를 제공합니다.

2. 방법론 (Methodology)

TIDE 는 모델을 재학습하지 않고 (Post-training), 추론 시 각 토큰이 언제 수렴했는지 판단하여 가장 일찍 종료할 수 있는 레이어를 선택하는 시스템입니다.

A. 핵심 아이디어

토큰별 수렴 (Token-level Convergence): 수렴은 모델의 속성이 아니라 입력 토큰의 속성입니다. 학습된 라우터 (Router) 를 통해 각 토큰의 개별적인 수렴 신호를 포착합니다.
후처리 종료 (Post-hoc Exit): 추론 시에는 KV 캐시의 무결성을 유지하기 위해 모든 레이어를 실행한 후, 학습된 라우터가 각 체크포인트 레이어의 은닉 상태를 평가하여 가장 일찍 수렴한 레이어의 출력을 최종 로짓 (Logits) 계산에 사용합니다.

B. 시스템 구성

오프라인 교정 (Calibration):
- 고정된 (Frozen) 모델에 WikiText-103 의 2,000 개 샘플을 입력하여 각 체크포인트 레이어와 최종 레이어 간의 코사인 유사도를 계산합니다.
- 유사도가 임계값 ( $\tau=0.98$ ) 을 초과하면 해당 토큰이 수렴했다고 라벨링합니다.
- 각 체크포인트 레이어마다 2 층 MLP(라우터) 를 학습시켜 이진 분류기 역할을 수행하도록 합니다. (학습 시간: 3 분 미만, 체크포인트 크기: ~4MB)
온라인 추론 (Inference):
- 범용 어댑터 (Universal Adapter): 17 가지 속성 경로를 자동 탐지하여 LLaMA, GPT-2, Qwen, Phi 등 HuggingFace 의 모든 Causal LM 을 지원합니다.
- CUDA 커널: RMSNorm 과 라우터 평가를 하나의 커널로 융합 (Fused) 하여 실행 효율을 극대화합니다.
- 후처리 평가: 전체 포워드 패스가 완료된 후 라우터가 각 레이어를 스캔하여 첫 번째로 임계값을 만족하는 레이어를 선택합니다.

3. 주요 기여 (Key Contributions)

모델 수정 없는 조기 종료 시스템: 사전 훈련된 HuggingFace 모델에 대한 재학습 없이 적용 가능한 첫 번째 범용 시스템입니다.
범용 모델 어댑터: 17 가지 경로 자동 탐지를 통해 다양한 아키텍처 (LLaMA, Mistral, Qwen, GPT-NeoX 등) 를 지원합니다.
고성능 CUDA 커널: RMSNorm + 라우터 평가를 단일 런칭으로 수행하며, fp16/bf16 을 지원하고 8 가지 은닉 차원 템플릿을 제공합니다.
KV 캐시 무결성 보장: 모든 레이어를 실행하므로 KV 캐시 손상 문제가 발생하지 않으며, transformers 라이브러리의 모든 버전과 호환됩니다.
오픈소스 릴리스: 3,097 줄의 코드 (Python 1,308, CUDA/C++ 1,081) 와 74 개의 통과 테스트를 포함하며, PyPI 를 통해 배포됩니다.

4. 실험 결과 (Results)

NVIDIA A100 환경에서 DeepSeek R1 Distill 8B 와 Qwen3 8B 모델을 기준으로 평가되었습니다.

프리필 (Prefill) 성능:
- 모든 토큰이 100% 조기 종료됨.
- DeepSeek R1 8B 의 경우 5% 토큰이 11 레이어에서, 나머지는 31 레이어에서 종료.
- 지연 시간 감소: 7.2% 단축 (39.08ms → 36.26ms).
- 처리량 증가: Batch Size 1 기준 6.6% 향상.
디코딩 (Decoding) 성능:
- 조기 종료율: 98~99% 의 토큰이 31 레이어 (32 레이어 모델 기준) 에서 종료.
- 품질 유지: 복잡한 수학 문제 해결 시 정답률과 토큰 수 (95 개 고유 토큰) 가 베이스라인과 동일하게 유지됨.
Qwen3 8B (36 레이어):
- Batch Size 8 에서 처리량이 8.1% 향상됨.
교정 효율성: 2,000 개 WikiText 샘플로 3 분 이내에 교정 완료.

5. 의의 및 한계 (Significance & Limitations)

의의:
- LLM 추론의 "균일한 계산 할당"이라는 근본적인 비효율성을 해결하여, 토큰 난이도에 따라 동적으로 계산 깊이를 조절하는 새로운 패러다임을 제시했습니다.
- 재학습 없이 기존 모델에 즉시 적용 가능하여 산업계 도입 장벽을 낮췄습니다.
- KV 캐시 무결성을 해치지 않으면서 지연 시간을 줄이는 실용적인 솔루션을 제공합니다.
한계 및 향후 과제:
- 물리적 레이어 스킵 부재: 현재는 모든 레이어를 실행한 후 결과만 선택하는 방식이므로, 실제 하드웨어 연산량 (Wall-clock time) 절감은 KV 캐시 관리가 필요한 '진정한 스킵 모드'에 비해 제한적입니다.
- 임계값 설정: 현재 $\tau=0.98$ 로 매우 보수적이어서 대부분의 종료가 마지막 체크포인트에서 발생합니다. 더 일찍 종료하기 위해 임계값을 동적으로 조정하는 연구가 필요합니다.
- 대규모 배치: output_hidden_states=True 오버헤드로 인해 대규모 배치 (Batch Size 8 이상) 에서 처리량이 감소하는 현상이 관찰되었습니다.

결론

TIDE 는 LLM 추론의 효율성을 극대화하기 위해 학습된 라우터를 통한 토큰별 조기 종료를 실현한 획기적인 시스템입니다. 모델 재학습 없이도 7% 이상의 지연 시간 단축과 처리량 향상을 달성하며, 특히 복잡한 추론 작업에서도 품질을 유지한다는 점에서 실용성이 매우 높습니다.