CRAFT: Cost-aware Expert Replica Allocation with Fine-Grained Layerwise Estimations

이 논문은 대규모 언어 모델의 추론 시 토큰 수준의 부하 불균형을 해결하면서도 GPU 메모리 제약을 고려하여 레이어별 세밀한 추정 기반의 전문가 복제 전략을 통해 기존 기법 대비 최대 1.2 배의 처리량 향상을 달성하는 'CRAFT' 프레임워크를 제안합니다.

핵심

📚 배경: 왜 문제가 생길까요? (혼합 전문가 모델, MoE)

최근 AI 는 '혼합 전문가 (MoE)'라는 방식을 씁니다. 마치 거대한 도서관에 **수백 명의 전문 작가 (Expert)**가 있는 것과 같습니다.

• 원리: 사용자가 질문을 하면, 도서관 사서 (라우터) 가 그 질문에 가장 잘 맞는 작가 1~2 명만 골라서 일을 시킵니다. 나머지 작가들은 쉬고 있죠.
• 장점: 이렇게 하면 AI 의 지식 (모델 크기) 은 엄청나게 커지는데, 한 번에 계산하는 양은 적게 유지되어 비용이 절약됩니다.

⚠️ 문제: 인기 작가의 과부하 (부하 불균형)

하지만 현실은 그렇지 않습니다.

• 문제 상황: 어떤 질문들은 특정 작가들 (예: '영어 문법'이나 '코딩' 같은 주제) 에만 몰립니다.
• 결과: 인기 있는 작가들이 있는 책상 (GPU) 은 일거리가 너무 많아 지쳐버리고, 다른 책상은 일거리가 없어서 놀고 있게 됩니다.
• 현재 해결책 (EPLB): 인기 작가의 일을 덜어주기 위해, 그 작가의 **복사본 (Replica)**을 만들어 다른 책상에도 배치합니다.
  • 단점: 복사본을 만들려면 책상마다 작가의 책 (메모리) 을 모두 가져와야 합니다. 복사본을 너무 많이 만들면, 책상 공간이 부족해져서 새로운 손님을 받을 공간 (KV 캐시) 이 없어집니다. 결국 전체 도서관의 처리 속도가 느려집니다.

💡 해결책: CRAFT (똑똑한 복사본 배분)

이 논문에서 제안한 CRAFT는 "무조건 다 복사하지 말고, 정말 필요한 곳에만 똑똑하게 복사하자"는 아이디어입니다.

1. 핵심 비유: "필요한 곳에만 구급차 보내기"

기존 방식은 모든 층에 구급차를 1 대씩 배치했습니다. 하지만 CRAFT 는 먼저 **어떤 층에 환자가 몰리는지 (부하 분석)**를 미리 조사합니다.

• 환자가 몰리는 층 (고부하 층): 구급차를 4 대나 배치해서 빠르게 처리합니다.
• 환자가 별로 없는 층 (저부하 층): 구급차를 아예 안 보내거나 1 대만 둡니다.
• 결과: 구급차 (메모리) 를 아껴서, 더 많은 환자를 동시에 받을 수 있게 됩니다.

2. CRAFT 가 하는 일 (3 단계)

1. 분석 (측정): 도서관을 미리 운영해 보며, 어떤 층이 얼마나 붐비는지, 작가 복사본을 몇 대 만들면 효과가 좋은지 정밀하게 계산합니다.
2. 계획 (최적화): "메모리 예산"이라는 제한이 있을 때, 어떤 층에 몇 대의 복사본을 배정해야 전체 처리 속도가 가장 빨라질지 수학적으로 계산합니다. (너무 많이 만들면 손해, 너무 적게 만들면 병목 발생)
3. 실행 (배치): 계산된 대로 복사본을 배치하고, 작가들을 책상에 앉힙니다.

🚀 성과: 왜 CRAFT 가 좋은가요?

실험 결과, CRAFT 는 기존 방식 (EPLB) 보다 약 14% 더 빠른 처리 속도를 보여주었습니다. (최대 20% 까지 향상)

• 기존 방식: "모든 층에 똑같이 복사본을 만들어라" → 메모리가 부족해져서 새로운 요청을 처리할 공간이 줄어듦.
• CRAFT 방식: "붐비는 층에만 집중적으로 복사본을 만들어라" → 메모리를 아껴서 더 많은 요청을 동시에 처리하면서도, 병목 현상은 해결됨.

🎁 요약

CRAFT는 거대한 AI 모델을 돌릴 때, 메모리라는 귀한 자원을 낭비하지 않으면서도 인기 있는 작업 (작가) 들의 과부하만 정확히 해결해주는 똑똑한 관리자입니다.

기존에는 "모두에게 똑같이 나누어주자"는 방식이라 비효율적이었는데, CRAFT 는 **"상황에 맞게 필요한 곳에 집중 투자하자"**는 방식으로, AI 서비스의 속도를 높이고 비용을 아껴줍니다.

기술 요약

CRAFT: 비용 인식형 전문가 복제 할당 및 세밀한 레이어별 추정 기반 기술 요약

본 논문은 대규모 언어 모델 (LLM) 의 효율적인 확장을 위해 널리 사용되는 혼합 전문가 (Mixture-of-Experts, MoE) 아키텍처의 추론 시 발생하는 부하 불균형 (Load Imbalance) 문제를 해결하기 위해 제안된 CRAFT라는 새로운 프레임워크를 소개합니다.

1. 문제 정의 (Problem)

MoE 아키텍처는 토큰당 계산 비용을 낮추면서 모델 파라미터를 대폭 확장할 수 있게 해주지만, **전문가 병렬성 (Expert Parallelism, EP)**을 사용할 때 심각한 시스템 병목 현상이 발생합니다.

• 부하 불균형: MoE 라우터는 입력 토큰 분포에 따라 전문가를 선택하는데, 실제 자연어 데이터는 지프 법칙 (Zipfian distribution) 을 따릅니다. 이로 인해 소수의 '핫 (hot)' 전문가에 토큰이 집중되고, 나머지 '콜드 (cold)' 전문가는 유휴 상태가 됩니다.
• 기존 해결책의 한계:
  • 전문가 배치 (Expert Placement): 핫/콜드 전문가를 서로 다른 장치에 배치하여 부하를 분산시키지만, 특정 레이어에서 소수 전문가가 전체 부하를 압도하는 경우 (고 편향, High-skew) 균형 잡힌 배치가 불가능합니다.
  • 전문가 복제 (Expert Replication): 핫 전문가를 여러 장치에 복제하여 부하를 분산시키는 방식 (예: EPLB) 이 널리 쓰입니다. 하지만 기존 방식은 **모든 레이어에 동일한 수의 복제본을 할당 (Uniform Replication)**하는 경향이 있어, 부하가 이미 균일한 레이어에서는 불필요한 GPU 메모리를 소모하고, 부하가 극심한 레이어에서는 복제본이 부족할 수 있습니다.
• 핵심 문제: 메모리 오버헤드와 부하 균형 사이의 트레이드오프를 최적화하지 못해, 과도한 복제로 인해 KV 캐시 크기가 줄어들고 전체 처리량 (Throughput) 이 저하되는 문제가 발생합니다.

2. 방법론 (Methodology)

저자들은 CRAFT 를 통해 메모리 예산 내에서 최대의 부하 균형을 달성하기 위해 레이어별 세밀한 (Fine-grained) 복제 할당 전략을 제안합니다.

핵심 아이디어

• 비용 인식형 (Cost-Aware) 할당: 모든 레이어에 동일한 복제본을 할당하는 대신, 각 레이어의 **부하 편향도 (Skewness)**와 **복제 시 기대되는 이득 (Replication Benefit)**을 추정하여, 이득이 큰 레이어에 더 많은 복제본을 할당하고 이득이 적은 레이어에는 할당하지 않습니다.
• 세밀한 레이어별 추정: 오프라인에서 수집된 전문가 부하 분포를 기반으로 각 레이어별 복제본 수에 따른 부하 균형 개선 정도를 정량화합니다.

CRAFT 워크플로우

1. 이득 추정 (Benefit Estimation): 오프라인 부하 데이터를 재연계 (Replay) 하여 각 레이어별 복제본 수 (1, 2, 4, 8 등) 에 따른 부하 균형 개선 효과 (Balancedness Gain) 를 측정합니다.
2. 최적 복제 인자 결정 (Replication Factor Selection): 사용자가 메모리 제약을 설정하거나, 시스템이 복제 효율이 가장 높은 복제 인자 (R) 를 자동으로 선택합니다. 이는 한계 효용 체감 (Diminishing Returns) 지점을 피하기 위함입니다.
3. 최적 할당 계획 수립 (Optimal Allocation):
   • 다중 선택 배낭 문제 (MCKP) 해결: 주어진 총 복제본 수 (메모리 예산) 제약 하에서 전체 레이어의 부하 균형 개선 효과를 최대화하는 각 레이어별 복제본 수를 동적 계획법 (Dynamic Programming) 으로 계산합니다.
   • 용량 인식형 할당 (Capacity-Aware Assignment): 레이어별로 복제본 수가 다르더라도 GPU 간 메모리 불균형을 방지하기 위해, 교차 할당 (Interleaved Assignment) 및 그리디 배치 (Greedy Placement) 알고리즘을 사용하여 전문가를 장치에 매핑합니다. 이는 KV 캐시 크기의 불일치를 방지하고 메모리 조각화를 최소화합니다.

3. 주요 기여 (Key Contributions)

1. 복제에 대한 최초의 상세한 특성 분석: 처리량과 부하 균형이 복제본 수 증가에 따라 어떻게 변하는지 정량화했습니다. 특히, 복제본이 증가함에 따라 균형 개선 효과가 급격히 감소하며, 레이어별 편향도에 따라 복제의 효과가 크게 달라진다는 것을 발견했습니다.
2. CRAFT 프레임워크 제안: 기존 LLM 서빙 프레임워크 (예: SGLang) 에 추가 학습이나 모델 변경 없이 통합 가능한 엔드투엔드 복제 할당 프레임워크를 개발했습니다.
3. 실증적 검증: 수백 억에서 1 조 파라미터 규모의 모델 (DeepSeek-R1, Kimi-K2) 에서 다양한 데이터셋을 통해 CRAFT 의 성능을 검증했습니다.

4. 실험 결과 (Results)

대규모 클러스터 (8 노드, 64 GPU) 환경에서 CRAFT 는 기존 기법 (EPLB) 대비 다음과 같은 성과를 보였습니다.

• 처리량 향상: 평균 1.14 배 (최대 1.2 배) 의 엔드투엔드 서빙 처리량 (Goodput) 향상을 달성했습니다.
• 메모리 효율성: EPLB 는 모든 레이어에 최소 1 개의 복제본을 할당하여 많은 메모리를 소모하지만, CRAFT 는 불필요한 복제를 줄여 7.25 배~7.5 배 적은 복제본으로 유사한 부하 균형 효과를 달성했습니다.
• KV 캐시 보존: 불필요한 복제로 인한 GPU 메모리 소모가 줄어들어, 더 큰 KV 캐시와 더 긴 시퀀스 배치 처리가 가능해졌습니다. 이는 특히 메모리 제약이 심한 작은 클러스터 (6 노드) 에서 EPLB 가 오히려 성능이 저하되는 현상을 해결했습니다.
• TTFT (First Token Latency) 개선: CRAFT 는 EPLB 와 유사하게 TTFT 를 평균 29% 감소시켰으며, 이는 부하 불균형으로 인한 계산 효율성 저하를 해결했음을 의미합니다.
• 데이터셋별 적응성: 부하 편향이 심한 데이터셋에서는 1.42 배, 편향이 적은 데이터셋에서도 1.14 배의 처리량 향상을 보이며 다양한 워크로드에 강건함을 입증했습니다.

5. 의의 및 결론 (Significance)

CRAFT 는 MoE 모델의 대규모 배포에서 발생하는 메모리 제약과 부하 균형 사이의 근본적인 트레이드오프를 해결하는 획기적인 접근법을 제시합니다.

• 비용 효율성: 불필요한 GPU 메모리 소모를 줄임으로써 연산 비용을 절감하면서도 높은 처리량을 유지합니다.
• 실용성: 기존 서빙 프레임워크에 쉽게 통합될 수 있어, 실제 서비스 환경에서의 적용 장벽이 낮습니다.
• 확장성: 클러스터 크기가 커질수록 발생하는 부하 불균형 문제를 효과적으로 해결하여, 초대규모 MoE 모델의 확장성을 보장합니다.

결론적으로, CRAFT 는 "무조건 많은 복제본"이 아닌 "필요한 곳에 필요한 만큼"의 복제본을 할당하는 지능형 리소스 관리의 중요성을 강조하며, 차세대 대규모 MoE 시스템의 표준 아키텍처로 자리 잡을 잠재력을 가지고 있습니다.