BanaServe: Unified KV Cache and Dynamic Module Migration for Balancing Disaggregated LLM Serving in AI Infrastructure

이 논문은 LLM 분해형 서비스의 정적 리소스 할당, 부하 불균형, 그리고 캐시 인식 라우팅으로 인한 병목 현상을 해결하기 위해, 계층별 가중치 및 어텐션 수준 KV 캐시 마이그레이션과 글로벌 캐시 공유를 통해 컴퓨팅 및 메모리 리소스를 동적으로 재조정하는 'BanaServe' 프레임워크를 제안합니다.

핵심

🍽️ 비유: 혼란스러운 AI 식당의 문제점

거대 인공지능을 돌리는 서버는 마치 초대형 식당과 같습니다. 손님이 주문을 하면 (질문), 주방은 두 단계로 나뉘어 일을 합니다.

1. 주문 정리 (Prefill): 손님이 말한 내용을 처음부터 끝까지 읽고 이해하는 단계. (예: "오늘 점심 메뉴 추천해줘"라는 문장을 통째로 분석)
2. 메뉴 제공 (Decode): 하나씩 답변을 만들어 내는 단계. (예: "오늘은... 파스타... 어때요?"라고 한 글자씩 말하기)

기존 식당 (기존 시스템) 의 문제점:

• 문제 1: 고정된 주방 배치 (Static Allocation)
  • 식당이 "주문 정리 팀은 10 명, 메뉴 제공 팀은 5 명"이라고 고정해 둡니다.
  • 손님이 적을 때는 주방이 텅 비어 낭비되고, 손님이 몰리면 주문 정리 팀이 너무 바빠서 메뉴 제공 팀은 놀게 됩니다. 반대의 경우도 마찬가지죠.
• 문제 2: 메모리 vs 계산 능력의 불균형
  • '주문 정리'는 **계산 능력 (CPU/GPU)**이 많이 필요하지만 메모리는 적게 씁니다.
  • '메뉴 제공'은 **메모리 (KV Cache)**를 많이 쓰지만 계산은 적게 합니다.
  • 기존 시스템은 이 두 팀을 따로 떼어놓으면, 한 팀은 메모리가 부족해서 멈추고, 다른 팀은 계산 능력이 남아돌아 버립니다.
• 문제 3: 인기 메뉴에 대한 편향 (Prefix Cache)
  • "파스타 추천"이라는 주문은 자주 들어오니까 미리 준비해 둡니다 (캐시).
  • 기존 시스템은 "파스타" 주문이 들어오면, 이미 파스타를 준비해 둔 주방으로만 보냅니다.
  • 결과적으로 그 주방은 불타고 (과부하), 다른 주방은 일도 없이 멍하니 있습니다.

---

🚀 BanaServe 의 해결책: 똑똑한 식당 관리 시스템

BanaServe 는 이 문제를 해결하기 위해 세 가지 혁신적인 아이디어를 도입했습니다.

1. 요리사들의 유연한 이동 (동적 모듈 마이그레이션)

• 비유: 주문이 몰리면, 메뉴 제공 팀의 요리사 중 몇 명을 주문 정리 팀으로 보내고, 반대로 주문이 줄면 다시 보내는 식입니다.
• 기술적 의미: AI 모델의 '층 (Layer)'이나 '주의 (Attention)' 단위를 실시간으로 다른 서버로 옮깁니다.
  • 거시적 이동 (Layer-level): 요리사 팀 전체를 옮기는 것처럼, 모델의 큰 덩어리를 옮깁니다.
  • 미시적 이동 (Attention-level): 요리사 한 명만 옮기는 것처럼, 아주 작은 부분만 옮겨서 부하를 균등하게 맞춥니다.
• 효과: 손님이 몰리든 적든, 모든 주방이 적재적소에 일하게 되어 자원 낭비가 사라집니다.

2. 공유 냉장고 (글로벌 KV 캐시 스토어)

• 비유: 각 주방마다 따로따로 재료를 보관하지 않고, 한 개의 거대한 공유 냉장고를 모든 주방이 함께 씁니다.
• 기술적 의미: '파스타' 주문이 들어오면, 특정 주방이 가지고 있는 재료를 찾아갈 필요가 없습니다. 모든 주방이 공유 냉장고에서 재료를 꺼내 쓸 수 있습니다.
• 효과: 더 이상 "재료가 있는 주방"으로만 주문을 보내지 않아도 됩니다. 가장 일손이 덜한 주방으로 주문을 보내면 되므로, 전체 식당의 부하가 균등해집니다.

3. 숨겨진 이동 시간 (레이어별 오버랩 전송)

• 비유: 요리사가 재료를 다른 주방으로 옮기는 동안, 다른 요리사는 이미 다음 요리를 시작합니다. 이동하는 시간을 '숨겨버리는' 것입니다.
• 기술적 의미: 데이터를 옮기는 시간과 계산하는 시간을 겹쳐서 동시에 처리합니다.
• 효과: 재료를 옮기는 동안 식당이 멈추는 시간이 사라져서, 손님이 기다리는 시간이 크게 줄어듭니다.

---

📊 결과: 얼마나 빨라졌나요?

실험 결과, BanaServe 는 기존 시스템 (vLLM, DistServe) 보다 다음과 같은 성과를 보였습니다.

• 처리량 (Throughput): 같은 시간에 더 많은 손님을 처리했습니다. (최대 3.9 배 더 빠름)
• 대기 시간 (Latency): 손님이 주문하고 첫 답변을 받을 때까지 걸리는 시간이 획기적으로 줄었습니다. (최대 78% 단축)
• 적응력: 손님이 갑자기 몰리거나 (버스트 트래픽), 긴 글을 입력하는 경우에도 시스템이 무너지지 않고 안정적으로 작동했습니다.

💡 요약

BanaServe는 AI 식당을 운영할 때, **"고정된 역할"**과 **"개별 냉장고"**라는 구닥다리 방식을 버리고, **"유연한 인력 배치"**와 **"공유 냉장고"**를 도입한 똑똑한 시스템입니다.

이 덕분에 AI 는 더 적은 비용으로 더 많은 일을 처리할 수 있게 되었고, 사용자는 더 빠르고 부드러운 대화를 즐길 수 있게 되었습니다. 마치 식당이 손님의 상황에 맞춰 요리사들의 역할을 실시간으로 바꾸고, 모든 재료를 공유하며 일하는 것처럼 말이죠!

기술 요약

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 이 AI 인프라에 광범위하게 배포되면서, 높은 처리량 (Throughput) 과 자원 효율성을 갖춘 서비스 시스템에 대한 요구가 증가하고 있습니다. 최근 '분리형 (Disaggregated) LLM 서비스'는 프롬프트 프리필 (Prefill) 단계와 자동 회귀 디코딩 (Decode) 단계를 분리하여 이질적인 컴퓨팅 및 메모리 요구 사항을 격리하는 promising 한 아키텍처로 부상했습니다. 그러나 기존 분리형 시스템은 다음과 같은 세 가지 근본적인 한계에 직면해 있습니다.

1. 정적 자원 할당의 비효율성: 고정된 자원 할당 정책은 동적인 워크로드에 적응하지 못합니다. 요청률이 낮을 때는 자원이 낭비되고 (Over-provisioning), 높을 때는 서비스 수준 목표 (SLO) 를 위반하거나 병목 현상이 발생합니다.
2. 프리필과 디코딩 간의 본질적인 부하 불균형:
   • 프리필 (Prefill): 긴 입력 시퀀스를 처리하므로 **컴퓨팅 바운드 (Compute-bound)**이며, GPU 컴퓨팅 자원은 높게 사용되지만 메모리 사용률은 상대적으로 낮습니다.
   • 디코딩 (Decode): 토큰을 하나씩 생성하므로 **메모리 바운드 (Memory-bound)**이며, KV Cache 로 인해 메모리 사용률은 높지만 컴퓨팅 사용률은 낮습니다.
   • 이러한 비대칭성으로 인해 한 계층은 자원이 부족하고 다른 계층은 유휴 상태가 되어 전체 시스템 효율이 떨어집니다.
3. 프리픽스 캐시 인식 라우팅의 편향: 기존 시스템은 캐시 히트율이 높은 프리필 인스턴스로 요청을 집중시킵니다. 이로 인해 특정 노드는 과부하 상태가 되고, 캐시 히트율이 낮은 노드는 유휴 상태가 되는 **부하 편향 (Load Skew)**이 발생하며, 캐시 중복 저장 및 불필요한 재계산이 발생합니다.

---

2. 방법론 (Methodology)

이러한 문제를 해결하기 위해 제안된 BanaServe는 자원 할당과 상태 (State) 관리를 분리하는 동적 오케스트레이션 프레임워크입니다. 주요 기술적 구성 요소는 다음과 같습니다.

가. 동적 모듈 마이그레이션 (Dynamic Module Migration)

정적 할당을 극복하기 위해 프리필과 디코딩 인스턴스 간에 컴퓨팅 및 메모리 자원을 실시간으로 재분배합니다. 두 가지 세분화 수준을 지원합니다.

• 레이어 수준 마이그레이션 (Layer-level): Transformer 레이어의 가중치 (Weights) 와 해당 KV Cache 를 한 GPU 에서 다른 GPU 로 이동합니다. 이는 대규모 부하 불균형을 해결하는 거친 입자 (Coarse-grained) 전략입니다.
• 어텐션 수준 마이그레이션 (Attention-level): KV Cache 를 어텐션 헤드 (Attention Head) 단위로 분할하여 일부 헤드의 KV 상태를 '콜드 (Cold)' GPU 로 오프로드합니다. 모델 가중치는 이동하지 않고 중간 활성화 값만 이동하므로 오버헤드가 매우 적으며, 세밀한 입자 (Fine-grained) 부하 조정이 가능합니다.

나. 글로벌 KV 캐시 스토어 (Global KV Cache Store)

프리픽스 캐시 인식 라우팅으로 인한 부하 편향을 제거하기 위해 모든 프리필 인스턴스가 공유하는 단일 KV 캐시 스토어를 도입합니다.

• 라우팅 단순화: 라우터는 더 이상 캐시 위치를 고려할 필요가 없으며, 오직 **노드의 부하 (Load)**만을 기준으로 요청을 분배합니다.
• 레이어 단위 오버랩 전송: KV 캐시 로드/페치 지연 시간을 숨기기 위해 프리필의 레이어별 실행 특성을 활용합니다. 한 레이어의 계산 (Computation) 중 다음 레이어의 KV 캐시 전송 (Transfer) 을 병행하여 통신 지연을 계산 시간에 중첩 (Overlap) 시킵니다.

다. 적응형 오케스트레이션 알고리즘

• 동적 마이그레이션 알고리즘: 실시간 부하 모니터링을 기반으로 과부하 및 유휴 노드를 식별하고, 마이그레이션 비용 (지연 시간) 과 기대 이익을 분석하여 레이어 또는 어텐션 헤드를 이동합니다.
• 부하 인식 요청 스케줄링: 글로벌 KV 스토어를 통해 캐시 위치 제약이 사라진 상태에서, 가장 부하가 적은 프리필 인스턴스로 요청을 할당합니다.

---

3. 주요 기여 (Key Contributions)

1. 문제 규명: 현재 LLM 서비스 시스템의 정적 자원 구성의 비적응성, 프리필/디코딩 간의 자원 비대칭성, 그리고 캐시 인식 라우팅으로 인한 부하 편향이라는 세 가지 핵심 한계를 명확히 규명했습니다.
2. BanaServe 아키텍처 설계: 자원 할당과 상태 관리를 분리하여 동적인 워크로드에 적응하는 새로운 오케스트레이션 시스템을 설계했습니다.
3. 핵심 메커니즘 구현:
   • 레이어 및 어텐션 수준의 동적 가중치/KV 캐시 마이그레이션.
   • 모든 인스턴스가 접근 가능한 글로벌 KV 캐시 스토어 및 레이어 단위 오버랩 전송 파이프라인.
4. 성능 검증: vLLM 및 DistServe 와의 비교 실험을 통해 다양한 워크로드 (짧은 컨텍스트, 긴 컨텍스트, 버스트 트래픽) 에서 뛰어난 성능을 입증했습니다.

---

4. 실험 결과 (Results)

BanaServe 는 LLaMA-13B 와 OPT-13B 모델을 사용하여 Alpaca(짧은 컨텍스트) 와 LongBench(긴 컨텍스트) 벤치마크에서 평가되었습니다.

• 처리량 (Throughput):
  • vLLM 대비: 1.2 배 ~ 3.9 배 높은 처리량 달성.
  • DistServe 대비: 1.1 배 ~ 2.8 배 높은 처리량 달성.
  • 특히 OPT-13B 모델의 짧은 컨텍스트 워크로드에서 vLLM 대비 최대 3.9 배의 성능 향상을 보였습니다.
• 지연 시간 (Latency):
  • vLLM 대비: 총 처리 시간 (Total Processing Time) 이 3.9% ~ 78.4% 감소.
  • DistServe 대비: 1.4% ~ 70.1% 지연 시간 감소.
• 동적 워크로드 적응: 요청률 (RPS) 이 1 에서 20 으로 증가하는 환경에서도 BanaServe 는 일관된 성능 우위를 보이며, 다른 시스템들이 리소스 경쟁으로 인해 성능이 저하될 때에도 높은 처리량을 유지했습니다.

---

5. 의의 및 결론 (Significance & Conclusion)

BanaServe 는 분리형 LLM 서비스 아키텍처의 핵심 난제인 자원 불균형과 캐시 국소성 (Locality) 제약을 동시에 해결합니다.

• 기술적 의의: 기존의 '모놀리식 (Monolithic)' 시스템의 낮은 오버헤드 장점과 '분리형 (Disaggregated)' 시스템의 단계별 최적화 장점을 결합했습니다. 특히, 캐시 위치를 고려하지 않는 순수 부하 기반 라우팅과 동적 마이그레이션을 통해 시스템의 유연성과 효율성을 극대화했습니다.
• 실용성: 실제 AI 인프라 환경에서 발생하는 예측 불가능한 트래픽 패턴과 긴 컨텍스트 요구 사항에 효과적으로 대응할 수 있음을 입증했습니다.
• 미래 전망: 이 연구는 하드웨어 이질성 (Mixed-precision, RDMA 등) 에 대한 최적화, 예측 기반 오케스트레이션 (Reinforcement Learning 활용), 그리고 지리적으로 분산된 (Multi-region) 환경에서의 확장성을 위한 중요한 기초를 제공합니다.

결론적으로, BanaServe 는 동적이고 복잡한 현대 AI 인프라 환경에서 LLM 서비스의 처리량과 지연 시간을 획기적으로 개선할 수 있는 실용적인 솔루션을 제시합니다.