Adaptive Multi-Objective Tiered Storage Configuration for KV Cache in LLM Service

이 논문은 LLM 서비스의 KV 캐시 관리를 위해 다양한 저장 계층을 동적으로 최적화하여 비용, 처리량, 지연 시간 간의 파레토 최적 해를 찾는 'Kareto'라는 적응형 다목적 최적화 도구를 제안하고, 이를 통해 고정된 구성 대비 최대 9.3% 의 처리량 향상, 58.3% 의 지연 시간 감소, 또는 20.2% 의 비용 절감을 달성할 수 있음을 입증합니다.

핵심

📚 배경: 거대한 도서관의 혼란

인공지능 (LLM) 이 질문에 답할 때는 이전 대화 내용을 기억해야 합니다. 이를 **'KV 캐시 (기억 창고)'**라고 부릅니다.

• 문제: 대화 길이가 길어지고 사용자가 몰리면, 이 기억 창고가 너무 커져서 AI 가 사용하는 **비싼 GPU 메모리 (HBM)**만으로는 감당할 수 없게 됩니다.
• 기존 해결책: 비싼 GPU 메모리 외에, **더 싸지만 느린 DRAM(메모리)**이나 **디스크 (하드디스크)**를 추가로 붙여 용량을 늘리는 것입니다.
• 하지만: "무조건 많이 붙이면 좋겠지?"라고 생각하면 큰 코 다칩니다.
  • 너무 비싼 메모리를 많이 사면 비용이 폭탄이 됩니다.
  • 너무 느린 디스크만 쓰면 **대기 시간 (지연)**이 길어져 사용자가 화납니다.
  • 핵심 난제: "어느 정도까지 비싼 메모리를 쓰고, 어느 정도까지 싼 디스크를 써야 비용, 속도, 처리량을 모두 최적으로 맞출 수 있을까?"를 정하는 것은 마치 미친 듯이 복잡한 퍼즐을 맞추는 것과 같습니다.

---

💡 솔루션: '카레토 (Kareto)'라는 똑똑한 관리자

저자들은 이 문제를 해결하기 위해 **'카레토 (Kareto)'**라는 시스템을 만들었습니다. 카레토는 AI 서비스의 지능형 물류 관리자 역할을 합니다.

1. 시뮬레이션으로 미래를 예측 (가상 실험실)

카레토는 실제 AI 를 가동해 보지 않고도, 고성능 시뮬레이터를 통해 과거의 대화 기록 (트레이스) 을 재생합니다.

• 비유: 실제 가게를 열기 전에, **가상 현실 (VR)**에서 "오늘 손님이 100 명 오면?", "200 명 오면?" 시나리오를 수천 번 돌려보며 최적의 매장 배치를 찾는 것과 같습니다.
• 이 과정을 통해 "비싼 메모리 1TB 를 쓰면 10% 빨라지는데, 비용은 20% 늘어난다"는 식의 **정교한 균형점 (파레토 프론티어)**을 찾아냅니다.

2. ' diminishing return (한계 효용 체감)'을 이용한 스마트 탐색

전체 경우의 수를 다 찾아보는 것은 시간이 너무 오래 걸립니다. 카레토는 현명한 탐색 전략을 씁니다.

• 비유: 비싼 식재료를 사다가 "아, 10kg 을 사면 맛은 1% 만 좋아지는데 돈은 100% 더 들겠네?"라고 생각하면 더 이상 사지 않는 것과 같습니다.
• 카레토는 "이 정도 저장 공간까지 늘리면 효과가 미미해지네?"라고 판단되면 그 방향은 더 이상 탐색하지 않고, 효과가 가장 큰 구간에만 집중합니다.

3. '그룹별 TTL'로 맞춤형 관리 (가장 창의적인 부분)

기존 시스템은 모든 기억 (KV 블록) 을 똑같은 규칙으로 처리했습니다. 하지만 기억의 성격은 다릅니다. 어떤 건 자주 쓰이고, 어떤 건 한 번 쓰고 끝납니다.

• 비유: 도서관에서 인기 있는 베스트셀러는 **VIP 라운지 (비싼 GPU/DRAM)**에 두고, 한 번만 읽는 잡지는 **일반 선반 (싼 디스크)**에 두는 식으로 구분하는 것입니다.
• 카레토는 대화의 주제 (접두어) 를 분석하여, 인기 있는 대화는 오래 보관하고, 쓸모없는 대화는 빨리 치워버리는 맞춤형 규칙을 적용합니다.

---

🚀 실제 효과: 얼마나 좋아졌을까?

실제 데이터로 실험한 결과는 놀라웠습니다. 기존에 무작정 비싼 메모리만 1TB 꽉 채워 쓰던 방식과 비교했을 때:

1. 처리 속도 (Throughput): 최대 9.3% 더 많은 사용자를 한 번에 처리.
2. 대기 시간 (Latency): 답변이 나오는 시간이 최대 **58.3%**까지 단축 (사용자가 훨씬 빠르게 답변을 받음).
3. 비용 (Cost): 불필요한 비싼 메모리 사용을 줄여 최대 20.2% 비용 절감.

🌟 요약

이 논문은 **"AI 를 돌릴 때, 비싼 장비만 무작정 늘리는 게 능사가 아니다"**라고 말합니다. 대신 카레토라는 지능형 시스템을 통해 **"어떤 기억을 어디에, 얼마나 오래 보관할지"**를 실시간으로 계산하게 함으로써, 비용은 줄이고 속도는 높이는 완벽한 균형을 찾았습니다.

마치 스마트한 집사가 집주인의 습관을 분석해, 가장 비싼 책상에는 중요한 문서만 두고, 나머지 물건은 적절한 서랍에 정리해 주는 것과 같습니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 추론 서비스를 가속화하기 위해 KV Cache(키 - 값 캐시) 는 필수적이지만, 이는 GPU 의 고대역폭 메모리 (HBM) 용량을 빠르게 소모합니다. 이를 해결하기 위해 HBM 외에 호스트 DRAM 이나 디스크와 같은 외부 스토리지 계층 (Tiered Storage) 으로 KV Cache 를 오프로딩하는 방식이 사용되고 있습니다.

하지만 기존 접근 방식은 다음과 같은 한계가 있습니다:

• 정적 할당의 비효율성: 대부분의 시스템 (vLLM, SGLang 등) 이 고정된 스토리지 용량 (예: GPU 8 개당 DRAM 1TB) 을 사용합니다. 이는 워크로드의 동적인 변화 (요청 수, 시퀀스 길이, 프리픽스 공유율 등) 에 적응하지 못해 과잉 공급 (비용 증가) 또는 과소 공급 (성능 저하) 을 초래합니다.
• 다목적 최적화의 부재: 비용 (Cost), 처리량 (Throughput), 지연 시간 (Latency) 사이의 복잡한 상충 관계 (Trade-off) 를 고려한 동적 구성이 어렵습니다.
• 분석적 모델의 한계: 성능과 비용 간의 관계를 수학적으로 닫힌 형태 (Closed-form) 로 표현하기 어렵습니다. 이는 비선형적 상태 결합, 임계점에서의 급격한 변화 (Cloud Pricing Cliff), 그리고 다양한 스토리지 계층 간의 복잡한 상호작용 때문입니다.

2. 제안 방법론 (Methodology)

저자들은 Kareto라는 KV 캐시 적응형 리소스 관리 최적화 프레임워크를 제안합니다. Kareto 는 시뮬레이션 기반의 다목적 최적화를 통해 비용, 처리량, 지연 시간을 균형 있게 조절하는 최적의 스토리지 구성을 자동으로 찾습니다.

핵심 구성 요소:

1. 고충실도 엔드 - 투 - 엔드 시뮬레이터 (High-fidelity Simulator):

   • 실제 클라우드 가격 구조, 비선형 I/O 대역폭, 캐시 히트율, GPU 활용도 등을 정밀하게 모델링합니다.
   • 역사적인 워크로드 트레이스 (Trace) 를 재생하여 임의의 구성 하에서의 추론 엔진 동작을 시뮬레이션합니다.
   • 분석적 모델의 한계를 극복하기 위해 실제 데이터 기반의 시뮬레이션을 통해 최적화 문제를 해결합니다.

2. 적응형 파레토 탐색 (Adaptive Pareto Search):

   • 수익 체감 (Diminishing Returns) 기반 가지치기: 스토리지 용량이 일정 임계값을 넘으면 성능 향상이 미미해지는 구간을 감지하여, 불필요한 시뮬레이션을 줄이고 탐색 공간을 효율적으로 축소합니다.
   • 세분화된 정제 (Refinement): 성능이나 비용 지표가 급격하게 변하는 영역 (고 기울기 영역) 에 집중하여 샘플링을 늘리고, 파레토 프론티어 (Pareto Frontier) 를 정밀하게 근사합니다.

3. ROI 인식 그룹 TTL 조정 (ROI-Aware Group TTL):

   • 기존의 고정된 TTL(Time-to-Live) 정책은 모든 KV 블록에 동일하게 적용되어 비효율적입니다.
   • 접두사 트리 (Prefix Tree) 분석: 요청의 접두사 (Prefix) 구조를 기반으로 블록을 그룹화합니다.
   • 그룹별 최적 TTL: 각 그룹의 재사용 패턴 (Reuse Pattern) 과 저장 비용 (ROI) 을 분석하여, 재사용 빈도가 높은 블록은 긴 TTL 을, 그렇지 않은 블록은 짧은 TTL 을 적용합니다. 이는 저장소 효율성을 극대화합니다.

3. 주요 기여 (Key Contributions)

• 다목적 최적화 문제 공식화: 지연 시간, 처리량, 운영 비용 (OPEX) 간의 상충 관계를 파레토 최적화 문제로 정의하고, 이를 해결하기 위해 시뮬레이션 기반 접근이 필수적임을 증명했습니다.
• 고충실도 시뮬레이터 개발: 클라우드 가격 모델과 비선형 I/O 특성을 반영한 정밀한 시뮬레이터를 구축하여, 실제 배포 전 다양한 구성의 성능을 예측할 수 있게 했습니다.
• 적응형 탐색 전략: 체감하는 수익 (Diminishing Returns) 을 감지하여 탐색 공간을 줄이고, 중요한 영역에 집중하는 효율적인 파레토 프론티어 식별 알고리즘을 제시했습니다.
• 세분화된 적응형 튜너: 접근 패턴을 기반으로 그룹별 TTL 을 동적으로 할당하여, 일률적인 전략보다 캐시 효율성을 크게 향상시켰습니다.

4. 실험 결과 (Results)

실제 클라우드 환경의 워크로드 트레이스 (대화형 챗봇, API 호출, 에이전트 애플리케이션 등) 를 사용하여 Kareto 를 평가했습니다. 고정된 1024GB DRAM 구성을 베이스라인으로 비교한 결과는 다음과 같습니다:

• 처리량 (Throughput): 컴퓨팅 제약 환경 (1 인스턴스) 에서 최대 9.3% 향상.
• 지연 시간 (Latency): 평균 TTFT(First Token Time) 를 최대 58.3% 감소.
• 비용 (Cost): 최적화 목표에 따라 최대 20.2% 절감.
• 시뮬레이션 정확도: 실제 GPU 서버 측정값과 비교했을 때, 평균 TTFT 오차 19.2%, 처리량 오차 6.5%, 히트율 오차 2.0% 이내로 높은 정확도를 보였습니다.
• 적응성: 워크로드의 밀도 (요청 빈도) 에 따라 디스크 기반 캐싱의 효과를 동적으로 판단하여, 저밀도 환경에서는 불필요한 디스크 사용을 줄이고 고밀도 환경에서는 디스크를 효과적으로 활용했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 서비스 운영에서 정적 스토리지 할당에서 동적, 적응형 관리로의 패러다임 전환을 제시합니다.

• 자동화: 전문가의 수동 튜닝 없이도 워크로드 패턴에 맞춰 최적의 비용 - 성능 균형을 자동으로 찾습니다.
• 경제성: 클라우드 환경에서 스토리지 비용과 컴퓨팅 비용 간의 복잡한 트레이드오프를 정밀하게 분석하여, 불필요한 리소스 낭비를 방지합니다.
• 실용성: Kareto 프레임워크는 다양한 LLM 서비스 시나리오에 적용 가능하며, 자율적이고 비용 효율적인 KV 캐시 관리의 새로운 표준을 제시합니다.

결론적으로, Kareto 는 제한된 GPU 메모리 환경에서 LLM 추론 서비스의 확장성과 경제성을 동시에 확보할 수 있는 강력한 솔루션입니다.