{\lambda}Scale: Enabling Fast Scaling for Serverless Large Language Model Inference

이 논문은 고속 RDMA 네트워크를 활용한 '실행 중 로드 (execute-while-load)' 방식과 적응형 멀티캐스트 파이프라인인 $\lambda$Pipe 를 통해 서버리스 환경에서 대규모 언어 모델의 빠른 확장성을 실현하고, 기존 솔루션 대비 지연 시간을 5 배 줄이고 비용을 31.3% 절감하는 $\lambda$Scale 시스템을 제안합니다.

핵심

🚨 문제 상황: "갑작스러운 손님 폭주와 느린 주방"

想像해 보세요. 인기가 많은 식당이 있다고 칩시다.

• 상황: 평소에는 손님이 적지만, 특정 시간 (예: 점심시간) 에 갑자기 손님이 10 배 이상 몰려옵니다.
• 기존 방식의 문제점:
  1. 냉장고 (모델) 준비가 늦음: 손님이 오기 전에 주방에 필요한 모든 재료 (AI 모델) 를 가져와서 차려야 하는데, 재료가 너무 커서 (수십 기가바이트) 가져오는 데 시간이 너무 오래 걸립니다. 손님이 오고 나서 재료를 가져오면, 손님은 몇 분씩 기다려야 합니다.
  2. 비효율적인 대기: "손님이 몰릴지도 모른다"며 미리 모든 재료를 주방에 상시 비축해 두면, 손님이 없을 때는 재료와 주방 공간이 낭비됩니다.
  3. 결과: 손님은 화나고, 식당 주인은 돈이 아깝습니다.

이게 바로 기존 클라우드 AI 서비스의 '콜드 스타트 (Cold Start)' 문제입니다.

---

💡 해결책: 𝜆Scale 의 "마법 같은 주방"

𝜆Scale 은 이 문제를 해결하기 위해 두 가지 혁신적인 아이디어를 제안합니다.

1. "재료 배달과 요리 동시 진행" (Execute-while-Load)

기존에는 "재료가 다 도착해야 요리를 시작한다"면, 𝜆Scale 은 **"재료가 조금만 도착해도 바로 요리를 시작"**합니다.

• 비유: 손님이 주문하자마자, 주방장이 "아직 모든 재료가 다 오지 않았지만, 먼저 손질된 채소로 국물을 끓이기 시작해요!"라고 말합니다.
• 기술적 의미: AI 모델의 일부 조각 (블록) 만이라도 GPU(주방) 에 도착하면, 다른 조각이 오는 동안에도 그 부분으로 계산을 시작합니다. 여러 주방이 협력해서 요리를 하므로, 손님이 기다리는 시간이 획기적으로 줄어듭니다.

2. "초고속 배달 시스템" (RDMA & Multicast)

재료 (모델) 를 한 개씩 배달하는 게 아니라, 한 번에 여러 곳으로 동시에 배달합니다.

• 비유: 전통적인 배달은 'A -> B -> C' 순서로 하나씩 전달하는 방식이라 시간이 걸립니다. 하지만 𝜆Scale 은 **초고속 레이저 배달기 (RDMA 네트워크)**를 써서, 한 번에 모든 지점 (GPU 노드) 으로 재료를 동시에 뿌려줍니다.
• 효과: 100GB 짜리 거대한 AI 모델을 8 개의 서버에 옮기는 데 1 초도 걸리지 않습니다. (기존에는 수 분 걸림)

---

🛠️ 𝜆Scale 이 사용하는 핵심 도구들

이 시스템은 세 가지 핵심 기술을 사용합니다.

1. 𝜆Pipe (파이프라인):

   • 비유: 공장의 컨베이어 벨트처럼, 모델 조각들이 여러 주방을 오가며 조립되는 방식입니다. 한 주방이 재료를 받으면 바로 다음 주방으로 넘겨주면서 동시에 요리를 시작합니다.
   • 장점: 모델이 완전히 다 로드되기 전에도 서비스를 시작할 수 있어 속도가 매우 빠릅니다.

2. 적응형 멀티캐스트 (Adaptive Multicast):

   • 비유: 손님이 10 명 몰리면 10 명 분을, 100 명 몰리면 100 명 분을 상황에 맞춰 최적의 경로로 배달합니다.
   • 장점: 손님이 갑자기 몰려도 (Bursty Workload) 시스템이 유연하게 대응합니다.

3. 효율적인 창고 관리:

   • 비유: 주방 (GPU 메모리) 에는 자주 쓰는 재료를 두고, 창고 (메모리/SSD) 에는 덜 쓰는 재료를 둡니다. 필요할 때 가장 빠른 경로로 가져옵니다.
   • 장점: 비싼 GPU 공간을 낭비하지 않으면서도 빠른 속도를 유지합니다.

---

📊 실제 성과: "기존 방식보다 5 배 빠르고, 비용은 30% 절감"

연구팀은 실제 데이터로 실험해 보았습니다.

• 속도: 손님이 몰렸을 때, AI 가 응답을 시작하는 시간 (꼬리 지연) 이 기존 시스템보다 최대 5 배 빨라졌습니다.
• 비용: 불필요하게 서버를 켜두는 낭비를 줄여 비용을 30% 이상 아꼈습니다.
• 속도 비교: 130 억 개의 파라미터를 가진 거대한 모델을 8 개 서버에 옮기는 데 1 초 미만이 걸렸습니다. (기존 기술은 1.5 배 더 느림)

🎯 결론

𝜆Scale은 "거대한 AI 모델을 기다리지 않고, 오면서 바로 쓰되, 초고속으로 여러 곳에 퍼뜨리는" 지능형 시스템입니다.

앞으로 우리가 스마트폰이나 웹에서 AI 를 사용할 때, **"잠시만 기다려주세요"**라는 메시지가 사라지고, 순간적으로 답변을 받을 수 있는 시대가 올 수 있는 기술입니다. 마치 주문하자마자 요리사가 재료를 받으면서 바로 요리를 시작하는, 마법 같은 식당이 생긴 것과 같습니다.

기술 요약

1. 문제 정의 (Problem)

서버리스 LLM 추론의 '콜드 스타트 (Cold Start)' 및 확장성 한계

• 배경: 클라우드 기반의 서버리스 컴퓨팅은 동적인 워크로드와 비용 효율성 (Pay-per-use) 으로 인해 LLM 추론 서비스에 유망한 대안으로 부상했습니다.
• 핵심 문제: 현대의 대규모 언어 모델 (LLM) 은 수백 GB 에 달하는 거대한 크기를 가지며, 기존 서버리스 플랫폼은 모델 인스턴스를 확장할 때 엄청난 시작 오버헤드 (Startup Overhead) 에 직면합니다.
  • 원격 모델 로딩: 모델 레지스트리 (S3 등) 에서 GPU 노드로 모델을 가져오는 데 수 분 (예: Llama-70B 기준 18 분 이상) 이 소요됩니다.
  • 리소스 낭비: 콜드 스타트를 피하기 위해 항상 모델을 GPU 에 상주시키는 방식 (Overprovisioning) 은 유휴 리소스 비용이 매우 큽니다.
  • 캐싱의 한계: 호스트 메모리나 SSD 에 모델을 캐싱하는 방식은 SSD 대역폭 제한으로 인해 여전히 느리고, 다중 테넌트 환경에서 메모리 용량 부족으로 인해 모든 모델을 캐싱하기 어렵습니다.
• 결과: 급증하는 트래픽 (Bursty Workloads) 에 대응하기 위해 모델 인스턴스를 빠르게 확장 (Scale-out) 하는 것이 불가능하여, 지연 시간 (Latency) 요구사항을 충족하지 못하거나 비용이 급증하는 딜레마에 빠집니다.

2. 방법론 및 핵심 아이디어 (Methodology & Key Insights)

"로딩 중 실행 (Execute-while-Load)" 패러다임과 𝜆Scale 시스템
저자들은 두 가지 핵심 통찰을 바탕으로 𝜆Scale을 제안합니다.

1. 고속 네트워크 활용: 현대 GPU 클러스터는 RDMA(Remote Direct Memory Access) 를 지원하는 400Gbps 이상의 고속 네트워크를 갖추고 있어, 효율적인 멀티캐스트가 가능합니다.
2. 부분 로딩 실행: 모델이 완전히 로드되기 전에도 추론을 시작할 수 있습니다. 이를 통해 여러 노드 간에 협력적인 분산 추론을 수행할 수 있습니다.

주요 구성 요소:

• 𝜆Pipe (핵심 스케일링 기법):
  • 적응형 모델 멀티캐스트 (Adaptive Model Multicast): 이항 파이프라인 (Binomial Pipeline) 알고리즘을 기반으로 모델을 세분화된 블록 (Blocks) 으로 나누어 노드 간에 병렬로 전송합니다. 전송 순서를 최적화하여 전체 모델이 구성되는 시간을 단축합니다.
  • 파이프라인 추론 실행 (Pipelined Inference Execution): 모델 블록이 전송되는 동안, 수신된 블록만으로 추론을 시작할 수 있도록 노드 간에 실행 파이프라인을 동적으로 구성합니다. 이는 "로딩 중 실행"을 가능하게 합니다.
  • 모드 전환 (Mode Switching): 모델 로딩이 완료되면, KV 캐시 재계산 (Recomputation) 을 통해 노드 간 오버헤드 없이 로컬 실행 모드로 원활하게 전환합니다.
• 효율적인 모델 관리:
  • 국소성 기반 시작 (Locality-driven Model Startup): GPU 메모리 (Hot), 호스트 메모리 (Warm), 원격 저장소 (Cold) 등 다양한 스토리지 계층에 저장된 모델에 맞춰 최적화된 시작 전략을 적용합니다.
  • 효율적인 메모리 관리: 텐서 패킹 (Tensor Packing) 과 GPU 메모리 사전 할당을 통해 전송 효율성을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 아키텍처 제안: LLM 추론을 위해 "로딩 중 실행"을 지원하는 최초의 서버리스 시스템인 𝜆Scale을 설계 및 구현했습니다.
2. 𝜆Pipe 기법 개발:
   • 동적으로 실행 파이프라인을 구성하고, 적응형 멀티캐스트를 통해 모델 확장 시간을 획기적으로 단축하는 새로운 스케일링 기법을 제시했습니다.
   • 기존 NCCL 이나 FaaSNet 과 달리, 정적 리소스 할당이 아닌 동적 워크로드에 맞춰 실시간으로 파이프라인을 재구성합니다.
3. 시스템 구현 및 오픈소스: Derecho 라이브러리와 Meta 의 Llama 추론 프레임워크를 기반으로 10,000 줄의 Python 과 4,000 줄의 C++ 코드로 시스템을 구현했습니다.
4. 광범위한 평가: 실제 Alibaba 클라우드 및 Azure OpenAI 의 트래픽 트레이스를 사용하여 기존 최첨단 솔루션 (ServerlessLLM, FaaSNet, NCCL) 과 비교 평가했습니다.

4. 평가 결과 (Results)

실제 LLM 추론 워크로드 (Llama-2 7B/13B/70B) 에 대한 실험 결과, 𝜆Scale 은 기존 솔루션 대비 압도적인 성능을 보였습니다.

• 모델 전송 속도: 8 노드 환경에서 Llama-13B 모델 확장 속도가 1 초 미만으로 완료되었으며, NCCL 대비 최대 1.5 배 빠릅니다.
• 지연 시간 (Latency) 개선:
  • 실제 워크로드 트레이스 기반 평가에서 90 번째 백분위수 (P90) 꼬리 지연 시간 (Tail Latency) 이 최대 5 배 개선되었습니다.
  • ServerlessLLM 대비 콜드 스타트 시나리오에서 3.75 배 ~ 11.4 배 빠른 처리량을 달성했습니다.
• 비용 효율성:
  • GPU 리소스 사용량을 17.8% ~ 31.3% 절감했습니다. 이는 불필요한 리소스 할당 (Overprovisioning) 을 줄이고, 빠른 확장/축소 (Elasticity) 를 통해 달성된 결과입니다.
• 부하 처리 능력: 급격한 트래픽 증가 (Burst) 시에도 요청 대기 시간을 최소화하며 신속하게 확장되어 서비스 수준 목표 (SLO) 를 충족합니다.

5. 의의 및 중요성 (Significance)

• 서버리스 LLM 의 실용화 촉진: 기존에는 모델 크기가 커질수록 서버리스 환경에서의 실시간 추론이 불가능하다고 여겨졌으나, 𝜆Scale 은 이를 해결하여 대규모 모델도 서버리스 아키텍처에서 경제적이고 효율적으로 운영할 수 있는 길을 열었습니다.
• 동적 워크로드 대응: 예측 불가능한 트래픽 폭증 상황에서도 지연 시간 없이 즉각적으로 대응할 수 있는 능력을 입증했습니다.
• 기술적 혁신: "로딩 중 실행"이라는 개념을 시스템 수준에서 구현하여, 데이터 전송과 연산 작업을 병렬화함으로써 시스템 전체의 처리량 (Throughput) 을 극대화했습니다. 이는 향후 분산 LLM 추론 시스템 설계에 중요한 기준이 될 것입니다.

결론적으로, 𝜆Scale 은 서버리스 환경에서 LLM 의 거대한 모델 크기로 인한 확장성 병목 현상을 해결하고, 비용 효율성과 낮은 지연 시간을 동시에 달성하는 획기적인 솔루션입니다.