기술 요약: 다중 모델 LLM 스케줄러를 향한 방향: 오프로딩과 선점 (Preemption) 에 대한 경험적 통찰

문제 제기

현대적인 대규모 언어 모델 (LLM) 배포는 점점 더 아키텍처, 크기, 전문성이 다양한 이질적인 다중 모델을 공유되고 자원이 제한된 하드웨어에서 서빙할 것을 요구합니다. vLLM 과 같은 기존 시스템은 연속 배치 (continuous batching) 와 효율적인 키 - 값 (KV) 캐시 관리를 통해 단일 모델 워크로드에 대한 처리량을 최적화하지만, 엄격한 GPU 메모리 제약 하에서 다중 모델 스케줄링을 처리할 메커니즘이 부족합니다.

이러한 제한된 환경에서는 두 가지 핵심 메커니즘이 필수적이지만, 다중 모델 컨텍스트에서는 잘 이해되지 않고 있습니다:

1. 부분 CPU-GPU 오프로딩: 모델을 제한된 GPU VRAM 에 맞추기 위해 모델 레이어의 일부 서브셋을 CPU 메모리로 이동시키는 것.
2. 선점 (Preemption): 더 높은 우선순위의 작업이 실행될 수 있도록 실행 중인 추론 작업을 일시 중지하여 해당 모델과 상태를 내보낸 후, 원래 작업을 재개하는 것.

현재 문헌은 종종 오프로딩에 따른 성능 저하가 선형적이라고 가정하거나, 선점 비용을 정량화되지 않은 단일 과부하 (monolithic overhead) 로 취급합니다. 이러한 요소들이 서로 다른 모델 규모, 아키텍처, 하드웨어 플랫폼 간에 어떻게 상호작용하는지를 특징짓는 경험적 데이터가 부족합니다.

방법론

저자들은 공통 CPU 서브시스템 (AMD Threadripper PRO 5995WX) 을 공유하지만 GPU 아키텍처가 다른 두 가지 다른 하드웨어 플랫폼에서 체계적인 경험적 연구를 수행했습니다:

• 플랫폼 A: NVIDIA RTX 5000 Ada Generation (32 GB VRAM).
• 플랫폼 B: NVIDIA RTX A6000 (48 GB VRAM).

이 연구는 다양한 모델 세트를 활용했습니다 (오프로딩용: Llama 3 8B, Qwen3 32B, Llama 2 70B; 선점용: Qwen2.5-3B, Qwen3-8B, Qwen2.5-14B) 그리고 두 가지 주요 실험 스윕을 수행했습니다:

1. 레이어 단위 오프로딩 스윕:

   • Ollama (Q4 양자화) 와 HuggingFace Transformers (FP16) 에서 실행.
   • GPU 에 배치된 트랜스포머 레이어의 비율을 0% (전체 CPU) 에서 100% (전체 GPU) 까지 10% 간격으로, 100% 근처에서는 더 세밀한 간격으로 변화시킴.
   • 다양한 출력 길이 (50 에서 5,000 토큰) 에 걸쳐 디코드 처리량 (초당 토큰 수) 을 측정.

2. 선점 및 마이그레이션 벤치마크:

   • 7,000 토큰을 생성하는 장시간 실행 Job A 가 9 개의 체크포인트 (100 에서 5,000 토큰) 에서 중단되는 "최악의 경우" 선점 시나리오를 시뮬레이션.
   • Job A 를 완전히 언로드 (가중치 및 KV 캐시를 호스트 메모리로 이동) 하고, Job B 를 실행한 후, Job A 를 다시 로드하고 재개.
   • 전체 선점 오버헤드를 구성 요소 단계로 분해: KV 캐시 전송 (GPU→CPU), 모델 언로드, 모델 로드, KV 캐시 복원 (CPU→GPU).
   • 선점된 모델의 크기와 선점하는 모델의 크기의 영향을 분리하기 위해 다양한 모델 페어링을 테스트.

주요 기여

이 논문은 세 가지 주요 기여를 제공합니다:

1. 체계적인 경험적 평가: 이질적인 하드웨어에 걸쳐 최신 LLM 을 포괄적으로 특징짓는 것으로, 오프로딩 및 확장성과 관련된 성능 경향이 모델과 시스템 전반에 걸쳐 일관됨을 입증.
2. 오버헤드 정량화: 부분 오프로딩 및 선점의 성능 영향을 상세히 분석하여 지연 시간과 데이터 이동 비용의 지배적 원인을 식별.
3. 스케줄러 기능 증류: 향후 다중 모델 스케줄러가 CPU-GPU 하이브리드 실행과 선점을 효과적으로 지원하기 위해 반드시 통합해야 하는 경험적 데이터에서 도출된 핵심 기능 집합.

주요 결과

1. 비선형 오프로딩 저하

• 모델 민감도: 디코드 처리량은 GPU 에 있는 레이어의 비율에 비례하여 선형적으로 증가하지 않습니다. 작은 모델 (예: Llama 3 8B) 은 감소된 GPU 체류 시간에 대해 날카롭고 비선형적인 민감도를 보이며, 중간 정도의 오프로딩만으로도 상당한 처리량 패널티를 겪습니다. 큰 모델 (예: Llama 2 70B) 은 더 점진적이고 대략 선형적인 저하를 보입니다.
• 하드웨어 상호작용: CPU 와 GPU 간의 상대적 성능 격차가 오프로딩 효율성에 상당한 영향을 미칩니다. RTX 5000 (낮은 피크 처리량) 에서는 오프로딩의 상대적 패널티가 RTX A6000 (높은 연산 능력) 에 비해 작지만, RTX A6000 에서는 오프로딩으로 인해 더 큰 상대적 저하가 발생합니다.
• 시퀀스 길이: 더 긴 프롬프트는 증가된 KV 캐시 메모리 압력과 접근 비용으로 인해 오프로딩의 부정적 영향을 증폭시킵니다.

2. 선점 오버헤드 구성

• 모델 재로드의 지배적 역할: 선점 비용은 디스크에서 GPU 메모리로 모델 가중치를 다시 로드하는 비용이 압도적으로 지배합니다. 이 구성 요소는 두 하드웨어 플랫폼 모두에서 전체 선점 오버헤드의 98.5% 이상을 차지합니다.
• KV 캐시의 무시할 수 있는 영향: KV 캐시 전송 (GPU→CPU 및 CPU→GPU 모두) 은 큰 캐시 (~950 MB 까지) 에 대해서도 전체 오버헤드의 1.5% 미만에 기여합니다.
• 일정 비용: 선점 오버헤드는 작업의 진행 상황 (생성된 토큰 수) 에 관계없이 사실상 일정합니다. 비용은 거의 전적으로 선점된 모델의 **가중치 발자국 (weight footprint)**에 의존하며, KV 캐시 크기나 선점하는 모델의 정체성과는 무관합니다.
  • 예시: RTX 5000 에서 선점 오버헤드는 ~3 초 (3B 모델) 에서 ~7.3 초 (14B 모델) 까지 범위입니다.
• 하드웨어 변동성: RTX A6000 은 더 큰 VRAM 을 가지고 있음에도 불구하고 RTX 5000 에 비해 더 낮은 절대적 선점 비용 (더 빠른 디스크 - GPU 전송) 을 보여주었습니다.

3. 데이터 이동 효율성

• KV 캐시 전송 시간은 시퀀스 길이에 비례하여 선형적으로 증가하지만, 수십 밀리초 수준에 머무릅니다 (예: RTX 5000 에서 ~950MB 전송 시 <90ms).
• 효과적인 PCIe 대역폭은 PyTorch 런타임의 레이어별 텐서 복사 오버헤드로 인해 제한되어, 이론적 피크인 31.5 GB/s 대비 9~16 GB/s 만 달성합니다.

중요성 및 주장

이 논문은 이러한 경험적 발견들이 차세대 LLM 스케줄러의 설계 요구 사항을 근본적으로 변화시킨다고 주장합니다:

• 선형 가정의 거부: 스케줄러는 비례적이거나 균일한 배치 전략에 의존할 수 없습니다. 특히 부분 오프로딩이 매우 해로운 작은 모델의 경우, 모델별 비선형 오프로딩 민감도를 고려해야 합니다.
• 고정된 선점 패널티: 선점 비용이 작업 진행 상황에 따라 변한다는 가정과 달리, 이 연구는 선점을 모델의 가중치 발자국과 하드웨어 페어에만 의존하는 고정된 패널티로 모델링할 수 있음을 확립합니다. 이는 예측 가능한 비용 모델링을 가능하게 하여 스케줄링 논리를 단순화합니다.
• 하드웨어 인식: 스케줄링 결정은 GPU 용량뿐만 아니라 CPU 와 GPU 간의 특정 연산 격차 및 디스크 - GPU 전송 속도까지 명시적으로 하드웨어를 인식해야 합니다.
• KV 캐시 대 가중치: 이 연구는 KV 캐시 마이그레이션을 최적화하는 것이 선점 효율성을 위한 모델 가중치 로드/언로드를 최적화하는 것보다 부차적임을 명확히 합니다. 왜냐하면 전자는 현재 전체 비용 구조에서 무시할 수 있기 때문입니다.

저자들은 향후 스케줄러가 비선형 오프로딩 곡선, 모델 아키텍처 프로파일, 시퀀스 길이 역동성, 그리고 고정된 선점 비용과 같은 이러한 기능들을 통합하여 동적이고 자원이 제한된 환경에서 이질적인 다중 모델 워크로드를 효율적으로 관리해야 한다고 결론지었습니다.