기술 요약: DiLaServe

문제 정의

확산 언어 모델(Diffusion Language Models, DLMs)은 자기회귀(autoregressive) 언어 모델(LLMs)의 유망한 대안으로 부상하였으며, 각 디노이징(denoising) 단계에서 여러 토큰을 병렬로 생성할 수 있는 능력을 제공한다. 이러한 병렬성은 이론적으로 자기회귀 모델의 순차적 토큰 생성에 비해 현저히 높은 추론 처리량(throughput)을 가능하게 한다. 그러나 DLM을 프로덕션 서빙 시스템에 배포하는 것은 엄격한 지연 시간 서비스 수준 목표(SLO)를 충족하면서 이러한 처리량 이득을 실현하는 데 방해가 되는 독특한 과제들을 안겨준다.

식별된 주요 과제는 다음과 같다:

1. 속도-품질 트레이드오프(Speed-Quality Trade-off): DLM은 예측된 신뢰도가 임계값을 초과하는 경우에만 토큰을 언마스킹(unmasking)하는 신뢰도 기반 디노이징 프로세스를 사용한다. 이 임계값을 낮추면 디노이징 단계 수가 줄어들어 속도는 향상되지만, 잘못된 토큰이 언마스킹될 위험(품질 저하)이 있다. 기존 시스템은 SLO 준수와 생성 품질 사이의 균형을 맞추기 위해 요청별로 이 임계값을 동적으로 조정하는 메커니즘이 부족하다.
2. 클러스터 수준의 지연 시간-처리량 트레이드오프(Cluster-Level Latency-Throughput Trade-off): DLM은 단계당 계산 집약적이며 텐서 병렬성(Tensor Parallelism, TP)의 이점을 누린다. 그러나 TP 차수를 높이면 단계당 지연 시간은 줄어들지만, 클러스터가 지원할 수 있는 총 모델 인스턴스 수가 줄어들어 전체 처리량이 낮아진다. 정적 클러스터 구성은 변동하는 워크로드에 적응하지 못하여, 높은 부하 상황에서는 과도한 큐잉 지연을 초래하거나 낮은 부하 상황에서는 최적화되지 않은 지연 시간을 초래한다.
3. 근사 KV 캐싱의 이질성(Approximate KV Caching Heterogeneity): 자기회귀 모델과 달리, DLM은 양방향 어텐션(bidirectional attention) 때문에 정확한 KV 캐싱을 사용할 수 없다. 최근의 근사 KV 캐싱 기술은 비균일한 계산 비용을 도입한다: "캐시 단계(cache steps)"(KV 상태 재사용)는 저렴한 반면, "재계산 단계(recompute steps)"(KV 상태 갱신)는 비용이 많이 든다. 서빙 시스템은 지연 시간과 부하를 정확하게 추정하기 위해 이러한 단계별 이질성을 고려해야 한다.

방법론

저자들은 DLM을 위해 특별히 설계된 클러스터 수준 서빙 시스템인 DiLaServe를 제시한다. DiLaServe는 위의 과제들을 해결하기 위해 세 가지 핵심 메커니즘을 통합한다:

1. 동적 신뢰도 임계값 조정

DiLaServe는 신뢰도 임계값을 각 요청에 대한 제어 노브(control knob)로 취급한다.

• SLO 인식 선택: 각 요청에 대해, 시스템은 서로 다른 후보 임계값 하에서 필요한 남은 디노이징 단계 수를 예측한다. 시스템은 추정된 남은 지연 시간이 요청의 남은 SLO 예산 내에 들어오도록 보장하는 가장 높은 신뢰도 임계값을 선택한다.
• 적응형 부하 제어: 총 부하가 클러스터 용량을 초과하여(이는 큐잉 지연과 SLO 위반을 유발함) 발생하는 것을 방지하기 위해, 시스템은 각 요청이 사용할 수 있는 최대 신뢰도 임계값을 제한한다. 모든 요청이 허용된 최대 임계값을 사용한다고 가정했을 때의 최악의 총 부하를 계산하고, 이 합계가 클러스터의 처리 용량 내에 유지되도록 보장한다.
• 단계 예측: 가볍게 학습된 오프라인 그래디언트 부스팅 모델이 런타임 특징(언마스킹 진행도, 토큰 신뢰도 통계, 출력 길이)을 기반으로 남은 디노이징 단계를 예측한다. 이러한 예측은 요청이 진행됨에 따라 온라인으로 업데이트되어, 원샷(one-shot) 추정에 비해 예측 오차를 크게 줄인다.

2. 세밀한 스케줄링(Fine-Grained Scheduling)

DiLaServe는 개별 디노이징 단계 단위로 요청을 스케줄링한다.

• 인스턴스 선택: 스케줄러는 인스턴스의 현재 부하와 텐서 병렬성 차수를 고려하여, 예측된 단계 완료 시간이 가장 짧은 모델 인스턴스에 다음 디노이징 단계를 할당한다.
• 마이그레이션(Migration): 요청은 단계 사이에 인스턴스 간에 마이그레이션될 수 있다. 디노이징 단계는 KV 캐싱이 없거나(또는 재계산 단계에서만 KV 상태가 필요하므로) 상태가 없기 때문에 마이그레이션이 가볍다. 이는 세밀한 부하 분산과 꼬리 지연 시간(tail latency) 감소를 가능하게 한다.

3. 정수 선형 계획법(ILP)을 통한 클러스터 재구성

워크로드 패턴의 변화에 적응하기 위해, DiLaServe는 주기적으로 2단계 ILP를 해결한다:

• 1단계 (용량 계획): 안정적인 상태의 용량 충분성과 SLO 만족을 보장하면서, 평균 신뢰도 임계값(및 그에 따른 품질)을 극대화하기 위한 각 TP 차수별 최적의 모델 인스턴스 수를 결정한다.
• 2단계 (재구성 계획): 서비스 중단을 최소화하기 위해 기존 인스턴스를 우선적으로 보존하면서, 현재 클러스터 구성에서 목표 구성으로 전환하기 위한 마이그레이션 계획을 계산한다.

4. 근사 KV 캐싱 지원

DiLaServe는 근사 KV 캐싱에 의해 도입된 이질성을 명시적으로 모델링한다. 요청 부하, 클러스터 용량 및 남은 지연 시간을 추정할 때 "캐시 단계"와 "재계산 단계"를 구분한다. 결정적으로, 목적지 인스턴스에서 KV 캐시를 재구축하는 오버헤드를 피하기 위해 요청 마이그레이션이 재계산 단계에서만 발생하도록 제한한다.

주요 기여

• DiLaServe 시스템: DLM 고유의 속도-품질 및 지연 시간-처리량 트레이드오프를 해결하기 위해 설계된 최초의 DLM 전용 클러스터 수준 서빙 시스템이다.
• 결합 최적화: 요청별 신뢰도 임계값, 클러스터 전체 부하 제어, 동적 클러스터 재구성(TP 차수 할당)을 결합하여 최적화하는 새로운 접근 방식을 제시한다.
• 근사 KV 캐싱 통합: 근사 KV 캐싱의 비균일한 비용을 스케줄링 및 재구성 결정에 포함하는 프레임워크를 제공하여, 캐싱의 이점을 희생하지 않으면서 효율적인 서빙을 가능하게 한다.
• 단계 예측: 런타임 특징을 활용하여 남은 작업량을 정확하게 추정함으로써 정밀한 SLO 인식 임계값 선택을 가능하게 하는 온라인 단계 예측 메커니즘을 제공한다.

결과

저자들은 실제 LLM 서빙 트레이스(ShareGPT 및 BurstGPT에서 파생)와 표준 정확도 벤치마크(GSM8K, MMLU-Pro, MBPP)를 사용하여 16-GPU 클러스터에서 DiLaServe를 평가하였다. 시스템은 고정된 신뢰도 임계값을 사용하는 기존 서빙 시스템(INFaaS 및 Llumnix)에서 파생된 베이스라인들과 비교 테스트되었다.

• SLO 달성: DiLaServe는 높은 부하 상황에서 베이스라인 대비 SLO 달성도를 최대 56.6 퍼센트 포인트 개선하였다. 실제 트레이스 평가에서 30.2 퍼센트 포인트의 개선을 달성하였다.
• 지연 시간: 엔드 투 엔드(end-to-end) 요청 지연 시간이 최대 46% 감소하였다.
• 품질: 이러한 개선은 최소한의 정확도 저하(일반적으로 1% 미만, 예: 높은 부하 시 0.9%의 정확도 하락 및 대화형 데이터에서의 0.09-포인트 하락)와 함께 이루어졌다.
• 절제 연구(Ablation Studies): 저자들은 동적 임계값 조정과 시스템 전체의 부하 제어가 모두 중요함을 입증하였다. 부하 제어를 제거하면 높은 부하 시나리오에서 SLO 달성도가 최대 42.4 퍼센트 포인트 감소하였다. 마찬가지로, 재구성은 다양한 부하 수준에서 성능을 크게 향상시켰다.

의의

본 논문은 DiLaServe가 엄격한 지연 시간 요구 사항을 충면서도 규모 있는 확산 언어 모델 서빙의 실현 가능성을 입증한다고 주장한다. DLM의 고유한 특성(특히 신뢰도 기반 디노이징 프로세스와 근사 KV 캐싱)을 명시적으로 모델링함으로써, DiLaServe는 생성 품질이나 SLO 준수를 희생하지 않고 이러한 모델들의 처리량 잠재력을 끌어낸다. 이 연구는 정적 구성을 넘어 속도, 품질, 자원 활용도를 적응적으로 균형 있게 조절하는 동적, 품질 인식 제어 메커니즘이 차세대 언어 모델 서빙 시스템에 필수적임을 시사한다.