Cluster, Route, Escalate: Cascaded Framework for Cost-Aware LLM Serving

기술 요약: 클러스터링, 라우팅, 에스컬레이션: 비용 인지형 LLM 서빙을 위한 계단식 프레임워크

문제 정의

생산 환경에서 대규모 언어 모델(LLM)을 효율적으로 배포하려면 정확도와 서빙 비용 사이의 절충안이 필요합니다. 운영자들은 일반적으로 단일 모델을 기본값으로 설정합니다. 즉, 쉬운 쿼리에 과도한 컴퓨팅 자원을 투자하는 크고 비싼 모델을 사용하거나, 어려운 쿼리에서 성능이 저하되는 작고 효율적인 모델을 사용하는 것입니다. 기존의 모델 라우팅 시스템은 표준 작업 평가(예: 인간 선호도 데이터 또는 복잡한 난이도 레이블) 이상의 주석을 요구하는 경우가 많으며, 명시적인 추론 비용 예산 하에서 라우팅을 공동 최적화하면서 생성 후 품질 추정을 통해 정확도를 회복하는 데 어려움을 겪습니다. 또한, 많은 접근 방식은 수동 재설정 없이 가용 모델 풀의 변화에 쉽게 적응하지 못합니다.

방법론

저자들은 작업 정답성(task-correctness) 레이블만을 사용하여 라우팅을 공동 최적화하고, 토큰당 출력 시간(TPOT) 예산 하에서 동작하는 2단계 계단식 프레임워크를 제안합니다.

1단계: 클러스터링 기반 라우팅

첫 번째 단계는 쿼리를 사전에 라우팅하기 위해 클러스터 수준에서 작동하며, 이를 통해 에스컬레이션을 결정하기 전에 효율적인 모델을 실행하는 비효율성을 방지합니다.

1. 의미론적 클러스터링(Semantic Clustering): 들어오는 쿼리는 all-MiniLM-L6-v2를 사용하여 인코딩되며, k-평균(k-means)을 사용하여 일관된 그룹($N$ 개 클러스터)으로 분할됩니다. 클러스터 수는 평균 실루엣 점수(Silhouette score)를 최대화함으로써 선택됩니다.
2. 비용 인지형 라우팅(Cost-Aware Routing): 각 클러스터 $c$와 모델 $m$에 대해 다음과 같이 라우팅 점수가 계산됩니다:
   $$\text{Score}(m, c) = \text{Error}(m, c) + \lambda \cdot \text{Cost}_{\text{norm}}(m)$$
   여기서 $\text{Error}(m, c)$는 훈련 데이터에서의 경험적 에러율이며, $\text{Cost}_{\text{norm}}(m)$은 모델의 정규화된 TPOT(가장 빠른 모델은 0, 가장 느린 모델은 1)입니다.
3. 하이퍼파라미터 튜닝 ($\lambda$): 해석 가능한 하이퍼파라미터 $\lambda$는 정확도-지연 시간 간의 트레이드오프를 제어합니다. 최적의 $\lambda^*$는 사용자 지정 TPOT 예산 $B$를 충족하도록 훈련 데이터에서 오프라인으로 자동 튜닝됩니다.
4. 파레토 분석(Pareto Analysis): 라우팅 전, 모든 클러스터에 대해 다른 모델보다 느리고 정확도가 낮은 파레토 지배(Pareto-dominated) 모델들을 풀에서 제거합니다.
5. 라우팅 결정: 각 쿼리는 가장 가까운 클러스터 중심점에 할당되며, 해당 클러스터에 대해 점수를 최소화하는 모델로 라우팅됩니다.

2단계: 품질 추정(QE) 캐스케이드

두 번째 단계는 효율적인 모델로 라우팅된 쿼리에 대한 안전망 역할을 합니다.

1. 메커니즘: 경량 이진 분류기(ModernBERT-base 미세 조정)가 효율적인 모델의 출력을 검사합니다.
2. 입력: 분류기는 쿼리, 모델의 출력, 그리고 생성 길이를 입력으로 받습니다.
3. 결정: 훈련 데이터에서 효율적인 모델의 성능으로부터 도출된 작업 정답성 레이블을 바탕으로, 분류기는 출력을 **수락(accept)**할지 또는 쿼리를 더 강력한 모델로 **에스컬레이션(escalate)**할지를 결정합니다.
4. 통합: 이 단계는 효율적인 모델의 출력에 대해서만 적용됩니다. 1단계에서 강력한 모델로 직접 라우팅된 쿼리는 지연 시간 절감을 위해 분류기를 우회합니다.

주요 기여

• 2단계 프레임워크: 기존 연구에서 식별된 "다단계 캐스케이드 격차(multi-stage cascade gap)"를 해결하기 위해, 사전 생성 클러스터 수준 라우팅과 사후 생성 품질 추정을 결려한 새로운 아키텍처를 제시합니다.
• 비용 인지 최적화: 시스템은 단일한 해석 가능한 하이퍼파라미터($\lambda$)를 사용하여 명시적인 TPOT 예산 하에서 라우팅을 공동 최적화하며, 이는 금전적 비용 곡선을 탐색하는 것보다 효율적입니다.
• 최소한의 주석 요구사항: 프레임워크는 클러스터링 기반 라우팅과 QE 분류기 훈련 모두에 대해 표준 벤치마크 평가에서 사용 가능한 표준 작업 정답성 레이블만을 필요로 합니다.
• 동적 적응성: 파레토 분석과 라우팅 테이블의 재계산을 통해, 시스템은 수동 재설정 없이 모델 풀의 변화(모델 추가 또는 제거)에 자동으로 적응합니다.
• 일반화: 이 접근 방식은 통신(TeleQnA) 및 수학적 추론(AIME 2024)이라는 두 가지 뚜렷한 도메인에서 검증되었습니다.

실험 결과

프레-프레임워크는 Qwen 3/3.5 및 Gemma 4 제품군의 풀을 사용하여 TeleQnA와 AIME 2024에서 평가되었습니다.

• AIME 2024 (수학적 추론):

  • 결합된 1단계+2단계 시스템은 88.4%의 정확도와 9.7 ms의 TPOT를 달이트했습니다.
  • 이는 가장 강력한 모델(Qwen3-30B)의 정확도(89.1%)의 **97%**를 유지하면서 지연 시간을 18% 단축(2.1 ms 빠름)했습니다.
  • 2단계는 단 0.2 ms의 TPOT 증가만으로 1단계 단독 대비 **2.0%**의 정확도 이득을 회복했습니다.

• TeleQnA (통신 QA):

  • 결합된 시스템은 74.3%의 정확도와 23.8 ms의 TPOT를 달성했습니다.
  • 이는 가장 강력한 모델의 정확도(76.4%)의 2.1% 이내에 있으며, 0.7 ms 더 빠릅니다.
  • 2단계는 1단계 단독 대비 3.1 퍼센트 포인트의 정확도를 회복했습니다.

• 확장성: 풀에 새로운 모델을 추가하는 실험을 통해, 프레임워크가 지배된 모델을 자동으로 제거하고 우수한 모델을 통합하여 수동 개입 없이 파레토 개선을 달성함을 입증했습니다.

의의 및 주장

본 논문은 이 프레임워크가 비용 제약이 있는 환경, 특히 온프레미스 배포와 낮은 지연 시간이 중요한 통신 분야와 같은 자율 에이전트 분야에서 LLM을 배포하기 위한 실용적이고 해석 가능한 솔루션을 제공한다고 주장합니다.

• 효율성 vs 정확도: 시스템은 운영자가 단일 강한 모델이나 단일 효율적인 모델 중 하나를 선택할 필요가 없음을 보여줍니다. 대신, 계단식 접근 방식을 통해 근사한 최첨단(SOTA) 정확도를 유지하면서 추론 비용(TPOT)을 크게 줄일 수 있습니다.
• 운영 단순성: 작업 정답성 레이블과 해석 가능한 하이퍼파라미터($\lambda$)에 의존함으로써, 프레임워크는 운영자에게 선호도 데이터로 복잡한 라우터를 학습시키는 복잡성을 피하고 모델 풀을 관리할 수 있는 "간단한 경로"를 제공합니다.
• 확장성: 파레토 분석의 사용은 모델 풀이 진화함에 따라 라우팅 로직이 견고하게 유지되도록 보장하며, 이는 프레임워크를 동적인 생산 환경에 적합하게 만듭니다.

저자들은 현재 프레임워크가 오프라인 클러스터링에 의존하며(추론 시 쿼리 분포 변화에 적응하지 못함), 비용의 대리 지표로 TPOT를 사용하여 큐잉(queueing)이나 네트워크 오버헤드를 고려하지 않는다는 점을 언급하며 한계를 인정했습니다. 그러나 그들은 이 프레임워크가 효율적인 LLM 서빙을 위한 기초적인, 비용 인지형 아키텍처를 제공한다고 주장합니다.