Task-Aware LLM Routing with Multi-Level Task-Profile-Guided Data Synthesis for Cold-Start Scenarios

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 작업과 쿼리에 따라 성능과 계산 비용 (토큰 수, 모델 크기 등) 이 크게 달라집니다. 사용자는 비용과 성능 간의 트레이드오프에 따라 최적의 모델을 선택해야 하므로, 이를 자동으로 결정하는 '라우터'가 필요합니다.

기존의 라우팅 방법들은 대부분 도메인 내 (In-domain) 라벨링된 학습 데이터 (쿼리 - 정답 - 모델 성능/비용 쌍) 가 존재한다고 가정합니다. 그러나 실제 배포 환경, 특히 초기 단계 제품이나 개인 사용자의 경우 다음과 같은 콜드-스타트 문제가 발생합니다.

• 데이터 부재: 특정 도메인에 대한 라벨링된 학습 데이터가 없습니다.
• 일반화 실패: 사전에 학습된 라우터는 훈련 데이터와 테스트 환경 간의 도메인 시프트 (Domain Shift) 로 인해 성능이 급격히 저하됩니다.
• 기존 방법의 한계: 단순 규칙 기반이나 다른 도메인 데이터를 이용한 전이 학습은 복잡한 쿼리 분포를 잘 따라가지 못합니다.

2. 제안 방법론 (Methodology)

저자들은 두 가지 핵심 구성 요소를 통해 이 문제를 해결합니다.

A. 다중 레벨 태스크 프로파일 기반 데이터 합성 (Multi-Level Task-Profile-Guided Data Synthesis)

인간이 수동으로 데이터를 수집하고 라벨링하는 대신, LLM 을 활용하여 테스트 환경의 쿼리 분포를 근사하는 합성 데이터를 생성합니다. 이 프레임워크는 세 가지 모듈로 구성됩니다.

1. 계층적 태스크 분류 체계 (Hierarchical Task Taxonomy) 구축:
   • 생성 (Generator): 도메인 (Domain), 하위 카테고리 (Subcategory), 난이도 (Difficulty) 의 3 단계 계층 구조를 생성합니다.
   • 품질 평가 (Evaluator): 생성된 태스크 유형이 중복되지 않고, 구체적이며 완전한지 자기 비판 (Self-critique) 을 통해 검증하고 수정합니다.
2. 질문 - 답변 (QA) 쌍 생성:
   • 생성된 계층적 태스크 구조의 각 '난이도 레벨'에 해당하는 태스크 프로파일 (Task Profile) 을 기반으로 LLM 이 다양한 QA 쌍을 생성합니다.
   • 생성된 QA 쌍은 의미적 유사도 (Semantic Similarity) 를 계산하여 중복을 제거하고, 다양한 분포를 확보합니다.
3. 데이터 활용:
   • 생성된 합성 QA 데이터셋 ($D_{syn}$) 에 대해 후보 LLM 들을 실행하여 성능과 비용 데이터를 수집합니다. 이를 콜드-스타트 상황에서의 라우터 학습 데이터로 사용합니다.

B. TRouter: 태스크 유형 인식 라우팅 프레임워크

기존의 회귀 기반 라우팅 (쿼리 직접 매핑) 과 달리, 잠재 태스크 변수 (Latent Task-Type Variable) 를 도입하여 성능과 비용을 예측합니다.

• 확률적 모델링: 쿼리 $q$와 모델 $m$에 대한 성능/비용 조건부 확률 $p(h|q, m)$을 잠재 태스크 $t$를 통해 분해합니다.
  $$p(h | q, m) = \sum_{t \in T} p(h | t, m)p(t | q)$$
• 변분 추론 (Variational Inference):
  • 태스크 인식 모듈: 쿼리 $q$를 입력받아 잠재 태스크 분포 $q_\phi(t|q)$를 예측합니다.
  • 지표 예측 모듈: 예측된 태스크 분포와 모델 $m$을 기반으로 성능/비용을 예측합니다.
  • 정규화 (Regularization): 합성 데이터로 구축된 태스크 분류 체계의 사전 분포 (Prior) 를 KL 발산을 통해 정규화 항으로 사용하여, 모델이 표면적인 쿼리 특징뿐만 아니라 태스크의 의미적 구조를 학습하도록 유도합니다.
• 손실 함수: 교차 엔트로피 (태스크 분류) 와 MSE (성능/비용 예측) 를 결합하여 학습합니다.

3. 주요 기여 (Key Contributions)

1. 콜드-스타트 문제의 최초 식별 및 해결: LLM 라우팅의 콜드-스타트 문제를 체계적으로 정의하고, 도메인 설명만 입력받아 테스트 쿼리 분포를 근사하는 다중 레벨 태스크 프로파일 기반 데이터 합성 프레임워크를 최초로 제안했습니다.
2. TRouter 개발: 합성된 태스크 분류 체계의 사전 분포를 정규화 항으로 활용하고, 잠재 태스크 변수를 통합한 태스크 유형 인식 라우터 (TRouter) 를 제안하여, 콜드-스타트 및 도메인 내 환경 모두에서 우수한 성능을 발휘합니다.
3. 광범위한 검증: 다양한 LLM 풀 (Qwen 시리즈, Gemini 등) 과 평가 프로토콜 (전통적 지표, LLM-as-a-Judge) 을 통해 제안된 방법론이 콜드-스타트 한계를 완화하고 라우팅 유틸리티를 크게 향상시킴을 실험적으로 입증했습니다.

4. 실험 결과 (Results)

• 콜드-스타트 성능: 합성 데이터 ($D_{syn}$) 만으로 학습된 TRouter 는 도메인 내 데이터가 없는 상황에서 기존 최선 기법 (Adaptive LLM, Prompt LLM 등) 보다 유틸리티 (Utility) 가 크게 향상되었습니다. 특히 LLM-as-a-Judge 평가에서 기존 도메인 내 학습 기법들을 능가하기도 했습니다.
• 도메인 내 성능: 실제 도메인 데이터가 있는 경우에도 TRouter 는 RouterDC, GraphRouter, MetricRouter 등 기존 학습 기반 라우터들보다 일관되게 높은 성능을 보였습니다. 이는 태스크 유형 정규화가 모델의 일반화 능력을 향상시키기 때문입니다.
• 샘플 효율성: TRouter 는 태스크 유형당 30 개의 샘플만으로도 거의 최적의 성능에 도달하며, 5 개 이하의 샘플에서도 경쟁력 있는 결과를 보여 데이터 효율성이 매우 높음을 입증했습니다.
• 데이터 합성 효과: 도메인 설명만으로 생성된 합성 데이터가 실제 테스트 분포를 잘 모사하며, 수동 라벨링 데이터와 유사한 성능을 내는 것으로 확인되었습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 라우팅의 실용적 장벽인 데이터 부족 문제를 LLM 기반 데이터 합성과 구조화된 태스크 모델링을 통해 해결했다는 점에서 의의가 큽니다.

• 비용 효율성: 수동 데이터 수집 및 라벨링에 드는 막대한 비용과 시간을 절감하면서도 고품질의 학습 데이터를 확보할 수 있습니다.
• 해석 가능성 (Interpretability): TRouter 는 블랙박스 임베딩 기반 라우터와 달리 계층적 태스크 분류 체계를 기반으로 하므로, 라우팅 결정의 근거를 해석하고 태스크 노드를 수동으로 수정하거나 확장하기 쉽습니다.
• 실무 적용 가능성: 초기 스타트업이나 새로운 도메인에서 즉시 적용 가능한 라우팅 솔루션을 제공하며, 사용자의 비용/성능 선호도에 따라 유연하게 최적의 모델을 선택할 수 있게 합니다.

결론적으로, 이 논문은 데이터가 없는 환경에서도 지능적이고 효율적인 LLM 라우팅이 가능함을 증명하며, 향후 LLM 서비스의 비용 최적화와 성능 관리에 중요한 기여를 할 것으로 기대됩니다.