From Sampled Outcomes to Capability Distributions: Rethinking Supervision for LLM Routing

기술 요약: 샘플링된 결과에서 역량 분포로: LLM 라우팅을 위한 감독 방식의 재고

1. 문제 정의

현재의 대규모 언어 모델(LLM) 라우팅 방법은 일반적으로 특정 쿼리에 대한 모델의 역량을 단일 생성 응답과 그에 대응하는 점수를 기반으로 레이블링하는 **단일 샷 감독(single-shot supervision)**에 의존합니다. 저자들은 LLM 생성이 본질적으로 확률적이기 때문에 이러한 접근 방식이 근본적으로 결함이 있다고 주장합니다. 단일 샘플링된 결과는 쿼리-모델 쌍의 실제 역량에 대한 신뢰할 수 있는 추정치가 아니라, 단지 노이즈가 섞인 관측값만을 제공할 뿐입니다.

이러한 "점 추정(point-estimate)" 관점은 라우팅 감독 신호에 체계적인 노이즈를 도입합니다. LLM 출력은 샘플링 무작위성(출력 측 불확실성)과 프롬프트 구문에 대한 민감도(입력 측 불확실성)로 인해 변동하기 때문에, 단 하나의 샘플은 어떤 모델이 쿼리에 가장 적합한지에 대한 불안정하거나 오해의 소지가 있는 레이블을 제공할 수 있습니다. 결과적으로, 이러한 노이즈가 섞인 레이블로 학습된 라우터는 안정적인 모델 역량의 차이가 아니라 우연한 생성 노이즈를 반영하는 정책을 학습하게 되어, 실제 운영 환경에서 신뢰할 수 없는 모델 선택을 초래할 수 있습니다.

2. 방법론: DARS (분포 인식 라우팅 감독)

이러한 한계를 해결하기 위해 저자들은 고립된 샘플이 아닌 모델 행동의 분포적 관점에서 라우팅 감독을 구축하는 프레임워크인 DARS를 제안합니다. DARS는 두 가지 뚜렷한 차원에서 불확실성을 포착함으로써 작동합니다.

A. 데이터 구축

각 쿼리-모델 쌍당 하나의 응답을 생성하는 대신, DARS는 반복된 관측 세트를 구축합니다.

1. 입력 측 불확실성(Input-Side Uncertainty): 강력한 언어 모델을 사용하여 원래의 쿼리를 의미론적으로 동등한 변형들로 여러 번 재작성합니다(골드 답변과 태스크 의미를 보존함). 이는 쿼리 구성에 대한 민감도를 포착합니다.
2. 출력 측 불ç실성(Output-Side Uncertainty): 각 재작성된 쿼리에 대해 후보 모델은 여러 번의 독립적인 확률적 디코딩 실행을 수행합니다. 이는 추론 경로, 사실 관계, 최종 답변의 가변성을 포착합니다.

이 단계들을 통해 각 쿼리-모델 쌍에 대해 모든 관측값의 성능 점수와 추론 비용을 기록하는 관측 행렬(예: $N$개의 재작성 $\times$ $M$개의 디코딩 실행)이 생성됩니다.

B. 분포 기반 역량 추정

이러한 반복된 관측치로부터 DARS는 각 쿼리-모델 쌍 $(x, m)$에 대해 세 가지 핵심 역량 신호를 요약합니다.

• 기대 품질 ($\mu_q$): 모든 관측값에 대한 평균 성능 점수.
• 기대 비용 ($\mu_c$): 평균 추론 비용.
• 성능 리스크 ($\sigma_q$): 성능 점수의 표준 편차로, 입력 재작성과 확률적 디코딩 모두에 의한 총체적 가변성을 나타냅니다.

C. 리스크 인식 감독

DARS는 감독 타겟으로 사용할 리스크 인식 유틸리티 함수를 구축합니다.
$$U(x, m) = \mu_q(x, m) - \lambda \mu_c(x, m) - \beta \sigma_q(x, m)$$
여기서:

• $\lambda$는 품질과 비용의 균형을 맞춥니다.
• $\beta$는 불안정한 동작(높은 분산)에 페널티를 부여합니다.

쿼리에 대한 선호 모델은 $m^*(x) = \arg\max_{m \in \mathcal{M}} U(x, m)$로 정의됩니다. 이 유틸리티는 하드 레이블, 소프트 타겟(softmax를 통해), 또는 연속 회귀 타겟으로 사용될 수 있어 다양한 라우터 아키텍처(회귀, 분류, 랭킹, 검색 등)와 호환됩니다.

3. 주요 기여

1. 단일 샷의 한계 진단: 저자들은 결과 불안정성, 승자 반전율(winner flip rate), 분포 인식 레이블과의 불일치와 같은 진단 지표를 통해 단일 샷 감독이 불안정하며 모델 선택 결정을 직접적으로 변화시킬 수 있음을 체계적으로 분석하여 단일 샷 레이블 가설의 한계를 입증했습니다.
2. DARS 프레임워크: 신뢰할 수 있는 라우팅 레이블을 구축하기 위해 입력 측(프롬프트 재작성) 및 출력 측(확률적 디코딩) 불확실성을 모두 고려하는 분포 인식 감독 프레임워크를 도입했습니다.
3. 실증적 검증: 다양한 작업(과학적 추론, 수학적 문제 해결, 독해)과 이질적인 모델 풀에 걸친 광범ale한 실험을 통해, DARS가 단일 응답 감독에 비해 더 안정적인 라우팅 레이블을 생성하고 학습된 라우팅 정책의 성능을 향상시킨다는 것을 보여주었습니다.

4. 실험 결과

본 논문은 GPQA, MATH-500, DROP-800의 세 가지 데이터셋과 6개의 이질적인 LLM 풀을 사용하여 DARS를 평가합니다.

• 단일 샷 레이블의 불안정성: 진단 분석 결과 단일 샷 감독의 높은 불안정성이 드러났습니다. 예를 들어, GPQA에서 "승자 반전율"(샘플 간에 최적의 모델이 바뀌는 빈도)은 0.970으로, 단일 샘플은 최적의 모델을 예측하기에 부적절함을 나타냅니다.
• 성능 향상: DARS는 거의 모든 테스트된 라우터 제품군(MLP, kNN, EmbedLLM, GraphRouter, MIRT 등 포함)에서 라우팅 성능을 개선합니다. 이 이득은 특히 출력 측 불확실성이 높은 작업(예: GPQA)에서 두드러집니다.
• 절제 연구(Ablation Studies):
  • 입력 전용 및 출력 전용 변형 모두 단일 샷 베이스라인보다 우수한 성능을 보여, 두 가지 불확실성 원천 모두가 정보 가치가 있음을 확인했습니다.
  • 전체 DARS 프레임워크(두 가지 결합)가 가장 좋은 성능을 달성하여, 두 소스가 상호 보완적임을 시사했습니다.
  • 리스크 항($\sigma_q$)을 포함하는 것이 성능을 크게 향상시켰으며, 이를 제거하면 평균 점수가 낮아졌습니다.
• 샘플 효율성: 연구 결과, 적절한 수의 관측치(예: $3 \times 3$ 프로토콜)만으로도 전체 $5 \times 5$ 설정에 근접한 성능을 달낼 수 있어, 과도한 샘플링 비용 없이도 DARS가 실용적임을 시사합니다.
• 비용-품질 트레이드오프: DARS로 학습된 라우터는 단일 샷 라우터보다 우수한 파레토 프런티어(Pareto frontier)를 달성하며, 다양한 비용 제약 조건 하에서 최적의 고정 모델 베이스라인보다 종종 더 나은 성능을 보입니다.

5. 의의 및 주장

본 논문은 신뢰할 수 있는 LLM 라우팅이 단일 응답 관찰을 넘어서야 한다고 주장합니다. 쿼리 수준의 모델 역량 분포에 라우팅 감독의 근거를 둠으로써, DARS는 학습을 위한 더 견고한 신호를 제공합니다. 저자들은 이 접근 방식이 새로운 라우터 아키텍처를 요구하는 것이 아니라, 오히려 감독 신호 자체를 재고하는 것임을 강조합니다. 결과는 라우팅 레이블을 기저의 역량 분포로부터 추출된 확률적 샘플로 취급하는 것이 더 안정적이고 효과적이며 비용 효율적인 모델 선택 정책을 이끌어낸다는 것을 시사합니다.