기술 요약: 다중 LLM 라우팅의 미해결 한계

문제 제기

다중 LLM 시스템에서의 효율적인 라우팅은 쿼리를 해결할 수 있는 가장 비용 효율적인 모델로 전달하여 비용, 지연 시간, 품질을 균형 있게 조정하는 것을 목표로 합니다. 이 분야를 이끄는 핵심 가정은 회복 가능한 "미해결 한계 (unsolvability ceiling)"의 존재입니다. 이는 더 저렴한 모델이 해결할 수 없지만 더 크고 능력이 뛰어난 모델이 해결할 수 있는 비자명한 비율의 쿼리를 의미합니다. 그러나 이 여력에 대한 기존 추정치는 실제 모델의 한계와 체계적 인공물 (artifacts) 을 혼동할 수 있는 평가 지표에 크게 의존합니다. 본 논문은 보고된 라우팅 여력이 근본적인 모델 능력을 반영하는 것인지, 아니면 평가 인공물에 의해 과장된 것인지를 조사하며, 특히 "LLM-as-a-judge" 점수 평가와 고정 예산 추론 프로토콜의 신뢰성에 초점을 맞춥니다.

방법론

저자들은 6 개의 다양한 벤치마크(MMLU, MedQA, HumanEval, MBPP, Alpaca, ShareGPT) 와 Gemma 4 계열의 4 개의 추론 티어(E2B, E4B, 26B-A4B, 31B) 를 대상으로 206,756 개의 쿼리 - 모델 쌍을 포함한 대규모 실증 연구를 수행했습니다. 연구는 탐욕적 디코딩과 사고 모드 비활성화를 적용한 자체 호스팅 H100 인프라를 활용했습니다.

핵심 방법론적 혁신은 이중 판사 검증 프레임워크와 인공물 분해 프레임워크의 결합입니다:

1. 이중 판사 검증: 검증 가능한 골드 라벨이 있는 벤치마크 (MMLU, MedQA) 에 대해 저자들은 주 LLM 판사 (Gemma 4-26B-A4B) 의 점수를 정확 일치 (Exact-Match, EM) 정확도와 비교했습니다. 이를 통해 실제 모델 실패와 평가 불일치를 구분할 수 있었습니다.
2. 인공물 분해: LLM 판사와 정확 일치 간에 불일치가 발생하는 사례를 세 가지 특정 인공물 유형으로 분류했습니다:
   • 평가 불일치 (Evaluation Misalignment): 판사가 최종 답변의 정확성보다 유창성/추론을 (또는 그 반대로) 보상하는 체계적 편차.
   • 잘림 (Truncation): 고정 토큰 예산으로 인해 응답이 잘려 낮은 점수와 파싱 실패를 초래하는 경우.
   • 출력 형식 불일치 (Output Format Mismatch): 모델이 추출 불가능한 형식으로 정확한 답변을 제공하여 발생하는 파싱 실패.
3. 라우터 훈련 및 통제 실험: 저자들은 판사 점수에서 파생된 오라클 라벨을 기반으로 세 가지 라우터 변형 (로지스틱 회귀, MLP, DistilBERT) 을 훈련했습니다. 라우팅 모델 붕괴의 원인을 분리하기 위해 무작위 특징 (random-feature) 및 순서 뒤섞인 라벨 (shuffled-label) 통제를 적용했습니다.
4. 크로스 패밀리 검증: 연구 결과의 보편성을 테스트하기 위해 Llama 3.1 모델 (8B 및 70B) 과 DeepSeek-Chat 을 통해 쿼리 부분 집합을 실행했습니다.

주요 기여

1. 인공물 분해 프레임워크: 평가 불일치, 잘림, 형식 불일치라는 세 가지 과장된 미해결 원인을 식별하고 정량화하는 체계적 방법.
2. 이중 판사 검증 방법론: 평가 인공물을 진단하기 위해 LLM-as-a-judge 와 정확 일치 기반을 결합한 프로토콜.
3. 크로스 패밀리 한계 분석: 지식 작업에서는 미해결 한계가 모델 패밀리별로 다르지만, 대화 작업에서는 거의 보편적임을 보여주는 증거.
4. 라우팅 붕괴 특성화: 불균형한 오라클 라벨로 훈련된 표준 라우터가 다수 클래스 예측으로 붕괴한다는 증명이며, 통제 실험을 통해 원인이 확인되었습니다.
5. 실행 가능한 권장 사항: 이중 판사 검증과 비용 민감적 목적 함수를 포함한 견고한 평가 및 훈련 프로토콜.

주요 결과

1. 평가 인공물이 미해결성을 과장

연구는 보고된 "해결 불가" 쿼리의 상당 부분이 모델 한계가 아닌 인공물에서 비롯됨을 발견했습니다:

• 평가 불일치: MMLU 에서 LLM 판사는 정확 일치에 비해 10~24% 포인트 (pp) 낮게 (2 점 미만 점수 부여) 올바른 답변을 체계적으로 과소평가했습니다. 특히 더 큰 모델에서 두드러졌습니다. 반면 MedQA 에서는 판사가 최종 답변 글자가 틀렸더라도 의학 논문을 보상하며 대형 모델을 5~6 pp 과대평가했습니다.
• 잘림: 고정 생성 예산으로 인해 높은 잘림률 (MMLU 65%, MedQA 57%) 이 발생하여 미해결성을 인위적으로 부풀렸습니다.
• 형식 불일치: MMLU 에서 파싱 실패는 5.4% 에서 12.4% 사이였으며, 이는 더 작은 티어에 불균형적으로 영향을 미쳐 측정된 품질 기울기를 압축했습니다.

2. 수정된 라우팅 이득

이러한 인공물을 보정할 때 추정된 라우팅 여력은 크게 변합니다:

• MMLU: 정확 일치로 검증된 라우팅 이득 (E2B 에서 31B 로) 은 28.9 pp였으며, 이는 판사가 보고한 15.9 pp 이득보다 13 pp 더 큽니다.
• MedQA: 정확 일치로 검증된 이득은 40.4 pp였으며, 이는 판사가 보고한 50.7 pp 이득보다 10.3 pp 더 작습니다.
• 기회 비용: 이러한 왜곡의 합산은 지식 집약적 벤치마크 전반에 걸쳐 라우팅 성능에서 13~17 pp 의 기회 비용을 초래합니다.

3. 라우팅 붕괴

판사에서 파생된 오라클 라벨로 훈련된 라우터는 심각한 라우팅 붕괴를 보였습니다:

• 세 가지 라우터 변형 모두 쿼리의 약 79.3% 에서 다수 클래스 (E2B) 를 예측하도록 붕괴하여 상위 티어에 대한 재현율 (recall) 이 거의 0 이 되었습니다.
• 통제 실험: 무작위 특징 및 순서 뒤섞인 라벨 통제가 이 붕괴를 정확히 재현하여, 특징의 질이나 훈련 실패가 아닌 라벨 주변 불균형 (label marginal imbalance) 에 의해 전적으로 주도됨을 확인했습니다.
• 분포 이동: 인-분포 (Alpaca) 에서 아웃-분포 (MedQA) 데이터로 이동할 때 라우터 정확도는 39.5 pp 하락했습니다.

4. 모델 패밀리 특이성

• 지식 작업: 미해결 한계는 모델 패밀리별로 다릅니다. Llama-3.1-70B 는 MMLU 에서 81.0% 를 달성하여 Gemma-4-31B 의 판사 기반 점수 (58.3%) 를 크게 능가했으며, 이는 "한계"가 절대적이지 않고 모델 세트에 의존함을 시사합니다.
• 코드 작업: 한계는 거의 보편적입니다. Gemma-4 와 Llama-3.1 모두 HumanEval 과 MBPP 에서 약 98.8% 를 달성했습니다.
• 대화 작업: 해결 불가 쿼리는 쿼리 수준이며 패밀리와 무관하여, 모든 모델이 47~59% 의 성공률 주변에 군집합니다.

중요성 및 주장

본 논문은 평가 인공물로 인해 기존 라우팅 여력 추정이 상당히 과장되었다고 주장합니다. "미해결 한계"는 문제 공간의 고정된 속성이 아니라 다음과 같은 요인에 의해 크게 왜곡됩니다:

1. 지표 불일치: LLM 판사는 정확 일치와 다르게 "정확성"을 운영화합니다 (예: 최종 답변보다 추론을 우선시). 이로 인해 라벨이 잘못 지정된 오라클 데이터가 발생합니다.
2. 인프라 제약: 고정 토큰 예산과 파싱 실패는 더 작은 모델의 성능을 인위적으로 억제합니다.

저자들은 라우팅 오라클 구축에 LLM-as-a-judge 만 의존하는 것이 (MMLU 에서) 더 큰 모델의 혜택을 받는 쿼리에 대한 체계적 과소 라벨링을 초래하거나 (MedQA 에서) 라우팅 가치를 과대평가한다고 주장합니다. 그 결과 라우터는 실제 난이도 분포를 학습하지 못하고 가장 저렴한 모델로 붕괴하여 상당한 기회 비용을 초래합니다.

본 논문은 신뢰할 수 있는 다중 LLM 라우팅을 위해서는 이중 판사 검증, 골드 라벨이 존재하는 경우의 정확 일치 고정, 잘림 인지 예산, 그리고 라벨 불균형을 완화하기 위한 비용 민감적 훈련 목적 함수가 필요하다고 결론지었습니다. 이러한 프로토콜은 보고된 이득이 평가 파이프라인의 인공물이 아닌 실제 것임을 보장하기 위해 라우팅 시스템을 평가하고 훈련하는 최소 기준으로 제시됩니다.