기술 요약: Brick - Mixture-of-Models (MoM) 패러다임을 위한 공간적 역량 라우팅

1. 문제 정의

본 논문은 추론 시점에 이질적인 대규모 언어 모델(LLM) 풀(pool) 사이에서 쿼리를 효율적으로 라우팅하는 과제를 다룹니다. 핵심적인 어려움은 "난이도"를 경험적으로 정의하는 데 있습니다. 쿼리의 복잡성은 토큰 수나 도메인 레이블과 같은 표면적 특징에 의해 결정되는 것이 아니라, 특정 작업의 구체적인 역량 요구사항과 모델의 강점 및 약점 사이의 관계에 의해 결정됩니다.

기존의 라우팅 전략은 표면적 라우팅(도메인 기반 또는 길이/키워드 기반)에 의존하며, 이는 도메인 내 변동성을 포착하지 못합니다. 예를 들어, 짧은 쿼리는 프런티어 모델을 필요로 하는 미해결 문제를 겨냥할 수 있는 반면, 긴 보일러플레이트 프롬프트는 작은 오픈 웨이트 모델로도 해결 가능한 사소한 작업을 감싸고 있을 수 있습니다. 이는 다음과 같은 두 가지 비효율성을 초래합니다:

1. 비용 비효율성: 쉬운 쿼리를 값비싼 프런티어 모델(예: Kimi 2.6)에 할당하는 것은 예산을 낭비하는 일입니다. 로컬 오픈 웨이트 모델(예: Qwen 3.5-9B)로도 충분한 경우가 많기 때문입니다.
2. 지연 시간 및 정확도 트레이드오프: (가장 저렴한 모델부터 가장 비싼 모델까지 탐색하는) 캐스케이드(Cascade) 라우팅은 단일 사용자 요청이 여러 번의 LLM 호출을 트리거하는 에이전트 워크플로에서 상당한 오버헤드를 발생시키며, "저렴한" 시도의 실패로 인한 비용을 누적시킵니다.

목표는 표면적 휴리스틱에 의존하지 않고, 정답을 맞힐 수 있는 가장 저렴한 모델로 각 쿼리를 배정하여 비용, 지연 시간, 정확도의 균형을 맞추는 것입니다.

2. 방법론: Brick 라우터

저자들은 Mixture-of-Models (MoM) 패러다임 내에서 작동하는 멀티모달 라우터인 Brick을 제안합니다. 단일 모델 내의 서브 네트워크를 활성화하는 Mixture of Experts (MoE)와 달리, MoM은 전체 쿼리를 별개의 독립적인 사전 학습된 모델들로 배정합니다.

2.1 MoM 패러다임

Brick은 세 가지 이질적인 모델로 구성된 풀을 활용합니다:

• Qwen3.5-9B: 최첨단 오픈 웨이트 모델 (<10B 파라미터).
• DeepSeek-V4-Flash: 최첨단 오픈 웨이트 모델 (<500B 파라미터).
• Kimi2.6: 프런티어 오픈 소스 경쟁 모델.

이 풀은 서로 다른 가격대(호출당 약 ~$0.001에서 ~$0.03)와 역량 프로필을 포괄하며, 이를 통해 라우터는 역량 상보성(예: 한 모델이 거절하는 쿼리를 다른 모델이 해결함)을 활용할 수 있습니다.

2.2 6차원 역량 공간

Brick은 라우팅을 6차원 역량 공간에서의 기하학적 결정으로 프레임화합니다. 차원은 다음과 같습니다:

1. 코딩 (Coding)
2. 창의적 합성 (Creative Synthesis)
3. 지시 이행 (Instruction Following)
4. 수학적 추론 (Math Reasoning)
5. 계획/에이전트 기능 (Planning/Agentic)
6. 세상 지식 (World Knowledge)

파이프라인:

1. 역량 추정: 미세 조정된 ModernBERT 분류기가 쿼리를 6개 차원에 대한 확률 벡터 $p(x)$로 매핑합니다.
2. 복잡도 추정: 별도의 분류기가 "쉬움/중간/어려움" 앵커로부터 혼합된 난이도 점수 $\tau_q$를 추정합니다.
3. 스킬 매트릭스 캘리브레이션: 라벨링된 데이터셋으로부터 도출된, 각 모델 $m$의 각 역량 $c$에 대한 경험적 성공률($s_{m,c}$)을 저장하는 오프라인 캘리브레이션 스킬 매트릭스 $S$.
4. 기하학적 라우팅 수학:
   • 요구사항: 쿼리의 요구사항 벡터 $r_{q,c}$는 $p(x)$와 난이도 로짓 $z_q$로부터 유도됩니다.
   • 용량: 모델의 용량 벡터 $v_{m,c}$는 $p(x)$와 모델의 스킬 로짓 $\text{logit}(s_{m,c})$로부터 유도됩니다.
   • 잔차(Residuals): 라우터는 비대칭 잔차인 역량 부족($u$, 모델이 너무 약함)과 과잉 용량($o$, 모델이 과함)을 계산합니다.
   • 스코어링: 총 점수 $J_m$은 잔차의 가중 유클리드 거리와 비용 페널티의 합으로 계산됩니다:
     $$J_m = \sqrt{\sum_c (u_{m,c}^2 + \lambda o_{m,c}^2)} + \beta a_m$$
     여기서 $a_m$은 정규화된 비용이며, $\lambda$는 과잉 용량을 페널티하고, $\beta$는 비용-품질 트레이드오프를 제어합니다.
5. 결정: 최소 $J_m$을 가진 모델이 선택됩니다.

2.3 선호도 노브 ($r$)

Brick은 운영자가 "최대 품질"과 "최대 절감" 프로필 사이를 슬라이드할 수 있게 해주는 연속적인 선호도 노브 $r \in [-1, 1]$를 도입합니다. 이 노브는 캘리브레이션된 멱법칙(power law)을 통해 네 가지 라우팅 스칼라($\mu, b, \beta, \lambda$)를 조절하며, 비용-품질 트레이드오프를 코드 변경 없이 배포 시점에 조절 가능한 파라미터로 전환합니다.

3. 주요 기여

1. MoM 공식화: 본 논문은 이질적인 풀 사이의 전체 모델 라우팅을 MoM 패러다임으로 프레임화하여, 이것이 최상의 단일 모델과 이론적인 3모델 오라클(oracle) 사이의 달성 가능한 헤드룸 중 24%를 회복함을 입증했습니다.
2. 표면적 라우팅 거부: 도메인 기반 및 길이/키워드 기반 라우팅이 도메인 내 난이도를 포착하지 못하며, 단순한 "항상-Kimi" 베이스라인보다 성능이 떨어진다는 것을 경험적으로 보여줍니다.
3. Brick 라우터: 명시적인 역량 벡터 표현과 사용자 인터페이스용 선호도 노브를 갖춘 캘리브레이션된 MoM 라우터입니다.
4. 에이전트 효율성: 본 논문은 순수 단일 단계 라우팅(Brick과 같은)이 캐스케이드 라우팅보다 에이전트 워크로드에 구조적으로 우월하다고 주장합니다. 이는 에이전트 궤적의 매 단계마다 거절된 캐스케이드 단계의 비용이 누적되는 것을 방지하기 때문입니다.

4. 실험 결과

데이터셋 A (6개 역량 차원에 걸친 5,504개 쿼리)에 대해 평가:

• 정확도 vs. 비용:

  • 최대 품질 프로필 ($r=+1$): Brick은 **76.98%**의 정확도를 달성하여 최상의 단일 모델(Kimi 2.6, 75.02%) 및 모든 외부 라우터(RouteLLM, FrugalGPT, Cascade Routing)를 능가했습니다. 동시에 28% 낮은 비용($0.022 vs $0.031 per call)으로 이를 수행했습니다.
  • 중립 프로필 ($r=0$): **74.11%**의 정확도를 달면서 항상-Kimi 대비 4.71배 낮은 비용을 달성했습니다. 정확도 손실은 단 0.91%p에 불과하며, 유사한 비용에서 Cascade Routing보다 +0.71 pp 더 높은 성능을 보였습니다.
  • 낮은 프로파일 ($r=-0.5$): **71.62%**의 정확도를 달성하여, 유사한 비용에서 FrugalGPT(69.42%)를 +2.20 pp 앞섰습니다.
  • 최소 비용 프로필 ($r=-1$): 가장 저렴한 모델(Qwen)의 정확도인 63.17%와 일치하지만, 항상-Kimi 대비 22.15배 낮은 비용을 기록했습니다.

• 지연 시간:

  • Brick(최대 프로필)의 중앙값 엔드 투 엔드 지연 시간은 항상-Kimi의 51.2s에서 22.8s로 감소했습니다. 이는 Brick이 최대 품질 설정에서도 쿼리의 약 31%를 더 빠른 DeepSeek-V4-Flash 모델로 라우팅하기 때문입니다.

• 오라클 경계 (Oracle Bound):

  • 이론적 천장(3모델 오라클)은 **83.25%**입니다. Brick은 최상의 단일 모델과 이 오라클 사이의 간극 중 상당 부분을 포착하지만, 현재의 역량 특징으로는 추출되지 않는 6.27 pp의 잔여 간극이 존재합니다.

5. 의의 및 주장

본 논문은 Brick이 MoM 패러다임의 실행 가능성을 입증한다고 주장합니다. 그 의의는 다음과 같습니다:

• 경험적 검증: 캘리브레이션된 역량 공간에 기반한 라우팅이 휴리스틱 라우팅 및 단일 모델 베이스라인보다 우수함을 증명했습니다.
• 운영적 유연성: 운영자가 재학습이나 코드 변경 없이 비용-품질 트레이드오프를 조정할 수 있는 연속적인 노브를 제공합니다.
• 에이전트 확장성: 순수 라우팅이 캐스케이드 라우팅에 내재된 선형적 비용 및 지연 시간 페널티를 피함으로써 에이전트 워크로드에 효율적으로 확장할 수 있는 유일한 설계임을 확립했습니다.
• 상보성: 모델 풀이 상보적인 에러 세트(예: "정직한 거절" vs. 환각 처리)를 제공하며, 역량 인지형 라우터가 이를 활용하여 전체 시스템 신뢰도를 높일 수 있음을 강조합니다.

저자들은 현재의 라우터가 추출하지 못한 정보가 현재의 역량 특징에 남아 있다는 점을 인정하며, 향에 대한 연구가 희소한 풀(sparse pools)을 위한 베이지안 평활화(Bayesian smoothing) 및 도메인 조건부 복잡도 추정에 집중해야 한다고 겸허히 밝히며 마무리했습니다.