기술 요약: 적은 자원으로 더 많은 것을 수행하기: 자원 최적화를 위한 대규모 언어 모델 기반 시스템의 라우팅 전략에 관한 조사

1. 문제 정의

대규모 언어 모델(LLM) 기반 시스템, 특히 대화형 에이전트는 종종 단일한 범용 LLM이 모든 사용자 질의를 처리하도록 설계된 단일적이고 정적인 아키텍처를 가집니다. 이러한 접근 방식은 다양한 수준의 추론, 도메인 지식 또는 전처리가 필요한 질의들을 처리할 때 비효요율적입니다. 범용 모델(예: GPT-4o, Claude-Sonnet)은 다양한 작업에서 우수한 성능을 보이지만, 단순한 질의에 대해 불균형적으로 높은 금융, 에너지 및 계산 비용을 발생시킵니다.

본 논문은 **라우터(router)**를 자원 소비를 최적화하기 위해 후보군 풀(pool) 내에서 가장 적합한 요소로 아이템(예: 사용자 질의)을 전달하는 구성 요소로 정의합니다. 이는 단일 모델 내의 서브 네트워크를 선택하는 내부 게이팅 메커니즘인 혼합 전문가(Mixture-of-Experts, MoE) 프레임워크와는 다릅니다. 이와 대조적으로, 외부 라우터는 LLM의 잠재적 순전파 과정과 독립적으로 작동하며, 예산 제약 조건 하에서 작동하고, 더 작은 모델, 특화된 모델, 워크플로우 또는 데이터 소스를 포함한 다양한 후보로 라우팅할 수 있습니다.

형식적으로, 라우팅 문제는 예산 제약 $B$를 준수하면서 질의 $q$와 모델 집합 $M$에 대한 점수 함수 $s$(예: 정확도)를 최대화하는 것으로 정의됩니다:
$$R_M(q) = \arg \max_{M \in M} s(q, M) \quad \text{s.t.} \quad C_M(q) \le B$$
여기서 $C_M$은 모델 $M$을 호출하는 비용(예: $/token)입니다.

2. 방법론 및 분류 체계

본 연구는 세 가지 핵심 질문을 다루는 포괄적인 조사와 분류 체계를 제공합니다:

1. 라우팅은 무엇을 최적화해야 하는가? (성능 vs. 비용)
2. 라우팅은 언제 수행되어야 하는가? (생성 전 vs. 생성 후)
3. 라우팅을 어떻게 구현해야 하는가? (알고리즘 전략)

2.1 최적화 목표

• 성능 지표: 본 조사는 정확/부분 매칭, ROUGE 점수부터 의미적 유사성 및 LLM을 이용한 자동 평가에 이르기까지 점수 함수를 최대화하는 방법들을 검토합니다. 또한 인간 검토자의 데이터를 기반으로 한 선호도 학습(예: Bradley-Terry 모델)의 사용을 언급합니다.
• 비용 지표: 금융 비용(토큰 가격) 외에도, 본 논문은 지연 시간과 환경적 비용(에너지 소비, 탄소 발자국)을 최소화하는 것을 강조하며, 더 큰 모델이 일반적으로 더 많은 부동 소수점 연산과 에너지를 필요로 한다는 점을 지적합니다.

2.2 라우팅 시점

• 생성 전 라우팅 (Pre-generation Routing): 어떤 모델도 응답을 생성하기 전에 결정이 내려집니다. 이는 지연 시간을 최소화합니다. 전략으로는 질의의 도메인을 추론하거나 복잡성을 추정하여 적절한 모델로 라우팅하는 것이 포함됩니다.
• 생성 후 (캐스케이드) 라우팅 (Post-generation/Cascade Routing): 모델이 응답을 생성한 후에 결정이 내려집니다. 출력이 부적절하다고 판단되면, 더 크거나 다른 모델로 질의가 라우팅됩니다. 이는 유연하지만(예: 다중 선택 캐스케이드), 질의당 여러 번의 생성을 수반하므로 더 높은 지연 시간과 비용이 발생합니다.

2.3 구현 전략

본 논문은 구현 전략을 네 가지 주요 그룹으로 분류합니다:

A. 유사도 기반 라우팅 (Similarity-based Routing)

과거 상호작용과의 의미적 유사성을 기반으로 질의를 라우팅하기 위해 비지도 또는 약지도 신호를 사용합니다.

• 질의 유사도 (Query Similarity): 질의 임베딩 간의 코사인 유사도를 계산합니다 (예: 1-최근접 이웃). 가볍지만, 복잡한 질의와 일반화 문제에서 어려움을 겪는 경우가 많습니다.
• 클러스터링 (Clustering): 질의를 의미적 클러스터(예: k-means)로 그룹화하고 클러스터별 과거 성능에 따라 라우팅합니다. 일부 접근 방식(예: Jitkrittum 등)은 전체 시스템을 재학습하지 않고도 새로운 모델을 동적으로 추가할 수 있게 합니다.
• 선호도 유사도 (Preference Similarity): 인간의 선호도 데이터(예: Chatbot Arena)를 사용하여 특정 질의에 대해 사용자가 어떤 모델을 선로할지 예측하며, 주로 Bradley-Terry 또는 ELO 기반 알고리즘을 사용합니다.

B. 지도 학습 기반 라우팅 (Supervised Routing)

성능 프로필이 확립된 후 라우팅을 분류 또는 회귀 작업으로 취급합니다.

• 추천 시스템 (Recommendation Systems): 행렬 분해를 사용하여 잠재 특징을 추론하고 모델과 질의 사이의 사용자 선호도를 예측합니다.
• 도메인 분류 (Domain Classification): 광범위한 카테고리(예: 수학, 의학)에 따라 질의를 특화된 모델로 라우팅합니다. 효과적이지만, 정의된 카테고리에 부합하지 않는 질의에는 취약합니다.
• 질의 복잡도 추론 (Query Complexity Inference): 질의를 난이도 수준별로 분류합니다. 이는 종종 도메인 기반 라우팅보다 우수한 성능을 보이지만, 분포 외(out-of-distribution) 데이터셋에서는 문제가 발생할 수 있습니다. 접근 방식으로는 모델 크기 간의 성능 차이를 통해 복잡도를 추론하거나, 회귀를 통해 비용-품질 점수를 예측하는 방법이 있습니다.
• 지식 그래프 (Knowledge Graphs): 유도적 그래프 프레임워크(예: GraphRouter)를 사용하여 작업, 질의, 모델 간의 맥ual적 관계를 학습함으로써, 재학습 없이 새로운 모델에 대한 일반화 능력을 향상시킵니다.
• 응답 확신도 추론 (Answer Confidence Inference): 생성된 답변이 정답일 확률을 추정하여(예: FrugalGPT), 더 큰 모델으로 격상(escalate)할지 여부를 결정합니다.

C. 강화 학습 (RL) 기반 라우팅

라우팅을 환경 피드백으로부터 학습하는 순차적 의사결정 문제로 프레이밍합니다.

• 상태 비저장 알고리즘 (Stateless Algorithms): 복잡한 상태를 유지하지 않고 보상을 행동에 직접 매핑합니다 (예: Stochastic Learning Automata, Q-learning). 자원은 적게 들지만 변화하는 문맥에 대응하기 어렵습니다.
• 상태 기반 알고리즘 (State-based Algorithms): 문맥 정보를 포함하여(예: Contextual Multi-Armed Bandits) 특정 상황에서 어떤 모델이 가장 잘 작동하는지 결정합니다.
• 보상 기반 추론 (Reward-based Inference): 별도의 보상 모델(지식 증류를 통해 학습됨)을 사용하여 어떤 LLM이 가장 잘 수행할지 예측함으로써, 직접적인 상호작용 학습을 피합니다.

D. 생성형 라우팅 (Generative Routing)

라우팅 결정을 내리기 위해 LLM 자체의 능력을 활용합니다.

• 토큰/시퀀스 확률 (Token/Sequence Probability): 출력 불확실성(예: 상위 토큰 확률 간의 마진)을 측정하여 더 큰 모델이 필요한지 결정합니다.
• 프롬프트 기반 라우팅 (Prompt-based Routing): LLM을 사용하여 질의를 분류하거나 "언어화된 확신(verbalized confidence)"을 표현합니다 (생성 전 또는 생성 후). 접근하기 쉽지만, LLM은 종종 과잉 확신(overconfidence) 문제를 겪습니다.
• LLM 미세 조정 (LLM Fine-tuning): 라우팅 작업(예: 도메인 분류, 복잡도 점수 산정 또는 API 호출 생성)을 위해 모델을 구체적으로 미세 조정합니다.
• 반복 호출 (Repeated Calls): 일관성을 평가하기 위해 여러 응답을 생성합니다. 일관성이 낮으면 더 큰 모델로 라우팅을 트리거합니다.
• 코드 실행 (Code Execution): 코드 생성 작업에서 성공적인 코드 실행을 명확한 확신 신호로 사용하여 라우팅합니다.

3. 주요 결과 및 발견

• 효율성 vs. 성능: 본 조사는 라우팅이 최고의 단독 모델과 유사한 정확도를 유지하면서도 비용을 크게 절감(일부 사례에서 최대 98%)할 수 있음을 보여줍니다. 그러나 전략의 효과는 후보 모델 간의 상보성(complementarity)에 크게 의존합니다.
• 전략적 트레이드오프:
  • 유사도 기반 방법은 가볍지만 복잡하거나 분포 외 작업에서는 실패하는 경우가 많습니다.
  • 지도 학습 기반 방법은 일반적으로 더 높은 정확도를 제공하지만 레이블이 지정된 데이터가 필요하며 새로운 모델에 대해 재학습이 필요할 수 있습니다.
  • 생성형 방법(프롬프트 기반 등)은 유연하지만 자원 집약적이거나 모델의 과잉 확신으로 인해 신뢰도가 낮을 수 있습니다.
  • RL 기반 방법은 적응성을 제공하지만 훈련 및 상태 관리에 복잡성을 도입합니다.
• 일반화 (Generalization): 많은 전이 학습(transductive learning) 접근 방식이 재학습 없이 새로운 라우팅 후보로 일반화하지 못한다는 점이 반복되는 과제로 나타납니다. 유도적(inductive) 접근 방식(예: GraphRouter, 클러스터링 기반 성능 벡터)은 이를 해결하는 데 유망한 모습을 보입니다.
• 벤치마킹: 본 논문은 표준화된 평가가 부족하며 많은 연구가 비표준 벤치마크를 사용하고 있다고 지적합니다. RouterBench 및 MixInstruct와 같은 신흥 벤치마크를 강조합니다.

4. 한계 및 과제

본 논문은 현재 분야의 몇 가지 중요한 한계를 식별합니다:

• 비용 정의: 대부분의 연구는 금융 비용에만 집중하며, 계산 및 환경적 영향을 간과합니다.
• 표준화: 라우팅 전략을 평가하기 위한 표준화된 프레임워크가 부족하여 객관적인 비교가 어렵습니다.
• 후보 다양성: 라우팅 성능은 후보 풀의 상보성에 크게 의존합니다. 중복된 모델(예: 동일한 크기, 일반적 훈련)은 제한적인 이득만을 제공합니다.
• 정적 아키텍처: 대부분의 시스템은 정적입니다. 새로운 모델이나 워크플로우를 추가하려면 일반적으로 전체 라우팅 인프라를 재학습해야 하므로, 동적인 환경에서의 확장성을 저해합니다.
• 과잉 확신: 언어화된 확신에 의존하는 생성형 라우팅 방법은 LLM의 과잉 확신 문제로 인해 하위 최적(suboptimal)의 결정을 내릴 수 있습니다.

5. 의의 및 향후 방향

본 조사는 라우팅을 성능-비용 최적화 문제로 공식화하고 포괄적인 개요를 제공하는 것을 목표로 합니다. 그 의의는 다음과 같습니다:

• 분류 체계: 라우팅 전략(생성 전/후, 유사도/지도/RL/생성형)에 대한 구조화된 분류를 제공합니다.
• 산업적 전이: 많은 기업이 여전히 단순한 조건부 또는 프롬프트 기반 라우팅을 사용하는 연구와 산업 간의 격차를 강조합니다. 본 논문은 연구 기반의 경량화된 전략을 산업 현장에 적용할 것을 권장합니다.
• 향후 연구: 저자들은 다음을 촉구합니다:
  • 최적화 목표에 계산 및 환경적 비용을 포함할 것.
  • 평가를 위한 표준화된 베이스라인(무작위, 오라클, 최적 단독 모델)을 수립할 것.
  • 재학습 없이 새로운 구성 요소로 일반화할 수 있는 자율적이고 적응적인 라우팅 전략을 개발하여, 라우터를 시스템 내의 동적인 에이전트로 취급할 것.
  • 라우팅을 생성 단계를 넘어 임베딩 선택, 검색 전략 및 파이프라인 설계까지 확장할 것.

본 논문은 라우팅이 LLM 기반 시스템의 효율성을 개선하여, 성능을 희생하지 않으면서도 적응형의 저비용 시스템을 개발할 수 있는 실질적인 경로를 제공한다고 결론짓습니다.