SLMs as Multi-Agent Routers: A Progressive SFT and Reinforcement Learning Approach

기술 요약: 멀티 에이전트 라우터로서의 SLM

문제 정의
멀티 에이전트 검색 시스템에서 주어진 쿼리에 대해 최적의 특화된 에이전트를 선택하는 것은 검색 품질을 결정짓는 핵심 요소이다. 유전체학, 금융 또는 특허와 같은 특화된 에이전트는 일반적으로 범용 검색보다 더 높은 품질의 결과를 생성하지만, 올바른 에이전트를 선택하는 것은 여전히 해결되지 않은 과제로 남아 있다. 현재의 접근 방식은 모델이 쿼리의 주제나 의도를 추론하여 에이전트를 선택하는 **의도 기반 라우팅(intent-based routing)**에 의존한다. 그러나 이 방식은 근본적인 한계가 있다. 이는 오로지 쿼리의 내재적 특징에만 의존하며 실제 검색 결과(retrieval outcomes)를 관찰하지 못한다. 결과적으로, 의도 기반 시스템은 "에이전트-쿼리 불일치(agent-query mismatches)" 상황을 감지할 수 없다. 즉, 쿼리가 표면적으로는 특정 특화 에이전트의 도메인과 일치하더라도 해당 에이전트의 구체적인 전문 지식 범위를 벗어나 낮은 관련성 결과를 초래하는 상황을 포착하지 못한다. 또한, 이 선택 계층에 거대 언어 모델(LLM)을 사용하는 것은 상당한 추론 비용과 지연 시간을 발생시켜, 프로덕션 단계의 에이전트 시스템에서 병목 현상을 일으킨다.

방법론
저자들은 멀티 에이전트 라우팅을 수행하기 위해 소형 언어 모델(SLM)(구체적으로 0.6B 파라미터 규모의 Qwen3 모델)을 사용하는 점진적 학습 방식을 제안한다. 이 방법은 두 가지 뚜렷한 단계로 구성된다:

1. 지도 미세 조정(Supervised Fine-Tuning, SFT): 모델은 먼저 쿼리의 내재적 특징을 학습하기 위해 생산 로그 및 합성 생성 데이터에서 추출한 56,000개의 쿼리 데이터셋으로 학습된다. 출력값은 다음을 포함하는 구조화된 튜플(tuple) 형태이다:

   • 11개 도메인 풀에서 하나 이상의 에이전트를 선택하는 비트마스크(bitmask).
   • 추출된 핵심 키워드.
   • 추론된 시간 간격(시작/종료 날짜).
     이 단계는 쿼리 이해와 의도 분류를 위한 강력한 기초를 구축하지만, 검색 결과 피드백의 부재라는 한계를 여전히 가진다.

2. 강화 학습(Reinforcement Learning, RL): SFT 체크포인트는 다운스트림 검색 품질에 기반하여 선택 결정을 정교화하기 위해 RL(구체적으로 REINFORCE++)을 통해 추가로 미세 조정된다.

   • 프로세스: 각 쿼리에 대해 모델은 라우팅 결정과 파라미터를 생성한다. 선택된 에이전트는 검색을 실행하고, 그 결과가 평가된다.
   • 보상 함수(Reward Function): 계층적 보상 함수($R$)가 정책(policy)을 가이드하며, 두 가지 신호의 균형을 맞춘다:
     • 라우팅 품질 ($R_{src}$): 쿼리 의도, 키워드 정밀도, 날짜 정확도와의 일치도를 측정한다.
     • 콘텐츠 품질 ($R_{con}$): LLM-as-judge를 사용하여 검색된 결과의 관련성과 신뢰성을 측정한다.
   • 메커니즘: KL-발산(KL-divergence) 페널티는 정책이 SFT 체크포인트에 가깝게 유지되도록 제한하여, 파괴적 망각(catastrophic forgetting)을 방지하는 동시에, 주제적으로는 일치하지만 효과적이지 않은 에이전트로부터 쿼리를 리다이렉트(redirect)하는 법을 모델이 학습할 수 있도록 한다.

주요 기여

1. RL을 통한 검색 품질 확보: 저자들은 RL을 통해 에이전트 선택을 검색 품질 신호에 접지(grounding)시키는 것이 의도만을 고려한 베이스라인보다 우수한 결과를 낸다는 것을 입증했다.
2. 불일치 탐지: 학습된 라우터는 의도 기반 라우팅에서는 보이지 않는 에이전트-쿼리 불일치를 성공적으로 식별한다. 모델은 특화된 에이전트가 관련 콘텐츠를 검색하는 데 실패할 때, 쿼리를 더 적합한 에이전트(예: 일반 에이전트 또는 대안적인 특화 에이전트)로 리다이렉트하는 법을 배운다.
3. 효율성: 이 방식은 더 큰 LLM보다 훨씬 낮은 지연 시간과 비용으로 높은 선택 품질을 달eric한다. 이는 실시간 대규모 에이전트 시스템에 적용 가능하다.

실험 결과
시스템은 두 가지 경량 LLM 베이스라인인 Amazon Nova Lite 및 Claude Haiku 4.5와 비교 평가되었다.

• 전체 검색 품질: SLM(SFT+RL)은 평균 NDCG@10 0.771을 달성하여, Nova Lite(0.594)와 Haiku(0.552)를 능가했다.
• 라우팅 견고성 (불일치 처리): 특화 에이전트가 콘텐츠와 불일치하는 쿼리 대상 서브셋에서, SLM은 NDCG@10 0.918을 기록한 반면, Nova Lite는 0.539, Haiku는 0.490을 기록했다. 이는 의도 기반 시스템이 놓치는 라우팅 오류를 탐지하고 수정하는 모델의 능력을 강조한다.
• 지연 시간 및 비용: SLM은 평균 선택 지연 시간 120.1ms를 달성하였으며, 이는 Nova Lite(683.6ms) 대비 82.4% 감소, Haiku(2,457ms) 대비 95.1% 감소한 수치이다. P99 지연 시간은 200ms 미만(179.4ms)을 유지했다.
• 변동성: SLM은 베이스라인에 비해 더 낮은 성능 변동성($\pm0.372$)을 보였으며, 이는 다양한 쿼리 유형에 대해 더 일관된 라우팅 동작을 나타낸다.

의의 및 주장
본 논문은 에이전트 선택의 품질은 모델의 크기가 아니라 학습 신호에 의해 결정된다고 주장한다. 더 큰 LLM은 더 많은 파라미터 지식을 보유하고 있지만, 검색 결과로부터의 피드백 없이는 작업 의존적인 에이전트 적합성을 학습할 수 없다. SFT(쿼리 이해를 위함)와 RL(결과 기반 정교화를 위함)을 결합함으로써, 소형 모델이 훨씬 더 큰 모델보다 정확성과 효율성 측면 모두에서 뛰어난 성능을 낼 수 있다.

저자들은 이러한 점진적 접근 방식이 대규모 환경에서 엔드 투 엔드(end-to-end) 라우팅을 150ms 미만으로 가능하게 하여, 선택 품질과 운영 지연 시간 사이의 전통적인 트레이드오프를 제거한다고 결론짓는다. 또한 현재 연구는 고정된 11개의 에이전트 풀에 집중되어 있으나, 향후 에이전트의 명시적인 역량 표현(capability representations)에 따라 라우터를 조건화함으로써 동적인 에이전트 풀으로 확장할 수 있다고 언급했다.