기술 요약: 엔터프라이즈 에이전트 라우팅의 스케일링

문제 정의

LLM(대규모 언어 모델) 어시스턴트가 오케스트레이션 레이어로 진화함에 따라, 사용자 요청을 점점 더 다양해지는 전문화된 도구 및 에이전트 라이브러리로 라우팅하게 됩니다. OpenAI나 Anthropic 같은 플랫폼들이 네임스페이스 기반 검색, BM25 검색 등의 메커니즘을 도입하여 이러한 성장을 관리하려 하고 있으나, 카탈로그가 확장됨에 따라 발생하는 성능 저하의 구체적인 메커니즘은 여전히 충분히 규명되지 않았습니다.

본 논문은 다음과 같은 핵심 질문을 다룹니다: 에이전트 카탈로그가 관리 가능한 크기에서 엔터프라이즈 규모의 라이브러리로 확장됨에 따라, 단일 단계(single-step) 라우팅 정확도는 어떻게 저하되는가? 저자들은 기능적으로 유사한 도구들(예: 여러 종류의 이메일 클라이언트, 글쓰기 보조 도구, 프로젝트 트래커 등)이 존재하여 라우팅 모호성을 유발하는 "밀집된 의미적 중첩(dense semantic overlap)"이 특징인 프로덕션 환경에 초점을 맞춥니다. 이는 API 중심의 벤치마크에서는 흔치 않은 시나리오입니다.

방법론

실험 설정

본 연구는 110개의 에이전트와 584개의 개별 도구로 구성된 실제 배포된 엔터프라이즈 생산성 카탈로그를 활용합니다. 평가는 10개에서 110개의 에이전트(51개에서 584개의 도구)까지의 스케일 지점에 걸쳐 수행됩니다.

• 모델: 세 가지 프런티어 모델이 평가되었습니다: GPT-5.1, GPT-5.4 (OpenAI), 그리고 Claude Sonnet 4.5 (Anthropic).
• 데이터:
  • 합성 쿼리(Synthetic Queries): GPT-4o에 의해 생성된 4,105개의 쿼리로, 명시적(도구 이름을 언급) 및 암시적(필요한 기능을 설명) 유형으로 분류되었습니다. 본 연구는 주로 실제 프로덕션 트래픽을 대변하는 암시적 쿼리에 집중합니다.
  • 프로덕션 쿼리(Production Queries): 라이브 트래픽에서 샘플링된 1,435개의 인간 주석 기반 발화로, 의미적 중첩을 고려하여 동적 정답(ground truth)을 확립하기 위해 세 명의 언어학자가 주석을 달았습니다.
• 지표: 특정 스케일 폴드(scale fold) 내에 존재하는 타겟 도구 및 기타 유효한 도구들을 대상으로 계산된 멀티 레이블 정밀도(precision), 재현율(recall), F1 점수.

진단 프레임워크

저자들은 라우팅 실패를 두 가지 별개의 격차로 분해하기 위해 **오라클 분석(Oracle Analysis)**을 사용합니다.

1. 검색 격차(Retrieval Gap): 전체 카탈로그에서 올바른 도구를 찾아내지 못해 발생하는 성능 손실.
2. 혼란 격차(Confusion Gap): 올바른 도구가 반드시 포함되어 있음에도 불구하고 지속되는 성능 손실 (카탈로그가 커짐에 따라 "오라클 천장(oracle ceiling)"이 낮아지는 현상).

개입(Interventions)

본 연구는 주요 개입 방안으로 **임베딩 기반 숏리스트(embedding-based shortlisting)**를 평가합니다. 이는 밀집 리트리버(text-embedding-3-large)를 사용하여 전체 카탈로그에서 $k=20$개의 도구로 후보군을 사전 필터링한 후, LLM 라우터가 최종 결정을 내리도록 하는 방식입니다. 이는 다음 방식들과 비교됩니다:

• 플랫 라우팅(flat routing, 숏리스트 없음).
• 플랫폼 네이티브 도구 검색(OpenAI의 네임스페이스 검색).
• 팩 레벨 접근 방식(계층적 라우팅, 팩 레벨 임베딩).
• 미세 조정된 리트리버(ToolRet-e5).
• 렉시컬 검색(BM25).

주요 결과

1. 스케일링에 따른 저하

카탈로그가 확장됨에 따라 라우팅 정확도가 현저히 저하됩니다.

• F1 저하: 암시적 쿼리에 대해, 카탈로그가 51개에서 584개로 증가함에 따라 모든 모델에서 F1 점수가 16–23 퍼센트 포인트 하락합니다.
• 재현율 주도: 이러한 저하는 주로 **재현율(recall)**의 붕괴(약 55%에서 약 37%로 하락)에 의해 발생하며, 정밀도(precision)의 하락은 상대적으로 완만합니다. 모델은 잘못된 도구를 선택하기보다는 유효한 도구를 놓치는 경향이 커집니다.
• 오라클 천장: 완벽한 검색(오라클 숏리스트)이 보장되더라도, F1 천장은 10 퍼센트 포인트 하락합니다 (79%에서 69%로). 이는 모델이 의미적으로 유사한 도구들이 함께 제시될 때 이를 구분하는 데 어려움을 겪는 혼란 격차가 존재함을 보여줍니다.

2. 숏리스트 방식의 효과성

임베딩 기반 숏리스트($k=20$)는 손실된 성능의 상당 부분을 성공적으로 회복합니다.

• 회복: 숏리스트 방식은 세 모델과 두 제공업체 모두에서 전체 스케일 기준 F1을 +10–11 퍼센트 포인트 회복합니다.
• 프로덕션 검증: 실제 인간 주석 트래픽에 대한 회복 효과는 더욱 두드러져, 절대적인 베이스라인 성능이 합성 데이터보다 10–15포인트 낮음에도 불구하고 +10에서 +17 퍼센트 포인트에 달합니다.
• 오류 감소: 숏리스트 방식은 전체 스케일에서 라우팅 누락을 31%에서 10%로 줄입니다. 이때의 트레이드오프는 안정적인 9%의 숏리스트 미스율(올바른 도구가 상위 20개에 포함되지 않는 경우)입니다.

3. 비교 성능

• 도구 레벨 vs 팩 레벨: 도구 레벨 검색이 팩 레벨 접근 방식(계층적 라우팅, 팩 레벨 임베딩)보다 일관되게 2–4 퍼센트 포인트 높은 성능을 보입니다. 팩 레벨 방식은 무관한 형제 도구들로 인해 후보 집합이 희석되는 경우가 많습니다.
• 밀집(Dense) vs 렉시컬(Lexical): 밀집 임베딩 검색(F1 52.5%)은 렉시컬 매칭(BM25, F1 32.8%) 및 API 중심 데이터로 학습된 미세 조정 리트리버(48.7% F1)보다 성능이 월등히 높습니다. BM25는 엔터프라이즈 도구들이 높은 어휘적 중첩을 공유하기 때문에 실패합니다.
• 모델 일관성: 강력한 모델(예: GPT-5.4, Sonnet)이 더 높은 베이스라인을 제공하지만, 동일한 저하 곡선을 따릅니다. 숏리스트 방식은 기본 모델의 성능과 관계없이 일관된 델타 개선을 제공합니다.

의의 및 주장

본 논문은 에이전트 라우팅의 "스케일링 법칙"에 대한 통제되고 프로덕션에 근거한 진단을 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 실패의 분해: 검색 오류(모델이 도구를 찾지 못함)와 혼란 오류(모델이 유사한 도구 사이에서 선택하지 못함)를 구분합니다. 이는 더 나은 검색이 대부분의 스케일링 문제를 해결할 수 있지만, 검색만으로는 해결할 수 없는 근본적인 혼란 격차가 존재함을 명확히 합니다.
2. 숏리스트 방식의 검증: 임베딩 기반 숏리스트가 F1을 약 10–17pp 회복하는 매우 효과적이고 확장 가능한 개입책임을 입증하여, 수백 개의 도구를 가진 엔터프라이즈 시스템에 대한 실행 가능한 전략을 제시합니다.
3. 현재 플랫폼의 한계: 연구는 플랫폼 네이티브 검색 기능(OpenAI의 네임스페이스 검색 등)이 부분적인 완화만을 제공하며 카탈로그 크기가 커짐에 따라 정체기에 도달하는 반면, 커스텀 임베딩 숏리스트는 계속해서 효과적으로 확장된다는 점을 시사합니다.
4. 도메인 특수성: 저자들은 이러한 결과가 밀집된 의미적 중첩(엔터프라이즈 생산성 도구와 같은)이 있는 도메인에 특화된 것이라고 언급합니다. 기능적으로 뚜렷이 구분되는 도구들을 가진 도메인은 저하 속도가 더 느릴 수 있으나, 재현율 중심의 저하라는 질적인 패턴은 전이 가능할 것으로 보입니다.

결론적으로, 본 논문은 검색 격차는 더 나은 후보 선택(숏리스팅)을 통해 해결 가능하지만, 혼란 격차(최소 10pp)는 단순한 검색을 넘어 설명(description)의 중복 제거 또는 다회차(multi-turn) 명료화와 같은 구조적 또는 프롬프트 수준의 혁신이 필요함을 강조합니다.