기술 요약: Switchcraft: 에이전트 도구 호출을 위한 AI 모델 라우터

문제 정의

외부 도구와 API 를 복잡한 작업을 위해 호출하는 데 대규모 언어 모델 (LLM) 을 활용하는 에이전트형 AI 시스템은 상당한 경제적 도전에 직면해 있습니다. 개발자들은 종종 정확성을 보장하기 위해 크고 비싼 모델을 기본값으로 선택하여 추론 예산에 막대한 초과 지출을 초래합니다. 비용 절감을 위해 더 간단한 쿼리에 대해 동적으로 더 작은 모델을 선택하는 모델 라우팅이 제안되었지만, 기존 라우터들은 채팅 완료를 위해 설계된 것이지 에이전트 도구 호출을 위해 설계된 것은 아닙니다.

근본적인 도전 과제는 에이전트 작업이 채팅과 다음과 같은 결정적인 방식으로 다르다는 점입니다:

1. 엄격한 정밀도: 채팅에서는 재구성이 허용되는 것과 달리, 도구 호출은 정확한 함수 이름과 정밀한 매개변수 값을 요구합니다. 단일 오류 (예: 환각된 가격 또는 "구매"/"판매" 매개변수의 교환) 는 되돌릴 수 없는 재정적 또는 운영적 결과를 초래할 수 있습니다.
2. 순차적 의존성: 에이전트 워크플로는 종종 이전 도구 호출의 출력에 의존하는 후속 단계가 포함된 다단계 체인을 포함합니다.
3. 평가의 복잡성: 표준 텍스트 일치 지표 (BLEU 등) 또는 기존 AST 체커 (Berkeley Function Calling Leaderboard 등) 는 배열 순서 차이, 기본값이 있는 선택적 매개변수, 또는 의미적으로 동일한 문자열 형식 (예: "IL" 대 "Illinois") 과 같은 도구 호출에 내재된 의미적 변형을 처리하지 못합니다.

결과적으로 기존 라우팅 전략은 에이전트 워크로드에 적합하지 않아, 도구 호출을 성공적으로 실행할 수 있는 모델과 그렇지 않은 모델을 구분하지 못하거나, 상세한 추론을 생성하는 모델의 실제 비용을 잘못 판단하는 경우가 많습니다.

방법론

저자들은 에이전트 도구 호출을 위해 명시적으로 최적화된 최초의 모델 라우터인 Switchcraft를 제시합니다. 이 시스템은 인라인으로 작동하며, 정확성 예측을 기반으로 가장 낮은 비용의 모델을 선택합니다.

1. 데이터 큐레이션 및 평가 프레임워크

라우터를 훈련하고 평가하기 위해 저자들은 다섯 가지 공개 함수 호출 벤치마크를 통합한 통합 프레임워크를 구축했습니다:

• Berkeley Function Calling Leaderboard (BFCL v3)
• AWS ConFETTI
• Salesforce xLAM-60K
• Glaive Function Calling
• Hermes

평가의 주요 혁신:

• AST 기반 점수 매기기: 저자들은 도구 호출을 평가하기 위한 강력한 추상 구문 트리 (AST) 체커를 개발했습니다. 취약한 문자열 매칭과 중첩 구조 지원 부재로 인해 이전 BFCL 외의 데이터셋에서 실패했던 기존 체커들과 달리, Switchcraft 체커는 다음을 처리합니다:
  • 배열 (다중 집합) 의 순서 무관 비교.
  • 기본 매개변수 인식 (문서화된 기본값과 일치하는 경우 생략된 매개변수 허용).
  • 문자열 정규화 (대소문자, 공백, ISO-8601 변형 처리).
  • 중첩 JSON 객체의 재귀적 유효성 검사.
• Ground Truth 수정: 팀은 ConFETTI 데이터셋의 ground truth 주석을 수동으로 검토하고 수정하여 대화 맥락에 비해 함수 호출이나 매개변수가 잘못된 27% 의 항목을 수정했습니다.

2. 라우터 아키텍처

Switchcraft 는 다중 레이블 분류기로 훈련된 경량 DistilBERT 기반 분류기(66M 파라미터) 를 사용합니다.

• 입력 표현: 에이전트 쿼리 (다중 턴 대화, 도구 정의, 메타데이터) 를 512 토큰 창에 맞추기 위해 저자들은 지능적인 토큰 패킹전략을 사용합니다. 이는 최신 사용자 턴을 우선시하고, 도구 시그니처를 압축하며, 이전 턴을 탐욕적으로 추가하고, 수치 메타데이터 (길이, 도구 수, 턴 수) 로 보완합니다.
• 훈련: 모델은 8 개의 후보 LLM 풀을 통해 모든 후보 쿼리를 실행하여 AST 체커를 기반으로 "정확" 또는 "부정확"으로 레이블링된 선호도 데이터로 미세 조정됩니다.
• 추론 로직 (2 단계):
  1. 다중 레이블 분류: 라우터는 각 후보 모델의 정확성 확률을 예측합니다.
  2. 비용 인식 선택: 정확할 것으로 예측된 모델들 (확률 > 0.5) 중에서 라우터는 프로파일링된 비용이 가장 낮은 모델을 선택합니다. 이 비용 지표는 단순히 목록 가격이 아닌 실제 토큰 소비량 (입력 + 출력 + 추론 토큰) 을 고려하여 "수다스러움"(낮은 토큰당 비용에도 불구하고 더 높은 총 비용을 초래하는 상세한 모델) 을 포착합니다. 정확할 것으로 예측된 모델이 없으면 라우터는 가장 높은 확률을 가진 모델로 대체합니다.

주요 기여

1. 에이전트 라우팅의 공식화: 이 논문은 도구 증강 다중 턴 작업을 위한 라우팅의 특정 과제를 식별하고 해결하여 채팅 기반 라우팅과 구별합니다.
2. 통합 평가 프레임워크: 저자들은 다중 벤치마크 정규화, 수정된 ground truth 주석, 그리고 다양한 데이터셋에서 기존 체커보다 훨씬 우수한 성능을 보이는 강력한 AST 기반 비교 시스템을 갖춘 에이전트 라우팅을 위한 정규화된 프레임워크를 구축했습니다.
3. Switchcraft 시스템: 거의 오라클 수준의 정확성을 달성하면서 추론 비용을 획기적으로 줄이는 DistilBERT 기반 라우터입니다. 이 시스템은 채팅 데이터에서 학습된 라우팅 결정이 에이전트 도구 호출로 이전되지 않으며, 특수한 훈련이 필요함을 보여줍니다.

결과

14 개의 데이터셋 분할에 걸친 12,282 개의 홀드아웃 테스트 세트로 평가한 결과:

• 정확도 - 비용 트레이드오프: Switchcraft 는 82.94% 정확도를 달성하여 풀 내의 가장 우수한 개별 모델 (82.29% 의 GPT-5.3-chat) 과 일치하거나 초과하면서 추론 비용을 **84%**줄였습니다.
• 비용 절감: 이 시스템은 정확도가 일치하는 가장 우수한 단일 모델 (GPT-5.3-chat) 을 사용하는 것에 비해 백만 건의 쿼리당 $3,600 이상을 절감합니다.
• 오라클 간극: 항상 가장 저렴한 정확한 모델을 선택하는 오라클 (89.39% 정확도) 에 비해 Switchcraft 는 정확도 간극의 **37%**를 해소합니다.
• 지연 시간: DistilBERT 라우터는 상용 NVIDIA T4 GPU 에서 P99 기준 3~17ms 의 최소 지연 시간을 추가하며, 이는 일반적인 LLM 생성 시간보다 한 자릿수 이상 빠릅니다.
• 주요 발견:
  • 비싼 것이 항상 더 나은 것은 아님: GPT-5.4 와 같은 새롭거나 더 비싼 모델이 과도한 정교함이나 구조화된 출력을 손상시키는 상세한 추론으로 인해 GPT-5.3-chat 과 같은 더 저렴한 모델보다 성능이 떨어지는 경우가 있습니다.
  • 오픈 가중치 한계: 연구에 포함된 오픈 가중치 모델 (Kimi-K2.5, Qwen-3.5-9B) 은 형식 위반과 매개변수 환각으로 인해 더 낮은 정확도를 보였습니다.
  • 수다스러움이 중요함: 토큰당 가격은 쿼리당 비용에 대한 오해의 소지가 있는 대용량 지표입니다. 높은 "수다스러움"(과도한 추론 생성 또는 상세한 출력) 을 가진 모델은 목록 가격이 시사하는 것보다 훨씬 비쌀 수 있습니다.

중요성 및 주장

이 논문은 도구 증강 다중 턴 작업을 위해 LLM 모델 선택을 다루는 최초의 시스템이라고 주장합니다. 그 중요성은 정확성을 희생하지 않으면서 비용 인식형 에이전트 AI 배포를 가능하게한다는 데 있습니다.

저자들은 다음을 강조합니다:

• 에이전트 라우팅은 채팅 완료와 구별되는 특수한 데이터와 평가 지표가 필요합니다.
• LLM 의 다양성과 비용 - 능력 트레이드오프가 증가함에 따라 지능형 라우팅이 중요합니다.
• 제안된 접근 방식은 기업들이 사용 가능한 가장 큰 모델을 기본값으로 사용하는 것을 벗어나, 도구 호출의 높은 신뢰성을 유지하면서 상당한 예산 절감을 달성할 수 있게 합니다.

이 연구는 범위가 modest 하여, 라우터와 완벽한 선택자 사이의 나머지 6.45% 포인트인 "오라클 간극", 모델 풀 변경 시 재훈련 필요성, 동적 환경에서의 엔드투엔드 작업 성공이 아닌 턴별 정확성에 대한 현재 초점과 같은 한계를 인정합니다. 향후 연구는 확률적 정확성 모델링, 새로운 모델로의 일반화, 프롬프트 캐싱 전략과의 통합과 같은 분야에서 제안됩니다.