기술 요약: AgentWeave – 효율적인 함수 호출을 위한 추론 전 라우팅 (Routing Before Reasoning)

1. 문제 정의

대규모 언어 모델(LLM)이 점점 더 방대한 도구, 함수, API 컬렉션 위에서 작동함에 따라, 후보 액션 공간(candidate action space)이 크게 확장되고 있습니다. 이러한 확장은 함수 호출 모델이 더 많은 스키마를 처리하고, 더 많은 프롬프트 토큰을 소비하며, 점점 더 유사하거나 무관한 대안들 사이에서 구별해야 하는 상황을 강요합니다. 현재의 평가 파이프라인은 일반적으로 전체 후보 도구 카탈로그를 모델의 고정된 입력으로 취급합니다. 이러한 접근 방식은 중요한 시스템 변수인 **"모델에게 어떤 함수를 보여줄 것인가?"**라는 문제를 가립니다.

본 논문은 함수 호출이 다음과 같은 두 가지 별개의 단계로 분해될 수 있다고 가정합니다:

1. 후보 공간 구축 (Candidate-space construction): 자격, 요구 사항 및 제약 조건을 기반으로 카탈로그를 결정론적으로 필터링함.
2. 언어 모델 추론 (Language-model reasoning): 모델이 축소된 집합 내에서 최종 함수를 선택하고 인자(arguments)를 생성함.

핵심 가설은 다운스트림 모델을 변경하지 않고도, 추론 전(pre-inference)에 후보 집합을 줄이는 것이 함수 호출 동작과 효율성을 개선할 수 있다는 것입니다.

2. 방법론: AgentWeave 아키텍처

저자들은 제한된, 모델 가시적 액션 공간을 구축하기 위해 설계된 결정론적 사전 추론 라우팅 레이어인 AgentWeave를 소개합니다.

• 아키텍처: AgentWeave는 소스 도구 카탈로그와 언어 모델 사이에 위치합니다. 이는 자연어 요청($x$)과 소스 카탈로그($F$)를 매핑하여 부분 집합($F' = R(x, F)$)을 생성합니다. 이후의 예측은 $y = M(x, F')$가 됩니다.
• 라우팅 메커니즘:
  • 결정론적 범위 필터링 (Deterministic Scope Filtering): 첫 번째 단계에서는 역할, 테넌트, 권한, 배포 환경 및 기능 태그와 같은 비시맨틱(non-semantic) 제약 조건을 기준으로 도구를 제외합니다.
  • 요구 사항 인지 라우팅 (Requirement-Aware Routing): 라우터는 사용자 요청으로부터 신호를 도출하고 이를 후보 설명 및 기능과 매칭합니다. 또한 제한된 예산을 적용하여 모델에 노출되는 범위를 작은 부분 집합으로 제한합니다.
  • 모델 독립성 (Model Independence): 라우터는 모델에 구애받지 않도록 설계되어 로컬 모델, 호스팅된 모델 또는 프로바이더 중립적인 어댑터와 호환됩니다.
• 실패 국지화 (Failure Localization): 단계를 분리함으로써 시스템은 개발자가 라우팅 오류(올바른 도구가 필터링됨), 선택 오류(올바른 도구가 보였으나 선택되지 않음), 또는 실행 오류를 구분할 수 있게 합니다.

3. 실험 설계

본 연구는 엄격하고 통제된 비교를 보장하기 위해 **고정된 BFCL 유도 라우팅 압박 프로토콜(frozen BFCL-derived routing-pressure protocol)**을 사용하여 AgentWeave를 평가합니다.

• 데이터셋: 48개의 새로운 BFCL V4 다중 함수 작업 (이전 12개 작업 파일럿과 중복 없음).
• 모델: 고정된 경량 함수 호출 모델인 MadeAgents/Hammer2.1-1.5b를 사용합니다. 모델 가중치, 생성 설정 및 평가 로직은 모든 조건에서 동일하게 유지됩니다.
• 압박 환경 (Pressure Environment): 각 작업은 전략별 선택 이전에 결정론적인 16개 도구 압박 환경에 배치됩니다.
• 베이스라인 (Baselines):
  1. All-tools: 전체 16개 도구 세트를 노출함.
  2. Random top-8: 8개의 도구로 결정론적 랜덤 축소.
  3. Semantic top-8: 임베딩/유사성에 기반하여 8개의 도구로 축소.
  4. AgentWeave: 요구 사항/기능 인지형 제한적 라우팅.
• 지표: 네이티브 BFCL 성공률, 평균 노출 도구 수, 총 입력 토큰, 평균 로컬 모델 지연 시간, 후보 유지 진단(Recall@K).

4. 주요 결과

4.1 네이티브 함수 호출 성공률

AgentWeave는 48개 작업 복제 실험에서 네이티브 BFCL 성공을 만들어낸 유일한 전략입니다.

• AgentWeave: 48개 중 6개 성공 (12.5%).
• 모든 베이스라인 (All-tools, Random, Semantic): 48개 중 0개 성공 (0.0%).
• 통계적 유의성: 쌍체 성공 차이는 +12.5 퍼센트 포인트입니다. 10,000회 리샘플링 쌍차 부트스트랩 95% 신뢰 구간은 +4.17 ~ +22.92 포인트이며, 정확한 McNemar p-값은 0.03125입니다.

4.2 효율성 이득

"All-tools" 베이스라인과 비교하여, AgentWeave는 상당한 효율성 개선을 달성했습니다:

• 노출 도구 수: 70.18% 감소 (평균 16.00개에서 4.77개로 감소).
• 입력 토큰: 61.70% 감소 (124,821개에서 47,805개로 감소).
• 지연 시간 (Latency): 50.95% 낮은 평균 로컬 모델 지연 시간 (55.92초에서 27.43초로 감소).

4.3 후보 구성의 역설 (The Candidate-Composition Paradox)

중요한 발견은 높은 후보 유지율이 반드시 높은 성공을 보장하는 것은 아니다라는 점입니다.

• Semantic top-8 베이스라인은 가장 높은 유지 지표(평균 Recall 86.81%, 모든 후보 유지율 66.67%)를 달성했음에도 불구하고, 여aut 0/48의 네이티브 성공을 기록했습니다.
• AgentWeave는 더 낮은 유지 지표(평균 Recall 76.91%, 모든 후보 유지율 54.17%)를 가졌음에도 불구하고 6/48의 성공을 달성했습니다.
• 해석: 성공 여부는 단순히 필요한 함수를 유지하는 것뿐만 아니라, 후보 집합의 구성에 달려 있습니다. AgentWeave는 소형 모델을 혼란스럽게 만드는 "방해 요소"(유사한 이름이나 스키마를 가진 함수들)를 제거함으로써 성공하는 것으로 보입니다. 반면 시맨틱 검색은 너무 많은 경쟁 대안들을 유지할 수 있습니다.

5. 주장 및 의의

본 논문은 기여와 한계에 대해 절제되고 엄격한 입장을 유지합니다:

• 주요 기여: 본 연구는 후보 공간 구축이 실험적으로 의미 있는 변수임을 입증합니다. 후보 집합을 구축하는 방식을 변경하면, 고정된 함수 호출 모델의 다운스트림 동작이 (모델을 재학습시키지 않고도) 변화한다는 것을 보여줍니다.
• 시스템 관점: 라우팅을 전체 카탈로그를 고정된 입력으로 취급하는 대신, 모델 추론 전의 별도 단계로 평가할 것을 주장합니다.
• 명시적 경계:
  • 이것은 공식적인 전체 BFCL 리더보드 점수가 아닙니다.
  • 절대적인 성공률(12.5%)은 낮습니다. 이 결과는 상태 최고(SOTA)의 작업 완수 데모라기보다는 "라우팅 압박 연구"입니다.
  • 본 연구의 결과가 시맨틱 검색에 대한 보편적 우월성이나 모든 모델 및 카탈로그 크기에 대한 일반화를 주장하지는 않습니다.
  • 본 연구는 보안이나 권한 문제를 해결한다고 주장하지 않지만, 모델 전 필터링이 무관한 설명에 대한 노출을 줄일 수 있음을 언급합니다.

6. 결론

본 논문은 함수 호출이 두 단계의 시스템으로 연구되어야 한다고 결론짓습니다. 절대적인 성능은 아직 예비적인 수준이지만, 증거는 선택적 컨텍스트 구축이 고정된 모델의 함수 호출 동작에 실질적인 영향을 미칠 수 있음을 보여줍니다. 저자들은 향-후 연구 과제로 전체 소스 카탈로그가 항상 올바른 입력이라고 가정하기보다, 라우팅 품질, 후보 구성, 그리고 다운스트림 추론을 공동으로 평가하는 것을 제안합니다.