Benchmarking LLM Tool-Use in the Wild

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 기반 에이전트의 도구 사용 (Tool-use) 능력은 빠르게 발전하고 있으나, 기존 벤치마크는 실제 사용자 환경의 복잡성을 반영하지 못한다는 한계가 있습니다.

• 기존 벤치마크의 한계: 대부분의 기존 평가 (ToolBench, BFCL 등) 는 인위적으로 구성된 이상적인 시나리오에 집중합니다. 명확한 의도, 독립적인 작업, 단순한 도구 체이닝 (Chaining) 등을 가정하여, 모델이 실제 "야생 (In-the-wild)" 환경에서 겪는 어려움을 간과합니다.
• 실제 사용자 행동의 세 가지 핵심 도전 과제:
  1. 구성적 작업 (Compositional Tasks): 사용자가 하나의 명령에 여러 가지 간단한 요구사항을 포함시키는 경우, LLM 은 단순한 순차적 호출을 넘어 효율적인 도구 호출 토폴로지 (병렬, 순차, 혼합 등) 를 설계해야 합니다.
  2. 암시적 의도 (Implicit Intent): 대화의 여러 턴에 걸쳐 분산된 맥락을 통해 사용자의 숨겨진 의도를 추론해야 합니다. (예: 대명사 참조, 정보 누락, 장기 의존성 등)
  3. 지시 전환 (Instruction Transition): 대화 중 작업 지시, 후속 질문, 명확화 요청, 일상적 대화 (Chat) 등 다양한 유형의 지시가 자연스럽게 전환됩니다. LLM 은 실시간으로 이러한 전환을 감지하고 적절한 정책 (도구 사용, 직접 답변, 질문 등) 을 선택해야 합니다.

2. 방법론 (Methodology)

이 논문은 실제 사용자 로그를 기반으로 한 새로운 벤치마크 WildToolBench를 제안합니다.

• 데이터 구축 파이프라인:

  1. 시나리오 큐레이션: 대량의 실제 사용자 로그를 분석하여 256 개의 시나리오 (Seed Scenarios) 와 사용자 행동 패턴을 추출했습니다.
  2. 도구 세트 구성: ToolAlpaca 방식을 따르며, 1,600 개 이상의 공개 API 를 검증하여 400 개의 도구 리스트 (약 1,600 개 API) 를 구성했습니다.
  3. 멀티 에이전트 시뮬레이션 및 인간 검증: 사용자 에이전트와 어시스턴트 에이전트를 시뮬레이션하여 초기 궤적을 생성한 후, 9 명의 전문가가 1 달간 데이터의 정확성, 다양성, 자연스러움을 검증하고 수정했습니다.
  4. 데이터 규모: 총 256 개의 시나리오, 1,024 개의 태스크로 구성되며, 각 시나리오는 4 개의 사용자 태스크를 포함합니다.

• 평가 지표 및 메커니즘:

  • 세션 정확도 (Session Accuracy): 한 대화 세션 내의 모든 태스크를 정확히 수행했는지 평가합니다.
  • 세분화된 도구 오케스트레이션 평가:
    • Enumerate-Match-Score: 가능한 모든 도구 실행 경로 (DAG 기반) 를 생성하고, LLM 의 선택과 비교합니다.
    • AP Rate (Accomplish Progress Rate): 성공적으로 수행된 단계의 비율.
    • OP Rate (Optimal Path Rate): 생성된 경로가 최적의 효율성을 갖는지 평가.
  • 도전 과제별 평가: 숨겨진 의도 (Partial Info, Coreferential Reference, Long-Range Dependency) 와 지시 전환 빈도에 따른 성능 분석.

3. 주요 기여 (Key Contributions)

1. WildToolBench 벤치마크 출시: 실제 사용자 행동 패턴 (구성성, 모호성, 가변성) 을 반영한 최초의 대규모 도구 사용 벤치마크입니다.
2. 새로운 평가 패러다임: 단순한 도구 호출 정확도가 아닌, 맥락 추론, 의도 파악, 유연한 정책 전환 능력을 종합적으로 평가하는 기준을 제시했습니다.
3. 광범위한 모델 평가: Proprietary(상용), Open-Source(오픈소스 일반/전문) 등 총 57 개의 최신 LLM 을 평가하여 현재 기술 수준에 대한 포괄적인 통찰을 제공했습니다.
4. 오류 분석 프레임워크: 단순한 문법 오류가 아닌, 의도 오해 (Wrong Name), 정보 누락 (Missing Info), 불필요한 호출 (Redundant Call) 등 고차원적인 추론 실패를 체계적으로 분류했습니다.

4. 실험 결과 (Results)

57 개 모델에 대한 평가 결과는 현재 LLM 의 에이전트 능력에 심각한 격차가 있음을 보여줍니다.

• 전체 성능: 어떤 모델도 세션 정확도 (Session Accuracy) 가 15% 를 넘지 못했습니다. 가장 성능이 좋은 모델 (Gemini-2.0-Thinking) 도 14.45% 에 그쳤습니다. 이는 복잡한 야생 환경에서의 도구 사용이 여전히 매우 어렵다는 것을 의미합니다.
• 태스크 유형별 성능:
  • 단일 도구 (Single-tool): 비교적 잘 수행 (약 60% 대).
  • 다중 도구 (Multi-tool): 성능이 급격히 하락 (약 30~40% 대). 특히 순차와 병렬이 혼합된 복잡한 작업 (Mixed Multi-Tool) 에서 성능이 가장 낮았습니다.
  • 지시 전환: 전환 빈도가 높을수록 모델의 정확도가 30% 이상 하락했습니다. 이전 문맥의 편향 (Self-conditioning) 이 새로운 태스크 수행을 방해하는 것으로 분석되었습니다.
• 모델 비교:
  • 상용 모델 (Proprietary) 이 오픈소스 모델보다 전반적으로 우세했으나, 모든 모델이 15% 미만의 세션 정확도를 기록했습니다.
  • 추론 능력 (Reasoning) 을 갖춘 모델 (o1, Gemini-2.0-Thinking 등) 이 일반 모델보다 도구 오케스트레이션과 숨겨진 의도 추론에서 우위를 보였습니다.
• 오류 분석:
  • 주요 실패 원인은 문법적 오류가 아닌 의도 이해 실패와 맥락 관리 실패였습니다.
  • "Wrong Name" (잘못된 도구 선택) 과 "Redundant Call" (불필요한 호출) 이 가장 빈번한 오류였습니다.
  • 일부 전문화 모델은 특정 도구 호출에는 강하지만, 일반적 상황에서는 "Wrong Name" 오류가 30% 를 초과하여 취약함이 드러났습니다.

5. 의의 및 결론 (Significance)

• 현실적인 평가의 필요성: 기존 벤치마크의 포화 상태와 인위적 난이도 설정은 LLM 의 실제 도구 사용 능력을 과장하여 평가할 수 있음을 지적합니다. WildToolBench 는 실제 사용자의 복잡하고 불완전한 상호작용을 평가해야 함을 강조합니다.
• 에이전트 개발의 새로운 방향: 향후 LLM 에이전트의 발전은 단순한 도구 실행 (Execution) 을 넘어, 사용자 이해 (Theory of Mind), 긴 문맥 comprehension, 유연한 지시 추종과 같은 기초 능력의 심화에 달려 있음을 시사합니다.
• 향후 연구 방향: 단순한 성능 순위 (Leaderboard) 를 넘어, 모델 개발자가 사용자 행동을 다각도로 해석하고 모델 반복 (Iteration) 을 개선할 수 있는 구조화된 기준 (Rubrics) 을 제공합니다.

결론적으로, WildToolBench 는 현재 LLM 이 "야생" 환경에서 사용자와 협력하여 복잡한 작업을 수행하는 데 있어 여전히 근본적인 한계가 있음을 입증했으며, 진정한 에이전트 능력 평가를 위해서는 실제 사용자 행동의 복잡성을 고려한 새로운 벤치마킹 접근이 필수적임을 강조합니다.