기술 요약: AsyncTool

문제 제기

대형 언어 모델 (LLM) 기반 에이전트가 외부 도구를 활용하여 복잡하고 다단계인 작업을 수행하는 데 능숙함을 입증해 왔음에도 불구하고, 기존 평가 벤치마크는 도구 호출의 시간적 차원을 크게 간과하고 있습니다. 구체적으로, 현재 평가는 일반적으로 도구의 즉각적인 응답을 가정하며 단일 작업 설정으로 제한됩니다. 그러나 실제 응용 분야에서는 에이전트가 종종 도구 응답 지연에 직면하고 여러 동시 작업을 관리해야 합니다. 기존 벤치마크는 에이전트가 유휴 대기 시간을 활용하여 다른 독립적인 작업을 진행할 수 있는 능력을 평가하지 못하며, 저자들은 이를 비동기 도구 호출이라고 명명합니다. 또한, 지연되고 잠재적으로 순서가 뒤바뀔 수 있는 도구 피드백을 가진 동시 작업을 평가하기 위한 표준화된 지표와 프로토콜이 부족합니다.

방법론

AsyncTool 벤치마크

저자들은 지연된 도구 피드백을 가진 상호작용적 다작업 환경에서 LLM 기반 에이전트를 평가하도록 설계된 최초의 벤치마크인 AsyncTool을 제안합니다. 이 벤치마크는 다음과 같은 현실적인 조건을 시뮬레이션합니다:

1. 동시 실행: 에이전트가 동시에 여러 이질적인 작업을 수신합니다.
2. 지연된 피드백: 도구 호출에는 지연이 발생하며, 결과는 즉시 반환되지 않습니다.
3. 의존성 추적: 작업에는 단계 간 의존성이 포함되어 있어, 에이전트가 유휴 상태로 대기하거나 결과를 환각하지 않고 상태를 추적하고 작업 간에 적절히 전환해야 합니다.

데이터 구축

데이터셋은 고품질과 다양성을 보장하기 위해 4 단계 파이프라인을 통해 구축되었습니다:

1. 데이터 수집: 기존 벤치마크인 NESTFUL과 BFCLv3에서 원시 데이터를 추출하여 12 개의 도구와 358 개의 단일 작업 인스턴스를 생성했습니다.
2. 대략적 재구성: Gemini 2.5 Pro를 사용하여 작업 설명을 재구성하고 도구에 정렬된 엄격한 순서의 함수 호출 궤적을 생성했습니다.
3. 세밀한 주석: 인간 주석가가 실행 유효성, 의존성 준수, 그리고 인자 정확성을 위해 궤적을 검증했습니다. 초기 조건 오해 또는 잘못된 함수 형식과 같은 오류는 수정되었습니다.
4. 다작업 구성: 단일 작업 인스턴스를 가중치 무작위 샘플링을 사용하여 다작업 시나리오 (이중 작업 및 삼중 작업) 로 결합했습니다. 최종 데이터셋은 다양한 작업 유형 (예: 데이터 관리, 파일 시스템, 거래) 과 의존성 구조 (SIMILAR 및 CROSS 조합) 를 포괄하는 712 개의 인스턴스로 구성됩니다.

평가 프로토콜

성능은 세 가지 명확한 수준에서 평가됩니다:

• 단계 수준: 함수 및 인자 매칭에 대한 F1 점수를 사용하여 기본 도구 호출 능력 (형식, 도구 선택, 인자 정확성) 을 평가합니다.
• 서브작업 수준: 개별 서브작업에 대한 궤적 완료 및 환경 일관성 (숨겨진 상태 매칭) 을 측정합니다.
• 작업 수준: 작업 내 모든 서브작업이 올바르게 완료되어야 하는 엔드투엔드 성공을 평가합니다.

또한, 저자들은 에이전트가 작업 간에 전환하는 빈도를 측정하기 위해 **동일 작업 연속성 (Same-task Streak)**이라는 효율 중심 지표를 도입했습니다. 연속성이 낮을수록 유휴 시간을 활용하는 능력이 뛰어난 교차 수행 능력을 나타내며, 연속성이 높을수록 에이전트가 대기 중이거나 컨텍스트 전환에 실패하고 있음을 시사합니다.

주요 결과

저자들은 19 개의 모델(GPT-4.1, GPT-4o, Gemini 2.5 Pro 와 같은 폐쇄형 소스 모델과 다양한 오픈 소스 모델 포함) 을 AsyncTool 에서 평가했습니다.

• 성능 저하: 동기식 설정에 비해 비동기 실행은 명확한 성능 저하를 초래합니다. 지연된 피드백은 특히 작업 상태와 의존성을 유지하는 데 상당한 도전 과제를 제기합니다.
• 모델 비교: GPT-4.1이 전체 점수 (38.06) 에서 가장 높은 성적을 거두었으며, 오픈 소스 모델 중에서는 DeepSeek-V3.1-Terminus(28.93) 가 그 뒤를 이었습니다. 폐쇄형 소스 모델은 특히 작업 수준 지표에서 오픈 소스 대응 모델보다 일반적으로 우수한 성과를 보였습니다.
• 정확성 대 효율성 트레이드오프: 분석은 작업 정확성과 스케줄링 효율성 사이의 트레이드오프를 드러냈습니다.
  • 고성능 모델 (예: GPT-4.1) 은 높은 정확성과 컴팩트한 작업 전환 (낮은 동일 작업 연속성) 을 균형 있게 유지하여 유휴 시간을 효과적으로 활용합니다.
  • 일부 모델은 의존성 위반 또는 도구 혼란으로 인해 빈번한 전환을 보이지만 정확성은 낮습니다.
  • 다른 모델들은 높은 정확성을 보이지만 교차 수행이 Poor(높은 동일 작업 연속성) 하여 대기 시간을 활용하는 데 어려움을 겪음을 나타냅니다.
• 실패 모드: 일반적인 오류는 다음과 같습니다:
  • 시간적 추론 부족: 현재 도구 결과가 반환되기 전에 작업의 다음 단계를 조기에 실행하여 종종 환각된 인자를 초래합니다.
  • 작업 방치: 가장 최근에 제시된 작업에 집중하면서 이전 작업을 무시합니다.
  • 도구 혼란: 한 작업을 위해 의도된 도구를 다른 작업에 적용합니다.
  • 의존성 위반: 필수 선행 단계를 건너뛰거나 상태를 잘못 관리합니다.

중요성과 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. AsyncTool 벤치마크: 지연된 도구 피드백, 동시 다작업 실행, 다단계 함수 호출, 그리고 의존성 인식 조정을 함께 고려하는 새로운 벤치마크.
2. 다양한 데이터셋: 다양한 시나리오와 의존성 구조를 포괄하는 하이브리드 데이터 진화 전략을 통해 구축된 고품질 비동기 다작업 데이터셋.
3. 다단계 평가: 단계, 서브작업, 작업 수준에서 성능을 평가하는 종합적인 프로토콜과 작업 교차 수행을 분석하기 위한 효율성 지표.
4. 실증적 통찰: 현재 에이전트들이 시간적 조정에 어려움을 겪고 있음을 규명한 광범위한 실험. 이 발견들은 효과적인 비동기 도구 사용이 빈번한 전환뿐만 아니라 의존성 추적 및 상태 유지와 전환을 조율하는 능력을 필요로 함을 강조합니다.

저자들은 시간적 조정이 미래의 도구 사용 에이전트에게 필수적인 능력이며, AsyncTool 이 더 강력한 시간적 추론과 효율성을 가진 시스템을 개발하기 위한 필수적인 테스트베드를 제공한다고 결론지었습니다.

한계

본 논문은 두 가지 주요 한계를 인정합니다:

1. 데이터셋 범위: 데이터셋이 NESTFUL 과 BFCLv3 에서 재구성되었으므로, 도구와 시나리오의 범위는 이러한 소스에 의해 본질적으로 제한됩니다.
2. 구축 비용: 데이터 재구성을 위한 고성능 모델 (Gemini 2.5 Pro) 에 대한 의존성과 광범위한 인간 검증을 필요로 하므로 데이터셋 구축 과정이 비용이 많이 들며, 수동 수정이 필요한 생성 오류를 유발할 가능성이 있습니다.