The Tool Decathlon: Benchmarking Language Agents for Diverse, Realistic, and Long-Horizon Task Execution
이 논문은 다양한 애플리케이션과 604 개의 도구를 포함하며 현실적인 환경 상태와 검증 가능한 평가 스크립트를 제공하는 새로운 벤치마크 'Toolathlon'을 소개하고, 이를 통해 현재 최첨단 언어 에이전트들이 복잡하고 장기적인 실제 작업 수행에서 여전히 큰 한계를 겪고 있음을 규명합니다.
원저자:Junlong Li, Wenshuo Zhao, Jian Zhao, Weihao Zeng, Haoze Wu, Xiaochen Wang, Rui Ge, Yuxuan Cao, Yuzhen Huang, Wei Liu, Junteng Liu, Zhaochen Su, Yiyang Guo, Fan Zhou, Lueyang Zhang, Juan Michelini, XinJunlong Li, Wenshuo Zhao, Jian Zhao, Weihao Zeng, Haoze Wu, Xiaochen Wang, Rui Ge, Yuxuan Cao, Yuzhen Huang, Wei Liu, Junteng Liu, Zhaochen Su, Yiyang Guo, Fan Zhou, Lueyang Zhang, Juan Michelini, Xingyao Wang, Xiang Yue, Shuyan Zhou, Graham Neubig, Junxian He
이 논문은 인공지능 (AI) 이 실제로 우리 삶을 도울 수 있는지, 그리고 얼마나 잘할 수 있는지 테스트하는 새로운 **'시험장 (벤치마크)'**을 소개합니다. 이 시험장의 이름은 **'툴 아슬론 (Toolathlon)'**입니다.
이름에서 알 수 있듯, 이는 단순한 퀴즈가 아니라 다양한 도구를 사용하는 '10 종 경기' 같은 것입니다.
1. 왜 새로운 시험장이 필요할까요? (기존 문제점)
지금까지 AI 를 테스트할 때는 주로 **"가상의 시나리오"**를 사용했습니다.
비유하자면: 운전 면허 시험을 볼 때, 실제 도로가 아닌 완벽하게 정리된 폐쇄된 연습장에서만 시험을 치르는 것과 같습니다.
문제점: AI 는 연습장에서는 잘 운전하지만, 실제 도로에 나가면 갑자기 나타난 보행자나 복잡한 신호등 앞에서 당황하고 사고를 냅니다. 기존 시험들은 AI 가 실제로 겪을 수 있는 복잡함, 혼란, 예측 불가능한 상황을 충분히 반영하지 못했습니다.
2. 툴 아슬론 (Toolathlon) 은 무엇인가요?
이 연구팀은 AI 를 실제 세상으로 데려가 시험을 보게 했습니다.
32 개의 실제 앱, 604 개의 도구: AI 는 구글 캘린더, 노션, 스프레드시트, 심지어 데이터베이스나 서버 관리 도구 같은 실제 존재하는 32 가지 소프트웨어를 다뤄야 합니다.
실제 환경 (Real Environment): AI 가 작업할 때 빈 방이 아니라, 이미 학생이 50 명 등록된 온라인 강의실이나 수백 개의 이메일이 쌓인 우편함 같은 '살아있는' 환경에서 시작합니다.
비유: AI 가 "새로운 학생을 등록해줘"라고 할 때, 빈 명부만 있는 게 아니라 이미 꽉 찬 명부에서 중복을 피하고 실수를 찾아내야 하는 상황입니다.
모호한 지시 (Fuzzy Prompts): AI 에게는 "이거 해줘"라고 정확한 단계별 지시를 주지 않습니다. 대신 "이메일로 온 숙제 파일들을 확인해서 점수를 매겨줘"라고 사람들이 실제로 하는 것처럼 모호하게 말합니다. AI 스스로 "어디에 파일이 있을까?", "어떻게 점수를 매겨야 할까?"를 스스로 추론해야 합니다.
3. 시험은 어떻게 진행되나요?
시험관은 AI 가 말만 잘하는지, 실제로 일을 끝내는지를 확인합니다.
실행 기반 평가: AI 가 "완료했습니다"라고 말하면 끝나는 게 아닙니다. 실제로 이메일이 발송되었는지, 데이터베이스에 기록이 남았는지 코드로 직접 확인합니다.
긴 여정 (Long-Horizon): 한 번의 명령으로 끝나는 게 아니라, 평균 20 번 이상의 도구 사용이 필요한 긴 작업을 수행해야 합니다.
예: "이메일로 온 숙제를 다운로드해서 → 실행 오류를 확인하고 → 오류가 없으면 점수를 주고 → 노션에 기록하고 → 학생에게 결과를 알려줘."
4. 결과는 어땠나요? (현실적인 충격)
최고급 AI 모델들을 시험에 출전시켰지만, 결과는 아직 갈 길이 멀다는 것을 보여줍니다.
성공률: 가장 잘하는 AI (Claude-4.5-Sonnet) 도 **38.6%**만 성공했습니다. 즉, 10 번 중 6 번은 실패한 것입니다.
주요 실패 원인:
도구 이름 착각: "이메일 보내기" 도구를 "문서 저장하기"로 잘못 부르는 등, 도구를 헷갈려 합니다.
긴 정보에 압도됨: 너무 긴 이메일이나 데이터가 나오면 중간에 포기하거나 혼란을 겪습니다.
미리 멈춤: 일을 다 끝내지 않고 "아, 다 했어"라고 일찍 종료해버립니다.
5. 결론: 왜 이것이 중요한가요?
이 논문은 AI 개발자들에게 **"지금 AI 는 아직 실제 세상에서 혼자 일하기엔 너무 어리고 서툴다"**고 경고합니다.
툴 아슬론은 AI 가 실제로 우리 일을 대신할 수 있을지, 아니면 여전히 사람이 옆에서 도와줘야 할지 판단하는 진짜 시험대가 될 것입니다.
이 시험을 통해 AI 가 더 똑똑하고, 실수를 잘 고치며, 복잡한 일을 끝까지 해내는 **'성숙한 AI'**로 성장하기를 기대합니다.
한 줄 요약:
"지금까지 AI 는 가상의 연습장에서만 달렸다면, 툴 아슬론은 AI 를 실제 거친 도로로 데려와 진짜 운전 실력을 시험하는 새로운 올림픽입니다. 결과는 아직 초보 운전자가 많지만, 이 시험을 통해 더 안전하고 똑똑한 AI 가 만들어지길 바랍니다."
1. 문제 정의 (Problem)
실제 세계의 언어 에이전트 (Language Agents) 는 이메일 관리, 캘린더 조정, 파일 시스템 조작, 데이터베이스 모니터링 등 다양한 애플리케이션을 넘나드는 복잡한 다단계 워크플로우를 처리해야 합니다. 그러나 기존 에이전트 벤치마크들은 다음과 같은 한계로 인해 실제 성능을 평가하는 데 부적합했습니다.
제한된 도메인 및 도구: 특정 영역이나 단순화된 작업에 국한되어 있어 다양성이 부족함.
비현실적인 환경 상태: 빈 상태 (Empty state) 에서 시작하거나 인공적으로 생성된 단순한 데이터만 사용하여 실제 소프트웨어의 복잡성을 반영하지 못함.
단순화된 프롬프트: 사용자가 명확한 단계별 지시를 제공하는 경우가 많아, 에이전트의 자율적 계획 수립 및 의도 추론 능력을 평가하기 어려움.
검증의 부재: 실행 결과보다는 LLM 을 판사로 활용하거나 단일 단계 정확도만 측정하여 신뢰할 수 있는 평가가 어려움.
2. 방법론 (Methodology)
저자들은 이러한 격차를 해소하기 위해 Tool Decathlon (TOOLATHLON) 이라는 새로운 벤치마크를 제안했습니다. 이는 실제 세계의 복잡성, 다양성, 긴 시간 범위 (Long-horizon) 를 모두 포괄하는 평가 프레임워크입니다.
A. 환경 및 도구 구성 (Environment & Tools)
다양한 애플리케이션: 32 개의 실제 소프트웨어 애플리케이션 (Google Calendar, Notion, Snowflake, Kubernetes, BigQuery 등) 과 총 604 개의 도구를 포함합니다.
MCP(Model Context Protocol) 서버 활용: 대부분의 도구는 오픈소스 MCP 서버를 기반으로 하며, 필요에 따라 직접 수정하거나 구현하여 고품질의 도구 세트를 구축했습니다.
하이브리드 환경:
원격 환경: Google Sheets, Gmail 등 실제 클라우드 서비스.
로컬 컨테이너 환경: 실제 상태를 재현하기 위해 Poste.io(이메일), Canvas(LMS), WooCommerce(이커머스) 등을 로컬 컨테이너에 배포하여 복잡한 초기 상태 (예: 수십 명의 학생이 있는 코스, 수백 개의 제품 목록) 를 설정할 수 있도록 했습니다.
B. 태스크 설계 (Task Design)
총 108 개의 태스크: 교육, 금융, 기술, 비즈니스, 일상 등 다양한 분야에서 수집 및 제작되었습니다.
모호한 (Fuzzy) 지시: 실제 사용자처럼 간결하고 모호한 프롬프트를 제공하여, 에이전트가 환경 상태 (기존 데이터, 템플릿 등) 를 분석하여 사용자의 의도를 추론하고 자율적으로 계획을 수립하도록 요구합니다.
긴 시간 범위 (Long-horizon): 태스크 완료에 평균 20 회 이상의 툴 호출 턴이 필요하며, 여러 애플리케이션 간의 조정이 필수적입니다.
C. 평가 프레임워크 (Evaluation Framework)
실행 기반 검증 (Execution-based Evaluation): 각 태스크는 결정론적인 (Deterministic) 평가 스크립트를 통해 최종 환경 상태가 정답과 일치하는지 자동으로 검증합니다. LLM 판사 대신 실제 실행 결과를 기준으로 합니다.
안전한 병렬 실행: 각 태스크를 격리된 컨테이너에서 병렬로 실행하여 상호 간섭을 방지하고 효율적인 평가를 가능하게 합니다 (예: 108 개 태스크를 10 개 프로세스로 70 분 내 평가).
3. 주요 기여 (Key Contributions)
TOOLATHLON 벤치마크 출시: 32 개 애플리케이션, 604 개 도구, 108 개 태스크로 구성된 가장 포괄적이고 현실적인 에이전트 벤치마크.
현실적인 초기 상태 설정: 기존 벤치마크와 달리 실제 소프트웨어에서 파생된 복잡한 초기 상태 (예: 실제 학생 데이터가 포함된 Canvas 코스) 를 제공합니다.
모호한 지시와 자율성 강조: 에이전트가 환경에서 정보를 추론하고 불완전한 지시를 해석해야 하는 실제 시나리오를 구현했습니다.
확장 가능한 평가 인프라: 컨테이너 기반의 병렬 실행 및 자동화된 검증 스크립트를 통해 개발자가 모델 성능을 빠르게 피드백받을 수 있는 프레임워크를 오픈소스로 공개했습니다.
4. 실험 결과 (Results)
최신 상용 및 오픈소스 모델들을 TOOLATHLON 에서 평가한 결과는 다음과 같습니다.
전반적인 낮은 성공률: 최상위 모델인 Claude-4.5-Sonnet조차 **38.6%**의 성공률 (Pass@1) 을 기록했습니다. 이는 실제 복잡한 워크플로우를 처리하는 데 현재 모델들이 여전히 큰 한계가 있음을 보여줍니다.
오픈소스 모델의 격차: 오픈소스 모델 중 가장 성능이 좋은 DeepSeek-V3.2-Exp는 **20.1%**의 성공률을 보였으며, 상용 모델 대비 성능 격차가 명확했습니다.
주요 실패 원인:
긴 컨텍스트 처리: 긴 실행 궤적 (Long-horizon) 에서 정보를 잃어버리거나 일관성을 유지하지 못함.
툴 호출 오류: 존재하지 않는 툴 이름 사용 (할루시네이션) 또는 파라미터 전달 오류.
과도한 출력 처리: 긴 HTML 소스 코드나 대용량 데이터베이스 결과 처리 시 맥락이 포화되어 실패하는 경우.
조기 종료: 모든 하위 태스크를 완료하기 전에 작업을 종료하려는 경향 (Laziness).
비용 효율성: Claude-4.5-Sonnet 은 높은 성능을 보였으나 비용이 높았고, Grok-4-Fast 나 DeepSeek-V3.2-Exp 와 같은 모델은 상대적으로 낮은 비용으로 합리적인 성능을 보여주었습니다.
5. 의의 및 결론 (Significance & Conclusion)
TOOLATHLON 은 언어 에이전트 연구에 다음과 같은 중요한 시사점을 제공합니다.
현실성 검증: 단순한 툴 호출 정확도가 아닌, 실제 환경에서의 복잡한 워크플로우 수행 능력을 평가할 수 있는 표준을 제시했습니다.
향후 연구 방향: 현재 모델들이 겪는 '긴 컨텍스트 관리', '오류 복구', '자율적 계획 수립' 등의 문제를 해결하는 것이 에이전트 발전의 핵심 과제임을 강조합니다.
개발 촉진: 오픈소스로 공개된 벤치마크와 환경을 통해 연구자들이 실제 배포 가능한 강력한 에이전트를 개발하는 데 기여할 것으로 기대됩니다.
결론적으로, TOOLATHLON 은 언어 에이전트가 실제 세계의 복잡한 문제를 해결할 수 있는 능력을 평가하기 위한 새로운 기준을 제시하며, 현재 모델들의 성능 한계를 명확히 드러내고 향후 발전 방향을 제시하는 중요한 이정표가 됩니다.