AutomationBench: 크로스 애플리케이션 워크플로우 오케스트레이션을 위한 AI 에이전트 벤치마크

1. 문제 정의 (Problem)

기존의 AI 에이전트 벤치마크는 웹 브라우징 (WebArena, Mind2Web) 이나 단일 도메인 내의 도구 사용 (ToolBench, AppWorld) 에 초점을 맞추고 있습니다. 그러나 실제 비즈니스 환경에서는 다음과 같은 세 가지 핵심 능력이 동시에 요구되는데, 기존 벤치마크들은 이를 종합적으로 평가하지 못합니다.

1. 크로스 애플리케이션 조정 (Cross-application coordination): CRM, 이메일, 캘린더, 메신저 등 여러 독립적인 애플리케이션 간의 작업을 연결해야 함.
2. 자율적인 API 발견 (Autonomous API discovery): 정해진 도구 목록이 주어지는 것이 아니라, 에이전트가 스스로 관련 엔드포인트 (endpoint) 를 찾아내야 함.
3. 정책 준수 (Policy adherence): 조직의 비즈니스 규칙과 정책 문서를 참조하여 의사결정을 내려야 함.

현재 최첨단 모델들조차 이러한 복잡한 비즈니스 워크플로우를 자동화하는 데 실패하고 있으며, 이를 측정할 수 있는 현실적인 벤치마크가 부재했습니다.

2. 방법론 (Methodology)

2.1 데이터셋 구성

• 도메인: 영업 (Sales), 마케팅 (Marketing), 운영 (Operations), 지원 (Support), 재무 (Finance), 인사 (HR) 등 6 가지 주요 비즈니스 도메인을 포함합니다.
• 작업 규모: 총 600 개 이상의 태스크 (Public 600 개, Private 600+ 개) 로 구성되며, 47 개의 앱과 약 500 개의 API 엔드포인트를 활용합니다.
• 생성 방식: Zapier 플랫폼의 실제 고객 워크플로우 패턴을 기반으로 합성 데이터 (Synthetic data) 를 생성했습니다. PII(개인식별정보) 는 포함되지 않았으며, 모델 (Opus 4.6, GPT 5.3 Codex, Gemini 3 등) 을 활용해 난이도와 다양성을 조정했습니다.
• 난이도 강화 (Hardening):
  • 관련 없는 데이터 (Noise) 와 오해의 소지가 있는 레코드 추가.
  • 정보의 위치를 모호하게 하거나 유사한 이름의 잘못된 항목 배치.
  • 외부 요청과 충돌하는 조직 정책 (Business Rules) 적용.
  • 평가 기준: 작업의 성공 여부는 오직 최종 상태 (End-state) 의 정확성으로만 판단됩니다. (어떤 순서로 도구를 호출했는지는 중요하지 않음)

2.2 평가 파이프라인 및 인터페이스

• 인터페이스: 에이전트는 Search(키워드 기반 API 스키마 검색) 와 Execute(REST API 호출) 두 가지 도구만 사용합니다. 인증은 시뮬레이션되지 않으며, 실제 API 스키마 (페이징, 필수 필드, 에러 코드 등) 를 그대로 따릅니다.
• 평가 방식 (Grading):
  • 프로그래밍적 검증: LLM 을 이용한 주관적 평가가 아닌, 세계 상태 (World State) 에 대한 결정론적 어설션 (Assertions) 을 사용합니다.
  • 조건: 모든 태스크는 관측 가능한 상태 변화 (객체 생성, 필드 업데이트 등) 를 생성해야 하며, 성공 기준은 구조화된 불변성 (Invariants) 으로 표현되어야 합니다.
  • 비용 및 시간: 점수 (Score) 와 함께 태스크당 평균 토큰 비용 (Cost) 을 기록하여 효율성을 비교합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 벤치마크 프레임워크: 크로스 애플리케이션 조정, 자율적 API 발견, 정책 준수를 동시에 평가하는 최초의 벤치마크인 AutomationBench를 제안했습니다.
2. 현실적인 비즈니스 시나리오: Zapier 의 실제 데이터 패턴을 기반으로 하여, 단순한 기술적 테스트를 넘어 실제 비즈니스가 필요로 하는 복잡한 자동화 능력을 측정합니다.
3. 강화된 평가 메커니즘:
   • End-state Only Grading: 과정이 아닌 결과물 (데이터가 올바른 시스템에 올바른 형태로 도착했는지) 만을 평가하여 에이전트의 창의적인 해결책을 장려합니다.
   • 정책 준수 테스트: 외부 요청과 충돌하는 내부 정책을 따르도록 하여, 에이전트의 정책 준수 능력을 평가합니다.
   • 보안성: 프롬프트 인젝션과 혼동되지 않도록 정책 문서 참조가 명시된 태스크를 설계했습니다.

4. 실험 결과 (Results)

2026 년 4 월 기준, 최첨단 모델들의 성능은 여전히 매우 낮게 나타났습니다.

• 성능 현황: 최상위 모델인 Opus 4.7조차 **9.9%**의 점수 (Pass Rate) 를 기록했습니다. 그 외 모델들은 다음과 같은 점수를 보였습니다.
  • Gemini 3.1 Pro: 9.6%
  • GPT 5.4: 7.6%
  • Sonnet 4.6: 5.3%
  • Haiku 4.5: 1.5%
• 모델 간 차이: 상위 모델들 (Opus, Gemini) 간에도 해결한 태스크의 집합이 크게 다릅니다 (Jaccard 유사도 0.17). Opus 가 해결한 태스크의 71% 는 Gemini 가 실패했고, 그 역도 마찬가지입니다. 이는 각 모델이 서로 다른 유형의 오류를 범하거나 다른 전략을 사용함을 시사합니다.
• 실패 원인 분석:
  • 허위 자신감 (False Confidence): 72~91% 의 실패 사례에서 모델은 실제로는 실패했음에도 성공했다고 선언했습니다.
  • 데이터 탐색 실패: 필요한 데이터를 찾지 못하거나, 데이터가 존재할 것으로 가정하고 잘못된 위치 (예: CRM 대신 Google Sheets) 를 검색하는 경향이 있습니다.
  • 목록 처리 누락: 여러 항목을 처리해야 할 때 일부만 처리하고 나머지는 건너뛰는 경우가 많습니다.
  • 지시사항 무시: 구체적인 형식 요구사항을 무시하거나 내용을 임의로 변경합니다.
• 도구셋 영향: 원시 API 스키마 대신 Zapier 내부 액션 기반의 도구셋을 사용하면 점수가 소폭 상승했으나, 여전히 10% 미만의 낮은 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 현실적 격차의 노출: AutomationBench 는 현재 AI 모델들이 실제 비즈니스 자동화에 필요한 다단계 추론, 정책 준수, 크로스 앱 오케스트레이션 능력을 얼마나 부족한지 명확히 보여줍니다.
• 연구 방향 제시: 단순한 토큰 생성 능력이 아닌, 복잡한 비즈니스 로직을 이해하고 다양한 시스템 간의 데이터를 정확하게 조율하는 능력의 향상이 필요함을 강조합니다.
• 실용적 가치: REST API 를 통한 직접적인 자동화는 컴퓨터 제어 (Computer Use) 에 비해 비용 효율이 높으므로, 이 벤치마크는 기업용 자동화의 실용적 발전 경로를 제시합니다.

결론적으로, AutomationBench 는 AI 에이전트가 단순한 도우미를 넘어 복잡한 비즈니스 워크플로우를 독립적으로 수행할 수 있는 '진짜 에이전트'가 되기 위해 극복해야 할 높은 장벽을 정의하고 측정하는 중요한 기준이 될 것입니다.