APEX–Agents: 전문가 서비스 작업을 위한 AI 에이전트 벤치마크 기술 요약

1. 문제 정의 (Problem Statement)

현재 존재하는 AI 에이전트 평가 지표 (Eval) 는 실제 전문가의 업무 환경과 큰 괴리 (Sim-to-Real Gap) 를 보이고 있습니다. 기존 벤치마크는 다음과 같은 한계가 있습니다:

• 제한된 범위: 단순하고 인위적으로 구성된 작업에 국한됨.
• 실제 업무 반영 부족: 투자은행 애널리스트, 경영 컨설턴트, 기업 법무 전문가 등 고도화된 전문 서비스 (Professional Services) 의 복잡한 업무 흐름을 포착하지 못함.
• 단일 애플리케이션 중심: 실제 업무는 여러 파일과 도구를 오가며 장기간 (Long-horizon) 에 걸쳐 수행되지만, 기존 평가는 이를 제대로 반영하지 못함.

이에 따라, AI 에이전트가 실제 전문가 수준의 복잡한 작업을 신뢰성 있게 수행할 수 있는지 평가할 수 있는 새로운 벤치마크가 필요했습니다.

2. 방법론 (Methodology)

2.1 APEX Survey 및 데이터 수집

• 설문 조사: 메르코르 (Mercor) 인재 마켓플레이스의 227 명 전문가 (투자은행 애널리스트 58 명, 경영 컨설턴트 77 명, 변호사 92 명) 를 대상으로 일상 업무 활동을 분석했습니다.
• 결과: 핵심 업무 활동이 전체 시간의 47% 를 차지하며, 이를 기반으로 18 가지 범주로 세분화하여 태스크 생성에 반영했습니다.

2.2 벤치마크 설계 (Benchmark Design)

APEX–Agents 는 3 단계 프로세스로 구축되었습니다:

1. 가상 세계 (Worlds) 생성: 33 개의 고유한 프로젝트 시나리오 (투자은행 10 개, 컨설팅 11 개, 법률 12 개) 를 기반으로 '세계'를 구축했습니다. 각 세계는 실제 업무와 유사한 파일, 도구, 역할 (파트너, 애널리스트 등) 을 포함하며, 평균 166 개의 파일과 9 가지 애플리케이션 (캘린더, 채팅, 코드 실행, 문서, 스프레드시트 등) 을 제공합니다.
2. 태스크 생성: 전문가들이 각 세계의 파일을 활용하여 현실적이고 도전적인 장기간 태스크를 생성했습니다. 총 480 개의 태스크가 포함되며, 각 태스크는 평균 1.82 시간 (전문가 추정) 의 소요 시간을 가집니다.
3. 에이전트 실행 환경: 에이전트가 인간과 동일한 데이터와 소프트웨어 도구를 사용하여 태스크를 수행할 수 있도록 'Archipelago'라는 인프라를 구축하여 개방했습니다.

2.3 평가 지표 및 기준 (Metrics & Rubrics)

• Pass@1: 에이전트가 한 번의 시도에서 모든 평가 기준 (Rubric) 을 충족하는 비율. (가장 중요한 지표)
• Pass@8: 8 번의 시도 중 한 번이라도 성공하는 비율.
• Pass^8: 8 번의 시도 모두에서 성공하는 일관성 지표.
• 평가 모델 (Judge): Gemini 3 Flash (Thinking=Low) 를 사용하여 에이전트의 출력물과 기준을 비교 평가합니다. 인간 전문가가 작성한 'Gold Output'과 기준에 기반하여 98.5% 의 정확도를 가집니다.

3. 주요 기여 (Key Contributions)

1. 새로운 벤치마크 (APEX–Agents): 전문가 서비스 (투자은행, 컨설팅, 법률) 의 복잡하고 장기간에 걸친 다중 애플리케이션 태스크를 평가하는 최초의 대규모 벤치마크 (480 개 태스크, 33 개 세계).
2. 오픈 소스 인프라 및 데이터셋:
   • 데이터셋: 모든 프롬프트, 평가 기준, Gold Output, 파일, 메타데이터를 포함하여 Hugging Face 에서 CC-BY 라이선스로 공개.
   • 인프라: 에이전트 실행 및 평가를 위한 'Archipelago'를 오픈 소스로 제공.
3. 실제 업무 시뮬레이션: 단순한 Q&A 가 아닌, 실제 업무 환경 (파일 시스템, 이메일, 스프레드시트 편집 등) 에서 에이전트가 수행해야 하는 구체적인 작업을 평가합니다.

4. 실험 결과 (Results)

4.1 주요 모델 성능 (Pass@1)

8 개의 모델을 평가한 결과, 모든 모델이 25% 미만의 점수를 기록하여 에이전트 기술이 여전히 초기 단계임을 보여줍니다.

• 1 위: Gemini 3 Flash (Thinking=High) - 24.0%
• 2 위: GPT-5.2 (Thinking=High) - 23.0% (통계적으로 유의미한 차이는 없음)
• 3 위: Claude Opus 4.5, Gemini 3 Pro - 각각 18.4%
• 오픈 소스 모델: GPT-OSS-120B, Kimi K2 Thinking 등은 5% 미만으로 폐쇄형 모델에 비해 현저히 낮은 성능을 보임.

4.2 직무별 성능

• 투자은행: GPT-5 및 GPT-5.2 가 27.3% 로 가장 높음.
• 경영 컨설팅: GPT-5.2 가 22.7% 로 가장 높음.
• 기업 법률: Gemini 3 Flash 가 25.9% 로 가장 높음.

4.3 일관성 및 실패 분석

• 일관성 부족: Pass@1(24%) 대비 Pass@8(36.7%) 은 높지만, Pass^8(8 번 모두 성공) 은 13.4% 로 급격히 하락하여 에이전트의 실행 일관성이 낮음을 시사합니다.
• 실패 원인:
  • 타임아웃: 오픈 소스 모델 (특히 Kimi K2 Thinking) 이 29.8% 의 경우 250 단계 제한을 초과하여 실패했습니다.
  • 불필요한 삭제: 일부 모델이 태스크와 무관한 파일을 삭제하는 'rogue behavior'를 보였습니다.
  • 효율성: Gemini 3 Flash 는 가장 높은 성능을 보였으나, 토큰 사용량과 단계 수가 다른 모델에 비해 비효율적임 (GPT-5.2 대비 토큰 5 배, 단계 54% 더 사용).

5. 의의 및 결론 (Significance & Conclusion)

• 현실적인 한계 제시: 최첨단 AI 에이전트조차도 복잡한 전문가 서비스 작업을 25% 미만의 성공률로만 수행할 수 있음을 보여주어, AI 의 상용화까지 아직 갈 길이 멀음을 강조합니다.
• 불일치 문제: 에이전트가 복잡한 작업을 수행할 수 있는 잠재력은 있으나, 그 실행이 매우 불안정하고 일관성이 부족하다는 점을 발견했습니다.
• 연구의 토대: 오픈 소스로 공개된 데이터셋과 인프라를 통해 향후 더 정교한 에이전트 개발 및 평가 연구가 가능해졌습니다.
• 향후 방향: 태스크의 범위 확장, 세계의 복잡성 및 깊이 증가, 벤치마크가 지닌 가치의 심화를 계획하고 있습니다.

이 논문은 AI 에이전트 평가의 새로운 표준을 제시하며, 단순한 능력 측정을 넘어 실제 비즈니스 환경에서의 신뢰성과 일관성 문제를 부각시켰다는 점에서 중요한 의의를 가집니다.