기술 요약: Workspace-Bench 1.0

문제 제기

현재 AI 에이전트는 고립된 작업에서 입증된 능력과 실제 업무 환경 시나리오에서의 성능 사이에 상당한 격차를 겪고 있습니다. 기반 모델과 에이전트 하네스 (harness) 가 도구 호출 및 GUI 상호작용 측면에서 진전을 이루었지만, 복잡한 디지털 워크스페이스 내의 이질적인 파일들 간의 명시적 및 암시적 종속성을 식별하고, 추론하며, 업데이트하는 능력인 워크스페이스 학습에는 어려움을 겪고 있습니다.

기존 벤치마크는 실제 사무실 워크플로우를 충분히 시뮬레이션하지 못합니다. 이들은 일반적으로 다음에 의존합니다:

• 실제 디지털 파일 처리의 필요성을 우회하는 프롬프트 주도 또는 오픈소스 주도 패러다임.
• 사전 포장된 고립된 파일을 제공하여 에이전트가 지저분하고 계층적인 디렉토리 구조 내에서 정보를 독립적으로 검색, 필터링, 발견하도록 요구하지 않는 작업 - 파일 주도 벤치마크.
• 종종 페르소나 다양성이 부족하고 10 가지 미만의 파일 모달리티를 다루며, 파일 간 시너지를 종속성 식별 (예: 의미적 관계, 버전 계보) 을 명시적으로 평가하는 대신 암시적 부산물로 취급하는 워크스페이스 관련 벤치마크.

따라서 현실적이고 이질적인 워크스페이스 내의 대규모 파일 종속성에 대해 에이전트를 평가하는 벤치마크에 대한 긴급한 필요성이 있습니다.

방법론

벤치마크 구축 (Workspace-Bench)

저자들은 현실적인 디지털 워크스페이스와 맥락 기반 사무실 작업을 시뮬레이션하도록 설계된 대규모 벤치마크인 Workspace-Bench를 구축했습니다.

1. 워크스페이스 시뮬레이션:

   • 페르소나: 운영 관리자, 물류 관리자, AI 제품 관리자, 백엔드 개발자, 연구원 등 5 가지 뚜렷한 전문 직군이 정의되었습니다.
   • 규모: 벤치마크는 74 가지 다양한 파일 유형 (.xlsx, .pdf, .md, .java, .yaml, .eml 등 포함) 에 걸쳐 20,476 개 파일(총 20GB 까지) 로 구성됩니다.
   • 구조: 워크스페이스는 상향식, 2 단계 파이프라인을 사용하여 생성되었습니다:
     • 구조 생성: 에이전트가 구조적 노이즈 (중복 폴더, 모호한 이름) 가 통제된 역할별 디렉토리 계층 구조를 생성했습니다.
     • 콘텐츠 채우기: 검색된 데이터를 기반으로 한 LLM 합성 아티팩트 (이메일, 회의록, 보고서) 와 공개 리소스 (arXiv, GitHub 등) 에 대한 의미 기반 에이전트 크롤링을 결합한 하이브리드 전략을 사용했습니다.
   • 복잡성: 파일은 깊게 중첩되어 있으며 (평균 깊이 3.7, 최대 8), 계보 추적을 테스트하기 위해 역사적 버전을 포함합니다.

2. 작업 큐레이션:

   • 출처: 388 개의 작업이 실제 워크플로우 (Lark/ByteDance 에서 제공) 에서 큐레이션되었으며 도메인 전문가에 의해 수동으로 주석 처리되었습니다.
   • 종속성 그래프: 각 작업은 필수 파일 경로와 그 관계 (의미적, 집계적, 계보) 를 지정하는 실제 파일 종속성 그래프와 짝을 이룹니다.
   • 난이도 수준: 작업은 필요한 능력의 복잡성 (예: 워크스페이스 탐색, 계보 추적, 이질적 파일 이해) 을 기반으로 Easy(14%), Medium(53%), Hard(33%) 로 분류됩니다.
   • 평가 기준: 최종 출력 정확도뿐만 아니라 중간 결정, 파일 버전 사용, 종속성 준수를 평가하기 위해 총 7,399 개의 세밀한 기준(작업당 평균 19.1 개) 이 설계되었습니다.

3. 평가 프레임워크:

   • 에이전트 - 어즈 - 어 - 저지: 보조 에이전트가 기준과 종속성 그래프에 대해 실행 궤적을 평가합니다.
   • 병렬 가속: 대규모 평가를 처리하기 위해 샌드박스 풀을 사용하는 이중 병렬 메커니즘 (워크스페이스 수준 및 작업 수준).
   • 지표: 기준 통과율, 작업 완료율 (TCR@p), 종속성 그래프 인식률 (노드/엣지 F1), 토큰 소비량, 상호작용 턴.
   • Workspace-Bench-Lite: 신속한 평가를 위해 분포 충실도를 유지하는 100 개 작업 하위 집합으로, 비용을 약 70% 절감합니다.

실험 설정

저자들은 4 개 에이전트 하네스(OpenClaw, ClaudeCode, DeepAgent, Hermes) 와 7 개 기반 모델(Opus-4.7, GLM-5.1, GPT-5.4, Kimi-2.5 등 포함) 을 결합한 28 가지 구성을 평가했습니다. 인간 전문가도 "Human + Tools" 기준선을 사용하여 평가되었습니다.

주요 결과

1. 성능 격차: 현재 에이전트는 신뢰할 수 있는 워크스페이스 학습과 거리가 멉니다.

   • 모든 구성에 걸친 평균 기준 통과율은 **47.4%**입니다.
   • 가장 성능이 좋은 구성 (OpenClaw + Opus-4.7) 은 **68.7%**를 달성합니다.
   • 인간 전문가는 **80.7%**를 달성하여 자율 에이전트와 인간 능력 사이의 상당한 격차를 보여줍니다.

2. 난이도 저하: 작업 복잡성이 증가함에 따라 성능이 일관되게 저하됩니다:

   • Easy 작업: 57.6%
   • Medium 작업: 49.2%
   • Hard 작업: 40.5%

3. 능력 병목 현상:

   • 이질적 파일 이해와 계보 추적이 주요 병목 현상이며, 에이전트는 워크스페이스 탐색에 비해 이러한 차원에서 훨씬 더 낮은 성능을 보입니다.
   • 종속성 인식: 에이전트는 파일 간 종속성을 추론하는 데 어려움을 겪습니다 (엣지 F1 점수가 전반적으로 낮음). 종종 관련 파일을 식별 (노드 F1) 하지만 그 관계를 이해하지 못합니다.

4. 효율성 대 정확도:

   • 높은 상호작용 턴과 토큰 소비가 더 나은 성능을 보장하지는 않습니다. 일부 구성 (예: DeepAgent + MiniMax-M2.7) 은 낮은 성공률 (~45%) 로 "비용 폭발"(최대 58.1 턴, 0.61M 토큰) 을 겪습니다.
   • 최상위 구성 (예: OpenClaw + Opus-4.7) 은 높은 추론 효율성을 보여주며, <20 턴으로 >65% 의 정확도를 달성합니다.

5. 오류 분석: 대부분의 실패는 형식 또는 프로세스 오류가 아니라 누락된 콘텐츠와 추론 오류(부정확한 집계, 통계, 연관) 에서 비롯됩니다.

6. 하네스 영향: 기반 모델의 능력이 주요 동인이지만, 하네스 프레임워크는 특히 약한 모델의 성능에 상당한 영향을 미칩니다. 예를 들어, DeepAgent + GLM-5.1 은 난이도 계층 전반에 걸쳐 독특한 안정성을 보이는 반면, Hermes 는 제품 관리자 페르소나에 대한 개방형 의미 상호작용에서 뛰어납니다.

중요성과 기여

이 논문은 다음과 같은 기여를 주장합니다:

1. Workspace-Bench 벤치마크: 원자적 기술 평가에서 복잡한 워크스페이스 구조에 대한 추론 평가로 전환하는 새로운 벤치마크입니다. 이는 명시적 종속성 주석이 포함된 현실적이고 대규모이며 이질적인 파일 생태계를 도입하여 기존 문헌에서 누락된 "워크스페이스 수준" 평가를 해결합니다.
2. 평가 프레임워크: 이중 병렬 가속과 에이전트 - 어즈 - 어 - 저지 패러다임을 특징으로 하는 워크스페이스 기반 프레임워크로, 최종 정확도, 중간 추론, 운영 효율성을 포괄하는 7,000 개 이상의 세밀한 기준에 대한 세밀한 평가를 가능하게 합니다.
3. 실증적 통찰: 최첨단 에이전트가 종속성 인식 작업에서 크게 어려움을 겪는다는 포괄적인 평가. 이 논문은 특정 병목 현상 (이질적 파일 이해, 계보 추적) 과 현재 고립된 파일 처리 패러다임과 실제 워크스페이스 요구 사항 사이의 "데이터 연관 격차"를 식별합니다.
4. 이론적 프레임워크: 워크스페이스 학습의 5 단계(데이터 무감각 실행에서 워크스페이스 네이티브 자기 진화까지) 제안. 이 프레임워크는 에이전트 능력의 진화를 특징짓고 "오케스트레이션 특이점"(하네스가 LLM 보다 더 중요해지는 지점) 과 "능력 특이점"(자율적 엔드 - 투 - 엔드 작업 처리) 과 같은 중요한 전환점을 식별합니다.

저자들은 기반 모델이 인상적인 진전을 이루었지만, 실제 디지털 워크스페이스의 복잡하고 관계적인 구조를 탐색할 수 있는 진정한 신뢰할 수 있는 생산성 에이전트를 만드는 데 근본적이고 미탐구된 병목 현상이 존재한다고 결론지었습니다. 향후 연구는 에이전트 하네스가 파일 간 종속성을 어떻게 발견, 표현, 활용하는지에 대한 재고를 집중해야 합니다.