기술 요약: EnterpriseClawBench

문제 정의

대규모 언어 모델(LLM)은 단순한 텍스트 기반 어시스턴트에서 벗어나, 비즈니스 산출물을 생성하기 위해 실행 가능한 워크스페이스 내에서 작동하는 에이전트로 진화하고 있습니다. 그러나 기존의 평가 프레임워크는 기업 환경에 적용할 때 세 가지 결정적인 격차에 직면합니다:

1. 실제성 대 확장성: 많은 벤치마크가 인간이 작성하거나 시뮬레이션된 작업에 의존하며, 이는 자연적으로 발생하는 기업의 복잡한 요구사항과 노이즈를 포착하지 못합니다.
2. 다차원적 평가: 현재의 메트릭은 성능을 단일 모델 점수로 축소하는 경향이 있으며, 에이전트 '하네스(harness, 도구 사용을 가능하게 하는 스캐폴딩)'와 베이스 모델 사이의 결정적인 결합 관계, 그리고 전달된 산출물의 품질, 비용, 실행 시간 등을 간과합니다.
3. 기술 평가: 기존 벤치마크는 재사용 가능한 기술을 전이 단위로서 테스트하는 경우가 드뭅니다. 이들은 기술을 특정 작업 클래스 내에서 추출된 기술이 동일 클래스의 미학습 작업(held-out tasks)에 대한 성능을 개선하는지 평가하기보다는, 개별 작업 항목 수준에서 기술을 평가합니다.

방법론

저자들은 한 AI 스타트업의 100명 이상의 직원이 생성한 실제 세계의 에이전트 세션 아카이브로부터 구축된 EnterpriseClawBench를 소개합니다. 데이터는 2026년 3월부터 5월까지의 기간을 다루며, 채팅 턴, 업로드된 파일, 도구 트레이스(tool traces), 그리고 지속적인 워크스페이스 상태를 포함합니다.

구축 파이프라인

파이프라인은 엄격한 필터링 및 변환 과정(그림 2 및 3 참조)을 통해 5,291개의 원시 작업 인스턴스를 852개의 재현 가능한 벤치마크 작업으로 변환합니다:

1. 기계적 게이트(Mechanical Gates): 후보군들은 길이 필터링, 피스처 복구(입력 파일 존재 여부 확인), 레드액션 복구(컨텍스트로부터 마스킹된 URL/경로 복원), 네트워크 도달 가능성 체크를 거칩니다. 이를 통해 후보군은 3,813개의 기계적으로 사용 가능한 후보로 감소합니다.
2. 자기 완결성 및 재작성: 작업들은 자기 완결성을 검토받습니다. 다회차의 노이즈가 섞인 대화는 명시적인 자료 참조와 결과물 요구사항을 갖춘 단일 턴 벤치마크 프롬프트로 재작성됩니다.
3. 분류 체계 할당: 작업들은 역할 클래스(예: 제품, 엔지니어링, HR)와 기술 하위 클래스(8개 역할 클래스에 걸친 총 45개 하위 클래스)로 라벨링됩니다.
4. 루브릭 생성: 각 작업은 하드 규칙(파일 유형, 개수, 비어 있지 않음 등에 대한 객관적 체크)과 텍스트 및 시각적 판단을 위한 시맨틱 루브릭과 함께 패키징됩니다.
5. 샌드박스 사전 점검(Sandbox Preflight): 최종 작업들은 입력 파일을 업로드할 수 있는지, 에이전트가 실행 가능한지, 산출물을 다운로드할 수 있는지 확인하기 위해 샌드박스 체크를 거칩니다.

평가 프레임워크

본 벤치마크는 모델을 독립적으로 평가하는 것이 아니라 하네스-모델 조합을 평가합니다.

• 리더보드: 5개의 하네스(Claude Code, Codex, DeepAgents, Hermes, OpenClaw)와 9개의 모델(GPT-5.5, Sonnet 4.6, Opus 4.6, Kimi K2.6 등 포함)의 32가지 조합을 다룹니다.
• 스코어링:
  • 하드 규칙: 파일 존재 여부, 형식, 콘텐츠 유효성에 대한 객관적 체크.
  • 시맨틱 저지(Semantic Judges): 다중 메트릭 LLM 저지가 근거 기반 정확도, 작업 관련성, 실질적 깊이, 실용적 유용성, 커뮤니케이션 품질의 5개 차원에서 출력 품질을 점수화합니다.
  • 라우팅: 텍스트 추출 가능한 출력은 텍스트 모델에 의해 판단되며, 시각적 산출물(HTML, PDF, 스프레드시트, 슬라이드)은 시각적 저지를 위해 이미지로 렌더링됩니다.
• 기술 평가: 특정 프로토콜은 도메인 내 작업(예: 프론트엔드 페이지 생성)으로부터 기술을 추출하여 소비자 에이전트에 주입함으로써, 동일 하위 클래스의 미학습 작업에 대한 성능을 테스트하여 기술 전이를 검증합니다.

주요 결과

라이트 서브셋(Lite Subset, 120개 작업) 성능

• 미충족된 성능(Unsaturated Performance): 최적의 구성(Codex와 GPT-5.5 조합)조차 점수가 0.663에 불과하여, 엔터프라이즈 산출물 전달 측면에서 상당한 개선 여지가 있음을 보여줍니다.
• 하네스-모델 결합: 성능은 하네스에 크게 의존합니다. 예를 들어, Claude 계열 모델(Sonnet 4.6, Opus 4.6)은 Claude Code, DeepAgents, OpenClaw 하에서는 높은 성능(점수 0.62–0.64)을 보이지만, Hermes 하에서는 급격히 하락합니다(0.458). 트레이스 분석 결과, Hermes가 필요한 환경 탐색 및 스크립트 실행을 차단하여 불완전한 산출물 생성을 초래하는 것으로 나타났습니다.
• 비용 효율성: 비용과 점수 사이에는 비선형적 관계가 존재합니다. 저비용에서 중간 비용 시스템으로 이동할 때는 큰 이득이 발생하지만, 높은 비용 티어에서는 한계 효용이 감소합니다.
• 역할 및 산출물 변동성:
  • 역할: 마케팅 및 재무/운영 작업은 문서 이해 요구사항과 기업 특유의 관례가 많아 가장 어려운 것으로 나타났습니다.
  • 산출물: GPT-5.5는 HTML, 코드, JSON에 탁월하며, Opus 4.6은 스프레드시트에서 선두를 달립니다. 특히, 시각적 저지는 텍스트 전용 전달물에 비해 스프레드시트와 프레젠테이션의 점수를 높게 책정하는 경향이 있습니다.
• 기술 전이: 기술 주입은 높은 변동성을 보입니다. GPT-5.5는 강력한 기술 생성자(양의 평균 전이) 역할을 하는 반면, Haiku 4.5는 약한 생성자(음의 평균 전이) 역할을 합니다. 결정적으로, 강력한 소비자(예: DeepAgents/Haiku 4.5)는 약한 생성자로부터 혜택을 받을 수 있는 반면, 강력한 소비자는 부적절한 생성자 선택에 의해 성능이 저하될 수 있습니다.

저지 신뢰도(Judge Reliability)

• 텍스트 vs 시각: 텍스트 저지는 인간 평가자와 높은 일치도(Spearman 상관계수 0.790, MAE 0.134)를 보였습니다. 그러나 시각적 저지는 인간과의 일치도가 낮았으며(Spearman -0.259, MAE 0.303), Sonnet 4.6은 인간 평가자보다 상당히 더 보수적인 경향을 보였습니다. 이는 멀티모달 산출물 평가의 성숙도 격차를 드러냅니다.

주요 기여

1. 자동화된 구축 프로토콜: 독점적인 노이즈 섞인 엔터프라이즈 세션을 피스처, 분류 체계 및 루브릭을 갖춘 표준화된 벤치마크 작업으로 변환하는 재현 가능한 파이프라인.
2. 다차원적 평가 프레임워크: 단일 모델 점수를 넘어 하네스-모델 성능, 산출물 전달 품질, 텍스트/시각적 시맨틱 점수, 비용 및 실행 시간을 공동으로 보고하는 프로토콜.
3. 기술 일반화 지원: 소비자-생성자 매트릭스를 사용하여 작업 클래스 수준에서 기술 전이를 평가하기 위한 네이티브 인프라스트럭처.

의의 및 한계

본 논문은 엔터프라이즈 에이전트 평가가 단일 모델 점수로 성능을 축소하는 대신, 하네스-모델 조합과 산출물 전달 품질을 보고하는 방향으로 진화해야 한다고 주장합니다. 결과는 현재의 시스템이 복잡한 문서 처리 및 시각적 출력을 요구하는 실제 기업 업무를 해결하는 데 있어 아직 갈 길이 멀다는 것을 입증합니다.

한계:

• 데이터 프라이버시: 소스 데이터의 독점적 성격(내부 세션, 첨부 파일, 비즈니스 컨텍스트)으로 인해 벤치마크 데이터셋 자체는 공개되지 않습니다. 기여점은 구축 프로토콜과 평가 프레임워크입니다.
• 일반화 가능성: 본 벤치마크는 단일 엔터프라이즈 배포 환경에서 도출되었으므로, 모든 조직 구조나 워크플로우를 대표하지 않을 수 있습니다.
• 저지의 불완전성: LLM 저지, 특히 시각적 산출물에 대한 저지는 여전히 불완리하며 인간 평가자와의 캘리브레이션이 필요합니다.

저자들은 EnterpriseClawBench가 현실적이고 산출물 중심적인 환경에서 에이전트의 결합된 동작을 이해하기 위한 필수적인 토대를 제공하며, "엔터프라이즈 에이전트 평가는 하네스-모델 조합, 산출물 전달, 시각적 품질, 비용, 기술 전이 행동을 보고해야 한다"는 점을 강조하며 결론을 맺습니다.