기술 요약: Harness-Bench

문제 정의

대형 언어 모델 (LLM) 에이전트는 점점 더 외부 환경과 상호작용하는 실행 가능한 시스템으로 배포되며, 도구를 활용하고 작업 공간을 수정하며 구체적인 산출물을 생성합니다. 이러한 워크플로우에서 실제 성능은 기본 모델의 추론 능력에만 의존하는 것이 아니라, 맥락, 도구, 상태, 제약 조건, 권한, 추적, 복구 등을 관리하는 시스템 계층인 하네스 (harness) 에도 결정적으로 의존합니다.

기존 벤치마크는 중요한 한계를 안고 있습니다. 일반적으로 실행 세부 사항을 추상화하거나, 하네스를 전체 에이전트 시스템과 혼동하거나, 모델을 비교하는 동안 하네스를 고정합니다. 결과적으로 현실적인 워크플로우에서 성공률, 토큰 비용, 견고성, 추적 가능성에 미치는 특정 모델–하네스 구성의 영향을 연구하기 위한 진단 프로토콜이 부족합니다. 이는 에이전트의 성공 여부를 종종 결정하는 실행 계층의 변이를 흐리게 만듭니다.

방법론

저자들은 공유된 외부 조건 하에서 구성 수준 하네스 효과를 평가하도록 설계된 진단 벤치마크인 Harness-Bench를 소개합니다.

벤치마크 설계

• 작업 세트: 이 벤치마크는 실제 에이전트 사용 패턴에서 구축된 106 개의 샌드박스 오프라인 작업으로 구성됩니다. 이러한 작업은 소프트웨어 공학, 데이터 분석, 작업 공간 운영, 지식 작업, 사무실 커뮤니케이션, 수직 전문 워크플로우, 장기간 자율성, DevOps 등 8 가지 카테고리에 걸쳐 있습니다.
• 검증: 각 작업은 다음 네 가지 기준에 대해 수동으로 검토됩니다: 현실성(타당한 사용자 워크플로우), 해결 가능성(제공된 리소스로 완료 가능), 오라클 확인 가능성(결정적 검사 또는 평가 기준을 통해 검증 가능), 그리고 무결성(에이전트가 제약을 우회하는 것을 방지).
• 평가 프로토콜: 이 벤치마크는 작업 프롬프트, 초기 샌드박스 상태, 예산, 타임아웃, 평가자 등 외부 작업 조건을 고정하면서 하네스 구성과 모델 백엔드를 변경합니다.
  • 이전 연구들이 시스템을 공통 내부 정책으로 강제하는 것과 달리, Harness-Bench 는 각 하네스의 네이티브 실행 동작(프롬프팅, 도구 인터페이스, 상태 관리, 복구 메커니즘) 을 유지합니다.
  • 이 접근 방식은 하네스를 주요 관심 변수로 간주하여 개별 메커니즘을 분리하는 대신 모델 + 하네스 페어링의 성능을 측정합니다.

실행 및 점수 매기기

• 데이터 수집: 각 실행은 최종 산출물, 실행 추적, 사용 통계, 검증기 출력을 기록합니다. 본 연구는 6 개의 구성 가능 하네스와 8 개의 모델 백엔드 (그리고 Codex 에 대한 참조 평가 포함) 를 통해 5,194 개의 실행 궤적을 분석했습니다.
• 점수 측정 지표: 전체 점수는 세 가지 구성 요소의 곱셈적 조합입니다:
  1. 보안 ($S$): 권한 또는 보안 위반에 대한 이진 게이트 (0 또는 1).
  2. 완료 ($C$): 작업별 결정적 검증기 또는 평가 기준 기반 판단을 통해 측정.
  3. 프로세스 ($P$): 견고성, 도구 사용 적절성, 일관성의 집계로, LLM 기반 프로세스 평가 기준을 통해 평가됨.
  • 공식: $TaskScore = S \cdot C \cdot P$.
  • 이 보수적인 점수 매기기는 높은 집계 크레딧을 얻으려면 작업 완료, 보안 위반 없음, 신뢰할 수 있는 실행 동작이 모두 필요함을 보장합니다.

주요 기여

1. 벤치마크 자산: 현실적인 엔드투엔드 에이전트 워크플로우를 위해 설계된 작업 매니페스트, 고정 장치, 평가자, 실행 추적이 포함된 106 개의 샌드박스 오프라인 작업 세트인 Harness-Bench 의 공개.
2. 평가 프로토콜: 외부 작업 조건을 고정하면서 네이티브 하네스 동작을 유지하는 새로운 프로토콜로, 대표적인 하네스와 모델 백엔드 간 구성 수준 비교를 가능하게 함.
3. 진단 분석: 다양한 모델–하네스 페어링 간 완료, 프로세스 품질, 효율성, 실패 모드에서 상당한 변이가 있음을 밝힌 5,194 개의 궤적에 대한 대규모 분석.

주요 결과

• 구성 수준 변이: 동일한 작업 세트와 모델 백엔드 풀 하에서도 하네스 간 집계 점수가 크게 변동했습니다. NanoBot이 최고 점수 (76.2%) 를 기록한 반면, OpenClaw는 최저 점수 (52.4%) 를 기록하여 23.8 점의 격차를 보였습니다. 이는 하네스 선택이 성능의 결정적 요소임을 보여줍니다.
• 모델–하네스 의존성: 더 강력한 모델 백엔드는 프롬프팅 및 상태 관리의 차이에 더 관대함을 나타내며, 하네스 간 변이가 낮은 경향이 있었습니다. 반면, 더 약한 백엔드는 실행 기질에 더 민감하게 반응했습니다.
• 효율성: 더 높은 점수를 받은 하네스는 종종 더 나은 프로세스 프로필 (도구 사용, 일관성, 견고성) 을 보였으며, 일부 경우 더 낮은 점수를 받은 대응물보다 더 높은 효율성 (더 적은 토큰/턴) 을 보였습니다.
• 실패 모드: 실패한 궤적에 대한 분석은 타당한 추론이 도구 피드백이나 검증 가능한 출력과 분리되는 반복적인 "실행 정렬 실패"를 식별했습니다. 가장 흔한 실패는 계약/형식 위반(36.4%) 이었으며, 이어 도구/복구 문제(24.6%) 와 증거/그라운딩 격차(14.6%) 가 뒤를 이었습니다.

중요성 및 주장

이 논문은 에이전트 능력은 기본 모델 단독이 아닌 모델–하네스 구성 수준에서 보고되어야 한다고 주장합니다. 결과는 실행 계층이 단순한 구현 세부 사항이 아니라, 능력이 어떻게 노출되고, 제약되며, 실현되는지를 형성하는 에이전트 성능의 근본적인 구성 요소임을 시사합니다.

Harness-Bench 는 다음과 같은 재현 가능한 기반을 제공합니다:

• 추론이 증거나 상태와 분리되는 반복적인 실행 정렬 실패를 진단.
• 신뢰할 수 있고, 효율적이며, 권한을 인식하고, 감사 가능한 에이전트 실행 스택 개선.
• "모델 전용" 지표에서 모델 추론과 실행 환경 간의 상호작용을 고려하는 "시스템 수준" 진단으로 평가 패러다임 전환.

저자들은 벤치마크가 통제된 샌드박스 조건 하에서 완전한 하네스 구성을 평가한다는 점을 지적하며 겸손한 입장을 견지합니다. 따라서 결과는 모든 가능한 현실 세계 배포에 대한 통계적 보장보다는 고정된 프로토콜 하의 진단 측정치로 제시됩니다.