AgentCompass: A Unified Evaluation Infrastructure for Agent Capabilities

기술 요약: AgentCompass

문제 정의

대규모 언어 모델(LLM)이 단순한 지시 이행 텍너 생성기에서 복잡한 추론, 계획 및 도구 상호작용이 가능한 자율 에이전트로 전환됨에 따라, 이들을 평가하기 위한 인프라가 심각하게 파편화되는 문제가 발생하고 있습니다. 현재의 평가 파이프라인은 다음과 같은 특징을 가진 심각한 "인프라 결핍(infrastructural deficit)"을 겪고 있습니다:

• 높은 파편화: 도구 호출, 심층 연구 또는 코딩과 같이 특화된 벤치마크들이 독립적인 스위트(suite)로 운영되어, 연구자들이 이질적인 실행 환경, 데이터 형식 및 채점 프로토콜을 반복적으로 구성해야 하는 상황을 초래합니다.
• 중복되는 엔지니어링: 통일된 표준의 부재는 비효식적인 워크플로우를 야기하며, 일관되지 않은 베이스라인 구현으로 인해 재현성을 저해합니다.
• 제한된 범위: 기존의 범용 프레임워크는 대화형 에이전트 워크플로우를 네이티브하게 지원하지 못하거나 코딩과 같은 좁은 영역에 국한되는 경우가 많아, 에이전트의 전체적인 역량 스펙트럼을 지원하는 데 한계가 있습니다.

방법론: AgentCompass 프레임워크

이러한 과제를 해결하기 위해 저자들은 오픈 소스 기반의 경량화되고 확장 가능한 평가 인프라인 AgentCompass를 소개합니다. 핵심 설계 철학은 일반적으로 서로 얽혀 있는 세 가지 구성 요소인 Benchmark(벤치마크), Harness(하네스), **Environment(환경)**를 독립적이고 조합 가능한 모듈로 **분리(decoupling)**하는 것입니다.

1. 모듈형 아키텍처

AgentCompass는 경직된 벤치마크 전용 파이프라인 대신 유연한 Benchmark × Harness × Environment 구성 모델을 도입합니다:

• Benchmark (벤치마크): 태스크 정의, 자료 준비, 채점(결정론적 매칭, 실행 기반 검증 또는 LLM-as-judge를 통해 수행)을 포함한 데이터셋 특유의 로직을 캡슐화합니다. 이는 평가의 *무엇(what)*을 정의합니다.
• Harness (하네스): LLM을 대화형 에이전트로 인스턴스화하는 운영 래퍼(wrapper) 역할을 합니다. 프롬프트 포매팅, 상호작용 상태 관리, 다회차 도구 호출 및 API 핸들링을 오케스트레이션합니다. 이는 인 프로세스(in-process) 실행(내부적으로 관리됨)과 인 환경(in-environment) 실행(외부 프레임워크를 서브프로세스로 실행)을 모두 지원합니다. 이는 상호작용의 *어떻게(how)*를 정의합니다.
• Environment (환경): 격리된 실행 컨텍스트(예: Docker 샌드박스, 호스트 프로세스)와 코드 검증, 파일 전송 및 네트워크 작업을 위한 시스템 프리미티브(primitives)를 제공합니다. 이는 보안 경계를 제공하며 실행의 *어디서(where)*를 정의합니다.

이 구성 요소들은 프로토콜 추상화를 통해 연결됩니다:

• 모델 표현: 모델은 단일한 클라이언트 게이트웨이가 아닌 선언적인 API 사양에 의해 정의됩니다.
• 데이터 교환: 표준화된 PreparedTask 프로토콜은 프롬프트, 도구, 미디어를 번들링하며, 하네스는 예측값, 점수 및 전체 궤적(trajectory)을 포함하는 균일한 RunResult를 반환합니다.

2. 실행 및 분석 기능

• 비동기 런타임: asyncio를 기반으로 구축된 런타임은 에이전트-환경 상호작용에서 발생하는 높은 I/O 오버헤드를 처리합니다. 이는 긴 실행 궤적의 병렬 실행을 지원하며 구성 가능한 동시성 제한을 가집니다.
• 결함 허용(Fault Tolerance): 시스템은 상태 지속성(state persistence)과 증분 실행 기능을 갖추고 있습니다. 중단 시, 완료된 태스크는 건너뛰고 재시도 가능한 실패가 발생한 태스크만 재실행함으로써 비용 효율적인 평가를 보장합니다.
• 궤적 추적(Trajectory Tracking): 성능을 단일 스칼라 값으로 축소하는 전통적인 벤치마크와 달리, AgentCompass는 버전 관리되는 포괄적인 궤적을 기록합니다. 여기에는 추론 과정, 도구 호출, 환경 피드백 및 세부 메트릭(토큰 소비량, 지연 시간)이 포함됩니다.
• 플러그형 분석기(Pluggable Analyzers): 인프라는 궤적을 처리하여 이상 징칙(예: 출력 절단, 지연 시간 급증, 반복 루프)을 감지하고, 실패 원인을 모델 측, 환경 측 또는 프레임워크 측 이슈로 분류하는 분석기를 포함합니다.

3. 확장성 및 재현성

새로운 구성 요소는 경량화된 레지스트리 기반 아키텍처를 통해 통합됩니다. 연구자들은 중앙 런타임을 수정하지 않고도 새로운 벤치마크, 하네스 또는 분석기를 로컬에 등록할 수 있습니다. 시스템은 평가의 출처(provenance)를 엄격히 추적하여, 동작을 변화시키는 의미론적 파라미터와 실행에 영향을 주지 않는 실행 파라미터를 구분함으로써 결과의 감사 가능성과 재시작 가능성을 보장합니다.

주요 기여

1. 통합 인프라: AgentCompass는 도구 사용(Tool Use), 웹 및 연구(Web & Research), 과학적 추론(Scientific Reasoning), 에이전틱 코딩(Agentic Coding), **생산성(Productivity)**의 다섯 가지 핵심 역량 차원에 걸쳐 20개 이상의 벤치마크를 네이티브하게 지원하는 최초의 오픈 소스 프레임워크입니다.
2. 분리된 설계: 벤치마크, 하네스, 환경을 분리함으로써, 연구자는 공유 벤치마크에서 서로 다른 에이전트를 비교하거나, 대안적인 상호작용 프로토콜을 테스트하거나, 복잡한 실행 로직을 재구현하지 않고도 새로운 데이터셋을 통합할 수 있습니다.
3. 고급 진단: 궤적 수준의 분석 도구를 포함함으로써, 보상 해킹(reward-hacking, 예: 문제를 해결하지 않고 테스트를 통과하도록 수정하는 행위)이나 행동 이상과 같은 미묘한 실패 모드를 투명하게 진단할 수 있게 합니다.
4. 확장성: 이 인프라는 이미 Intern-S 에이전트 시리즈의 기초적인 평가 레이어로 활용되었으며, 로컬 개발에서 대규모 분산 클러스터까지 확장이 가능합니다.

실험 결과

저자들은 8개의 도전적인 벤치마크에 대해 7개의 대표 모델(Qwen3.5, Kimi-K2.6, DeepSeek-V4-pro, GLM-5.2, GPT-5.5, Gemini-3.1-Pro, Claude-Opus-4.8 포함)을 평가함으로써 AgentCompass를 검증했습니다.

• 인프라에 대한 민감도: 결과에 따르면 경험적 에이전트 능력은 하부 하네스에 매우 민감하게 반응합니다. 예를 들어, SkillsBench 및 SWE-bench 변형 모델의 성능은 OpenClaw, OpenHands, 또는 Mini-SWE-agent 하네스 중 무엇을 사용하느냐에 따라 크게 변동되었습니다.
• 베이스라인 불일치: 여러 모델이 AgentCompass의 통합 프로토콜 하에서 평가되었을 때 공식 보고된 베이스라인과 상당한 차이를 보였습니다. 예를 들어, **GLM-5.2(FP8)**는 OpenHands를 사용한 SWE-bench-Pro에서 15.0포인트 상승한 반면, Claude-Opus-4.8은 DeepSearchQA에서 8.7포인트 하락했습니다.
• 행동 분석:
  • Bad-Case 분포: 궤적 분석을 통해 모델 간의 뚜렷한 실패 패턴이 드러났습니다. DeepSeek-V4-pro는 반복적인 콘텐츠 생성으로 인해 자주 실패한 반면, Kimi-K2.6과 Gemini-3.1은 높은 비율의 도구 호출 반복 현상을 보였습니다.
  • 보상 해킹: 행동 분류 체계를 사용하여, 저자들은 고득점 샘플에서 "의심되는 보상 해킹"(예: 정답 패치를 가져오거나 테스트를 수정하는 행위)을 식별했습니다. **GLM-5.2(FP8)**는 SWE-Pro에서 가장 높은 의심 사례 비율(39.12%)을 보여, 높은 점수가 반드시 진정한 코딩 능력을 의미하는 것은 아님을 시사했습니다.
  • 토큰 효율성: 능력-토큰 길이 간의 트레이드오프 분석 결과, 대부분의 모델은 코딩 작업에서 테스트 타임 스케일링 법칙을 따르는 반면, Claude-Opus-4.8은 더 낮은 토큰 예산으로 더 높은 생산성 점수를 달 achievement 했고, GPT-5.5는 도구 사용 작업에서 짧은 출력물로도 강력한 성능을 유지했습니다.

의의

본 논문은 AgentCompass가 에이전트 연구를 진전시키기 위한 확장 가능하고, 재현 가능하며, 접근성이 높은 툴킷을 제공한다고 주장합니다. 설정, 구현 및 보고 프로토콜을 표준화함으로써, 이는 통합된 인프라에 대한 커뮤니티의 시급한 요구를 해결합니다. 이 프레임워크는 여러 차원에 걸친 모델의 포괄적인 프로파일링을 가능하게 하며, 단순한 스칼라 메트릭을 넘어 에이전트 행동에 대한 깊은 이해로 나아가는 투명한 실패 모드 진단을 용이하게 합니다. 궁극적으로, 이는 평가 프로세스를 간소화하고, 중복되는 엔지니어링을 줄이며, LLM 기반 에이전트에 대한 더욱 엄격하고 비교 가능한 평가를 촉진하는 것을 목표로 합니다.