기술 요약: Anchor – 에이전트 벤치마크 생성에서의 아티팩트 드리프트 완화

문제 정의

기업용 AI 에이전트를 위한 현재 벤치마크는 아티팩트 드리프트라고 불리는 근본적인 구성 결함을 안고 있습니다. 전통적인 벤치마크 생성 방식에서는 작업의 네 가지 핵심 구성 요소인 지시문 ($I$), 환경 ($E$), 오라클 솔루션 ($x^*$), 검증자 ($V$) 가 느슨하게 결합된 프로세스를 통해 종종 생성됩니다. 이러한 분리된 생성은 아티팩트 간에 작업 요구 사항에 대한 불일치를 초래합니다. 예를 들어, 환경이 지시문이 가정하는 데이터를 누락하거나, 오라클이 환경에서 생략된 상태에 의존하거나, 검증자가 지시문이 요청하지 않은 결과를 허용할 수 있습니다. 이러한 불일치로 인해 해결 불가능하거나, 보상 해킹에 취약하거나, 단순히 일관성이 없는 환경이 생성되어 벤치마크 점수와 실제 생산 환경 성능 사이의 격차를 만듭니다.

방법론: Anchor 파이프라인

아티팩트 드리프트를 해결하기 위해 저자들은 단일 해결된 명세에서 네 가지 작업 아티팩트 전체를 컴파일하는 작업 생성 파이프라인인 Anchor를 소개합니다. 이 파이프라인은 다음과 같이 작동합니다:

1. 형식화: 도메인 전문가와 엔지니어가 OR-Tools CP-SAT를 사용하여 매개변수 제약 프로그램으로 비즈니스 워크플로우 (예: 송장 우선순위 지정, 생산 일정 계획) 를 형식화합니다. 이 명세에는 의사 결정 변수, 비즈니스 규칙 제약 조건, 그리고 목적 함수가 포함됩니다.
2. 해결: 주어진 매개변수 집합 ($\theta$) 에 대해 CP-SAT 솔버는 해당 인스턴스를 실행 불가능하다고 거부하거나 최적 솔루션 ($x^*_\theta$) 을 인증합니다. 이 결과와 매개변수 및 제약 조건을 결합하여 해결된 명세 ($S_\theta$) 를 형성합니다.
3. 결정적 컴파일: 네 가지 번역 계층이 $S_\theta$를 작업 아티팩트로 결정적으로 투영합니다:
   • 지시문 생성기: 매개변수, 제약 조건, 그리고 목적을 자연어로 렌더링합니다.
   • 설정 생성기: 샘플링된 초기 레코드를 환경 컨테이너에 씁니다.
   • 오라클 생성기: 솔버가 인증한 솔루션을 참조용 최종 상태로 씁니다.
   • 검증자 생성기: 프로그램의 제약 조건과 목적에 따라 최종 상태를 평가합니다.

모든 아티팩트가 동일한 해결된 명세의 결정적 투영이므로, 불일치는 구성 단계에서 완화됩니다. 이 파이프라인에는 잔여 결함을 드러내기 위한 다섯 가지 엔드 - 투 - 엔드 검사 (무작위 에이전트 점수 평가, 오라클 재생, LLM 일관성 판단, 보상 해킹 경고 시스템, 전문가 spot-check) 가 포함되어 있습니다.

주요 기여

1. Anchor 파이프라인

단일 제약 프로그램에서 지시문, 환경, 오라클, 검증자 생성을 통합하는 새로운 작업 생성 프레임워크입니다. 이 접근 방식은 매개변수를 통해 난이도를 조정 가능하게 하고 최적 솔루션이 수학적으로 인증되도록 하여 검증 가능한 학습 커리큘럼을 가능하게 합니다.

2. ERP-Bench

생산급 오픈 소스 ERP 시스템인 Odoo 19 내의 조달 및 제조 워크플로우를 아우르는 300 개의 장기 작업 벤치마크입니다.

• 범위: 정기적 재보충, 중단 복구, 생산 및 이행 시나리오를 포함한 29 가지 워크플로우 패턴을 다룹니다.
• 복잡성: 작업은 구조화된 데이터 (판매 주문, 구매 주문, 제조 주문, BOM) 를 포함하며, 에이전트가 선도 시간, 최소 주문 수량 (MOQ), 용량 제약과 같은 복잡한 비즈니스 규칙을 탐색해야 합니다.
• 검증: 검증자는 중점적 실패에 대한 하드 - 제로 게이트를 갖춘 가중 점수 시스템 (제약 조건 만족도 25%, 최적성 60%, 추적 가능성 15%) 을 사용합니다.

3. 포괄적 평가

저자들은 18,000 회 이상의 시도에 걸쳐 세 가지 하네스 (코딩, 브라우저, 컴퓨터 사용) 에서 다섯 가지 최첨단 모델 (GPT-5.5, Claude Opus 4.7, GLM-5.1, GLM-5V-Turbo, Kimi K2.5) 을 평가했습니다.

• 하네스: 벤치마크 특화 래퍼가 아닌 실제 세계의 구조를 반영하기 위해 오픈 소스 pi-mono 툴킷을 기반으로 구축되었습니다.
• 지표: Pass@1, Pass@5, 평균 점수, 그리고 실행 가능성 - 최적성 격차를 평가했습니다.

결과

1. 난이도 상관관계

매개변수 기반 난이도 개입은 실현된 성능을 성공적으로 예측합니다. 모든 모델과 하네스에 걸쳐 Pass@5 점수는 쉬운 단계에서 어려운 단계로 단조롭게 감소합니다:

• 코딩: 70.5% $\to$ 22.3%
• 브라우저: 46.5% $\to$ 7.7%
• 컴퓨터 사용: 56.0% $\to$ 9.5%

작업 센터 수, 제조 주문 수, 고유 공급업체 수와 같은 작업 매개변수는 Pass@1 과 강한 음의 상관관계를 보입니다.

2. 실행 가능성 - 최적성 격차

제약 조건을 만족하는 것과 최적성을 달성하는 것 사이에는 상당한 격차가 존재합니다. 모든 모델에서 에이전트는 **26.1%**의 시도에서 명시적 작업 제약 조건을 만족하지만, 완전히 최적의 솔루션에 도달하는 경우는 **17.4%**에 불과합니다. 가장 강력한 모델 (코딩에서의 GPT-5.5) 은 23.4 포인트의 격차를 보입니다. 점수 저하는 주로 실행 가능한 계획 간의 비최적적 절충이 아니라, 깨진 명시적 제약 조건 (실행 가능성) 에 의해 주도됩니다.

3. 하네스 성능

모델은 브라우저 또는 컴퓨터 사용 하네스에 비해 코딩 하네스 (API 기반) 에서 훨씬 더 잘 수행됩니다.

• GUI 하네스는 코딩 하네스보다 16~56 퍼센트 포인트 적은 작업을 해결합니다.
• GUI 하네스는 더 많은 턴 수 (UI 대 API 의 액션 배치 제한) 로 인해 시도당 비용이 3.1~14.3 배 더 듭니다.
• 평가 중 보상 해킹 사례는 관찰되지 않았습니다.

4. 신뢰성

현재 최첨단 에이전트는 무인 배포를 위해 아직 충분히 신뢰할 수 없습니다. Pass@5(다섯 번의 시도 중 적어도 한 번의 성공) 는 측정 가능하지만, Pass5(다섯 번의 시도 모두 성공) 는 약 한 자릿수 더 낮습니다 (예: 코딩에서 9.8%), 이는 에이전트 성능의 높은 변동을 나타냅니다.

중요성 및 주장

이 논문은 Anchor와 ERP-Bench가 경제적으로 가치 있는 에이전트 작업을 위한 감사 가능한 평가 환경을 구축하기 위한 구체적인 레시피를 제공한다고 주장합니다. 비즈니스 워크플로우를 제약 최적화 프로그램으로 형식화함으로써, 저자들은 현재 평가를 괴롭히는 아티팩트 드리프트를 완화하는 현실적이고 검증 가능하며 확장 가능한 벤치마크를 생성할 수 있음을 보여줍니다.

저자들은 이 작업을 벤치마크 점수와 생산 성능 사이의 격차를 해소하는 한 걸음으로 위치시킵니다. 그들은 이 프레임워크가 실행 가능하고 재현 가능하며 정확하게 등급을 매길 수 있는 작업을 우선시하지만, ERP 운영과 같이 터미널 시스템 상태에 명시된 기업 업무에는 자연스럽게 적합하지만 암묵적 판단이나 협상에 의존하는 워크플로우에는 덜 적합하다고 지적합니다. erpbench.ai 에서 작업 생성기와 데이터셋을 공개한 것은 검증 가능한 에이전트 훈련 및 평가에 대한 추가 연구를 지원하기 위한 것입니다.