기술 요약: 에이전트 벤치마크의 이중 측정 혼란 (The Double Measurement Confound)

1. 문제 정의

본 논문은 현재의 대규모 언어 모델(LLM) 에이전트 벤치마크가 가진 근본적인 결함을 지적한다: 벤치마크 점수가 모델의 능력이 아니라 평가 파이프라인을 측정하고 있다는 점이다. 저자들은 보고된 점수들이 서로를 가리는 두 가지 특정 아티팩트(artifact)에 의해 혼란(confound)되어 있으며, 이로 인해 많은 리더보드가 서로 판이하게 다른 능력을 가진 모델들을 구별해내지 못한다고 주장한다.

이 "이중 측정 혼란(double measurement confound)"은 다음 두 가지로 구성된다:

1. 스캐폴드 소유권 (아티팩트 1 - Scaffold Ownership): 실행에 결정적인 결정들(예: 실패 시 재시도, 페이지네이션, 중복 제거, 요약 행 필터링, 최종 제출 등)이 모델이 아닌 평가 하네스(harness, 즉 "스캐폴드")에 하드코딩되어 있다. 결과적으로 모델은 단순히 템플릿의 빈 슬롯을 채우는 역할만 수행하며, 실제 작업은 스캐폴드가 수행한다.
2. 스코어러 타당성 (아티팩트 2 - Scorer Validity): 평가자(judge)들이 제출된 값 자체를 **정답(ground truth)**과 비교하여 채점하는 것이 아니라, 출력의 형태(포맷팅, 메타데이터 일관성, 자가 보고된 로그 등)를 기준으로 점수를 매기는 경우가 많다. 이로 인해 형식이 잘 갖춰진 허위 또는 빈 제출물이 높은 점수를 받는 반_면, 사소한 포맷팅 문제가 있는 올바른 제출물은 감점을 당하게 된다.

본 논문은 이러한 조건하에서 LLM이 없는 규칙 기반 스크립트가 프런티어 모델(예: 96.8 vs 97.5)과 거의 동일한 점수를 달성할 수 있음을 보여주며, 서로 관련 없는 오픈 모델들이 바이트 단위로 동일한 출력을 생성한다는 점을 들어, 해당 벤치마크가 모델의 능력을 변별하는 데 무력함을 입증한다.

2. 방법론

저자들은 **측정 이론적 프레임워크(measurement-theoretic framework)**와 BenchAudit라고 불리는 실행 가능한 **감사 및 복구 프로토콜(audit-and-repair protocol)**을 제안한다.

이론적 프레임워크

논문은 벤치마크 점수 $S(m, c, j)$를 모델 $m$, 스캐폴드 $c$(하네스), 그리고 스코어러 $j$의 함수로 정식화한다.

• 비식별성 (Non-Identifiability): 만약 스캐폴드가 모든 실행 결정권을 소유하고 스코어러가 형태만을 평가한다면, 모델이 템플릿을 동일하게 채우는 한 점수는 모델의 선택에 무관하게 불변한다 ($S(m_1) = S(m_2)$).
• 식별 (Identification): 유효한 모델 능력 측정을 회복하기 위해서는 다음 두 가지 조건이 동시에 충족되어야 한다:
  1. 디-스캐폴딩 (De-Scaffolding): 실행에 결정적인 결정권들을 하네스에서 모델로 이전해야 한다.
  2. 정답 기반 스코어링 (Ground-Truth Scoring): 스코어러는 단순히 형태를 평가하는 것이 아니라, 제출된 작업 결과물을 결정론적인 시드(seed) 기반의 정답과 비교하여 평가해야 한다.

프로토콜: BenchAudit

저자들은 다음과 같은 프로토콜인 BenchAudit를 도입한다:

1. 제어권 이전 (Transfers Control): 결정(재시도, 중복 제거, 제출)을 스캐폴드에서 모델로 이동시켜 "디-스캐폴딩된(de-scaffolded)" 에이전트(Level L2)를 생성한다.
2. 스코어러 교체 (Replaces Scoring): 형태 기반의 판정사를 시드 기반 정답 F1 스코어링으로 교체한다. 정답은 시드로부터 재생 가능하므로 결정론적인 평가를 보장한다.
3. 신뢰성 보고 (Reports Reliability): 평균 점수를 넘어, 여러 시드에 걸친 최악의 경우 성능(worst-case performance), 조건부 가치 위험(CVaR), 그리고 Reliability@$\tau$를 보고한다. 이는 에이전트의 꼬리 위험(tail-risk)과 견고성을 포착한다.
4. 유효성 카드 생성 (Generates Validity Cards): 벤치마크가 모델의 능력을 측정하는지, 시스템의 성능을 측정하는지, 혹은 단순히 자기 보고 준수 여부를 측정하는지를 분류하는 per-benchmark "유효성 카드"를 생성한다.

실험 설정: ComtradeBench

저자들은 이 프로토콜을 적대적이고 무역 데이터 형태를 띤 도구 사용 벤치마크인 ComtradeBench에 적용한다.

• 태스크: 에이전트는 모의 API로부터 페이지네이션된 데이터를 가져오고, 오류(429/500 에러, 중복, 데이터 드리프트)를 처리하며, 레코드를 중복 제거한 후 정제된 데이터셋을 제출해야 한다.
• 적대성 (Adversity): 결함은 프롬프트가 아닌 환경에 의해 주입되므로, 추론을 통해 회피하는 것이 불가능하다.
• 개입 (Intervention): $2 \times 2$ 실험을 통해 기존의 프로덕션 설정(Scaffold L0 + Shape Scorer)과 복구된 설정(Scaffold L2 + Ground Truth Scorer)을 비교한다.

3. 주요 결과

평탄한 리더보드 vs 신뢰성 스펙트럼

• 기존 구성 (L0 + Shape Scorer): 리더보드가 거의 평탄하다. 프런티어 모델(Kimi, Claude)과 규칙 기반 스크립트가 0.7점 차이 내에서 점수가 비슷하다. 관련 없는 오픈 모델들(Qwen2.5-7B, Llama-3.3-70B)은 시드당 바이트 단위로 동일한 보상 벡터를 생성한다.
• 복구된 구성 (L2 + Ground Truth): "평탄했던" 리더보드는 등급이 매겨진 신뢰성 스펙트럼으로 변모한다.
  • 최상위 성능: Claude-Fable-5가 평균 F1 0.974, 최악의 경우 0.824로 선두를 달린다.
  • 중위권 변동성: GPT-5와 GPT-4o 같은 모델들은 높은 평균값(0.930, 0.805)을 보이지만, 최악의 경우 0.00으로 급락하는 양상(이봉 분포적 실패)을 보인다.
  • 하위 계층: Llama-3.3-70B와 Qwen2.5-7B는 "마샬링 실패(marshaling failures)"(데이터를 가져왔음에도 빈 페이로드를 제출함)로 인해 모든 시드에서 0.000을 기록한다.

공동 개입의 필요성

$2 \times 2$ 개입 실험은 하나의 아티팩트만 수정하는 것으로는 불충분함을 증명한다:

• 스코어러만 수정 (L0 + Ground Truth): 스캐폴드가 여전히 모든 작업을 수행하므로 모델 간 차이가 나타나지 않는다.
• 스캐폴드만 수정 (L2 + Shape Scorer): 형태 기반 판정사가 변별력을 압축하여 실제 실패를 숨기고, 빈 제출물조차 정상적으로 처리해버린다.
• 공동 수정 (L2 + Ground Truth): 오직 이 조합만이 모델의 전체 역량 스펙트럼을 회복한다.

외부 타당성 감사

• $\tau$-bench: 공식 스코어러는 결과 기반(유효함)이지만, 스캐폴드가 통제되지 않은 축(uncontrolled axis)이다. 스캐폴드를 변경하면(예: tool-calling vs ReAct) 동일한 모델의 보상이 최대 0.267까지 변하며 순위가 바뀐다.
• BFCL (Berkeley Function-Calling Leaderboard): 명세 기반 스코어러(AST 매칭)를 사용하는데, 이는 명세 준수 여부는 검증하지만 실행 성공 여부는 검증하지 못한다. 스캐폴드 소유권에 대한 조사는 이루어지지 않았다.
• 자가 감사: 저자들의 사전 등록된 스트레스 테스트(Claim B)는 기존 형태 기반 스코어러 하에서는 유의미한 효과를 보였으나, 정답 기반으로 평가했을 때는 이 효과가 사라졌다. 이는 결과가 스코어러에 의존적임을 확인해준다.

4. 주요 기여

1. 이중 혼란의 식별: 본 논문은 스캐폴드 소유권과 스코어러 타당성이 결합된 식별 문제임을 공식적으로 규명하고 증명한다. 이러한 아티팩트들이 서로를 가리고 있음을 보여주며, 단방향 수정은 효과가 없음을 입증한다.
2. BenchAudit 프로토콜: 실행 결정을 모델로 이전하고, 정답에 따라 점수를 매기며, 꼬리 위험 지표(CVaR, 최악의 경우)를 보고하는 실행 가능한 감사 파이프라인을 도입한다.
3. ComtradeBench 및 유효성 카드: 시드 기반 생성기 벤치마크와 벤치마크가 실제로 무엇을 측정하는지(예: 모델 능력 vs 시스템 성능 vs 자기 보고 준수) 분류하는 "유효성 카드" 프레임워크를 공개한다.
4. 실증적 증거: 혼란을 제거했을 때 모델 순위가 재편됨을 보여줌으로써, "높은 평균"을 가진 모델이 치명적인 최악의 경우 신뢰성을 가질 수 있고, 더 작은 모델이 오히려 더 견고할 수 있음을 입증한다.

5. 의의 및 주장

본 논문은 벤치마크가 특정 유효성 검사를 통과하지 않는 한, 벤치마크 점수를 모델 능력의 증거로 해석해서는 안 된다고 주장한다.

• 평가의 재정의: 저자들은 현재의 리더보드들이 모델의 능력이 아니라 스캐폴드의 견고함을 측정하는 경우가 많다고 주장한다. 점수가 모델의 속성으로서 해석되려면, 모델이 실행 결정권을 소유하고 스코어러가 기준 타당성(정답 기반)을 갖추어야 한다.
• 평균보다 신뢰성: 저자들은 최악의 경우 신뢰성이 프런티어 모델의 순위를 바꿀 수 있는 중요한 지표라고 주장한다. 평균은 높지만 최악의 경우 0.00인 모델은, 평균은 약간 낮더라도 최악의 경우 하한선이 높은 모델보다 신뢰도가 떨어진다.
• 실용적 프레임워크: 제안된 프로토콜은 기존 벤치마크를 완전히 대체하기보다는, 기존 벤치마크 위에 적용하여 그 유효성을 진단할 수 있도록 설계되었다. 이는 기존 평가를 "디-스캐폴딩"하고 복구할 수 있는 실질적인 경로를 제공한다.
• 한계 인정: 저자들은 ComtradeBench가 정형화된 도메인(무역 데이터 추출)이라는 점과, 모든 벤치마크 유형(예: 복잡한 환경 상호작용이 필요한 경우)에 "디-스캐폴딩" 개입을 적용하는 것이 쉽지 않을 수 있다는 점을 인정하며 논의를 마무리한다. 또한, 정답(ground truth)이 존재하지 않는 일부 벤치마크(예: BFCL)의 경우 "모델 능력" 주장의 범위가 제한될 수 있음을 명시한다.

결론적으로, 본 논문은 스캐폴드 소유권과 스코어러 타당성을 통제하지 않으면 에이전트 벤치마크가 엉뚱한 것을 측정하게 된다는 엄밀한 측정 이론적 논거를 제시하며, 이를 해결하기 위한 구체적이고 재현 가능한 프로토콜을 제안한다.