기술 요약: 실행 하네스 (Harness) 를 공개하지 않고는 LLM 에이전트를 비교하지 마십시오

1. 문제 제기

장기적 (long-horizon) 작업에 대한 대규모 언어 모델 (LLM) 에이전트의 현재 평가 관행은 모델의 능력과 **실행 하네스 (execution harness)**의 성능을 체계적으로 혼동하고 있습니다. 실행 하네스는 컨텍스트 구성, 도구 상호작용 중재, 출력 검증, 오케스트레이션 (재시도/승급 로직), 그리고 정지 기준을 담당하는 인프라 계층입니다.

SWE-bench, Terminal-Bench, AgentBench 와 같은 표준 리더보드는 각 {모델, 벤치마크} 쌍에 대해 단일 점수를 보고하며, 결과를 암묵적으로 모델만의 것으로 귀속시킵니다. 본 논문은 비교 가능한 최첨단 모델들이 관여하는 장기적 작업의 경우, 하네스가 종종 성능에 대한 **결정적 제약 (binding constraint)**이 된다고 주장합니다. 따라서 현재의 평가 프로토콜은 하네스 수준의 개선을 모델의 개선으로 잘못 귀속시켜, 모델 간 비교를 신뢰할 수 없게 만들고 잠재적으로 오해의 소지가 있게 만듭니다. 이러한 혼동은 다음과 같은 이유로 발생합니다:

1. 관측적 증거: 모델을 고정하고 하네스 인프라만 변경할 때, 보고된 모델 개선 (일반적으로 2~4 포인트) 을 압도하는 (예: 15 퍼센트 포인트) 성능 변화가 발생할 수 있습니다.
2. 구조적 현실: 에이전트는 하네스를 제어기로, LLM 을 확률적 정책 (stochastic policy) 으로 하는 폐쇄 루프 동적 시스템으로 작동합니다. 장기적 신뢰성은 정책의 원시적 능력보다는 제어기의 특성 (안정성, 컨텍스트 드리프트 관리, 제어 지연) 에 달려 있습니다.

2. 방법론 및 이론적 프레임워크

결정적 제약 (Binding Constraint) 가설

본 논문은 결정적 제약 가설을 공식화합니다: 비교 가능한 최첨단 모델이 관여하는 장기적 작업의 영역에서, 하네스에 의해 유발된 벤치마크 점수의 분산 ($HV$) 은 모델 선택에 의해 유발된 분산 ($MV$) 과 비슷하거나 더 큰 경우가 많습니다.

총 성능 분산은 다음과 같이 분해됩니다:
$$\text{Var}(B(M, H)) = \underbrace{\text{Var}_M[E_H[B(M, H)]]}_{MV} + \underbrace{\text{Var}_H[E_M[B(M, H)]]}_{HV} + \underbrace{\text{Var}(\text{interaction})}_{\text{상호작용}}$$
이 가설은 현재 평가에서 $HV$와 상호작용 항이$MV$를 지배한다고 주장합니다.

제어 이론적 공식화

저자들은 에이전트 실행을 단순한 추론 루프가 아닌 폐쇄 루프 동적 시스템으로 재정의합니다:

• LLM ($\pi_\theta$): 컨텍스트 투영 $c(s_t)$을 수신하지만 전체 상태 $s_t$에 직접 접근할 수 없는 오픈 루프 확률적 정책입니다.
• 하네스 ($C_H$): 상태를 업데이트하고, 관측치를 필터링하며, 피드백 루프를 관리하는 제어기입니다.
• 신뢰성 정량화: 하네스는 세 가지 중요한 구조적 정량을 결정합니다:
  1. 안정성: 시스템이 목표에 대해 비감소하는 기대 진전을 이루는지 여부 (라이아푸노프 유사 측정).
  2. 컨텍스트 드리프트 ($\delta_t$): 작업 관련 정보가 컨텍스트 창에서 손실되는 비율.
  3. 제어 지연 ($\tau$): 이상 탐지와 정책 도착 사이의 지연 시간 (정정 신호가 정책에 도달하기까지의 시간).

실증적 접근

본 논문은 두 가지 증거를 통해 가설을 지지합니다:

1. 관측 데이터: SWE-bench Pro, Terminal-Bench, HAL 과 같은 공개 리더보드 분석으로, "스캐폴드만 변경" (모델은 고정하고 하네스만 변경) 하는 경우 두 자릿수 성능 변동과 순위 역전이 발생함을 보여줍니다.
2. 통제된 요인 실험: SWE-bench Verified 의 계층화 된 하위 집합에서 세 가지 최첨단 모델 (GPT-5.4, Kimi K2.6, GLM-5.1) 과 세 가지 다른 하네스 구성 ($H_1$: 최소/오픈 루프, $H_2$: 개선/기본 폐쇄 루프, $H_3$: 전체/고급 폐쇄 루프) 을 변형하여 3x3 그리드 실험을 수행했습니다.

3. 주요 결과

관측적 증거

• SWE-bench Pro: 표준화된 스캐폴드 하에서 최상위 모델들은 4.9 포인트의 범위를 보입니다. 그러나 모델 (Claude Opus 4.5) 을 고정하고 SEAL 스캐폴드에서 Claude Code 로 전환하면 점수가 9.5 포인트 증가합니다.
• 순위 역전: 동일한 인프라에 단일 검색 서브에이전트 (WarpGrep) 를 추가함으로써 MiniMax 2.5 와 Claude Opus 4.6 간의 순위가 뒤집혔습니다.
• 스캐폴드 간 격차: SWE-bench Verified Mini 에서 동일한 모델 (예: Claude Sonnet 4.5) 이 다른 스캐폴드 (SWE-Agent 대 HAL Generalist) 사이에서 34 포인트의 격차를 보였습니다.

통제된 요인 실험 결과

• 분산 우세: 하네스에 의해 유발된 분산 ($HV$) 은 모델에 의해 유발된 분산 ($MV$) 보다 7.80 배 더 큽니다.
  • 평균 $HV$: 18.48 pp²
  • 평균 $MV$: 2.37 pp²
• 성능 변화: 고정된 모델에서 하네스를 변경하면 점수가 8.5 에서 13.0 퍼센트 포인트까지 변동되는 반면, 고정된 하네스에서 모델을 변경할 때는 점수가 2.5 에서 5.0 포인트만 변동되었습니다.
• 순위 불안정성: 가능한 9 가지 모델 쌍/하네스 쌍 비교 중 6 건에서 순위 역전이 발생했습니다.
• 메커니즘 분석:
  • $H_1 \to H_2$의 개선은 제어 노이즈 감소 (더 나은 포맷팅, 검색, 오류 처리) 에 기인했습니다.
  • $H_2 \to H_3$의 개선은 검증 및 복구 루프 폐쇄 (자기 점검, 이상 탐지, 롤백) 에 기인했습니다.

4. 제안된 프레임워크: 하네스 인식 평가

본 논문은 다음 세 가지 구성 요소를 요구하는 새로운 평가 체계를 제안합니다:

1. 하네스 카드 (구조적 공개): 모든 벤치마크 제출물은 ETCSOVG 분류 체계에 따라 조직된 공개 정보를 포함해야 합니다:

   • Execution (실행, 런타임, 샌드박싱, 타임아웃)
   • Tool (목록, 스키마, 오류 계약)
   • Context (창 용량 제한, 압축, 검색, 메모리)
   • Scheduling (루프, 재시도, 승급, 롤백)
   • Observability (로깅, 추적)
   • Verification (파싱, 자기 점검, 이상 탐지)
   • Governance (권한, 부작용)

2. 분산 분해 프로토콜: 평가는 다음 중 하나를 적용해야 합니다:

   • 잠금 하네스 프로토콜: 모든 모델에 단일 지정된 하네스를 적용하여 깨끗한 순위를 매기는 방식.
   • 요인 프로토콜: 모델과 하네스 모두를 변형하여 $HV$, $MV$, 상호작용 항 및 순위 역전 횟수를 보고하는 방식.

3. 궤적 수준 지표: 성능 변화를 특정 하네스 계층에 귀속시키기 위해 본 논문은 다음을 제안합니다:

   • 복구율 (RR): $k$단계 이내에 이상 발생 후 작업 진전 상태로 복귀할 확률 (안정성 측정).
   • 컨텍스트 유지율: 컨텍스트에 존재하는 작업 관련 파일/제약 조건의 비율 (드리프트 측정).
   • 제어 지연 ($\tau$): 이상 탐지와 정정 신호 도착 사이의 단계 수.

5. 중요성 및 주장

본 논문은 실행 하네스가 공개되지 않는 한, 장기적 에이전트에 대한 벤치마크 점수는 모델 간 비교에 유효하지 않다고 주장합니다.

• 과학적 정확성: 현재 리더보드는 모델과 하네스의 혼합을 측정하여 개선 사항을 체계적으로 잘못 귀속시킵니다. 이는 연구 인센티브를 왜곡하여, 분산의 더 큰 원인인 하네스 엔지니어링에 대한 투자가 부족해지는 반면 모델 확장 (scaling) 에 투자하도록 유도합니다.
• 실질적 영향: 현재 순위 기반의 배포 결정은 모델의 기여도를 분리하지 못하므로 결함이 있습니다. "결정적 제약"은 종종 모델 가중치가 아닌 인프라입니다.
• 행동 촉구: 이 분야는 하네스를 숨겨진 변수로 취급하는 것에서 벗어나 주요 실험 조건으로 취급해야 합니다. 하네스 사양이 공개되고 분산 분해가 일상화될 때까지, 리더보드 비교는 불완전한 것으로 간주되어야 합니다.

본 논문은 "더 나은 모델이 이를 해결할 것이다"라는 개념을 명시적으로 거부하며, 모델이 개선됨에 따라 하네스는 증가된 능력을 관리하기 위해 더 복잡해짐 (예: 구성 요소를 제거하는 대신 Claude Code 가 구성 요소를 재설계함) 을 지적합니다. 해결책은 표준화나 확장만이 아닌 구조적 공개입니다.