기술 요약: 에이전트 평가는 언제 종료되는가?

문제 정의

현재의 에이전트 평가 프레임워크는 일반적으로 실행이 중단되는 시점(엔드포인트)에서 보이는 상태를 기준으로 모델을 점수화합니다. 이 접근 방식은 엔드포인트가 두 가지 핵심 조건인 결과적 완결성(결과가 확정되어 더 이상 변할 수 없는 상태)과 단위 간 분리(현재의 실행이 이전 또는 이후의 실행과 독립적인 상태)를 동시에 확립한다고 가정합니다.

본 논문은 이 두 가지 조건이 독립적이며, 엔드포인트에서 충족되지 않는 경우가 많다고 주장합니다.

1. 결과적 완결성: 비동기 작업(예: 지연된 쓰기, 백그라운드 프로세스)이 아직 대기 중인 상태에서 실행이 중단될 수 있습니다. 이러한 작업이 완료되기 전의 상태를 점수화하면 잘못된 라벨(예: 지연된 쓰기가 성공했을 것임에도 불구하고 실패로 표시하거나 그 반대의 경우)을 부여할 수 있습니다.
2. 단위 간 분리: 환경이 실행 간에 상태를 유지하는 경우(예: 공유 데이터베이스, 지속적인 계정 또는 정리되지 않은 아티팩트), 이전 실행이 후속 실행의 시작 조건이나 결과에 영향을 미칠 수 있습니다. 이는 각 시행이 독립적이고 동일하게 분포(i.i.d.)한다는 가정을 위반하며, 집계된 지표(예: $pass@k$)를 무효화합니다.

기존의 감사(audit)들은 벤치마크의 결함이나 리셋 메커니즘을 점검하지만, 점수화된 결과가 단순히 "미완료"된 것인지, 아니면 실행 간의 연결성이 고려되지 않은 것인지를 구분하는 데는 실패합니다.

방법론

저자는 이러한 문제를 조사하기 위해 세 가지 측면의 접근 방식을 사용합니다:

1. 이론적 프레임워크 (완료 논거):
   본 논문은 엔드포인트(상호작용이 중단되는 시점)와 완료(결과가 확정되고 경계가 안전해지는 시점)를 구분하는 논리적 프레임워크를 개발합니다. 저자는 최종 라벨을 정당화하기 위해 필요한 증거와 실행을 별개의 시행으로 취급하기 위해 필요한 증거를 정의합니다.

2. 제어된 재생 실험 (Controlled Replay Experiment):
   저자는 AgentDojo 0.1.35를 사용하여 경계 선택을 격리하는 시스템을 구축했습니다.

   • 설정: 독립형 러너(standalone runner)를 사용하여 고정된 도구 호출 및 작업 스케줄을 재생했습니다. 로컬 HTTP 서비스는 비동기 지연(0, 25, 100, 250 ms)과 상태 지속성을 시뮬레이션했습니다.
   • 변수: 연구는 점수화 타이밍(엔드포인트에서의 스냅샷 vs. 종단 상태 대기)과 상태 관리(공유 상태 vs. 네임스페이스 지정 상태 vs. 검증된 리셋)를 변화시켰습니다.
   • 지표: 실험에서는 엔드포인트 라벨과 터미널 라벨(완결성) 사이의 불일치, 그리고 실행 간 노출 빈도(분리성)를 측정했습니다.

3. 문서 검토:
   저자는 10개의 저명한 에이전트 벤치마크(WebArena, WorkArena, OSWorld, SWE-bench, tau-bench, ToolSandbox, TheAgentCompany, RE-Bench, Cybench, AgentCanary)에 대한 공개 문서와 논문을 검토했습니다.

   • 기준: 실행 정의, 중단 규칙, 상태 지속성, 실행을 별개의 시행으로 취급하기 위한 증거에 관한 명시적 진술을 코딩했습니다.
   • 한계: 검토는 명시적으로 보고된 내용에 초점을 맞추었으며, 명시되지 않은 속성을 추론하는 것을 목적으로 하지 않았습니다.

주요 기여

1. 개념적 구분: 결과적 완결성 vs. 단위 간 분리

본 논문은 이 두 가지가 서로 다른 증거를 요구하는 별개의 요건임을 확립합니다:

• 결과적 완결성: 결과에 영향을 줄 수 있는 모든 관련 작업이나 이벤트가 해결되었거나, 경계가 설정되었거나, 취소되었음이 확인되어야 합니다.
• 단위 간 분리: 하나의 실행이 다른 실행의 조건이나 결과에 영향을 미칠 수 있는 모든 경로(공유 상태, 자격 증명, 아티팩트)가 차단되어야 합니다.
• 시사점: 완결성은 달성할 수 있지만 분리는 달성하지 못할 수 있으며(예: 쓰기가 완료될 때까지 기다리지만 파일은 다음 실행에 남겨두는 경우), 분리는 달성할 수 있지만 완결성은 달성하지 못할 수 있습니다(예: 실행을 격리하지만 지연된 작업이 완료되기 전에 점수화하는 경우).

2. 완료 논거 (The Completion Argument)

저자는 평가자를 위한 의사 결정 프레임워크를 제안합니다:

• 최종 라벨을 위한 조건: 결과가 바뀔 수 있는 모든 경로가 차단되거나, 완료까지 추적되거나, 엄격하게 경계가 설정된 경우에만 성공/실 failure 라벨이 정당화됩니다. 그렇지 않으면 결과는 미결(unresolved) 상태로 보고되어야 합니다.
• 별개 시행을 위한 조건: 모든 경로가 차단되었거나 결과에 영향을 미칠 수 없음이 증명된 경우에만 실행을 별개의 분석 단위로 계산할 수 있습니다. 만약 연결이 남아 있다면, 해당 실행들을 하나의 연결된 단위로 모델링하거나 그룹화해야 합니다.

3. 오픈 이펙트 레코드 (The Open-Effects Record)

본 논문은 새로운 보고 표준인 오픈 이펙트 레코드를 제안합니다. 이 레코드는 엔드포인트 이후에도 유효한 작업이나 리소스, 그 현재 상태, 그리고 그것이 점수화된 결과에 영향을 주거나 다른 실행에 영향을 미칠 수 있는지 여부를 나열해야 합니다.

실험 결과

제어된 재생 결과

• 완결성: 비제로(non-zero) 지연 상황에서, 엔드포인트 라벨은 터미널 라벨과 100% 불일치했습니다 (150/150회 시행). 스냅샷 점수화는 50회의 성공을 기록한 반면, 조정(reconciliation, 완료 대기)은 200회의 성공을 기록했습니다. 검증된 취소(verified cancellation)는 대기 중인 쓰기를 실패로 정확히 식별했습니다.
• 분리성: 공유 상태 하에서, 75%의 쌍(150/200)이 실행 A가 실행 B의 결과를 변경하는 노출 현상을 보였습니다. 이 노출은 네임스페이스 지정 상태, 검증된 리셋, 또는 실행 B가 실행 A보다 먼저 실행된 경우(0/200)에는 제거되었습니다.
• 결론: 엔드포인트 자체만으로는 최종 라벨이나 분석 단위를 정당화할 수 없습니다. 점수화 시점과 상태 관리 정책이 결과의 타당성을 직접적으로 결정합니다.

문서 검토 결과

• 리셋/유지(Reset/Retention): 10개 프로토콜 중 8개에서 명시적으로 문서화되었습니다. 나머지 2개는 부분적으로만 되어 있었습니다.
• 미완료 작업: 훨씬 일관성 없게 보고되었습니다. 10개 중 6개의 프로토콜은 셸, 브라우저 또는 서비스를 노출하면서도, 점수화 전까지 하위 프로세스나 지연된 효과가 완료되었는지, 취소되었는지, 혹은 확인되었는지에 대해 명시하지 않았습니다.
• 분리에 대한 증거: 오직 10개 중 3개의 프로토콜만이 실행을 별개의 관찰로 취급하기 위한 명시적인 증거를 제공했습니다. 나머지 7개는 리셋 절차를 설명했으나, 다루는 리소스의 범위를 완전히 명시하지 못했거나 성공적인 복구가 어떻게 검증되었는지 밝히지 못했습니다.
• 공백: 어떤 프로토콜도 결과가 변할 수 있는 관련 효과의 시간 범위를 일관되게 문서화하지 않았습니다.

의의 및 주장

본 논문은 현재의 평가 관행이 상호작용의 종료와 과업의 인과적 사슬의 종료를 흔히 혼동하고 있다고 주장합니다. 본 논문의 의의는 다음과 같습니다:

1. 지표 타당성 교정: 완결성과 분리를 검증하지 않으면, 집계된 지표(예: 통과율)가 과업 수행 능력과 환경적 아티팩트가 뒤섞인 결과를 측정할 수 있음을 보여줍니다.
2. 평가 경계의 정교화: "평가 경계"는 단일한 순간이 아니라, 언제 멈출지, 언제 점수화할지, 그리고 어떻게 실행을 분리할지에 대한 일련의 결정 세트라고 주장합니다.
3. 보고 표준 제안: "오픈 이펙트 레코드"를 도입함으로써, 평가자가 해결되지 않은 상태와 지속되는 리소스를 투명하게 보고할 수 있는 구체적인 메커니즘을 제공하여 독자가 주장된 결과의 타당성을 평가할 수 있도록 합니다.

저자는 자신의 문서 검토가 10개의 프로토콜로 제한적이며, 실험 수치가 광범위한 벤치마크 환경에서의 빈도를 나타내는 것이 아니라 구성된 조건들을 반영한다는 점을 언급하며 신중한 입장을 유지합니다. 핵심 논지는 결과가 바뀔 수 있는 모든 요소가 해결되거나, 경계가 설정되거나, 불확실성으로 남지 않는 경우에만 최종 라벨이 정당화된다는 것입니다.