기술 요약: 통계적 절벽 가장자리의 컴퓨터 사용

문제 제기

대화형 환경에서 컴퓨터 사용 에이전트 (CUA) 의 평가는 환경 설계의 비원칙적 접근과 평가 방법론의 비원칙적 접근이라는 두 가지 중첩된 병리 현상으로 고통받고 있습니다. 기존 벤치마크는 종종 생태학적 타당성이 부족하고 암기 취약성이 있는 정적, 샌드박스화되지 않음, 또는 라이브 환경에 의존합니다. 또한 평가 지표는 종종 상태 없는 코드 생성을 위해 설계된 pass@k를 상태가 있는 UI 상호작용에 오용하며, 벤치마크 데이터의 중첩되고 상관된 구조를 무시하는 단순한 통계적 집계를 사용합니다. 이러한 결함은 신뢰할 수 없는 순위, 재현 불가능한 결과, 그리고 시각적 추론 및 일반화 능력보다는 에이전트의 행동 시퀀스 암기 능력을 반영하는 점수를 초래합니다.

방법론

1. 정적 벤치마크의 경험적 진단

저자들은 고정된 초기 상태를 가진 결정론적 벤치마크에서, 화면을 관찰하지 않고 기록된 행동 시퀀스를 맹목적으로 실행하는 1MB 스크립트인 '재플레이 에이전트'가 최첨단 모델을 능가할 수 있음을 입증했습니다.

• 형식적 기반: 그들은 이러한 재플레이 에이전트의 기대 성공률이 소스 에이전트의 pass@k와 정확히 동일함을 증명했습니다.
• 시사점: 정적 벤치마크에서 pass@k를 보고하는 것은 실질적으로 암기 능력을 측정하는 것입니다. 롤아웃 수 ($k$) 가 증가함에 따라, 확률적 에이전트가 단순히 성공적인 궤적을 암기함으로써 임의의 정밀도로 정적 벤치마크를 해결할 수 있게 되어, 벤치마크는 진정한 능력을 측정하는 데 무용지물이 됩니다.

2. PRISM 프레임워크

환경적 결함을 해결하기 위해, 본 논문은 CUA 환경을 위한 5 가지 설계 원칙인 PRISM을 제안합니다:

• P (우월한 검증): 작업 완료는 LLM 을 심판자로 사용하거나 스크린샷 비교와 같은 취약한 프록시가 아닌, 환경의 내부 진실 상태 (예: SQL 쿼리를 통한) 에 대해 검증되어야 합니다.
• R (현실적인 환경): 애플리케이션은 실제 소프트웨어의 시각적 외관, 상호작용 패턴, 기능적 복잡성을 충실히 재현해야 합니다.
• I (무결성 확인 구성): 모든 구성은 실행 가능성 (전제 조건 충족), 일관성 (데이터 일관성), 그리고 비자명성 (작업이 미리 해결되지 않음) 을 위해 자동으로 검증되어야 합니다.
• S (샌드박스화된 실행): 환경은 외부 의존성 없이 자체적으로 완결되어야 하며, 지정된 초기 상태로 결정론적 재설정을 지원해야 합니다.
• M (다인자 변이성): 환경은 암기를 방지하고 세밀한 진단을 가능하게 하기 위해 데이터 내용, 시각적 테마, 초기 UI 상태와 같은 여러 축을 따라 독립적으로 변이되어야 합니다.

3. DigiWorld 벤치마크

저자들은 DigiWorld에서 PRISM 을 구체화했는데, 이는 다음을 포함하는 벤치마크입니다:

• 범위: 7 개의 실제 도메인 (예: 은행, 쇼핑, 여행) 에 걸쳐 있는 15 개의 수동으로 구축된 풀 기능 React Native Android 애플리케이션.
• 규모: 387 개의 시나리오에서 생성된 4,300 개 이상의 작업 인스턴스.
• 변이성: 데이터 프로파일, 시각적 테마, 초기 UI 상태를 독립적으로 변이시킴으로써, DigiWorld 는 320 만 개 이상의 검증된 고유 구성을 생성합니다.
• 무결성: 자동화된 오프라인 파이프라인이 일관성 확인, 실행 가능성 확인, 자명성 필터링을 수행하여 평가 전 모든 구성이 해결 가능하고 비자명하도록 보장합니다.

4. 계층적 집계 프레임워크

방법론적 결함을 해결하기 위해, 저자들은 신뢰 구간 (CI) 을 계산하기 위한 엄격한 통계적 프레임워크를 개발했습니다:

• 기본 수준 추정기: 그들은 표준 Wald 구간을 Wilson 점수 구간으로 대체했는데, 이는 작은 표본 크기 ($R$) 와 극단적인 성공률 (0 또는 1) 에서도 거의 명목상의 커버리지를 제공합니다.
• 계층적 부트스트랩: CUA 데이터가 중첩된 구조 (Suites $\to$ Apps $\to$ Scenarios $\to$ Configurations $\to$ Rollouts) 를 가진다는 점을 인식하여, 저자들은 각 활성 수준에서 재표본 추출을 수행하는 계층적 부트스트랩을 제안합니다. 이는 시나리오 난이도와 구성 효과에서 발생하는 분산을 올바르게 고려하며, 단순한 집계 방법은 이를 무시합니다.

주요 결과

1. 정적 벤치마크의 실패

주요 정적 벤치마크 (OSWorld, MobileWorld) 에서 맹목적인 재플레이 에이전트는 최첨단 모델과 같거나 더 높은 성공률을 달성했습니다 (예: OSWorld 에서 71.1% 대 70.6%). 반면, DigiWorld 에서는 재플레이 에이전트의 성공률이 **6.90%**로 급락하여, DigiWorld 의 다인자 변이성이 재플레이 동등성을 성공적으로 깨뜨리고 에이전트가 시각적 추론에 의존하도록 강제함을 확인했습니다.

2. 통계적 타당성

• 커버리지: DigiWorld 데이터로 보정된 시뮬레이션에 따르면, 극단적 확률에서의 퇴화한 0 폭 구간으로 인해 Wald 구간은 심각하게 커버리지를 과소평가합니다 ($R=3$에서 25% 커버리지). Wilson 구간은 모든 $R$에 걸쳐 거의 명목상 (95%) 의 커버리지를 유지합니다.
• 집계: 롤아웃만 재표본 추출하는 부트스트랩은 17% 의 스위트 수준 커버리지만 달성합니다. 구성 축 재표본 추출을 추가하면 이는 56% 로 상승합니다. 오직 완전한 계층적 부트스트랩(시나리오, 구성, 롤아웃 재표본 추출) 만 명목상 95% 커버리지를 달성합니다.
• 배포 위험: Wald 구간을 사용하면 과도하게 확신에 찬 순위가 도출되어, 배포를 위해 모델을 선택할 때 9.8% 의 기대 후회를 초래합니다. 계층적 부트스트랩은 불확실한 순위를 올바르게 표시함으로써 이를 6.0% 로 줄입니다.

3. DigiWorld 에서의 모델 성능

제안된 프레임워크를 사용하여 DigiWorld 에서 평가한 결과, 최첨단 모델 (Claude Opus 4.6, GPT-5.4, Gemini 3 Pro) 은 뚜렷한 성능 프로파일을 보여주었습니다. Claude 와 Gemini 는 겹치는 신뢰 구간과 유사한 점수를 달성한 반면, GPT 는 현저히 어려움을 겪었습니다. 이 프레임워크는 앱 수준 분산이 불확실성 예산을 지배하며, 성능 불안정성이 환경 축 (인스턴스, 데이터 프로파일, 테마, UI 상태) 을 따라 다양하게 변하고 단일 축이 균일하게 지배하지 않음을 밝혔습니다.

중요성과 주장

본 논문은 원칙적인 환경 설계와 엄격한 평가 방법론이 선택적 개선이 아닌 의미 있는 CUA 연구를 위한 전제 조건이라고 주장합니다.

• 진단: 정적 환경과 pass@k의 오용 사이의 형식적 연결을 확립하여, 현재 벤치마크는 종종 능력보다는 암기를 측정함을 보여줍니다.
• 해결책: 암기를 통한 악용을 방지하고 생태학적 타당성을 보장하는 구체적이고 구체화된 해결책 (PRISM 및 DigiWorld) 을 제공합니다.
• 방법론: 대화형 벤치마크의 중첩된 구조를 올바르게 모델링하여 현재 문헌을 괴롭히는 신뢰할 수 없는 에이전트 순위를 방지하는 통계적으로 건전한 집계 프레임워크를 제공합니다.
• 영향: 저자들은 이 작업이 벤치마크 특정 최적화에서 에이전트 능력에 대한 진정한 이해로 노력을 재지향하며, 에이전트가 얼마나 자주 실패하는지가 아니라 왜 실패하는지 이해하기 위한 진단 템플릿을 제공한다고 주장합니다.

본 논문은 이러한 원칙 없이는 CUA 평가가 점 추정치가 신뢰할 수 없고 순위가 실제 성능이 아닌 결함 있는 설계의 산물에 불과한 "통계적 절벽의 가장자리"에 머무른다고 결론지었습니다.