기술 요약: OSWorld-Human: 컴퓨터 사용 에이전트의 효율성 벤치마킹

1. 문제 제기

생성형 AI 기반 컴퓨터 사용 에이전트 (CUA) 가 OSWorld 와 같은 벤치마크에서 점점 더 높은 정확도를 보여주고 있지만, 극단적인 엔드 - 투 - 엔드 지연 시간이라는 치명적인 병목 현상에 직면해 있습니다. 최첨단 시스템은 인간 전문가가 몇 초 또는 몇 분 안에 완료할 수 있는 작업을 수행하는 데 수십 분이 소요되는 경우가 많습니다. 이러한 격차는 현재 에이전트를 대화형 또는 시간 민감성 워크플로우에서 실제로 사용할 수 없게 만듭니다. 기존 연구는 주로 작업 성공률 향상에 집중하여 실제 배포에 필요한 시간적 효율성을 largely 간과해 왔습니다. 이 지연 시간이 어디서 기인하는지 (예: 특정 에이전트 단계, 모델 호출) 와 인간 수행과 비교하여 실제로 몇 단계가 필요한지에 대한 체계적인 이해가 부족합니다.

2. 방법론

저자들은 Ubuntu, Windows, MacOS 에서 Chromium, GIMP, LibreOffice, VS Code 등 9 개 애플리케이션에 걸쳐 369 개 작업을 다루는 OSWorld벤치마크를 사용하여 CUA 의 시간적 성능에 대한 첫 번째 체계적인 연구를 수행했습니다.

2.1 지연 시간 및 단계 분석

이 연구는 Agent S2와 GTA1이라는 두 가지 주요 오픈소스 프레임워크를 사용하여 에이전트 궤적을 상세히 분해했습니다.

• 계측 (Instrumentation): 저자는 정보 검색, 단계 계획, 단계 그라운딩 (좌표 찾기), 작업 실행, 스크린샷 촬영, 판단, 그리고 반성 (reflection) 을 포함한 특정 단계를 프로파일링했습니다.
• 모델 구성: Agent S2 는 계획 및 반성에 GPT-4.1 을, 그라운딩에 UI-TARS-7B-DPO 를 사용했습니다. GTA1 은 계획 및 판단에 o3 를, 그라운딩에 GTA1-7B 를 사용했습니다.
• 관측 모드: 이 연구는 원본 스크린샷, 접근성 (A11y) 트리, 그리고 Set-of-Marks(SoM) 등 다양한 관측 입력의 영향을 분석했습니다.
• 비용 및 실패 분석: 저자들은 GTA1 에 대해 토큰 수, 재정적 비용, 그리고 루프를 유발하는 그라운딩 오류와 같은 실패 모드를 분석했습니다.

2.2 OSWorld-Human 구축

효율성에 대한 기준 (ground truth) 을 확립하기 위해 저자들은 다음을 포함하는 수동으로 주석된 데이터셋인 OSWorld-Human을 구축했습니다.

• 최소 인간 궤적: 모든 369 개 OSWorld 작업에 대해 인간 주석자들은 검증된 기준 소스를 기반으로 성공적인 완료를 위해 필요한 최소 단계 수를 결정했습니다.
• 작업 그룹화: 이 데이터셋은 단일 시각적 관측으로부터 실행 가능한 여러 연속 작업 (예: 클릭, 입력, 엔터 키 누르기) 을 단일 단계로 통합하는 "그룹화된 작업 (grouped-action)"궤적을 포함합니다. 이는 대규모 언어 모델 (LLM) 호출을 줄일 수 있는 기회를 식별합니다.

2.3 평가 지표: 가중 효율성 점수 (WES)

저자들은 인간 궤적에 대한 에이전트를 평가하기 위해 새로운 지표인 **가중 효율성 점수 (Weighted Efficiency Score, WES)**를 제안했습니다.

• 공식: $WES = WES^+ \cdot (1 - \frac{\bar{t}_{fail}}{S})$
  • $WES^+$: 성공한 작업에 대한 인간 단계와 에이전트 단계의 평균 비율 ($t_{human} / t_{agent}$).
  • 페널티 승수: 할당된 단계 예산의 상당 부분을 소모한 후 작업을 실패하는 에이전트를 페널티 처리합니다 ($\bar{t}_{fail}$은 실패한 작업에서 취한 평균 단계 수; $S$는 허용된 최대 단계 수).
• 목적: 이 지표는 적은 단계로 성공하는 에이전트를 보상하고 비효율적으로 실패하는 에이전트를 페널티 처리하여 정확성과 시간적 효율성에 대한 종합적인 관점을 제공합니다.

3. 주요 발견 및 결과

3.1 지연 시간의 원인

• LLM 호출이 병목 현상: 계획, 반성, 판단을 위한 대형 모델 호출이 전체 지연 시간의 대부분을 차지합니다.
  • Agent S2에서 계획과 반성은 전체 작업 지연 시간의 **76%–96%**를 차지합니다.
  • GTA1에서 계획과 판단은 전체 지연 시간의 **91%–96%**를 차지합니다.
• 단계 의존적 지연 시간: 에이전트가 작업을 완료하기 위해 더 많은 단계를 취할수록 각 후속 단계의 지연 시간이 증가합니다. 이는 이전 모든 단계를 포함하는 프롬프트가 사용되는 "히스토리 누적"메커니즘으로 인해 컨텍스트 창이 길어지고 토큰 수가 증가하기 때문입니다.
• 관측 영향: A11y 트리를 포함하면 트리 생성 시간과 토큰 볼륨으로 인해 지연 시간이 급격히 증가하며, 필요한 단계 수도 종종 증가하지만 GIMP 와 같은 특정 애플리케이션의 경우 단계 수를 줄일 수 있습니다.

3.2 효율성 격차

• 현재 에이전트의 비효율성: 가장 성능이 좋은 에이전트조차도 인간 궤적에 비해 작업을 완료하는 데 필요한 단계보다 2.7 배에서 4.3 배 더 많은 단계를 사용합니다.
• WES 점수: OSWorld 리더보드에서 최상위 성능을 보인 에이전트 (Gemini 2.5 와 함께 사용된 Agent S2) 는 **41.4%**의 성공률을 달성했지만, 단일 작업 궤적에서는 **15.6%**의 WES 를, 그룹화된 작업 궤적에서는 **9.6%**의 WES 를 기록했습니다.
• 실패 분석: GTA1 의 경우, **23%**의 실패는 계획은 정확했으나 그라운딩 모델이 잘못된 좌표를 생성하여 에이전트가 단계를 반복하거나 루프에 진입하게 만드는 그라운딩 오류로 인한 것이었습니다. 어떤 경우에는 에이전트가 단일 루프에서 72 개 이상의 단계를 낭비하기도 했습니다.

3.3 비용 영향

• 계산 비용은 계획에 크게 치우쳐 있습니다. GTA1 의 경우 계획은 전체 비용의 **87%**를 차지하는 반면, 판단은 13% 를 차지합니다. 병렬 계획 롤아웃 및 재시도 메커니즘으로 인해 비용은 단계 수에 따라 이차적으로 증가합니다.

4. 주요 기여

1. 첫 번째 체계적 지연 시간 연구: OSWorld 벤치마크에서 CUA(Agent S2 및 GTA1) 의 시간적 성능에 대한 상세 분석으로 LLM 호출을 주요 병목 현상으로 식별했습니다.
2. OSWorld-Human 데이터셋: 모든 369 개 OSWorld 작업에 대한 최적 인간 궤적 및 그룹화된 작업 궤적을 포함하는 수동으로 큐레이션되고 교차 검증된 벤치마크입니다.
3. 새로운 지표 (WES): 성공률과 단계 효율성 모두를 기반으로 에이전트를 평가하고 비효율적인 실패를 페널티 처리하는 가중 효율성 점수 제안.
4. 작업 그룹화 분석: 단일 관측에서 실행 가능한 작업을 그룹화하면 필요한 LLM 호출 수와 단계 수를 크게 줄일 수 있음을 입증했습니다.
5. 종합 평가: OSWorld-Human 을 사용하여 16 개의 최첨단 에이전트를 평가한 결과, 현재 시스템이 인간 벤치마크보다 효율성이 현저히 낮음을 밝혔습니다.
6. 실패 및 비용 분석: 그라운딩 오류가 낭비된 단계와 루프의 주요 원인임을 식별하고, 현재 에이전트 아키텍처와 관련된 재정적 비용을 분해했습니다.

5. 중요성 및 주장

이 논문은 컴퓨터 사용 에이전트의 시간적 효율성을 벤치마킹, 분석, 개선하기 위한 첫 번째 통합 프레임워크를 확립했다고 주장합니다. 저자들은 정확성이 중요하지만 시간적 효율성이 실제 사용성에 있어 동등하게 중요하다고 주장합니다.

이 연구는 높은 지연 시간과 과도한 단계 수로 인해 현재 에이전트가 대화형 시나리오에서 실제로 사용할 수 없음을 강조합니다. OSWorld-Human 과 WES 지표를 제공함으로써 저자들은 향후 개발이 다음 방향으로 이루어지도록 안내하는 것을 목표로 합니다.

• 계획, 판단, 반성 호출의 지연 시간 감소.
• 작업 그룹화를 통한 작업당 단계 수 최소화.
• 루프 및 좌표 오류를 방지하기 위한 그라운딩 메커니즘 개선.
• 토큰 비용과 지연 시간을 관리하기 위한 히스토리 압축.

저자들은 그들의 작업과 오픈소스 데이터셋이 현재 에이전트 능력과 실제 배포에 필요한 효율성 사이의 격차를 해소하기 위한 새로운 연구 방향을 촉진할 것이라고 결론지었습니다.