기술 요약: Behavior Judge를 통한 컴퓨터 사용 에이전트의 스케일링

문제 정의

컴퓨터 사용 에이전트(Computer-use agents, CUAs)는 운영 체제 전반에서 일상적인 디지털 작업을 자동화하는 데 있어 상당한 잠재력을 보유하고 있습니다. 그러나 장기적이고 복잡한 문제에 대한 성능은 여전히 신뢰하기 어려운 수준입니다. 핵심 과제는 단순히 개별 단계를 해결하는 것이 아니라, 수십 또는 수백 번의 상호작용에 걸쳐 정확성을 유지하는 것입니다. 오류는 시간이 지남에 따라 누적되고, 피드백은 종종 지연되며, 환경적 노이즈(UI 변경 또는 지연 시간 등)는 결과의 높은 분산을 초래합니다.

이전 연구들은 단일 롤아웃 내에서 성능을 확장하려는 시도(예: 단계별 Best-of-N)를 해왔으나, 이러한 접근 방식은 장기적 과제에서 제한적인 이득만을 가져왔습니다. 대안은 "와이드 스케일링(wide scaling)"으로, 여러 개의 롤아웃을 병렬로 생성하고 그 중 최적의 것을 선택하는 방식입니다. 그러나 이 접근 방식은 근본적인 병목 현상인 **평가(evaluation)**에 직면합니다. 에이전트 궤적(trajectory)은 정보 밀도가 높고 멀티모달적이며, 종종 여러 가지 유효한 솔루션을 허용합니다. 여러 장기 궤적 중 어떤 것이 옳은지 결정하는 것은 매우 어렵습니다. 왜냐하면 대부분의 세부 사항은 작업 성공과 무관하며, 스크립트 기반의 자동 평가는 컴퓨터 사용 작업의 미묘한 차이를 다루는 데 한계가 있기 때문입니다.

방법론: Behavior Judge (BJudge)

평가 병목 현상을 해결하고 효과적인 와이드 스케일링을 가능하게 하기 위해, 저자들은 **Behavior Judge (BJudge)**를 도입합니다. 이 프레임워크는 조밀한 원시 에이전트 궤적을 압축되고 해석 가능한 표현으로 변환하여 후보들 사이의 원칙 있는 선택을 용이하게 합니다.

1. 와이드 스케일링 패러다임

단일 롤아웃 스케일링과 달리, BJudge는 일련의 베이스 정책 $\{\pi_m\}$을 사용하여 여러 후보 궤적($\tau$)을 생성합니다. 이 정책들은 다양한성을 확보하기 위해 서로 다른 모델을 포함하거나 동일한 모델의 확률적 디코딩을 사용할 수 있습니다. 목표는 작업 보상 $R(\tau, I)$를 최대화하는 궤적 $\hat{\tau}$를 선택하는 것입니다.

2. 행동 내러티브 생성 (Behavior Narrative Generation)

첫 번째 핵심 구성 요소는 **행동 내러티브 생성기(Behavior Narrative Generator)**입니다. 시스템은 원시 스크린샷과 액션을 판사(judge)에게 직접 전달하는 대신, 각 전이(transition) $(s_i, a_i, s_{i+1})$를 "행동 내러티브"($\phi_i$)로 변환합니다.

• 사실 추출 (Fact Extraction): 시각-언어 모델(VLM)이 액션 전후의 상태를 분석하여, 에이전트가 실제로 무엇을 했고 환경에 어떤 영향을 미쳤는지 설명하는 사실들을 도출합니다.
• 시각적 증강 (Visual Augmentation): 특히 포인터 상호작용(클릭, 드래그)의 정확성을 보장하기 위해, 생성기는 액션 전 스크린샷 위에 마커를 오버레이하고 액션 후 스크린샷에서 확대된 크롭(crop) 이미지를 추출합니다. 이는 픽셀 단위의 변화를 검증하고, 액션의 성공 여부에 대한 환각(hallucination)을 줄이는 데 도움을 줍니다.
• 내러티브 구축 (Narrative Construction): 최종 내러티브 $\tilde{\tau}$는 초기 상태, 도출된 사실들의 시퀀스, 그리고 최종 상태로 구성됩니다. 이는 불필요한 세부 사항을 필터링하면서도 작업 관련 액션-효과 요약을 보존합니다.

3. 비교 행동 평가기 (Comparative Behavior Evaluator)

두 번째 구성 요소는 **비교 행동 평가기(Comparative Behavior Evaluator)**입니다. 이 모듈은 궤적들을 독립적으로 랭킹하는 대신, 행동 내러티브를 직접 비교합니다.

• 메커니즘: VLM 평가기는 단일 라운드의 객관식 질문(MCQ) 형식을 사용하여 모든 후보 내러티브를 동시에 비교하도록 프롬프트됩니다.
• 장점: 이 방식은 판사가 후보들 간의 특정 사실을 인용하고 대조할 수 있게 하여, 독립적인 랭킹보다 더 정보에 입각한 선택을 가능하게 합니다. 또한 토큰 효율적이며 다회차 토너먼트 비교보다 빠르도록 설계되었습니다.

4. 개선된 에이전틱 프레임워크 (Agent S3)

BJudge를 지원하기 위해, 저자들은 Agent S2를 기반으로 개선된 베이스라인 프레임워크인 Agent S3를 도입합니다. 주요 아키텍처 변경 사항은 다음과 같습니다:

• 플랫 정책 (Flat Policy): 계층적 계획(hierarchical planning)을 제거하고, 현대적인 파운데이션 모델의 강력한 컨텍스트 유지 능력을 활용하여 현재 지시사항과 히스토리에 따라 언제든 재계획(replan)할 수 있는 플랫 정책을 채택했습니다.
• 통합 코딩 에이전트 (Integrated Coding Agent): 특화된 코딩 에이전트가 GUI 에이전트의 액션 공간에 네이티브하게 통합되었습니다. 이는 직접적인 GUI 조작보다 프로그래밍 방식의 편집(예: 대량 파일 작업, 구조화된 파싱)이 더 효율적일 때 호출될 수 있습니다. 이 에이전트는 샌드박스 VM 내에서 제한된 내부 루프를 통해 작동하며, GUI 정책에 실행 피드백을 제공합니다.

주요 기여

1. 와이드 스케일링 패러다임: 본 논문은 효과적인 선택 메커니즘이 존재한다면, 여러 병렬 궤적을 신중하게 선택하는 것이 CUAs의 견고성과 커버리지를 실질적으로 향와시킨다는 점을 입증했습니다.
2. Behavior Judge 프레임워크: 조밀한 궤적을 압축된 행동 내러티브로 변환하고 비교 평가를 사용하여 최적의 솔루션을 선택함으로써, 와이드 스케일링의 평가 병목 현상을 해결하는 새로운 시스템을 제시했습니다.
3. 새로운 SOTA 달성: BJudge를 Agent S3 베이스라인과 결합함으로써, OSWorld 벤치마크에서 새로운 SOTA를 달성했습니다.
4. 일반화: 이 방법은 서로 다른 운영 체제(Windows 및 Android)에 대해 강력한 제로샷 일반화 성능을 보여줍니다.

실험 결과

OSWorld 성능

OSWorld 벤치마크(361개 작업, 100단계 제한)에서 제안된 방법은 72.6%의 성공률을 달성했습니다.

• 이는 이전 SOTA(63.4%) 대비 9.2%의 절대적 향상을 나타냅니다.
• 보고된 인간 수준의 성능인 **72.36%**를 넘어섰습니다.
• GPT-5와 Opus 4.5의 앙상블을 사용하여, 효과적인 스케일링이 이러한 작업에서 에이전트의 능력을 인간 벤치마크 너머로 밀어 올릴 수 있음을 보여주었습니다.

효율성 및 절제 실험 (Ablation)

• Agent S3 효율성: 계층적 구조인 Agent S2와 비교했을 때, Agent S3는 성공률을 13.8% 향상시키면서도 작업당 LLM 호출 횟수를 52.3% 줄이고 작업 완료 시간을 62.4% 단축했습니다.
• 표현 방식 절제 실험: 행동 내러티브는 다른 표현 방식들보다 월등한 성능을 보였습니다. "스크린샷 전용(Screenshot Only)" 베이스라인(56.0%) 및 "궤적 요약(Trajectory Summary)" 베이스라인(55.0%)과 비교했을 때, 행동 내러티브는 60.2%의 성공률(GPT-5 Mini 사용 시)을 기록하며 3.4%의 절대적 이득을 얻었습니다.
• 선택 전략: BJudge는 다양한 롤아웃 예산에 걸쳐 적응형 독립 랭킹 방식(WebJudge 등)보다 우수한 성능을 보였으며, 이는 확장이 가능한 선택을 위해 비교 평가가 필수적임을 입증합니다.

일반화

• WindowsAgentArena: BJudge (N=3)는 Agent S3 베이스라인 대비 6.4%의 향상을 달성했습니다 (100단계 기준 56.6% vs 50.2%).
• AndroidWorld: BJudge (N=3)는 Agent S3 베이스라인 대비 3.5%의 향상을 달성했습니다 (71.6% vs 68.1%).

모델 앙상블

모델 혼합 앙상블 실험을 통해 다양성이 작업 커버리지의 핵심임을 밝혀냈습니다. GPT-5와 Claude Opus 4.5의 조합이 가장 높은 성공률(71.6%)을 기록했으며, 테스트된 모든 모델을 포함한 가장 다양한 혼합 모델이 가장 높은 작업 커버리지(Pass@N)인 80.5%를 달성했습니다.

의의 및 주장

본 논문은 컴퓨터 사용 에이전트를 스케일링하는 데 있어 주요 장벽은 솔루션을 생성하는 것이 아니라, 그 솔루션을 평가하고 선택하는 것이라고 주장합니다. Behavior Judge를 도입함으로써, 저자들은 와이드 스케일링이 효과적으로 작동할 수 있게 하는 실질적인 프레임워크를 제공합니다.

저자들은 효과적인 스케일링을 위해서는 구조화된 궤적 이해와 선택이 필요함을 강조합니다. 견고한 비교 메커니즘 없이 단순히 더 많은 롤아웃을 생성하는 것은 수익 체감의 법칙(diminishing returns)에 직면하게 됩니다. BJudge는 원시적이고 노이즈가 많은 궤적을 고수준의 행동 내러티브로 추상화함으로써, 복잡하고 장기적인 환경에서도 올바른 경로를 식별할 수 있게 함으로써 이 문제를 해결합니다.

결과는 적절한 프레임워크가 있다면 CUAs가 복잡한 데스크톱 자동화 작업에서 인간의 성능을 따라잡을 뿐만 아니라 능가할 수 있음을 보여주며, 이는 신뢰할 수 있는 자동화된 디지털 워크플로우를 향한 실행 가능한 경로를 제시합니다. 저자들은 이러한 결과가 독립적인 롤아웃이 가능한 제어된 환경(가상 머신)에 의존하고 있음을 언급하며, 실제 사용자 데스크톱에 직접 배포할 때는 상태 격리와 관련된 추가적인 과제가 있음을 인정했습니다.