기술 요약: SeekJudge

문제 정의

장기적 관점의 GUI(그래픽 사용자 인터페이스) 태스크에서 컴퓨터 사용 에이전트(CUA)를 평가하고 학습시키는 과정은, 생성된 궤적이 인간의 지시를 충족하는지 판단하는 데 있어 결정적인 병목 현상에 직면해 있습니다. 역사적으로 이는 **규칙 기반 평가(rule-based evaluation)**에 의존해 왔으나, 이는 세 가지 근본적인 한계를 가집니다:

1. 인간의 의도와의 불일치: 규칙은 모든 유효한 솔루션을 열거하기 어렵습니다. 특히 그림 그리기와 같이 허용 가능한 출력이 무한한 개방형 태스크의 경우 더욱 그렇습니다.
2. 취약성 및 유지보수 문제: 규칙은 내부 상태(레이아웃, API) 접근이나 사전 정의된 정답에 의존하므로, 애플리케이션 업데이트, 버전 변경 또는 온라인 콘텐츠의 변화에 매우 취약합니다.
3. 확장성 문제: 규칙 기반 시스템은 주로 오프라인 소프트웨어에 국한됩니다. 라이브 온라인 서비스를 커버하려면 막대한 유지보수 비용이 발생합니다.

**모델 기반 판사(model-based judges)**가 대안으로 등장했으나, 기존 프레임워크들은 RL(강화 학습) 도입 시 "결정적 증거의 희석(dilution of decisive evidence)" 문제로 인해 주류 채택에 실패하는 경우가 많습니다. 전체 궤적(많은 이미지)을 단 한 번의 포워드 패스(forward pass)에 입력함으로써, 이러한 모델들은 미세한 디테일에서 환각을 일으키거나 에이전트의 자기 보고(self-report)를 과하게 신뢰하여, 판결을 결정짓는 특정 스크린샷을 분리해 내지 못합니다. 또한, 기존 솔루션들은 단계별 세밀함(step-level granularity)이 부족하거나, 비용 효율성이 낮으며, 단일 컨텍스트 윈도우 내에서 매우 긴 궤적을 처리하는 능력이 부족합니다.

방법론: SeekJudge 프레임워크

SeekJudge는 판정 작업을 **로컬라이제이션(localization, 위치 식별)**과 **추출(extraction, 증거 고해상도 판독)**로 분해함으로써 이 문제를 해결합니다. 이는 단일 9B 파라미터 백본 모델을 공유하는 멀티 에이전트 프레임워크를 통해 구현됩니다.

핵심 아키텍처

프레임워크는 네 가지 역할 특화 에이전트를 운용합니다:

1. Condense Agent (압축 에이전트): 스크린샷 쌍(액션 전후)을 읽어 상태 전이를 설명하는 압축된 텍스트 타임라인($T$ 엔트리)을 생성합니다.
2. Ground Agent (그라운드 에이전트): 액션 후의 스크린샷과 원시 액션(예: 좌표)을 읽어 타격된 특정 UI 요소를 식별하고, 그라운딩된 액션 엔트리($A$ 엔트리)를 생성합니다.
3. Seek Agent (탐색 에이전트): 상태를 유지하는 컨트롤러입니다. 압축된 타임라인을 읽고 Analyze 에이전트에 반복적으로 질의합니다. 축적된 증거가 판결을 내리기에 충분한지 결정합니다. 만약 부족하다면, 조사할 특정 단계와 이미지 ID를 선택하고, 집중적인 질문을 구성하여 그 응답을 자신의 컨텍스트에 추가합니다.
4. Analyze Agent (분석 에이전트): 특정 스크린샷에 대한 단일 집중 질문에 답하고 결정적인 디테일만을 반환하는 무상태(stateless) 도구입니다.

이 Seek–Analyze 루프는 모델이 한 번에 하나의 고해상도 증거를 처리하도록 보장하여, 단일 패스 멀티 이미지 방식에서 발생하는 컨텍스트 희석 문제를 방지합니다.

학습 및 데이터 구축

• Seed-Calibrated Distillation (시드 교정 증류): 단일 9B 백본을 학습시키기 위해, 저자들은 강력한 폐쇄형 모델(DeepSeek)이 교사 역할을 하는 파이프라인을 사용합니다. "Seed Stage"에서는 프롬프트 탐색을 사용하여 교사의 기준과 탐색 프롬프트를 인간의 주석과 정렬합니다. 이 데이터는 이후 네 가지 역할을 통합된 9B 모델로 증류하는 데 사용됩니다.
• Dense Supervision (밀집 감독): 이 프레임워크는 이진 라벨 대신 7개의 궤적 수준 차원 점수(0–100)와 9가지 단계 수준 클래스 라벨을 출력합니다. 이는 작은 그래디언트 부스팅 회귀 모델을 통해 RL 학습을 위한 스칼라 보상으로 매핑됩니다.
• CUAStepBench: 177개 애플리케이션(Web, OS, Android, iOS, macOS)에 걸친 278개 태스크로 구성된 새로운 벤치마크입니다. 이는 인간의 궤적 판정과 밀집된 사후 단계별 라벨을 특징으로 하며, 교차 플랫폼 커버리지나 단계별 세밀함이 부족한 기존 벤치마크의 공백을 메웁니다.

RL을 위한 엔지니어링 최적화

모델 기반 보상을 온라인 RL에서 실용적으로 만들기 위해, SeekJudge는 다음을 도입합니다:

• Rollout-Overlapped, Zero-Client-State Server (롤아웃 중첩, 제로 클라이언트 상태 서버): 서버는 환경의 액션 실행 시간(유휴 GPU 윈도우) 동안 비의존적 작업(Condense/Ground)을 스케줄링합니다. RL 클라이언트는 보상 상태를 유지하지 않고 비동기적으로 스크린샷을 스트리밍하여 레이턴시와 블로킹 시간을 줄입니다.
• Adaptive Compute (적응형 컴퓨팅): Seek 에이전트는 추출 호출을 필요할 때만 발행하므로, 쉬운 궤적은 복잡한 궤적보다 적은 라운드를 소요합니다.

주요 결과

강화 학습 성능

• 규칙 기반 감독 능가: 세 가지 도메인(Chrome, Impress, OS)의 홀드아웃 테스트 목표에서, SeekJudge로 학습된 정책은 네이티브 규칙 기반 감독으로 학습된 정책과 대등하거나 이를 능가하는 테스트 성공률을 달了했습니다. 예를 들어, UI-TARS 1.5 7B를 사용한 Impress 도메인에서 SeekJudge는 규칙 기반 감독의 30.43%에 비해 **36.81%**의 테스트 성공률을 달성했습니다.
• 타 모델 기반 판사 대비 우위: SeekJudge는 더 크거나 폐쇄형 모델을 사용하는 기존 모델 기반 프레임워크(CUAJudge, OS-Themis)보다 훈련 보상과 테스트 성공률 모두에서 더 뛰어난 성능을 보였습니다.

오프라인 평가

• 벤치마크 정확도: CUAStepBench에서 특화된 SeekJudge-9B 모델은 궤적 F1 74.5%, 단계 수준 F1 **38.1%**를 달성하여, Qwen3VL-8B 베이스를 능가하고 궤적 F1 측면에서 폐쇄형 베이스라인인 CUAJudge(GPT-5-mini)를 앞질렀습니다.
• 컨텍스트 효율성: SeekJudge는 이미지를 일괄 처리하는 대신 순차적으로 처리하기 때문에 호출당 컨텍스트 크기가 경쟁사보다 현저히 작습니다(4~6배 작음). 이를 통해 컨텍스트 제한에 걸리지 않고 훨씬 긴 궤적을 처리할 수 있습니다.

비용 및 효율성

• 비용 절감: SeekJudge는 폐쇄형 대형 모델보다 수백 배 저렴합니다. 그림 7은 5,000개의 궤적에 대해 SeekJudge가 Codex(GPT-5.5)와 같은 베이스라인 비용의 극히 일부만 소요됨을 보여줍니다.
• 멀티 이미지 노이즈: 실험을 통해 단일 포워드 패스에 결정적이지 않은 이미지를 추가하면 성능이 저하됨을 확인했습니다(이미지 수가 증가함에 따라 F1이 0.68에서 0.61로 하락). 이는 SeekJudge의 국소적 추출 방식의 필요성을 입증합니다.

의의 및 주장

본 논문은 SeekJudge가 CUA 강화 학습에서 규칙 기반 감독을 대체할 수 있는 **실용적인 드롭인 교체재(drop-in replacement)**라고 주장합니다. 그 의의는 다음과 같습니다:

1. 격차 해소: 이는 온라인 RL 설정에서 네이티브 규칙 기반 감독과 대등하거나 이를 능가하는 최초의 모델 기반 보상으로, 역사적인 성능 격차를 극적으로 극복했습니다.
2. 확장성: 로컬라이제이션과 추출을 분리함으로써, 단일 패스 판사가 가진 컨텍스트 윈도우를 초과하는 장기적 관점의 태스크 평가를 가능하게 합니다.
3. 세밀함: 긴 궤적에서 크레딧 할당(credit assignment)에 필수적인 단계별 판단을 제공하며, 이는 많은 기존 보상 모델에 결여된 기능입니다.
4. 실용성: 구조적 최적화(비동기 프리페칭, 작은 컨텍스트)와 비용 효율성을 통해, 모델 기반 보상을 대규모 RL 학습 루프에서 실현 가능하게 만들어 규칙을 삽입할 수 없는 환경(예: 라이브 온라인 서비스)까지 에이전트의 역량을 확장합니다.

저자들은 본 프레임워크가 특화된 9B 모델에 의존하지만, 그 설계 원칙(로컬라이제이션/추출 분해)과 엔지니어링 최적화는 일반화가 가능하며, 확장 가능한 인간 정렬 에이전트 평가를 위한 경로를 제시한다고 강조합니다.