기술 요약: SCALECUA

문제 정의

컴퓨터 사용 에이전트(Computer Use Agents, CUAs)는 구조화된 API 대신 화면 픽셀과 UI 요소를 직접 조작함으로써 디지털 워크플로우를 자동화하는 혁신적인 접근 방식을 나타냅니다. 최근 검증 가능한 보상(verifiable rewards, RLVR)을 활용한 온라인 강화학습(online reinforcement learning)의 발전은 CUA 역량을 확장할 가능성을 보여주었으나, 이 분야는 두 가지 결정적인 병목 현상에 직면해 있습니다:

1. 검증 가능한 데이터의 희소성: 수학이나 코드 작업과 달리, GUI 작업은 최종 상태를 결정론적으로 점수화할 수 있는 내장된 메커니즘이 부족합니다. 실행 가능한 판독기(judge)를 통해 검증 가능하면서도, 너무 단순하거나 도달 불가능하지 않은 적절한 난이도를 갖춘 태스크를 대규모로 생성하는 것은 근본적으로 매우 어렵습니다.
2. 온라인 RL의 비효율성: 다회차(multi-turn) GUI 상호작용을 위한 현재의 RL 학습은 샘플링과 학습 모두에서 비효율성을 겪고 있습니다. 균등한 태스크 선택은 모든 태스크가 성공하거나 혹은 모두 실패하는 롤아웃 그룹을 생성하여 학습 신호를 제공하지 못하는 경우가 많습니다. 또한, 학습 전략은 트레이드오프에 직면합니다. 궤적 수준(trajectory-level) 학습은 과도한 시각적 토큰을 축적하여 추론 속도를 늦추고, 단계별 분해(step-wise decomposition) 방식은 학습 아이템의 수를 늘려 파라미터 업데이트를 느리게 만듭니다.

방법론

저자들은 데이터 생성과 학습 효율성을 동시에 해결하기 위해 설계된 통합 프레임워크인 SCALECUA를 소개합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. VERIGEN: 검증 가능한 태스크 합성

데이터 희소성을 극선하기 위해, 저자들은 검증 가능한 RL 태스크를 생성하기 위한 엔드 투 엔드 프레임워크인 VERIGEN을 제안합니다.

• 다중 에이전트 피드백 루프: VERIGEN은 라이브 Docker 환경과 상호작용하는 세 개의 독립적인 LLM 에이전트(Proposer, Judger, Checker)를 활용합니다. Proposer는 태스크와 검증기를 생성하고, Judger는 정적 의미론적 검토를 수행하며, Checker는 "드라이 런(dry runs)"을 실행하여 태스크의 도달 가능성과 판독기의 정확성을 동적으로 검증합니다.
• 궤적 가이드 합성: 시스템은 모델의 롤아웃 궤적을 분석하여 태스크 풀을 반복적으로 정교화합니다. 실패한 태스크는 최초의 이탈 지점을 기준으로 더 작은 하위 태스크로 분해되며, 성공한 태스크는 클러스터링되어 더 어려운 다중 목표 태스크로 구성됩니다.
• 확장성: 공유된 Docker 상호작용 프로브를 통해 100개 이상의 동시 에이전트 워커가 100개 이상의 Docker 환경과 상호작용할 수 있으며, 이를 통해 24,000개 이상의 검증 가능한 태스크와 약 3,000개의 고품질 RL 태스크를 생성합니다.

2. Frontier Sampling: 효율적인 태스크 할당

샘플 효율성을 극대화하기 위해, SCALECUA는 모델의 현재 능력에 따라 롤아웃을 동적으로 할당하는 경량 샘플러인 Frontier Sampling을 도입합니다.

• 메커니즘: 시스템은 각 태스크의 성공률에 대한 지수 이동 평균(EMA)을 유지합니다. 시스템은 타겟 성공률(예: 0.5)에서 정점을 찍는 가우시안 커널 분포를 적용하여 샘플링 가중치를 계산합니다.
• 목표: 이를 통해 롤아웃을 "학습 전선(learning frontier)"에 있는 태스크, 즉 모델이 어느 정도의 확률로 해결할 수 있는 태스크로 유도하여, 너무 쉽거나 너무 어려운 태스크에 낭비되는 계산을 방지합니다.

3. Visual Context Segmentation: 효율적인 다회차 학습

장기적(long-horizon) 태스크에서의 롤아웃-학습 트레이드오프를 해결하기 위해, 저자들은 Visual Context Segmentation을 제안합니다.

• 슬라이딩 윈도우 전략: 전체 시각적 이력을 유지하여 롤아웃 엔진에 부담을 주거나 모든 단계를 분리하여 학습 엔진에 부담을 주는 대신, 시스템은 최근의 시각적 컨텍스트(예: $K$개의 스크린샷)에 대한 슬라이딩 윈도우를 유지합니다.
• Token-ID 스트림: 윈도우가 넘치면 가장 오래된 스크린샷은 삭제되고 텍스트 요약으로 대체되며, Token-ID 스트림은 재토큰화됩니다. 이는 텍스트의 연속성과 단계 간 추론을 보존하면서 시각적 토큰의 축적을 제한합니다.

주요 기여

1. VERIGEN 프레임워크: 100개 이상의 병렬 워커를 통해 검증 가능한 태스크 생성을 확장하여, 기존 데스크톱 CUA 방식보다 훨씬 큰 규모인 24K+ 검증 가능한 태스크와 약 3K의 고품질 RL 태스크 데이터셋을 생성하는 엔드 투 엔드 파이프라인입니다.
2. Frontier Sampling: EMA 성공률을 통해 태스크별 능력을 추적하여, 롤아웃이 가장 정보가 풍부한 태스크에 집중되도록 함으로써 수렴을 가속화하는 새로운 샘플링 전략입니다.
3. Visual Context Segmentation: 시각적 토큰 부하와 학습 아이템 수를 균형 있게 조절하여, 추론 품질을 저하시키지 않으면서 단계별 분해 방식 대비 2.83배의 엔드 투 엔드 학습 속도 향상을 달성하는 학습 최적화 기술입니다.

실험 결과

저자들은 OSWorld 및 ScienceBoard 벤치마크를 사용하여 세 가지 시각-언어 모델(GLM-4.6V-Flash, Qwen3-VL-8B-Thinking, Qwen3.5-9B)에 대해 SCALECUA를 평가했습니다.

• OSWorld 성능: Qwen3.5-9B 백본을 사용한 SCALECUA는 **68.7%**의 성공률을 달성했습니다. 이는 Kimi K2.5 (63.3%) 및 EvoCUA-32B (56.7%)를 포함한 강력한 오픈 소스 베이스라인뿐만 아니라, Claude Sonnet 4.5 (62.9%)와 같은 독점 모델을 능가하는 수치입니다. 특히 장기적 과업인 "Professional"(89.5%) 및 "Workflow"(48.1%) 카테고리에서 강력한 성과를 보였습니다.
• ScienceBoard 성능: SCALECUA-Qwen3.5-9B는 ScienceBoard에서 **54.0%**를 기록하며 오픈 소스 에이전트 중 새로운 SOTA(State-of-the-Art)를 세웠고, Claude Opus 4.6 (52.7%)을 넘어섰습니다. 과학 문서 작성(TeXstudio) 및 정리 증명(theorem proving) 분야에서 주목할 만한 개선이 관찰되었습니다.
• Ablation Study: 세 가지 핵심 구성 요소(VERIGEN, Frontier Sampling, Visual Context Segmentation) 중 하나라도 제거했을 때 성능이 크게 하락하여, 이들의 상호 보완적인 역할을 확인했습니다. 특히 VERIGEN을 제거하면 성능이 베이스 모델 수준(43.9%)으로 떨어졌습니다.

의의

SCALECUA는 컴퓨터 사용 에이전트를 확장하기 위해서는 검증 가능한 데이터 합성와 효율적인 학습 알고리즘을 통합하는 총체적인 접근 방식이 필요함을 입증합니다. 실시간 환경 상호작용을 통해 검증 가능한 데이터 희소성 문제를 해결하고, 프런티어 인지 샘플링과 시각적 컨텍스트 관리를 통해 학습 비효율성을 해결함으로써, 이 프레임워크는 오픈 소스 CUA를 위한 새로운 최첨단 성능을 확립합니다. 저자들은 이 통합된 접근 방식이 검증 가능한 보상을 가진 에이전트를 훈련하는 재사용 가능한 레시피를 제공하여, 자동화된 디지털 워크플로우 분야의 발전을 가속화할 것이라고 주장합니다.