기술 요약: Qwen-UI-Agent: 차세대 실세계 중심 파운데이션 GUI 에이전트를 향하여

1. 문제 정의

GUI(그래픽 사용자 인터페이스) 에이전트가 범용적인 디지털 생태계 실행 도구로서 가능성을 보여주었으나, 시뮬레이션 벤치마크 성능과 실제 환경 배포 시의 신뢰성 사이에는 여전히 상당한 격차가 존재한다. 기존 에이전트들은 통제된 샌드박스 환경에 최적화되어 있어, 동적인 애플리케이션 상태, 권한 제약, 예상치 못한 방해 요소(예: 팝업, CAPTCHA), 네트워크 불안정성 등 실제 기기의 복잡성을 처리하는 데 실패하는 경우가 많다. 또한, 현재의 에이전트들은 종종 고립된 도메인(모바일, 웹, 데스크톱 각각 별도로)에서 작동하며, 단기 목표(short-horizon) 작업에 의존하고, 시각적 GUI 상호작용과 프로그래밍 방식의 CLI 실행을 결합하거나 사용자 신호에 따라 선제적으로 서비스를 시작하는 능력이 부족하다. 본 논문은 이 격차를 메우기 위해 필요한 여섯 가지 핵심적인 전환을 식별한다: 시뮬레이션에서 실기기 실행으로, 고립된 환경에서 교차 플랫폼 워크플로로, GUI 전용에서 하이브리드 GUI+CLI 액션으로, 단기 목표에서 신뢰할 수 있는 장기 목표(long-horizon) 작업으로, 인간 집약적 방식에서 자동화된 데이터 파이프라인으로, 그리고 반응적 방식에서 선제적 서비스 개시로의 전환이다.

2. 방법론

저자들은 모바일, 컴퓨터, 웹 및 DeepSearch 환경 전반에서 작동하도록 설계된 실세계 중심의 파운데이션 GUI 에이전트인 Qwen-UI-Agent를 제시한다. 이 시스템은 네 가지 핵심 축을 기반으로 구축되었다:

2.1 환경 인프라

• 실기기 모바일 런타임: 시뮬레이션과 실제 간의 격차를 해결하기 위해, 연구팀은 100대 이상의 물리적 안드로이드 기기와 150개 이상의 애플리케이션을 포함하는 런타임을 구축했다. 이 시스템은 기기 가용성을 관리하고, 민감한 작업(예: 결제, CAPTCHA)을 위한 사용자 인수(takeover)를 처리하며, 모델의 오류와 환경적 문제를 구분하는 헬스 어웨어 스케줄러(health-aware scheduler)를 포함한다.
• 확장 가능한 샌드박스: 이 인프라는 대규모 배포 및 학습을 위해 최대 10,000개의 동시 샌드박스 환경(모바일, 컴퓨터, 웹, DeepSearch)을 지원한다.
• 통합 인터페이스: 표준화된 인터페이스는 이질적인 환경을 추상화하여, 에이전트가 일관된 '사고-행동-관찰(thinking-action-observation)' 루프를 통해 모바일, 데스크톱 및 웹 시스템과 상호작용할 수 있도록 한다.

2.2 통합 액션 공간 (Unified Action Space)

Qwen-UI-Agent는 다음을 교차 배치하는 하이브리드 액션 공간을 사용한다:

• GUI 액션: 클릭(click), 타이핑(type), 스크롤(scroll), 열기(open)와 같은 표준 동작.
• CLI 액션: 효율적인 파일 조작, 데이터 처리 및 시스템 제어를 위한 직접적인 bash 명령어 실행.
• API 호출: 외부 서비스와의 구조화된 상호작용 (예: 검색 API).
• 배치 액션 (Batched Actions): 모델은 한 턴에 순서가 지정된 액션 시퀀스를 출력할 수 있어, 추론 오버헤드와 실행 단계를 줄일 수 있다.
• 사용자 상호작용: ask_user 액션을 통해 에이전트는 민감한 작업을 수행할 때 확인을 요청하거나 누락된 정보를 요청할 수 있다.

2.3 에이전트 주도 데이터 플라이휠 (Agent-Driven Data Flywheel)

역량 습득을 위한 인간의 노력을 줄이기 위해, 저자들은 AutoResearch 스타일의 데이터 플라이휠을 구현했다. 이 루프에서 에이전트는 다음을 수행한다:

1. 도메인 역량을 분석하고 후보 작업을 생성한다.
2. 환경과 상태 기반 검증기(state-based verifiers)를 구축한다.
3. 궤적(trajectories)을 수집하고 실패를 진단한다 (모델 오류와 환경 문제를 구분함).
4. 식별된 약점을 해결하기 위한 타겟 작업을 생성함으로써 후속 반복 계획을 세운다.
   인간은 주로 시스템을 감독하고 특정 수정 사항에 대해서만 개입한다.

2.4 학습 프레임워크

학습 파이프라인은 세 단계로 결합된다:

1. 지도 미세 조정 (SFT): 도메인 조건부 전문가 학습을 사용한 후, 모바일, 데스크톱, 웹 역량의 균형을 맞추면서 일반적인 추론 능력을 보존하기 위해 모델 병합(model merging)을 수행한다. 효율적인 장기 궤적 학습을 위해 슬라이딩 윈도우 방식이 사용된다.
2. 액션 강화 학습 (Action RL): 반복되는 로컬 액션 오류(예: 혼동하기 쉬운 요소 그라운딩, 조기 완료, 반복 루프)를 해결하는 데 집중하는 강화 학습 단계로, 타겟팅된 오류 패턴 데이터와 액션 인식 보상을 사용한다.
3. 온라인 강화 학습 (Online RL): 그룹 상대 정책 최적화(GRPO)를 사용하는 검증기 가이드 RL 단계로, 장기 의사결정을 최적화한다. 이는 중간 성공률이 높은 작업을 우선시하는 모델 적응형 커리큘럼을 활용하며, 확장 가능한 샌드박스 인프라에서 실행된다.

2.5 하네스 레이어 (Harness Layer)

핵-에이전트 상단에 위치한 경량 하네스 레이어는 다음을 가능하게 한다:

• 선제적 서비스 (Proactive Service): 시스템은 모바일 알림을 모니터링하여 실행 가능한 이벤트(예: 항공편 취소)를 추론하고, 컨텍스트를 바탕으로 추론하며, 명시적인 사용자 지시 전에 계획을 제안한다.
• 교차 플랫폼 실행: 공유된 컨텍스트와 상태를 유지하여, 워크플로가 모바일과 데스크톱 환경을 매끄럽게 넘나들 수 있게 한다 (예: 모바일에서 검색하고 데스크톱에서 정리하기).

3. 주요 기여

• 실기기 파운데이션: 학습과 평가에 사용되는 대규모 실기기 모바일 환경(100대 이상의 기기)을 구축하여, 시뮬레이션과 실제 간의 격차를 크게 좁혔다.
• 하이브리드 액션 공간: GUI, CLI 및 배치 액션을 통합된 공간으로 결합하여, 시각적 그라운딩과 프로그래밍 방식의 조작이 모두 필요한 복잡한 워크플로를 효율적으로 실행할 수 있게 했다.
• 에이전트 주도 반복: 작업을 합성하고, 실패를 진단하며, 모델 개선을 유도하는 자동화된 데이터 플라이휠을 사용하여 모델 개발에서의 인간 의존도를 낮췄다.
• 선제적 및 교차 플랫폼 역량: 디지털 신호를 기반으로 작업을 개시하고, 컨텍스트를 잃지 않고 여러 기기에 걸쳐 워크플로를 실행할 수 있는 하네스 레이어를 제공한다.
• 확장 가능한 온라인 RL: 10,000개의 동시 환경에서 100단계 이상의 궤적을 처리할 수 있는 학습 프레임워크를 통해 장기적 신뢰성을 최적화한다.

4. 실험 결과

Qwen-UI-Agent는 다섯 가지 카테고리에서 평가되었으며, 프런티어 모델(예: Opus 4.8, GPT-5.6 Sol, Gemini 3.1 Pro) 및 특화된 GUI 에이전트들에 대해 SOTA(State-of-the-Art) 또는 경쟁력 있는 성능을 입증했다.

• 모바일 사용:
  • MobileWorld-Real (실기기): **92.2%**의 성공률을 달성하여, 최고의 폐쇄형 베이스라인(Seed 2.1 Pro, 88.7%)보다 3.5%p 앞섰다.
  • AndroidDaily: **97.5%**의 성공률을 달성했다.
  • MobileWorld (시뮬레이션): **82.1%**를 달성하여, Opus 4.8보다 14.6%p 높았다.
• 컴퓨터 사용:
  • OSWorld-Verified: **79.5%**의 성공률을 달성하여 전체 2위를 기록했으며, GPT-5.5 및 Gemini 3.1 Pro를 능가했다.
  • OSWorld-v2: **40.0%**의 부분 진행 점수(partial-progress score)와 **13.9%**의 바이너리 성공률을 달성하여, 오픈 웨이트 모델들을 크게 앞질렀으며 더 적은 단계로 과업을 수행했다.
• 브라우저 사용 및 DeepSearch:
  • WebArena: **73.6%**를 달성하여, Opus 4.8 및 GPT-5.5를 능가했다.
  • BrowseComp-ZH: **75.0%**를 달성하여, 비교된 모든 시스템 중 2위를 차지했다.
• GUI 그라운딩:
  • ScreenSpot-Pro: 81.5%(줌인 설정)를 달성하여 새로운 SOTA를 기록했다.
  • ScreenSpot-V2: **97.5%**를 달성했다.
• 일반 및 에이전트 역량: 모델은 강력한 일반 추론 능력(MMMU-Pro, MMLU-Pro)과 에이전트 역량(Tau2-Bench, Terminal-Bench 2.0)을 유지했으며, GUI 특화 모델들을 크게 능가하면서도 기본 모델과 대등한 수준을 유지했다.

5. 의의 및 주장

본 논문은 Qwen-UI-Agent가 **실세계 중심(real-world centric)**의 차세대 GUI 에이전트를 향한 단계임을 주장한다. 그 의의는 다음과 같다:

1. 실기기 학습은 필수적이다: 시뮬레이션에만 최적화된 모델은 실제 기기의 예측 불가능성에 대응하지 못하므로, 신뢰성을 위해서는 실기기 런타임이 필수적이다.
2. 하이브리드 실행은 효율적이다: GUI와 CLI를 결합하고 액션을 배치하는 것은 특히 장기적인 컴퓨터 작업에서 실행 효율성과 작업 범위를 실질적으로 개선한다.
3. 자동화가 역량을 확장한다: 에이전트 주도의 데이터 플라이휠은 작업 합성, 실패 진단, 모델 정교화의 순환을 효과적으로 자동화하여, 에이전트 개발의 인간 병목 현상을 줄인다.
4. 선제성이 유용성을 높인다: 단순한 반응적 지시 이행에서 벗어나, 알림에 의해 트리거되는 선제적 서비스 개시와 교차 플랫폼 워크플로 관리는 에이전트의 사용자 경험과 유용성을 근본적으로 향상시킨다.

저자들은 모델, 환경, 데이터 플라이휠, 그리고 하네스 레이어의 공동 설계(co-design)가 실제 사용을 위한 신뢰할 수 있고 실용적인 GUI 에이전트를 달성하는 데 필요하다고 결론짓는다. 또한, 실기기 평가를 위한 VLM 기반 판사(judge)에 대한 의존도나 자동화된 개발 파이프라인에서의 인간 감독 필요성 등의 한계를 인정하지만, 이를 근본적인 결함이 아닌 향후 개선 영역으로 규정한다.