UI-Venus-1.5 Technical Report

이 논문은 100 억 토큰의 미드트레이닝, 전체 궤적 롤아웃을 통한 온라인 강화학습, 그리고 도메인별 모델 병합을 통해 ScreenSpot-Pro 등 주요 벤치마크에서 새로운 최첨단 성능을 달성한 범용 GUI 에이전트 'UI-Venus-1.5'를 제안합니다.

핵심

안녕하세요! 안트그룹 (Ant Group) 의 '유니스 (Venus)' 팀이 발표한 UI-Venus-1.5 기술 보고서를 일반인도 쉽게 이해할 수 있도록, 일상적인 비유와 재미있는 이야기로 풀어서 설명해 드릴게요.

🌟 핵심 개념: "스마트폰을 스스로 다루는 '디지털 도우미'가 진화했습니다!"

과거의 컴퓨터 자동화 프로그램은 마치 엄격한 지시서를 따라 움직이는 로봇 같았습니다. "이 버튼을 누르고, 저 창을 닫아"라고 정확히 말해주지 않으면 아무것도 못 했죠.

하지만 UI-Venus-1.5는 다릅니다. 이 모델은 마치 스마트폰을 처음 본 친구에게 가르쳐주는 똑똑한 튜터 같습니다. 화면을 보고, "이게 뭐지?"라고 생각하며, "아! 이거 누르면 되겠네!"라고 스스로 판단해서 작업을 해냅니다.

이제 이 튜터가 어떻게 더 똑똑해졌는지, 3 가지 주요 업그레이드로 설명해 드릴게요.

---

🚀 3 가지 핵심 업그레이드 (어떻게 똑똑해졌을까?)

1. 📚 '중간 훈련 (Mid-Training)': 방대한 '앱 사용법' 도서관을 방문하다

• 이전 상황: 예전 모델은 스마트폰 앱의 구조를 잘 몰라서, "설정 메뉴를 찾아줘"라고 하면 어디가 설정인지 헤매는 경우가 많았습니다.
• 새로운 변화: 연구팀은 30 개 이상의 다양한 앱 데이터 100 억 개를 모델에게 보여줬습니다.
• 비유: 마치 모든 스마트폰 앱 사용법을 외운 '앱 마스터'가 된 것입니다. 이제 이 모델은 앱을 처음 켜더라도 "아, 이 아이콘은 '홈'이고, 저건 '뒤로가기'구나"라고 금방 이해합니다. 이 과정을 통해 모델은 기본적인 앱 구조를 완벽하게 체득했습니다.

2. 🎮 '온라인 강화 학습 (Online RL)': 실전 시뮬레이션 게임으로 실력 향상

• 이전 상황: 책 (데이터) 만 보고 공부하면, 실제 게임 (실제 앱) 에서 예상치 못한 상황이 나오면 당황하기 쉽습니다. "이게 왜 안 되지?"라고 멈춰버리죠.
• 새로운 변화: 모델에게 수천 대의 가상 스마트폰을 연결해 실제처럼 작동하게 했습니다. 여기서 실수를 하고, 다시 시도하고, 성공하는 과정을 반복하게 했어요.
• 비유: 실전 모의고사를 수만 번 치른 것과 같습니다. "이 버튼을 누르면 앱이 꺼질 수도 있으니, 먼저 저장 버튼을 눌러야겠다"처럼, 실제 환경에서 발생하는 돌발 상황을 스스로 경험하며 배우게 되어, 복잡한 작업도 거침없이 해냅니다.

3. 🧩 '모델 병합 (Model Merging)': 세 명의 전문가를 하나로 합치다

• 이전 상황: 웹사이트를 잘 다루는 모델, 모바일 앱을 잘 다루는 모델, 화면의 버튼을 찾는 모델이 따로 있었습니다. 사용자는 작업마다 모델을 바꿔야 했죠.
• 새로운 변화: 이 세 가지 전문성을 가진 모델들을 하나의 '슈퍼 모델'로 합쳤습니다.
• 비유: 웹 전문가, 앱 전문가, 버튼 찾기 전문가가 한 몸이 되어 '만능 비서'가 된 것입니다. 이제 사용자는 "티켓 예매해 줘"라고만 하면, 웹에서 검색하고 앱으로 이동하고 버튼을 누르는 모든 과정을 하나의 모델이 알아서 처리합니다.

---

🏆 얼마나 잘해냈을까요? (성적표)

이 모델은 전 세계적으로 유명한 시험 (벤치마크) 에서 **최고의 점수 (SOTA)**를 받았습니다.

• 화면 찾기 (Grounding): 복잡한 화면에서 "저기 있는 '구매' 버튼을 찾아줘"라고 하면, 96% 이상의 정확도로 찾아냅니다. (이전 모델들보다 훨씬 정확해요!)
• 작업 수행 (Navigation): 안드로이드 앱에서 "친구에게 메시지 보내고, 노래 재생해 줘" 같은 복잡한 지시도 77.6% 성공률로 해냅니다.
• 실제 활용: 중국 내 40 개 이상의 주요 앱 (예: 항공권 예매, 쇼핑, 채팅 등) 에서 실제로 작동하며, 실제 사용자의 삶을 도와주는 진정한 비서가 되었습니다.

💡 요약하자면

UI-Venus-1.5는 단순히 "화면을 보는 눈"을 가진 것을 넘어, **앱의 구조를 이해하고, 실전에서 실수를 배우며, 모든 일을 하나로 처리하는 '완벽한 디지털 비서'**로 진화했습니다.

앞으로 우리는 "이거 해줘"라고 말만 하면, 스마트폰이 알아서 모든 일을 척척 해주는 시대가 더 가까워진 것입니다! 📱✨

기술 요약

1. 문제 정의 (Problem)

기존의 GUI 에이전트 연구는 다음과 같은 주요 한계점에 직면해 있었습니다:

• 일반성과 성능의 트레이드오프: 다양한 시나리오에 적용 가능한 광범위한 일반성과 동시에 복잡한 작업에서의 높은 성공률을 달성하는 것이 어려웠습니다.
• 단계별 vs 전체 경로 정확도 불일치: 기존 학습 방식 (SFT 또는 오프라인 RL) 에서 개별 단계 (Step) 의 정확도는 높았으나, 전체 작업 흐름 (Trace) 의 성공률은 낮았습니다. 이는 개별 단계의 희소한 보상 (Sparse Reward) 과 훈련 데이터와 실제 환경 간의 도메인 차이 (Domain Shift) 로 인해 발생했습니다.
• 배포의 복잡성: 특정 도메인 (웹, 모바일, 그라운딩) 마다 별도의 모델을 훈련하고 유지해야 했으며, 이를 통합하는 과정이 복잡했습니다.

2. 방법론 (Methodology)

UI-Venus-1.5 는 Qwen3-VL 아키텍처를 기반으로 하며, 4 단계의 통합 학습 파이프라인을 통해 위 문제들을 해결합니다.

2.1. 미드 - 트레이닝 (Mid-Training)

• 목적: 일반적인 시각 - 언어 모델과 GUI 에이전트가 필요한 세밀한 구조적 이해 사이의 격차를 해소합니다.
• 데이터: 30 개 이상의 다양한 데이터셋 (Mind2Web, ShowUI 등) 에서 수집된 총 100 억 토큰 규모의 대규모 GUI 코퍼스를 사용합니다.
• 데이터 정제: 교사 모델 (Qwen3-VL-235B-A22B) 을 활용한 점수 매기기, 재작성, 그리고 DaaS(Device as a Service) 환경을 통한 실제 기기에서의 상호작용 궤적 수집을 통해 고품질 데이터를 확보했습니다.
• 효과: 모델이 RL 단계 진입 전부터 GUI 레이아웃, 상호작용 논리, VQA, 그라운딩에 대한 강력한 기초 지식을 습득하도록 합니다.

2.2. 오프라인 강화학습 (Offline-RL)

• 목적: 그라운딩 (Grounding), 모바일 내비게이션, 웹 내비게이션 각각의 도메인에 특화된 모델을 훈련합니다.
• 보상 함수: 형식 준수 (Format Reward) 와 행동 정확도 (Action Reward) 를 결합한 분리된 보상 시스템을 사용합니다. 특히, 존재하지 않는 요소를 지시할 때 거절 (Refusal) 할 수 있는 능력을 학습시켜 할루시네이션을 줄였습니다.
• 한계: 오프라인 RL 만으로는 개별 단계는 잘 수행하지만, 긴 작업 흐름 전체의 성공률이 떨어지는 '단계 - 경로 불일치' 문제가 관찰되었습니다.

2.3. 온라인 강화학습 (Online-RL)

• 목적: 오프라인 학습의 한계를 극복하고 동적인 실제 환경에서의 적응력을 높입니다.
• DaaS 인프라: 수천 개의 이기종 기기 (Android, Chrome, Desktop) 를 통합 관리하는 'Device as a Service' 레이어를 구축하여 대규모 병렬 실행을 가능하게 했습니다.
• 학습 알고리즘: GRPO (Group Relative Policy Optimization) 알고리즘을 사용하여 전체 궤적 (Trajectory) 단위의 보상을 기반으로 정책을 최적화합니다.
• 효과: 실시간 피드백을 통해 긴 작업 흐름 (Long-horizon tasks) 과 불확실한 환경에서의 오류 복구 능력을 극대화합니다.

2.4. 모델 병합 (Model Merging)

• 전략: 그라운딩, 웹, 모바일에 각각 특화된 3 개의 모델을 TIES-Merge 기법을 사용하여 단일 통합 모델로 합칩니다.
• 장점: 별도의 다중 태스크 훈련 없이도 각 도메인의 전문성을 유지하면서 하나의 엔드 - 투 - 엔드 모델로 배포할 수 있게 하여, 사용자의 배포 복잡성을 크게 낮춥니다.

3. 주요 기여 (Key Contributions)

1. 대규모 미드 - 트레이닝: 100 억 토큰 규모의 GUI 특화 데이터를 활용한 기초 지식 주입으로 모델의 초기 성능을 획기적으로 향상시켰습니다.
2. 확장된 온라인 RL: DaaS 인프라를 기반으로 한 풀-궤적 (Full-trajectory) 롤아웃과 GRPO 를 도입하여, 동적 환경에서의 장기 작업 수행 능력을 비약적으로 높였습니다.
3. 단일 통합 에이전트 (Model Merging): 도메인별 특화 모델을 TIES-Merge 로 통합하여, 성능 저하를 최소화하면서 웹, 모바일, 그라운딩을 모두 처리하는 단일 엔드 - 투 - 엔드 모델을 구현했습니다.
4. 실제 환경 최적화: 중국 내 40 개 이상의 모바일 앱 생태계를 대상으로 티켓 예약, 쇼핑, 대화 관리 등 실제 사용자 작업을 수행하도록 최적화되었습니다.

4. 실험 결과 (Results)

UI-Venus-1.5 는 다양한 벤치마크에서 SOTA(State-of-the-Art) 성능을 달성했습니다.

• GUI 그라운딩 (Grounding):

  • ScreenSpot-Pro: 69.6% (기존 최고점 MAI-UI-32B 대비 우위)
  • VenusBench-GD: 75.0%
  • OSWorld-G-R: 76.4%
  • UI-Vision: 54.7%
  • 의미: 고해상도 전문 소프트웨어 인터페이스와 복잡한 레이아웃에서도 탁월한 정확도를 보입니다.

• 내비게이션 (Navigation):

  • AndroidWorld: 77.6% (기존 모델 Mobile-Agent-v3, MAI-UI 등 대비 4.3%p 이상 우위)
  • AndroidLab: 68.1% (인간 검증 기준, UI-Venus-1.0-72B 대비 5.8%p 향상)
  • VenusBench-Mobile: 21.5% (이전 최고 기록 대비 6.1%p 향상)
  • WebVoyager: 76.0% (웹 환경에서도 경쟁력 있는 성능)
  • 의미: 모바일과 웹 환경 모두에서 동적인 작업 수행 능력이 검증되었으며, 특히 8B 모델이 이전 세대의 72B 모델보다 더 나은 성능을 보여주어 효율성이 입증되었습니다.

5. 의의 및 결론 (Significance)

UI-Venus-1.5 는 GUI 에이전트 분야에서 광범위한 일반성과 높은 실용성을 동시에 달성한 중요한 이정표입니다.

• 기술적 진보: 미드 - 트레이닝과 온라인 RL 의 결합, 그리고 모델 병합 전략은 에이전트 학습의 새로운 표준을 제시합니다.
• 실용적 가치: 단순한 벤치마크 점수 향상을 넘어, 실제 중국 모바일 생태계에서 복잡한 사용자 작업을 자동화할 수 있는 능력을 입증했습니다.
• 배포 용이성: 단일 엔드 - 투 - 엔드 모델로 통합되어, 복잡한 에이전트 프레임워크 없이도 쉽게 배포 및 운영할 수 있어 상용화 가능성이 높습니다.

결론적으로, UI-Venus-1.5 는 일상생활의 디지털 작업을 자동화하는 진정한 '디지털 비서'로 나아가는 중요한 단계입니다.