UI-Venus-1.5 Technical Report

本論文は、大規模なミッドトレーニング、オンライン強化学習、およびモデルマージ技術を導入し、複数のベンチマークで最先端の性能を達成した統合型 GUI エージェント「UI-Venus-1.5」を提案するものである。

要約

UI-Venus-1.5：スマホや PC を「自分たちで」操る天才アシスタントの誕生

この論文は、**「スマホやパソコンの画面を見て、人間に代わって操作してくれる AI（GUI エージェント）」**の最新バージョン「UI-Venus-1.5」について紹介しています。

これまでの AI は「指示されたことしかできない」か「特定のアプリにしか対応できない」ことが多かったのですが、この新しいモデルは**「どんなアプリでも、複雑な手順でも、一人で完璧にこなせる万能なデジタル助手」**に進化しました。

わかりやすくするために、いくつかの比喩を使って説明しましょう。

---

1. 3 つの新しい「成長ステップ」で天才になった

UI-Venus-1.5 は、単に勉強量を増やしただけではありません。これまでの AI が持っていた弱点を克服するために、3 つの特別なトレーニングを取り入れました。

① 基礎体力作り：「100 億語の GUI 辞書」を暗記する（Mid-Training）

• 昔の AI： 画面のボタンやメニューの意味を、その場その場で「あ、これ何だろう？」と推測していましたが、間違えやすかったです。
• UI-Venus-1.5： まず、スマホや PC の画面に関する100 億語ものデータを徹底的に読み込み、「ボタンはここにある」「メニューはこう動く」という基礎知識を頭の中に染み込ませました。
• 比喩： 料理人になる前に、まず「野菜の切り方」や「調味料の味」を 10 年間勉強して、包丁の扱いに慣れた状態にしました。これで、いきなり難しい料理（複雑な操作）を頼んでも、パニックになりません。

② 実践練習：「失敗しながら」学ぶ（Online Reinforcement Learning）

• 昔の AI： 教科書（過去のデータ）だけを見て勉強していたので、実際の現場（リアルなアプリ）で予期せぬエラーが出ると、どうすればいいかわからず立ち止まってしまいました。
• UI-Venus-1.5： 実際のスマホや PC の画面を使って、**「失敗してもいいから試行錯誤」**する練習をしました。ボタンを押して反応を見る、間違えたらやり直す、という「生きた経験」を積むことで、臨機応変に対応できるようになりました。
• 比喩： 料理のレシピ本を読むだけでなく、実際にキッチンで「焦がしてしまったらどうするか」「味が薄かったらどうするか」を実戦で何度も失敗しながら学んだ状態です。

③ 一人の天才に統合：「3 人の専門家」を 1 人にまとめる（Model Merging）

• 昔の AI： 「画面の場所を探す専門家」「スマホ操作の専門家」「Web サイト操作の専門家」が別々で、それぞれ別の AI として動いていました。使い分けが大変でした。
• UI-Venus-1.5： これら 3 つの専門家の知識を**「1 つの脳」**に統合しました。
• 比喩： 「料理のスペシャリスト」「掃除のスペシャリスト」「運転のスペシャリスト」が別々でいるのではなく、「何でもこなす万能な家事代行マン」1 人に生まれ変わりました。ユーザーは「料理して」「掃除して」「運転して」と別々に頼む必要がなく、「今日のご飯と掃除、それから買い物に行ってきて」と一度に頼めば、すべてを完璧にこなしてくれます。

---

2. どれくらいすごいのか？（成績表）

この AI は、世界中のテスト（ベンチマーク）で最高レベルの成績を残しました。

• 画面のボタンを見つける力： 「ScreenSpot-Pro」という難しいテストで、**69.6%**の正解率。これは、他の AI が 60% 台で苦しんでいる中、トップクラスです。
• スマホ操作の力： 「AndroidWorld」というテストで、**77.6%**の成功率。これは、人間が操作するのと同じくらいスムーズにアプリを操れることを意味します。
• 中国のアプリへの対応： 中国の 40 種類以上の人気アプリ（チケット予約、買い物、チャットなど）でも、人間のように自然に操作できることが実証されました。

---

3. なぜこれが重要なのか？

これまでの AI は「指示された通りに動くロボット」でしたが、UI-Venus-1.5 は**「状況を見て自分で判断するパートナー」**に近づいています。

• 昔： 「A のボタンを押して、次に B のボタンを押して」と細かく指示しないと動かない。
• 今： 「旅行のチケットを予約して」と頼むだけで、アプリを開き、日付を選び、支払いまで完了させる。

まるで、**「画面を見ながら、あなたの代わりにスマホを操る、賢い秘書」**が手元にいるような感覚です。

まとめ

UI-Venus-1.5 は、「基礎知識の暗記（Mid-Training）」と「実戦での失敗学習（Online-RL）」、そして**「専門知識の統合（Model Merging）」**という 3 つの魔法をかけられた、これまでにないほど賢く、頼もしいデジタル助手です。

これからは、複雑なスマホ操作や PC 作業を、この AI に任せて、人間はもっとクリエイティブなことに時間を割けるようになるかもしれません。

技術概要

UI-Venus-1.5 技術報告書の要約

本論文は、アリババグループ傘下の Ant Group に所属する Venus チームによって提出された、GUI エージェント「UI-Venus-1.5」に関する技術報告書です。このモデルは、デジタル環境における人間との相互作用を自動化するための、堅牢で汎用的なエンドツーエンド型 GUI エージェントとして設計されています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 背景と課題 (Problem)

GUI エージェントは、人間の指示をデジタル実行に橋渡しする有望なソリューションとして注目されていますが、以下の課題が存在していました。

• 汎用性と性能の両立の難しさ: 広範なタスクに対応しつつ、特定のタスクで高い性能を発揮することの難しさ。
• ステップレベルとトレースレベルの精度の乖離: 従来の教師あり微調整（SFT）やオフライン強化学習（Offline-RL）では、個々のステップの精度は向上しても、最終的なタスク完了（トレースレベル）の精度が頭打ちになる、あるいは低下する現象が見られました。これは、個々のステップにおける報酬の希薄さと、訓練データと実世界ベンチマーク間のドメインシフトが原因です。
• 複雑な実環境への対応: 静的なデータセットに依存する従来の手法では、動的な GUI 状態や確率的なシステム動作、長期的な意思決定を伴う実世界のタスクに対応しきれないという限界がありました。
• デプロイの複雑さ: 以前のアプローチでは、グラウンディング、Web、モバイルなどドメインごとに異なるモデルを組み合わせる必要があり、ユーザーにとってデプロイが複雑でした。

2. 手法 (Methodology)

UI-Venus-1.5 は、Qwen3-VL アーキテクチャを基盤とし、以下の 4 つの段階からなる統合的なトレーニングパイプラインを採用しています。

2.1 ミッドトレーニング (Mid-Training)

強化学習の前に、大規模な GUI 専門データでモデルの基礎知識を構築する段階です。

• データ: 30 以上のデータセット（Mind2Web, ShowUI, AITW など）から構成される 100 億トークンの大規模コーパスを使用。
• 目的: 一般的な視覚言語モデルが欠如している GUI の構造的な理解（レイアウト、インタラクションロジック）を注入し、強化学習の初期化を強化します。
• データ品質向上: 教師モデル（Qwen3-VL-235B）によるスコアリングと、低品質な軌跡の書き換え・再構築を行う「反復的データ精製パイプライン」を導入し、高忠実度サンプルの割合を 69.7% から 89.7% まで向上させました。また、DaaS（Device as a Service）環境を用いた実デバイスでの軌跡収集により、実世界の失敗パターンや動的な挙動を学習データに含めています。

2.2 オフライン強化学習 (Offline-RL)

タスク固有の最適化を行う段階です。グラウンディング、モバイル、Web の 3 つのドメインに対して個別にトレーニングを行います。

• 報酬設計: フォーマット報酬（XML タグの正しさ）とアクション報酬（アクションタイプ、内容、座標の精度）を組み合わせます。
• 拒絶能力の導入: 画像に存在しない要素を指す指示に対しては、座標を出力するのではなく「[-1, -1]」を返すよう訓練し、ハルシネーションを抑制します。
• 課題の発見: オフライン RL だけでは、ステップ単位の精度は向上するものの、完全なタスク完了率（トレース精度）が低下する傾向があることが確認されました。

2.3 オンライン強化学習 (Online-RL)

実環境との対話を通じて、複雑なナビゲーション能力を強化する段階です。

• DaaS インフラ: 数千台の異種デバイス（Android, Chrome, Linux など）を統一的に制御・管理する「Device as a Service」層を構築し、高並列かつ低遅延でのトレーニング環境を提供します。
• タスク生成: LLM と MLLM を活用した静的・動的なタスク生成と、難易度別（Easy/Medium/Hard）の層化サンプリングにより、多様なタスクプールを構築します。
• アルゴリズム: GRPO（Group Relative Policy Optimization）を採用。値関数ネットワークを不要とし、サンプル群内の相対的な優位性に基づいて方策を最適化します。
• 安定化: KL 制約（参照方策からの乖離防止）と、エントロピー正則化（探索の促進）を組み合わせ、学習の安定性と探索能力のバランスを保ちます。

2.4 モデルマージ (Model Merge)

ドメイン特化モデル（グラウンディング、Web、モバイル）を単一のモデルに統合する段階です。

• TIES-Merge: 単純な線形結合（Linear Merge）ではなく、パラメータの干渉を減らす TIES-Merge 手法を採用。微調整されたモデルとベースモデルの差分（タスクベクトル）を計算し、ノイズとなる更新を剪定し、符号の衝突を解決することで、ドメイン特化モデルの性能を維持しつつ統合モデルを構築します。

3. 主要な貢献 (Key Contributions)

1. 包括的なミッドトレーニング: 100 億トークン、30 以上のデータセットを用いた基礎 GUI 知識の注入により、強化学習前の段階でも高い VQA やグラウンディング能力を獲得。
2. スケーリングされたオンライン強化学習: 実デバイス環境（DaaS）を活用したフルトラジェクトリ・ロールアウトと、GRPO アルゴリズムによる効率的な学習により、長期的なナビゲーションタスクでの性能を飛躍的に向上。
3. 単一統合エージェントの構築: ドメイン特化モデルをモデルマージ（TIES-Merge）によって統合し、複雑なマルチエージェントシステムや API 依存なしで、単一のチェックポイントでグラウンディング、Web、モバイルのタスクを処理可能なエンドツーエンドモデルを実現。

4. 実験結果 (Results)

UI-Venus-1.5 は、複数のベンチマークで SOTA（State-of-the-Art）を達成しました。

• グラウンディングベンチマーク:
  • ScreenSpot-Pro: 69.6%（30B-A3B モデル）で SOTA。
  • VenusBench-GD: 75.0% で SOTA。
  • OSWorld-G-R: 76.4% で SOTA。
  • 既存の強力なベースライン（MAI-UI, Holo2, Step-GUI など）を大きく上回りました。
• ナビゲーションベンチマーク:
  • AndroidWorld: 77.6% の成功率を達成。Mobile-Agent-v3 や MAI-UI などを上回り、SOTA を更新。
  • AndroidLab: 68.1%（人間検証済み）を達成。
  • WebVoyager: 76.0% を達成し、Web 環境での自律ナビゲーション能力も証明。
• スケーリングと効率性:
  • 8B モデルは、前世代の 72B モデル（UI-Venus-1.0）を上回る性能を示すなど、トレーニング手法の革新による効率性の向上が確認されました。
  • 中国の 40 以上の主要なモバイルアプリ（チケット予約、買い物、チャット管理など）での実用性を検証し、実世界でのタスク実行能力を証明しました。

5. 意義と結論 (Significance)

UI-Venus-1.5 は、GUI エージェントの分野において以下の点で重要な進歩を示しています。

• 実用性の向上: 単なるベンチマークスコアの向上だけでなく、実世界の複雑なアプリ操作（特に中国のローカルアプリエコシステム）に対応できる堅牢性を備えています。
• アーキテクチャの単純化: 複数の専門モデルを統合した単一のエンドツーエンドモデルにより、デプロイの複雑さを大幅に削減し、実用化のハードルを下げました。
• 学習パラダイムの確立: 「ミッドトレーニングによる知識注入」→「オフライン RL による基礎固め」→「オンライン RL による実環境適応」→「モデルマージによる統合」という新しいトレーニングパイプラインは、今後の GUI エージェント開発の指針となるでしょう。

結論として、UI-Venus-1.5 は、汎用性と高性能を両立し、実社会で即戦力となる自律型デジタルアシスタントの実現に向けた大きな一歩です。