UI-Venus-1.5 Technical Report

Der Bericht stellt UI-Venus-1.5 vor, eine einheitliche GUI-Agent-Familie mit drei Modellvarianten, die durch Mid-Training, Online-Reinforcement-Learning und Model-Merging neue State-of-the-Art-Ergebnisse auf Benchmarks wie ScreenSpot-Pro und AndroidWorld erzielt und dabei robuste Navigation in realen Szenarien, einschließlich chinesischer Mobile-Apps, ermöglicht.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber noch etwas unerfahrenen Assistenten, der Ihnen helfen soll, Ihren Computer oder Ihr Smartphone zu bedienen. Früher musste man ihm für jede einzelne Aufgabe (wie „Klicken Sie auf den roten Button" oder „Scrollen Sie nach unten") eine ganz genaue, starre Anleitung geben. Das funktionierte nur, wenn das Programm genau so aussah wie erwartet.

Das Team von Ant Group hat nun mit UI-Venus-1.5 einen neuen, viel schlaueren digitalen Assistenten vorgestellt. Hier ist die Erklärung, wie dieser Assistent funktioniert, ohne technisches Fachchinesisch:

1. Der große Unterschied: Vom Anfänger zum Profi

Frühere Versionen waren wie ein Schüler, der gerade erst angefangen hat, die Sprache der Benutzeroberflächen zu lernen. Sie konnten einfache Dinge, aber wenn sich das Design einer App änderte oder eine Aufgabe kompliziert wurde, kamen sie ins Stolpern.

UI-Venus-1.5 ist wie ein erfahrener Navigator, der die Welt der Apps und Webseiten nicht nur kennt, sondern sie versteht. Er kann nicht nur auf Knöpfe klicken, sondern auch komplexe Aufgaben lösen, wie „Buche mir ein Ticket für den nächsten Zug und speichere es in meiner Lieblingsliste", indem er selbstständig durch die App navigiert.

2. Die drei Geheimrezepte für den Erfolg

Die Forscher haben diesen Assistenten durch drei besondere Trainingsphasen zum Superhelden gemacht:

• Phase 1: Das „Mid-Training" – Der große Wissensspeicher

  • Die Analogie: Stellen Sie sich vor, Ihr Assistent liest vor dem eigentlichen Training nicht nur ein paar Seiten aus einem Buch, sondern durchblättert 10 Milliarden Seiten an verschiedenen Handbüchern für Computer und Handys.
  • Was passiert: Er lernt nicht nur, wie ein Button aussieht, sondern versteht die Logik dahinter. Er weiß, dass ein „Hamburger-Menü" (die drei Striche) fast immer das Menü öffnet, egal ob es auf einem Handy oder einem Laptop ist. Dieses riesige Wissen bildet das Fundament, damit er später nicht raten muss.

• Phase 2: Das „Online-Reinforcement Learning" – Lernen durch Ausprobieren

  • Die Analogie: Früher lernte der Assistent nur aus alten Fotos von Aufgaben (Offline). Das ist wie das Lernen von Autofahren nur aus einem Buch. UI-Venus-1.5 darf jetzt aber selbst fahren.
  • Was passiert: Der Assistent wird in eine virtuelle Welt voller tausender verschiedener Apps und Webseiten gesetzt. Er versucht Aufgaben zu lösen. Wenn er einen Fehler macht (z. B. auf das falsche Icon klickt), bekommt er eine „Rote Karte" (eine negative Rückmeldung). Wenn er erfolgreich ist, bekommt er einen „Goldstern". Durch dieses ständige Ausprobieren und Korrigieren in Echtzeit lernt er, auch in chaotischen Situationen den richtigen Weg zu finden.

• Phase 3: Das „Model Merging" – Der perfekte Allrounder

  • Die Analogie: Stellen Sie sich vor, Sie hätten drei verschiedene Spezialisten: Einen, der nur Webseiten kennt, einen für Handys und einen, der nur weiß, wo man auf dem Bildschirm klickt. Normalerweise müsste man drei verschiedene Personen anrufen.
  • Was passiert: Die Forscher haben diese drei Spezialisten zu einem einzigen, super-intelligenten Wesen verschmolzen. Dieser eine Assistent kann nun alles: Webseiten durchsuchen, Apps auf dem Handy bedienen und genau erkennen, wo er klicken muss. Man braucht nur noch einen Assistenten für alle Aufgaben.

3. Was kann er jetzt wirklich?

Dank dieses Trainings ist UI-Venus-1.5 in Tests besser als alle bisherigen Konkurrenten:

• Er findet den richtigen Button auf dem Bildschirm mit einer Genauigkeit von fast 70 % (bei sehr schwierigen Aufgaben), während andere nur bei ca. 50–60 % lagen.
• Er kann komplexe Aufgaben auf Android-Handys lösen, bei denen er viele Schritte hintereinander machen muss (z. B. „Öffne die Musik-App, suche nach einem neuen Song und füge ihn zur Playlist hinzu").
• Er ist besonders gut darin, chinesische Apps zu bedienen, was für den Alltag in China sehr wichtig ist.

Zusammenfassung

UI-Venus-1.5 ist wie ein digitaler Butler, der nicht stur Befehle ausführt, sondern die Absicht versteht. Er hat durch das Lesen von Millionen von Beispielen gelernt, wie Apps funktionieren, und durch das Üben in einer simulierten Welt gelernt, Fehler zu korrigieren. Das Ergebnis ist ein System, das uns im echten Leben helfen kann, Dinge auf unseren Geräten zu erledigen, ohne dass wir selbst jedes kleine Detail steuern müssen. Es ist ein großer Schritt hin zu einem Computer, der uns wirklich versteht und unterstützt.

Technische Zusammenfassung

Technische Zusammenfassung: UI-Venus-1.5

1. Problemstellung
Die Entwicklung von GUI-Agenten (Graphical User Interface), die digitale Umgebungen autonom steuern können, steht vor der Herausforderung, sowohl eine breite Allgemeingültigkeit als auch eine konsistent hohe Leistung in komplexen, realen Szenarien zu erreichen. Bisherige Ansätze litten oft unter folgenden Mängeln:

• Diskrepanz zwischen Schritt- und Pfadgenauigkeit: Modelle, die nur auf einzelnen Schritten (Step-level) optimiert wurden, scheiterten oft an der korrekten Zusammenführung ganzer Aufgabenketten (Trace-level).
• Fehlende GUI-spezifische Semantik: Allgemeine Multimodale Large Language Models (MLLMs) verfügen oft nicht über das notwendige feine Verständnis für die Struktur und Logik von Benutzeroberflächen.
• Fragmentierte Architekturen: Viele Systeme erforderten separate Modelle für verschiedene Domänen (z. B. Web vs. Mobile) oder komplexe Frameworks, was die Bereitstellung (Deployment) erschwerte.
• Spärliche Belohnungssignale: In der Offline-Trainingsphase fehlten oft ausreichende Feedback-Schleifen für langfristige Navigationen in dynamischen Umgebungen.

2. Methodik
UI-Venus-1.5 ist ein einheitlicher, End-to-End-GUI-Agent, der auf der Qwen3-VL-Architektur basiert. Das Training folgt einem vierstufigen Pipeline-Ansatz, der durch drei technologische Kerninnovationen gekennzeichnet ist:

• A. Mid-Training (Zwischentraining):

  • Bevor das Reinforcement Learning (RL) beginnt, durchläuft das Basismodell ein umfassendes Mid-Training mit 10 Milliarden Token aus über 30 verschiedenen Datensätzen.
  • Ziel: Schaffung einer robusten Grundlage für GUI-Semantik, Layout-Verständnis und Interaktionslogik.
  • Datenverfeinerung: Ein iterativer Prozess mit "Teacher-LLMs" und manueller Verifizierung filtert und verbessert die Datenqualität, wodurch der Anteil hochqualitativer Pfade von 69,7 % auf 89,7 % gesteigert wurde.
  • Daten-Generierung: Ein "Device-as-a-Service" (DaaS)-System generiert über 30.000 verifizierte Interaktionspfade auf echten Geräten, um reale Fehler und dynamische GUI-Zustände abzudecken.

• B. Skaliertes Online-Reinforcement Learning (Online-RL):

  • Um die Lücke zwischen statischen Offline-Daten und dynamischen Realweltszenarien zu schließen, wird Online-RL eingesetzt.
  • DaaS-Infrastruktur: Ein hochleistungsfähiges System mit "Group Control Gateway" (GCGW) und Unified Client SDK ermöglicht die gleichzeitige Steuerung Tausender heterogener Geräte (Android, Web, Desktop) für das Training.
  • Reward-Design: Eine composite Belohnungsfunktion belohnt nicht nur den Erfolg der Aufgabe, sondern bestraft auch ineffiziente Pfade (durch einen Abklingfaktor für die Schrittzahl) und ungültige Aktionen.
  • Algorithmus: Es wird Group Relative Policy Optimization (GRPO) verwendet, um die Stabilität bei spärlichen Belohnungen zu gewährleisten, ergänzt durch adaptive KL-Divergenz-Beschränkungen und Entropie-Regularisierung.

• C. Unified Single-Agent via Model Merging:

  • Anstatt separate Modelle zu trainieren, werden zunächst spezialisierte Modelle für Grounding (Element-Erkennung), Web und Mobile trainiert.
  • Anschließend werden diese mittels TIES-Merge (eine fortschrittliche Merging-Strategie, die Parameter-Interferenzen reduziert) zu einem einzigen, einheitlichen Checkpoint fusioniert.
  • Vorteil: Dies eliminiert die Notwendigkeit mehrerer Modelle und ermöglicht eine nahtlose Bereitstellung ohne signifikanten Leistungsverlust in den einzelnen Domänen.

3. Wichtige Beiträge

• Einheitliche Architektur: UI-Venus-1.5 ist ein reiner End-to-End-Agent, der keine manuell erstellten Zwischendarstellungen oder API-Integrationen benötigt.
• Erweiterter Aktionsraum: Das Modell unterstützt spezifische Web-Interaktionen wie Hover, DoubleClick und Hotkey sowie präzise Scroll-Logik für Mobile und Web.
• Refusal-Kapazität: Das Modell wurde trainiert, ungültige Anweisungen (z. B. das Klicken auf nicht vorhandene Elemente) korrekt abzulehnen, anstatt Halluzinationen zu produzieren.
• Skalierbarkeit: Die Modellfamilie umfasst zwei dichte Varianten (2B und 8B Parameter) und eine Mixture-of-Experts-Variante (30B-A3B), die für verschiedene Anwendungsfälle optimiert sind.

4. Ergebnisse
Die Evaluation auf zahlreichen Benchmarks zeigt, dass UI-Venus-1.5 neue State-of-the-Art (SOTA) Ergebnisse erzielt:

• GUI Grounding:
  • ScreenSpot-Pro: 69,6 % (SOTA, deutlich besser als MAI-UI-32B mit 67,9 %).
  • VenusBench-GD: 75,0 % (SOTA).
  • OSWorld-G-R: 76,4 % (SOTA).
• Navigation (Mobile & Web):
  • AndroidWorld: 77,6 % Erfolgrate (SOTA, +4,3 % gegenüber dem vorherigen Bestwert).
  • AndroidLab: 68,1 % (nach manueller Verifizierung), was eine Steigerung von bis zu 5,8 % gegenüber der Vorgängerversion (UI-Venus-1.0-72B) darstellt.
  • WebVoyager: 76,0 % Erfolgrate, konkurrenzfähig mit großen proprietären Modellen.
• Effizienz: Das 8B-Modell von UI-Venus-1.5 übertrifft das 72B-Modell der Vorgängerversion in mehreren Benchmarks, was die Effizienz der neuen Trainingsmethode unterstreicht.
• Praktische Anwendung: Das Modell wurde für über 40 chinesische Mobile-Apps optimiert und kann komplexe Aufgaben wie Ticketbuchungen und Einkaufsprozesse erfolgreich automatisieren.

5. Bedeutung
UI-Venus-1.5 markiert einen bedeutenden Fortschritt im Bereich der autonomen GUI-Agenten. Durch die Kombination von Mid-Training für tiefes Domänenwissen, Online-RL für dynamische Anpassungsfähigkeit und Model Merging für eine einheitliche Architektur, löst das System das Problem der Fragmentierung und mangelnden Generalisierung. Es beweist, dass End-to-End-Lösungen nicht nur akademisch, sondern auch in hochkomplexen, realen Umgebungen (insbesondere im chinesischen Ökosystem) einsatzbereit sind. Dies ebnet den Weg für zuverlässige, alltagstaugliche digitale Assistenten, die menschliche Interaktionen mit Software nahtlos automatisieren können.