UI-Venus-1.5 Technical Report

Dit rapport introduceert UI-Venus-1.5, een geavanceerde, end-to-end GUI-agent met drie modelvarianten die via uitgebreide mid-training, online versterkend leren en modelmerging nieuwe state-of-the-art prestaties bereikt op diverse benchmarks en robuust werkt in real-world scenario's, waaronder Chinese mobiele apps.

De kern

UI-Venus-1.5: De Slimme Digitale Assistent die Eindelijk Alles Begrijpt

Stel je voor dat je een nieuwe, zeer slimme butler hebt die je computer en telefoon voor je wil bedienen. In het verleden waren deze 'butlers' vaak een beetje dom: ze konden alleen doen wat je exact vertelde, en als je een knopje zocht dat ze niet kenden, raakten ze in paniek of deden ze iets verkeerds.

De UI-Venus-1.5, ontwikkeld door het team van Ant Group, is de volgende grote sprong voorwaarts. Het is geen simpele robot meer, maar een intelligente, alles-kunnende digitale assistent die echt begrijpt wat er op je scherm gebeurt en hoe hij daar moet klikken, typen en scrollen.

Hier is hoe dit werkt, vertaald in alledaagse taal:

1. De Drie Grote Verbeteringen (De "Geheime Ingrediënten")

Om deze butler zo slim te maken, hebben de makers drie speciale trucs toegepast:

• De "Snelcursus" (Mid-Training):
  Stel je voor dat je een student wilt opleiden tot computerexpert. In plaats van hem direct naar een moeilijk examen te sturen, geef je hem eerst een massieve bibliotheek van 10 miljard pagina's vol met voorbeelden van hoe apps en websites werken.

  • De analogie: Het is alsof je je butler eerst maandenlang laat meekijken met duizenden andere butlers die al werken. Zo leert hij de "taal" van schermen (waar zit de 'terug'-knop? Hoe ziet een zoekbalk eruit?) voordat hij ook maar één opdracht krijgt. Dit noemen ze Mid-Training.

• De "Leefervaring" (Online Reinforcement Learning):
  Oude robots leerden alleen uit boeken (statische data). UI-Venus-1.5 krijgt echter de kans om echt te oefenen. Het mag zelf op een virtuele telefoon of computer rondklikken, fouten maken, en leren van de gevolgen.

  • De analogie: Het is het verschil tussen een zwemmer die alleen naar een boekje kijkt over zwemmen, en een zwemmer die het water in springt. Als hij zakt, leert hij hoe hij moet trappen. Als hij goed zwemt, krijgt hij een beloning. Zo leert de AI om lange, moeilijke taken (zoals "boek een vliegticket en voeg het toe aan mijn agenda") stap voor stap te voltooien zonder vast te lopen.

• De "Super-Butler" (Model Merging):
  Vroeger hadden je misschien drie aparte robots: één die goed was in het vinden van knoppen, één voor websites, en één voor mobiele apps. UI-Venus-1.5 pakt deze drie experts en smelt ze samen tot één super-robot.

  • De analogie: Het is alsof je een chef-kok, een piloot en een leraar samenvoegt tot één persoon die alles kan. Je hoeft niet meer te kiezen welke robot je gebruikt; je hebt er maar één nodig die alles perfect doet.

2. Wat Kan Hij Nu?

De resultaten zijn indrukwekkend. De AI is getest op honderden taken en slaagt erin om:

• Precies te klikken: Hij vindt de juiste knop, zelfs als het scherm vol staat met kleine lettertjes of als de knop ergens anders staat dan je denkt.
• Niet te liegen: Als je vraagt om op een knop te klikken die er niet is, zegt hij eerlijk: "Die knop bestaat niet," in plaats van blindelings ergens op te klikken (een fout die andere AI's vaak maken).
• Complexe taken: Hij kan bijvoorbeeld een ticket boeken, een boodschappenlijstje maken, of een recept zoeken, allemaal door zelf door de app te navigeren.

3. Waarom Is Dit Belangrijk?

Vroeger waren deze systemen vaak traag, duur of te specifiek voor één taak. UI-Venus-1.5 is:

• Snel en efficiënt: Zelfs de kleinere versie (2B) is slimmer dan de oude, enorme modellen.
• Alles-in-één: Het werkt op je telefoon, je laptop en op het internet.
• Echt bruikbaar: Het is getraind op de Chinese app-wereld (met 40+ populaire apps), maar de technologie werkt overal.

Kortom:
UI-Venus-1.5 is de eerste digitale butler die niet alleen luistert, maar ook begrijpt wat hij ziet op je scherm en leert van zijn eigen ervaringen. Het is alsof je een assistent hebt die niet alleen je telefoon vasthoudt, maar ook echt weet hoe hij hem moet gebruiken om je dagelijkse leven makkelijker te maken.

Technische samenvatting

1. Het Probleem

Hoewel GUI-agenten (agents die grafische gebruikersinterfaces kunnen manipuleren) een krachtig paradigma zijn voor het automatiseren van digitale taken, blijft het bereiken van zowel brede generaliteit als consistent sterke prestaties in real-world scenario's een uitdaging. Bestaande oplossingen kampen vaak met de volgende beperkingen:

• Kloof tussen trainingsdata en realiteit: Er is een discrepantie tussen stap-voor-stap nauwkeurigheid (step-level) en het succes van een volledige taak (trace-level), vooral door de schaarsheid van beloningen in individuele stappen en domeinverschuivingen.
• Fragmentatie: Veel systemen vereisen gespecialiseerde modellen voor verschillende taken (zoals 'grounding', web-navigatie en mobiele navigatie), wat de implementatie en deploy complex maakt.
• Beperkte real-world robustheid: Modellen presteren vaak goed op statische benchmarks maar falen in dynamische, real-world omgevingen met onvoorspelbare UI-staten.

2. Methodologie

UI-Venus-1.5 is een uniek, end-to-end multimodaal agent ontworpen om hoogwaardige gebruikersintenties om te zetten in concrete GUI-interacties. Het systeem werkt via een gesloten lus van perceptie en actie, waarbij het screenshots interpreteert en directe interacties (klikken, typen, scrollen) uitvoert zonder handgemaakte API's.

Het trainingsproces bestaat uit vier distincte fasen:

A. Mid-Training (Fase 1)

Voordat het model wordt getraind met versterkingslering (RL), ondergaat het een uitgebreide Mid-Training-fase.

• Data: Gebruik van een corpus van 10 miljard tokens afkomstig van meer dan 30 verschillende datasets (o.a. Mind2Web, ShowUI, AITW).
• Doel: Het opbouwen van fundamentele GUI-semantiek en structurele kennis voordat de agent begint met het optimaliseren van beleidsstrategieën.
• Data Refinement: Een iteratief proces waarbij een "teacher" model (Qwen3-VL) de kwaliteit van navigatie-traces beoordeelt en herschrijft, waardoor de kwaliteit van de dataset van 69,7% naar 89,7% stijgt.

B. Offline Reinforcement Learning (Fase 2)

• Doel: Optimalisatie voor specifieke taken (Grounding, Mobiel, Web) met behulp van statische datasets.
• Beloningssysteem: Een ontkoppelde beloning voor formaat (XML-tags voor redenering en acties) en actie (correctie van actie-type, inhoud of coördinaten).
• Refusal Capability: Het model is getraind om [−1, −1] te retourneren als een gevraagd element niet bestaat, wat hallucinaties voorkomt.
• Probleem: Er werd een discrepantie waargenomen waarbij de stap-voor-stap nauwkeurigheid bleef stijgen, maar de totale taaknauwkeurigheid (trace-level) daalde na een piek. Dit leidde tot de noodzaak van een volgende fase.

C. Online Reinforcement Learning (Fase 3)

Om de beperkingen van statische datasets te overwinnen en de agent te laten leren in dynamische omgevingen:

• DaaS (Device as a Service): Een schaalbaar infrastructuurlaag die duizenden heterogene apparaten (Android, Chrome, Linux) beheert via een Group Control Gateway (GCGW) en een Unified Client SDK. Dit zorgt voor miljoenen operationele requests per dag.
• Task Generation: Een hybride strategie waarbij LLM's en MLLM's taken genereren en verrijken op basis van echte interactietraces.
• Algoritme: Gebruik van GRPO (Group Relative Policy Optimization). In plaats van een waarde-netwerk, wordt het voordeel berekend door vergelijking binnen een groep van getrainde trajecten.
• Stabiliteit: Gebruik van adaptieve KL-constraints en afgekoelde entropie-regulering om exploratie te balanceren met exploitatie en te voorkomen dat het model zijn basisvaardigheden verliest.

D. Model Merging (Fase 4)

In plaats van een multi-task model van scratch te trainen, worden drie gespecialiseerde modellen (Grounding, Web, Mobiel) samengevoegd tot één enkel checkpoint.

• Techniek: Er wordt gebruik gemaakt van TIES-Merge (die ruis verwijdert en tekenconflicten oplost) in plaats van eenvoudige lineaire merging.
• Resultaat: Dit creëert een uniek, end-to-end model dat prestaties op alle domeinen behoudt zonder de rekenkosten van meerdere modellen.

3. Belangrijkste Bijdragen

1. Unificatie via Model Merging: De eerste versie van een puur end-to-end GUI-agent die gespecialiseerde domeinkennis (grounding, web, mobiel) samenvoegt in één enkel model, wat de deploy aanzienlijk vereenvoudigt.
2. Mid-Training Strategie: De introductie van een uitgebreide mid-training fase met 10B tokens om de basis voor GUI-semantiek te leggen, wat de effectiviteit van de daaropvolgende RL-fases drastisch verbetert.
3. Schaalbare Online RL: Een robuust DaaS-framework dat online versterkingslering mogelijk maakt op duizenden echte apparaten, waardoor de agent kan leren van dynamische, real-world feedback en lange trajecten.
4. Refusal Capability: Het vermogen om correct te weigeren bij onmogelijke instructies, wat hallucinaties reduceert en de betrouwbaarheid in real-world toepassingen verhoogt.

4. Resultaten

UI-Venus-1.5 heeft nieuwe state-of-the-art (SOTA) resultaten gevestigd op diverse benchmarks, zowel in grounding als navigatie. De familie bestaat uit drie varianten: 2B, 8B en 30B-A3B (Mixture-of-Experts).

• Grounding Benchmarks:
  • ScreenSpot-Pro: 69,6% (SOTA, verslaat MAI-UI-32B).
  • VenusBench-GD: 75,0% (SOTA).
  • OSWorld-G-R: 76,4% (SOTA).
  • UI-Vision: 54,7% (SOTA).
• Navigatie Benchmarks:
  • AndroidWorld: 77,6% succesrate (SOTA, verslaat Mobile-Agent-v3 en MAI-UI).
  • WebVoyager: 76,0% succesrate (presteert vergelijkbaar met de beste bestaande agents).
  • AndroidLab: 68,1% (na menselijke verificatie), een verbetering van 5,8% ten opzichte van de vorige generatie (UI-Venus-1.0-72B).
• Efficiëntie: Het 8B-model presteert vaak beter dan de 72B-modellen van voorgangers, wat wijst op een zeer efficiënt trainingsparadigma.

5. Significantie

UI-Venus-1.5 markeert een belangrijke stap in de evolutie van autonome digitale assistenten:

• Van Research naar Praktijk: Het model is specifiek geoptimaliseerd voor de Chinese mobiele ecosysteem (40+ apps), met succesvolle demonstraties in taken zoals ticketboeking, winkelen en conversatiebeheer.
• End-to-End Eenvoud: Door de unificatie van gespecialiseerde modellen in één checkpoint, wordt de complexiteit van het implementeren van GUI-agenten voor eindgebruikers sterk verminderd.
• Robuustheid: De combinatie van Mid-Training en Online RL zorgt voor een agent die niet alleen goed presteert op benchmarks, maar ook bestand is tegen de onvoorspelbaarheid van echte gebruikersinterfaces.

Kortom, UI-Venus-1.5 biedt een schaalbare, efficiënte en uiterst krachtige oplossing voor het automatiseren van complexe digitale taken, en zet een nieuwe standaard voor de prestaties van GUI-agenten.