UI-Venus-1.5 Technical Report

El informe técnico presenta UI-Venus-1.5, una familia unificada de agentes de GUI que, mediante avances técnicos como un entrenamiento intermedio masivo, aprendizaje por refuerzo en línea y fusión de modelos, establece nuevos récords de rendimiento en la automatización de interacciones en entornos digitales complejos.

Lo esencial

¡Claro que sí! Imagina que UI-Venus-1.5 es como un nuevo asistente personal digital súper inteligente que no solo entiende lo que le dices, sino que también sabe exactamente dónde hacer clic, cómo escribir y cómo navegar por tu teléfono o computadora, tal como lo haría una persona real.

Aquí te explico cómo funciona, usando analogías sencillas:

1. ¿Qué problema resuelve?

Antes, los robots que intentaban usar aplicaciones (como pedir un taxi o comprar entradas) eran como niños pequeños: a veces entendían la orden, pero se perdían, hacían clic en lo incorrecto o no sabían qué hacer si la pantalla cambiaba. Necesitaban instrucciones muy rígidas.

UI-Venus-1.5 es como un adulto experto que ha visto miles de pantallas diferentes. No necesita que le digas "haz clic en el botón rojo"; simplemente entiende: "Quiero comprar un boleto para el cine" y busca el camino correcto por sí mismo.

2. ¿Cómo aprende a ser tan bueno? (Los 3 Trucos Maestros)

El equipo de Ant Group (los creadores) no solo le dio más memoria al robot; le enseñó de una manera muy especial en tres etapas:

• Etapa 1: El "Campamento de Entrenamiento" (Mid-Training)
  Imagina que antes de enseñarle a un niño a jugar fútbol, primero le mostramos miles de videos de partidos, le explicamos las reglas y le enseñamos cómo se mueven los jugadores.

  • En la vida real: El modelo vio 10 mil millones de ejemplos de cómo se ven las aplicaciones, menús y botones. Esto le dio una "intuición" sobre cómo funcionan las interfaces antes de empezar a practicar de verdad. Ahora, sabe qué es un botón de "enviar" o una barra de búsqueda sin tener que adivinar.

• Etapa 2: "Practicar con un Entrenador" (Aprendizaje Offline)
  Aquí, el robot practica en un entorno controlado. Si intenta hacer algo mal, el entrenador le dice: "Eso no es correcto, inténtalo así".

  • El truco: Aprendieron a decir "No" cuando algo es imposible. Si le pides al robot que haga clic en un botón que no existe en la pantalla, en lugar de alucinar y hacer clic en la nada, el robot dice: "Oye, ese botón no está aquí". ¡Esto evita errores tontos!

• Etapa 3: "El Campo de Batalla Real" (Aprendizaje Online)
  Esta es la parte más importante. En lugar de practicar solo en un simulador, el robot se lanza a usar aplicaciones reales en dispositivos virtuales, una y otra vez.

  • La analogía: Es como si un piloto de avión pasara de volar en un simulador a volar en aviones reales con mal tiempo. Si se equivoca, aprende de la experiencia en tiempo real. Esto le permite resolver tareas largas y complejas (como "busca un restaurante vegetariano, reserva una mesa y paga") sin perderse en el camino.

3. El "Superpoder" de la Fusión (Model Merging)

Antes, tenías que tener un robot experto en webs, otro experto en móviles y otro experto en escritorio. Era como tener tres herramientas diferentes en tu caja de herramientas.

UI-Venus-1.5 es como una navaja suiza mágica. Los creadores tomaron a los tres expertos (web, móvil y escritorio) y los "fusionaron" en un solo cerebro.

• Resultado: Ahora tienes un solo modelo que es igual de bueno en tu teléfono Android, en una página web o en un programa de escritorio, sin tener que cambiar de herramienta.

4. ¿Qué tan bueno es realmente?

Los resultados son impresionantes. En pruebas donde otros robots fallaban, UI-Venus-1.5 logró:

• 77.6% de éxito en tareas complejas de Android (como configurar el teléfono o usar apps).
• 69.6% en encontrar botones específicos en pantallas profesionales (como programas de diseño o Excel).

Es como si antes el robot acertara 6 de cada 10 veces, y ahora acierte 8 de cada 10, incluso en tareas muy difíciles.

5. ¿Para qué sirve en la vida real?

No es solo un experimento de laboratorio. Han optimizado este modelo para que funcione perfectamente con más de 40 aplicaciones chinas populares (como apps de compras, reservas de trenes, mensajería, etc.).

• Ejemplo: Puedes decirle: "Compra entradas para el concierto de mi artista favorito y añádelas a mi lista de favoritos", y el robot lo hará solo, navegando por la app, buscando el evento y pagando.

En resumen

UI-Venus-1.5 es el paso gigante hacia tener un asistente digital que realmente te ayude. Ya no es un robot torpe que necesita instrucciones paso a paso; es un compañero inteligente que entiende el contexto, aprende de sus errores en tiempo real y puede manejar tu vida digital de forma autónoma. ¡Es como darle a tu teléfono un cerebro humano!

Resumen técnico

Resumen Técnico: UI-Venus-1.5

1. Introducción y Problema

Los agentes de Interfaz Gráfica de Usuario (GUI) han surgido como un paradigma potente para automatizar interacciones en entornos digitales, imitando el comportamiento humano para navegar en aplicaciones móviles y web. Sin embargo, el campo enfrenta dos desafíos principales:

1. Compromiso entre generalidad y rendimiento: Es difícil crear un agente que sea universalmente capaz y, al mismo tiempo, mantenga un rendimiento consistente y alto en tareas específicas.
2. Discrepancia entre precisión a nivel de paso y de trayectoria: Durante el ajuste fino supervisado (SFT) y el aprendizaje por refuerzo fuera de línea (Offline-RL), los modelos a menudo optimizan acciones individuales (paso a paso) pero fallan en completar trayectorias completas de tareas complejas debido a la escasez de señales de recompensa y la diferencia de dominio entre los datos de entrenamiento y los entornos reales.

Además, la mayoría de las soluciones anteriores requieren arquitecturas complejas o múltiples modelos especializados, lo que dificulta su despliegue en aplicaciones del mundo real.

2. Metodología

UI-Venus-1.5 es un agente de GUI unificado y de extremo a extremo (end-to-end) diseñado para ser robusto en aplicaciones del mundo real. La familia de modelos incluye variantes densas (2B y 8B parámetros) y una variante de mezcla de expertos (30B-A3B).

La metodología se basa en una tubería de entrenamiento de cuatro etapas:

A. Etapa de Entrenamiento Intermedio (Mid-Training)

Antes del aprendizaje por refuerzo, se introduce una fase de "Mid-Training" para cerrar la brecha semántica entre la percepción visual general y la comprensión estructural fina de las GUI.

• Datos: Se utiliza un corpus unificado de 10 mil millones de tokens derivados de más de 30 conjuntos de datos diversos (incluyendo Mind2Web, ShowUI, AITW).
• Objetivos: El modelo aprende alineación entre instrucciones y acciones, razonamiento secuencial (Cadena de Pensamiento), interpretación de VQA de GUI y percepción de bajo nivel (reconocimiento de iconos, estados de widgets).
• Refinamiento Iterativo: Se emplea un módulo de "calidad basado en profesores" (usando Qwen3-VL-235B) para puntuar, reescribir y filtrar trazas de navegación, aumentando la proporción de muestras de alta fidelidad del 69.7% al 89.7%. Además, se genera un bucle de datos en dispositivos reales (DaaS) para capturar fallos de ejecución y dinámicas de GUI.

B. Aprendizaje por Refuerzo Fuera de Línea (Offline-RL)

Se realiza un entrenamiento específico por tarea (Grounding, Móvil, Web) utilizando recompensas desacopladas:

• Recompensa de Formato: Asegura que la salida cumpla con plantillas XML específicas (etiquetas de pensamiento, acción y conclusión).
• Recompensa de Acción: Evalúa el tipo de acción, el contenido (texto) o las coordenadas.
• Capacidad de Rechazo: Se entrena al modelo para rechazar instrucciones inválidas (devolviendo coordenadas [-1, -1]) en lugar de alucinar, mejorando la seguridad y la inteligencia en interacciones.

C. Aprendizaje por Refuerzo en Línea (Online-RL)

Para abordar la brecha entre la precisión de pasos individuales y el éxito de la trayectoria completa, se implementa una fase de Online-RL.

• Infraestructura DaaS (Device as a Service): Se construye una capa unificada que orquesta miles de dispositivos heterogéneos (Android, Chrome, Linux) mediante un Gateway de Control de Grupo (GCGW) y un SDK unificado, permitiendo interacciones en tiempo real y escalables.
• Generación de Tareas: Se utiliza una estrategia híbrida (heurística estática + generación dinámica con MLLM) para crear tareas de dificultad estratificada.
• Algoritmo: Se emplea GRPO (Group Relative Policy Optimization), que estima ventajas relativas directamente desde un grupo de trayectorias, eliminando la necesidad de una red de valor separada y manejando mejor las recompensas dispersas.
• Regularización: Se incluyen restricciones KL adaptativas y regularización de entropía para mantener la estabilidad y fomentar la exploración.

D. Fusión de Modelos (Model Merging)

En lugar de desplegar modelos separados para cada dominio, se fusionan los modelos especializados (Grounding, Web, Móvil) en un único checkpoint unificado.

• Se compara la fusión lineal con TIES-Merge, que reduce la interferencia de parámetros al podar actualizaciones de baja magnitud y resolver conflictos de signos.
• Resultado: TIES-Merge logra un equilibrio óptimo, manteniendo el rendimiento en todos los dominios con una pérdida mínima o nula en comparación con los modelos especializados individuales.

3. Contribuciones Clave

1. Entrenamiento Intermedio (Mid-Training) a Gran Escala: La introducción de una fase de pre-entrenamiento con 10B de tokens en datos específicos de GUI establece una base semántica robusta antes del RL.
2. Escalado del Aprendizaje por Refuerzo en Línea: Implementación de una infraestructura DaaS masiva y un pipeline de Online-RL que utiliza rollouts de trayectorias completas para alinear los objetivos de entrenamiento con la navegación dinámica a largo plazo.
3. Agente Unificado End-to-End: Mediante la estrategia de fusión de modelos (TIES-Merge), se crea un único agente capaz de manejar grounding, navegación web y móvil sin necesidad de múltiples checkpoints, simplificando el despliegue.
4. Optimización para el Ecosistema Real: El modelo está optimizado para más de 40 aplicaciones móviles chinas, demostrando utilidad práctica en tareas como reserva de boletos y compras.

4. Resultados

UI-Venus-1.5 establece nuevos estados del arte (SOTA) en múltiples benchmarks:

• Grounding (Localización):

  • ScreenSpot-Pro: 69.6% (SOTA).
  • VenusBench-GD: 75.0% (SOTA).
  • OSWorld-G-R: 76.4% (SOTA).
  • Supera significativamente a modelos anteriores como MAI-UI, Holo2 y Qwen3-VL.

• Navegación (Mobile y Web):

  • AndroidWorld: 77.6% de tasa de éxito (SOTA), superando a Mobile-Agent-v3 y MAI-UI.
  • AndroidLab: 68.1% (verificado manualmente), mostrando una mejora de hasta 5.8% sobre la versión anterior de 72B parámetros.
  • VenusBench-Mobile: 21.5% (SOTA), superando a modelos mucho más grandes.
  • WebVoyager: 76.0%, compitiendo de cerca con los mejores baselines existentes.

• Eficiencia: El modelo de 8B parámetros de UI-Venus-1.5 supera al modelo de 72B de la generación anterior en varias tareas, demostrando la eficiencia de la nueva metodología de entrenamiento.

5. Significado e Impacto

El trabajo de UI-Venus-1.5 representa un avance significativo hacia la creación de asistentes digitales autónomos y útiles para el usuario final.

• Unificación: Demuestra que es posible consolidar capacidades especializadas (grounding, web, móvil) en un solo modelo sin sacrificar rendimiento, resolviendo el problema de la fragmentación de modelos.
• Robustez en el Mundo Real: La combinación de Mid-Training, Online-RL y la infraestructura DaaS permite que el agente maneje la incertidumbre y la dinámica de los entornos reales, superando las limitaciones de los conjuntos de datos estáticos.
• Aplicabilidad Práctica: Al optimizarse para el ecosistema de aplicaciones móviles chino, el modelo trasciende las métricas académicas para ofrecer soluciones automatizables en escenarios cotidianos complejos (compras, viajes, gestión de conversaciones).

En resumen, UI-Venus-1.5 establece un nuevo estándar en la automatización de GUI, combinando avances en la arquitectura de entrenamiento, la gestión de datos a gran escala y la fusión de modelos para lograr un agente generalista, eficiente y de alto rendimiento.