OpenMobile: Building Open Mobile Agents with Task and Trajectory Synthesis

Resumen Técnico: OpenMobile

1. El Problema

A pesar de los avances recientes en agentes móviles impulsados por Modelos de Lenguaje y Visión (VLM), existe una brecha significativa entre los sistemas propietarios (cerrados) y la comunidad de código abierto:

• Opacidad de los datos: Los modelos líderes (como Step-GUI, MAI-UI, UI-Venus) logran tasas de éxito cercanas al 70% en el benchmark AndroidWorld, pero mantienen sus datos de entrenamiento (instrucciones de tareas y trayectorias de ejecución) cerrados.
• Limitaciones del código abierto: La comunidad de código abierto depende de conjuntos de datos públicos como AndroidControl o AMEX, que sufren de ruido en las anotaciones y carecen de patrones de pensamiento ricos. Esto resulta en un rendimiento estancado alrededor del 30% en los mismos benchmarks.
• Falta de recuperación de errores: Los métodos actuales de síntesis de datos a menudo se centran en imitar comportamientos ideales (destilación de expertos), fallando en proporcionar ejemplos de cómo un agente debe recuperarse de sus propios errores, una habilidad crítica para la operación en entornos dinámicos.

2. Metodología: OpenMobile

OpenMobile es un marco de trabajo de código abierto diseñado para sintetizar instrucciones de tareas y trayectorias de agentes de alta calidad. Se compone de dos pilares fundamentales:

A. Pipeline de Síntesis de Tareas Escalable (Desacoplado)
A diferencia de los enfoques anteriores que acoplan la exploración con la generación (usando una sola trayectoria local como contexto), OpenMobile desacopla estas etapas:

1. Exploración del Entorno: Se realiza una exploración (en este caso, un "paseo aleatorio" o random walk) para recolectar transiciones de pantalla y acciones.
2. Construcción de Memoria Global del Entorno: Se agrupan las pantallas visualmente similares y se construye un grafo de vecinos. Se extrae un conjunto de funcionalidades (descripciones semánticas de elementos UI) para cada pantalla única.
3. Síntesis de Instrucciones Basada en Memoria: Para generar una instrucción, el modelo VLM recibe un contexto enriquecido que incluye:
   • Memoria a Corto Plazo: Funcionalidades de pantallas vecinas (transiciones directas).
   • Memoria a Largo Plazo: Funcionalidades semánticamente relacionadas recuperadas de otras partes de la aplicación (incluso si no están en la trayectoria actual).
   • Esto permite crear instrucciones complejas, multi-paso y diversificadas que no están limitadas por lo que una sola trayectoria local revela.

B. Estrategia de Despliegue con Cambio de Política (Policy-Switching Rollout)
Para recolectar trayectorias de entrenamiento efectivas, el marco introduce una estrategia que alterna entre un modelo "Aprendiz" (Learner) y un modelo "Experto":

• El Desafío: La destilación pura de expertos no enseña a recuperarse de errores; el aprendizaje por auto-evolución es lento y limitado por la capacidad actual del aprendiz.
• La Solución (Intervención de Errores):
  1. El agente comienza ejecutando la tarea con la política del Aprendiz.
  2. Un monitor (un VLM fuerte) observa la ejecución en tiempo real.
  3. Si el monitor detecta que el aprendiz se desvía del progreso productivo (comete un error), se activa un cambio de política hacia el Experto.
  4. El experto corrige la trayectoria y la guía de vuelta al camino correcto.
  5. Este proceso genera datos de entrenamiento que incluyen tanto el error como la corrección, algo ausente en la destilación tradicional.

3. Contribuciones Clave

1. Framework OpenMobile: Un pipeline de síntesis de datos que desacopla la exploración de la generación de instrucciones, utilizando una memoria global para mejorar la diversidad y el anclaje contextual.
2. Estrategia de Trayectoria con Corrección: Introducción de un mecanismo de cambio de política basado en detección de errores, que enriquece los datos de entrenamiento con señales de recuperación de errores (error-recovery signals).
3. Dataset Abierto: Publicación de un dataset que contiene aproximadamente 2.800 instrucciones de tareas y 34.000 pasos de acción a través de 20 aplicaciones de Android.
4. Análisis de Contaminación: Demostración transparente de que el rendimiento superior no se debe a la sobreajuste (overfitting) a los benchmarks, sino a una cobertura funcional amplia y capacidades mejoradas de recuperación de errores.

4. Resultados Experimentales

Los modelos ajustados finamente (fine-tuned) utilizando los datos de OpenMobile demostraron un rendimiento competitivo, superando a los enfoques de datos abiertos y acercándose a los sistemas cerrados:

• AndroidWorld:
  • Qwen2.5-VL-7B (OpenMobile): 51.7% de éxito (vs. ~25-34% de baselines abiertas).
  • Qwen3-VL-8B (OpenMobile): 64.7% de éxito (competitivo con sistemas propietarios como Step-GUI o MobileAgent-v3.5 que alcanzan ~70%).
• Generalización:
  • En AndroidLab, el modelo Qwen3-VL alcanzó un 51.5% de éxito.
  • En el benchmark más difícil MobileWorld (enfocado en tareas de largo horizonte y multi-app), el rendimiento mejoró drásticamente de 9.4% (base) a 17.7%.
• Análisis de Ablación:
  • La estrategia de cambio de política por intervención de errores superó a la destilación de expertos, la auto-evolución y el cambio aleatorio, logrando un 48.3% de éxito en AndroidWorld (frente al 44.8% de la destilación pura).
  • Se confirmó que la mejora proviene de la capacidad de recuperación de errores (conciencia, diagnóstico y corrección) y no de la memorización de las instrucciones de prueba.

5. Significado e Impacto

• Cierre de la Brecha de Datos: OpenMobile demuestra que es posible construir agentes móviles competitivos utilizando datos sintetizados de código abierto, reduciendo la dependencia de datos propietarios costosos y opacos.
• Importancia de la Recuperación de Errores: El trabajo destaca que para que los agentes funcionen en el mundo real, no basta con imitar el éxito; deben aprender a corregir sus propios fallos. La estrategia de cambio de política es un avance metodológico clave en este sentido.
• Transparencia y Reproducibilidad: Al liberar el código y los datos, OpenMobile permite a la comunidad científica estudiar, reproducir y construir sobre estas mejoras, fomentando un desarrollo más rápido y ético en la automatización móvil.
• Validación de la Síntesis: El estudio demuestra que la síntesis de datos, cuando se basa en una memoria global estructurada y no en trayectorias locales aisladas, puede generar instrucciones de alta complejidad y cobertura funcional que impulsan el rendimiento de los modelos base.

En conclusión, OpenMobile establece un nuevo estándar para la investigación de agentes móviles de código abierto, demostrando que la calidad de los datos sintetizados (especialmente aquellos que incluyen corrección de errores) es tan crítica como la arquitectura del modelo mismo.