Resumen Técnico: Modelos Mundiales Visuales Generativos para el Mundo Móvil

Enunciado del Problema

Los Modelos Mundiales (MM) de Interfaces Gráficas de Usuario (GUI) para dispositivos móviles buscan predecir estados futuros de la interfaz para mejorar el rendimiento de los agentes durante el entrenamiento y la inferencia. Los enfoques actuales enfrentan una compensación crítica:

1. MM basados en texto: Sacrifican la fidelidad visual al abstraer el espacio de píxeles en texto, perdiendo atributos espaciales y visuales críticos (por ejemplo, iconografía, tipografía).
2. MM visuales (basados en píxeles): Tienen dificultades con la renderización precisa de texto y la dinámica discreta de las GUI. Los MM visuales existentes (por ejemplo, VIMO) dependen de pipelines complejos y multifásicos que involucran OCR externo, enmascaramiento de texto, modelos de difusión y LLMs de pesos cerrados para la relleno de texto. Esto resulta en una sobrecarga computacional significativa, latencia y mala reproducibilidad debido a los pesos cerrados.

Además, las pruebas de referencia existentes a menudo simplifican el problema convirtiendo las acciones en texto o probando solo escenarios dentro de la distribución, fallando en evaluar la generalización cero-shot o los espacios de acción visuales nativos.

Metodología

Los autores proponen gWorld, un paradigma novedoso para el modelado mundial de GUI móviles visuales mediante generación de código renderizable. En lugar de generar píxeles directamente, el modelo predice el siguiente estado de la GUI como código web ejecutable (HTML/CSS) que se renderiza en píxeles.

Arquitectura Central

• Modelo: gWorld se construye sobre Modelos Visuales-Lingüísticos (VLM) de pesos abiertos, específicamente versiones ajustadas finamente de Qwen3 VL (8B y 32B parámetros).
• Representación: El modelo genera código web estructurado. Esto aprovecha los priores lingüísticos del VLM para la renderización precisa de texto y su preentrenamiento en código web estructurado para una generación visual de alta fidelidad.
• Objetivo de Entrenamiento: El modelo se entrena para predecir tanto una traza de razonamiento ($R_t$) como el siguiente estado basado en código ($S^{code}_{t+1}$), dado un estado de imagen actual ($S_t$) y una acción ($A_t$).

Marco de Generación de Datos

Dado que no existen conjuntos de datos para el modelado mundial de GUI basado en código, los autores introducen un marco para sintetizar datos de entrenamiento:

1. Reutilización de Trayectorias: Las trayectorias de políticas de agentes móviles fuera de línea (de AitW, GUIOdyssey, AndroidControl, AMEX) se convierten en tripletes de transición $(S_t, A_t, S_{t+1})$.
2. Reetiquetado Transmodal: La imagen del siguiente estado de verdad fundamental ($S^{image}_{t+1}$) se convierte en código web renderizable ($S^{code}_{t+1}$) utilizando un modelo de vanguardia (Gemini 3 Flash) mediante un prompt de imagen-a-código.
3. Razonamiento de Avance: Las trazas de razonamiento ($R_t$) se sintetizan utilizando el modelo de vanguardia con acceso de "avance libre" al siguiente estado de verdad fundamental. Esto descompone el problema en predecir primero los cambios de estado en lenguaje natural y luego convertirlos a código, asegurando la alineación entre el razonamiento y la salida final.

Prueba de Referencia: MWMBENCH

Los autores introducen MWMBENCH, una prueba de referencia integral compuesta por 6 conjuntos de datos:

• Dentro de la Distribución (ID): 4 conjuntos de datos (AitW, GUIOdyssey, AndroidControl, AMEX).
• Fuera de la Distribución (OOD): 2 nuevos conjuntos de datos:
  • AndroidWorld: Recolección automatizada desde la prueba de referencia AndroidWorld.
  • KApps: Trayectorias en idioma coreano curadas manualmente que presentan aplicaciones coreanas populares (por ejemplo, Baemin, KakaoTalk), probando la generalización multilingüe y regional.
• Características Clave: MWMBENCH evalúa los modelos en el modo visual nativo (preservando las coordenadas originales para las acciones) en lugar de convertir las acciones en texto, e incluye evaluación OOD para la generalización cero-shot.

Contribuciones Clave

1. Modelos gWorld: Los primeros MM visuales móviles de GUI de pesos abiertos, únicos y autocontenidos (8B y 32B) que operan mediante generación de código renderizable.
2. Pipeline de Generación de Datos: Un marco que sintetiza automáticamente datos de entrenamiento a gran escala basados en código con trazas de razonamiento a partir de trayectorias de políticas existentes.
3. MWMBENCH: Una nueva suite de pruebas de referencia que permite la evaluación sistemática del modelado mundial visual en configuraciones dentro y fuera de la distribución con espacios de acción visuales nativos.
4. Validación Empírica: Demostración de que el modelado basado en código supera la generación basada en píxeles y la abstracción basada en texto, estableciendo una nueva frontera de Pareto en precisión versus tamaño del modelo.

Resultados

Evaluaciones extensas en 6 pruebas de referencia (4 ID, 2 OOD) muestran:

• Rendimiento: gWorld 8B y 32B logran la mejor y segunda mejor Precisión de Instrucción (IAcc.) en todas las pruebas de referencia. Superan a 8 modelos abiertos de vanguardia (incluyendo Llama 4 402B y Qwen3 VL 235B) que son hasta 50.25 veces más grandes.
• Frontera de Pareto: gWorld establece una nueva frontera de Pareto, logrando mayor precisión con significativamente menos parámetros que los modelos existentes de última generación.
• Robustez: Los modelos demuestran una fuerte generalización en pruebas de referencia OOD (AndroidWorld y KApps), con un rendimiento que no se degrada significativamente en comparación con las configuraciones ID.
• Fidelidad de Renderizado: El enfoque basado en código elimina virtualmente los errores estructurales, con tasas de fallo de renderizado inferiores al 1% (en comparación con >30% para algunas líneas base).
• Leyes de Escalado: El rendimiento sigue una ley de potencias predecible con el tamaño del conjunto de datos (de 37K a 240K muestras), sugiriendo que son posibles mayores ganancias con más datos.
• Impacto en la Tarea Final: Integrar gWorld en un agente de política (M3A) mediante expansión de ancho y estimación de valor produce ganancias significativas de rendimiento (por ejemplo, +22.4% de mejora promedio en precisión sobre la línea base) en comparación con usar solo la política o una función de valor sin un modelo mundial.
• Eficiencia: gWorld es sustancialmente más rápido que los MM basados en píxeles anteriores (por ejemplo, VIMO). La latencia de extremo a extremo es de 0.55s (8B) y 1.30s (32B), en comparación con los 160s reportados por VIMO.

Significado y Afirmaciones

El artículo afirma que el modelado mundial de código renderizable ofrece una base práctica para agentes de GUI móviles escalables y eficientes. Al cambiar la representación de píxeles a código, gWorld preserva la estructura de la GUI y la fidelidad del texto, evitando la complejidad y la latencia de los pipelines multifásicos basados en píxeles.

Los autores enfatizan que:

• Este enfoque resuelve la compensación entre la fidelidad visual y la precisión del texto.
• Permite la creación de modelos mundiales de pesos abiertos y reproducibles que superan a alternativas mucho más grandes de pesos cerrados o basadas en píxeles.
• El método es altamente eficiente, haciendo viable el modelado mundial en tiempo real para agentes móviles.
• Las pruebas de referencia introducidas y el marco de generación de datos proporcionan una infraestructura necesaria para futuras investigaciones en el modelado mundial de GUI móviles.

El artículo se mantiene modesto respecto a las limitaciones, señalando que el contenido fotorrealista (por ejemplo, imágenes naturales complejas en reproductores de video) es difícil de reconstruir con alta fidelidad mediante código web, aunque esto no afecta significativamente la utilidad semántica para la mayoría de las tareas de GUI. Se sugiere trabajo futuro para incorporar memoria de trabajo explícita para dependencias de largo horizonte.