Resumen Técnico: EvoGUI

Planteamiento del Problema

Los modelos de lenguaje-visión (VLMs) se despliegan cada vez más como el núcleo de razonamiento para agentes de interfaz gráfica de usuario (GUI). Sin embargo, los paradigmas de evaluación existentes dependen en gran medida de las tasas de éxito de tareas de extremo a extremo. Los autores argumentan que estas métricas agregadas "entrelazan" la comprensión de la transición de estados con otras capacidades como la percepción, el anclaje (grounding), la planificación y la recuperación. En consecuencia, una alta tasa de éxito no indica necesariamente que un modelo comprenda cómo acciones específicas (por. ej., hacer clic, escribir) transforman los estados de la interfaz. Si bien trabajos recientes en IA encarnada y agentes móviles han introducido el modelado de mundo para la evaluación diagnóstica, faltaba un marco escalable, derivado de trayectorias, específicamente para la comprensión de la transición de estados de GUI.

Metodología: El Marco EvoGUI

El artículo presenta EvoGUI, un marco de diagnóstico que convierte las trayectorias de interacción de GUI normalizadas en tres sondas complementarias de Preguntas de Respuesta Visual (VQA). Una característica clave de EvoGUI es que no requiere anotación de etiquetas de tarea adicional tras la normalización inicial de la trayectoria; las etiquetas se derivan mecánicamente del orden registrado de las capturas de pantalla y las acciones grabadas.

El marco se instancia como EvoGUI-Bench, construido a partir de los conjuntos de datos Mind2Web y WebLINX, produciendo 3,000 instancias a través de 120 dominios. El benchmark consta de tres tareas diagnósticas:

1. T1: Ordenamiento Temporal (Coherencia de Secuencia)

   • Tarea: Dada una serie de $K$ (3, 4 o 5) capturas de pantalla de la misma trayectoria presentadas en un orden desordenado, el modelo debe producir su secuencia cronológica original.
   • Métrica: Precisión de coincidencia exacta (exact-match accuracy).
   • Objetivo: Evalúa la capacidad del modelo para reconocer la estructura temporal de la evolución del estado.

2. T2: Predicción Inversa de Acción/Valor (Atribución Causal)

   • Tarea: Dada una pareja de capturas de pantalla consecutivas ($s_t, s_{t+1}$), el modelo predice la acción del usuario (de $\{CLICK, TYPE, SELECT\}$) y, si aplica, el valor exacto (texto escrito o opción seleccionada) que causó la transición.
   • Métricas: Precisión top-1 solo de acción y precisión top-1 conjunta de acción/valor.
   • Objetivo: Evalúa si un modelo puede explicar un cambio de estado observado, distinguiendo entre detectar un cambio visual y recuperar el valor de entrada específico.

3. T3: Discriminación de Alcanzabilidad de Un Solo Paso (Juicio de Factibilidad)

   • Tarea: Dada una pantalla inicial y dos candidatas a siguiente pantalla (una siendo la sucesora inmediata registrada $s_{t+1}$ y la otra un distractor), el modelo debe identificar la sucesora correcta.
   • Tipos de Distractores:
     • Trans-trayectoria: Una pantalla de una trayectoria diferente.
     • Mismo dominio: Una pantalla de la misma aplicación/dominio.
     • Salto largo (Long-skip): Una pantalla posterior ($s_{t+n}$ donde $n \ge 3$) de la misma trayectoria.
   • Métrica: Precisión por pares (pairwise accuracy).
   • Objetivo: Evalúa la capacidad del modelo para distinguir la transición inmediata registrada de otros estados futuros plausibles, probando específicamente si el modelo confunde la "plausibilidad eventual" con la "alcanzabilidad inmediata".

Protocolo de Evaluación:
Los autores evalúan 28 configuraciones de VLM (tanto de pesos abiertos como cerrados) en un entorno zero-shot. Para sintetizar los resultados entre tareas con diferentes líneas base de elección aleatoria, introducen el Índice EvoGain, un puntaje de mejora normalizado sobre una línea base de elección aleatoria.

Resultados Clave

La evaluación de 28 modelos revela brechas significativas en la comprensión de la transición de estados de GUI:

• Techo de Rendimiento: El modelo más fuerte, Gemini-3-Flash-Preview, logra un EvoGain de 60.4%. Esto indica que queda un margen sustancial de mejora, ya que los mejores modelos están lejos de la saturación.
• Escala y Especialización: La escala del modelo y la especialización en GUI no predicen de manera confiable el rendimiento.
  • Los modelos más grandes (ej. Qwen3.5-397B) no superan consistentemente a las variantes más pequeñas (ej. Qwen3.5-122B).
  • El modelo especializado en GUI UI-TARS-1.5-7B logra solo un 25.4% de EvoGain, situándose por debajo de varios modelos generalistas.
• Perspectivas Específicas de la Tarea:
  • T1: Incluso los mejores modelos cometen más del 40% de errores en el ordenamiento temporal exacto, lo que sugiere que la recuperación de la estructura de múltiples pantallas es un cuello de botella importante.
  • T2: El reconocimiento de la acción es más fácil que la explicación completa de la transición. Los modelos rinden significativamente mejor en la predicción solo de acción que en la predicción conjunta de acción/valor, lo que indica dificultades para recuperar valores específicos (OCR, vinculación de texto) en lugar de solo identificar el tipo de acción.
  • T3: Los modelos tienen dificultades con los distractores de salto largo (long-skip). Aunque la precisión por pares agregada es alta, el rendimiento cae al distinguir el sucesor inmediato de un estado posterior en el mismo flujo de trabajo, lo que sugiere que los modelos capturan la plausibilidad general del flujo de trabajo pero fallan en la discriminación precisa a nivel de paso.
• Dependencia Visual: Los experimentos de control (eliminación de la entrada visual) muestran que el rendimiento de T1 y T3 colapsa a niveles cercanos al azar sin las capturas de pantalla, confirmando que las tareas dependen de evidencia visual y no solo de metadatos o sesgos lingüísticos.

Significación y Reivindicaciones

Los autores posicionan a EvoGUI como un complemento diagnóstico escalable para la evaluación de agentes de extremo a extremo, en lugar de un reemplazo.

• Desacoplamiento de Capacidades: Al aislar la comprensión de la transición de estados de la planificación y la recuperación, EvoGUI expone fallos específicos (ej. incapacidad para ordenar pantallas o recuperar valores escritos) que quedan ocultos por las tasas de éxito de tareas agregadas.
• Eficiencia de Anotación: El marco demuestra que se pueden construir benchmarks diagnósticos de alta calidad a partir de los registros de trayectorias existentes sin el costo de nueva anotación humana, siempre que los datos estén normalizados.
• Limitaciones: Los autores señalan modestamente que EvoGUI es un diagnóstico a nivel de transición. No reemplaza la necesidad de probar agentes desplegados. La correlación entre el EvoGain y el éxito en OSWorld se observa, pero se basa en una muestra pequeña (5 modelos) y protocolos de reporte mixtos, lo que la hace indicativa más que predictiva. Además, T3 mide la discriminación contra distractores muestreados, no la imposibilidad universal de alcanzar una pantalla en un solo paso.

En conclusión, el artículo establece que los actuales VLMs poseen un margen de mejora significativo en la comprensión de la dinámica de las interfaces y que esta capacidad no puede inferirse únicamente a partir de la escala del modelo o del rendimiento generalista.