Resumen Técnico: Evaluación de Agentes de GUI Nativos de Pantalla Viva en Plataformas de Vídeo Corto

1. Definición del Problema

Los agentes actuales de Interfaz Gráfica de Usuario (GUI) operan bajo una suposición estática: la pantalla permanece congelada entre dos acciones, y el mundo solo evoluciona cuando el agente actúa. Este paradigma no logra capturar las interfaces del mundo real, particularmente las plataformas de vídeo corto, donde el contenido se reproduce de forma autónoma en un tiempo continuo. En estos entornos, un usuario competente debe decidir activamente qué ver, cuánto tiempo ver y cuándo detenerse, equilibrando la adquisición de información frente a los costes de tiempo.

Los benchmarks existentes tratan el vídeo ya sea como una entrada pasiva (Video QA) o tratan la GUI como una secuencia de capturas de pantalla estáticas (agentes GUI estándar), perdiendo el cuadrante de "pantalla viva" donde el entorno evoluciona independientemente mientras el agente selecciona proactivamente la granularidad de la observación. Los autores formalizan esta brecha como Agentes de GUI Nativos de Pantalla Viva, definidos como agentes que operan en pantallas que evolucionan en tiempo continuo y que determinan activamente qué porciones visuales de esa evolución observar.

2. Metodología: El BENCHMARK LIVINGSCREEN

Para instanciar y evaluar este entorno, los autores introducen LIVINGSCREEN, el primer benchmark para agentes nativos de pantalla viva en plataformas de vídeo corto.

2.1 Construcción del Entorno

• Plataforma: Una réplica de alta fidelidad basada en navegador de una aplicación moderna de vídeo corto (modelada tras plataformas chinas), construida utilizando Playwright.
• Interacción: Los agentes interactúan a través de una API de acción de bajo nivel (clics de coordenadas de píxeles, deslizamientos, escritura) y observan exclusivamente mediante capturas de pantalla renderizadas o grabaciones de pantalla, sin acceso al DOM subyacente o a los archivos de vídeo.
• Contenido: El corpus consiste en vídeos cortos reales de conjuntos de datos públicos, aumentados con metadatos (títulos, hashtags, comentarios) y una pequeña fracción (<1%) de vídeos sintetizados para riesgos de seguridad de cola larga.
• Generación de Feeds: Los feeds se construyen agrupando vídeos por palabras clave y mezclándolos con distractores aleatorios para simular un flujo de recomendación realista.

2.2 Taxonomía de Tareas

El benchmark comprende 499 tareas a través de 1.528 vídeos únicos, organizadas en una jerarquía de tres niveles:

1. L1 (Acción GUI Atómica): Prueba primitivas elementales como dar "me gusta", coleccionar, comentar, reportar y navegar (deslizar/buscar).
2. L2 (Comprensión de Fuentes Cruzadas): Requiere integrar evidencia a través de vídeos, comentarios y pistas de la interfaz de usuario. Las sub-tareas incluyen asociación contextual, comparación de eventos, análisis de características, agregación espaciotemporal y evaluación robusta (manejo de preguntas sin respuesta).
3. L3 (Aplicación de Ciclo Cerrado): Demanda un ciclo completo de percepción, razonamiento y acción para lograr resultados graduados por el entorno. Los ejemplos incluyen la verificación de hechos de eventos disputados, moderación de contenido (detección de violación de políticas) y simulación de preferencias.

2.3 Métricas de Evaluación

El benchmark califica a los agentes en dos dimensiones:

• Precisión: Medida por la Tasa de Éxito (SR), determinada comparando el estado final del entorno contra la verdad de campo (por ejemplo, vídeos específicos a los que se dio "me gusta"/reportó) o la coincidencia de opciones.
• Eficiencia:
  • Número de Pasos (NS): Promedio de llamadas a herramientas por episodio (coste operativo).
  • Ratio de Visualización (WR): La fracción del tiempo total del feed que es realmente grabada por el agente (coste de observación).
  • Objetivo: Alta SR con bajo NS y WR.

2.4 Formalización del Agente

Los autores proponen un POMDP Nativo de Pantalla Viva que modifica el Proceso de Decisión de Markov estándar:

• Estado en Evolución Continua ($\Delta_1$): El estado evoluciona de forma autónoma ($\Phi$) incluso cuando el agente está inactivo (por ejemplo, el cabezal de reproducción avanzando), lo cual es distinto de las transiciones de estado impulsadas por el agente en los POMDP de GUI estándar.
• Observación Iniciada por el Agente ($\Delta_2$): Las observaciones no son muestras puntuales, sino que están parametrizadas por la acción del agente. El agente decide la ventana de tiempo $W(a_k)$ para observar, eligiendo entre una sola captura de pantalla o un clip de vídeo de duración $\Delta t$.

3. Configuración Experimental

Los autores evaluaron un conjunto representativo de modelos de lenguaje de gran tamaño multimodales (MLLM) de vanguardia, incluyendo modelos de vídeo nativos (Gemini-3.5, serie Doubao-Seed, Qwen-3.6, etc.) y modelos basados en imágenes (variantes de Claude y GPT-5). Todos los modelos fueron envueltos en una arquitectura de agente unificada utilizando un formato de "pensar-luego-llamar-a-herramienta", con una longitud máxima de episodio de 30 pasos.

4. Resultados Clave

• Brecha de Rendimiento: Ningún modelo evaluado se acerca al rendimiento humano en el compromiso entre coste y precisión. Los mejores modelos logran tasas de éxito (SR) significativamente más bajas que los humanos (por ejemplo, los mejores modelos ~69% frente al Humano 94% general) mientras que a menudo incurren en mayores costes de observación.
• Paradigmas Divergentes: Los modelos exhiben estrategias inconsistentes. Algunos favorecen la alta exploración (alto NS, recopilación de información fragmentada), mientras que otros favorecen la observación pesada (alto WR, visualización de clips largos).
• Modo de Fallo Dominante: El principal modo de fallo identificado es la Sobre y Sub-Observación:
  • Sub-Observación: Los agentes saltan vídeos o miran demasiado brevemente para reunir evidencia suficiente (afecta al 39–61% de las trayectorias).
  • Sobre-Observación: Los agentes ven vídeos irrelevantes o continúan viendo después de haber obtenido la información necesaria (afecta al 25–43% de las trayectorias).
  • Co-ocurrencia: El 9–24% de las trayectorias exhiben ambos errores simultáneamente.
• Comparación con Humanos: Los humanos emplean una estrategia de "forrajeo de información", dedicando una pequeña cantidad de atención para "echar un vistazo" a los vídeos (52% de las observaciones) para filtrar la relevancia antes de comprometerse con un consumo profundo. Los modelos actuales carecen de este paso de exploración económica, lo que conduce a una asignación de atención ineficiente.

5. Análisis del Control de Observación

Los autores investigaron si estos fallos se deben a una falta de conciencia (prompting) o a déficits de capacidad.

• Experimentos de Prompting: Las variantes que instruían a los agentes a utilizar estrategias de "Ver Menos", "Ver Más" o "Imitar al Humano" lograron desplazar el Ratio de Visualización (WR) pero fallaron en mejorar la Tasa de Éxito (SR).
• Conclusión: La sobre y sub-observación no son meramente fallos de conciencia que se puedan solucionar mediante prompting; representan una brecha de capacidad genuina en los MLLM actuales respecto al control de la observación.

6. Significancia y Contribuciones

El artículo reclama tres contribuciones primarias:

1. Formalización: Identifica y formaliza el entorno de "Pantalla Viva", distinguiéndolo de las tareas de GUI estática y de Video QA pasivo.
2. Lanzamiento de Benchmark: Introduce LIVINGSCREEN, proporcionando el primer entorno fiel, suite de tareas y métricas de eficiencia para este entorno.
3. Identificación de la Brecha de Capacidad: Revela el control de la observación (específicamente la gestión de la sobre y sub-observación) como un eje crítico y previamente poco estudiado para la investigación futura de agentes GUI.

Los autores posicionan a LIVINGSCREEN como un peldaño hacia agentes capaces de habitar interfaces verdaderamente vivas, enfatizando que el progreso futuro requiere que los modelos dominen no solo qué hacer clic, sino cómo y cuánto tiempo observar.

7. Limitaciones

Los autores reconocen que el benchmark es una réplica controlada de un navegador, que carece de motores de recomendación en vivo o efectos de grafo social. Los datos son exclusivamente en chino, y la escala (499 tareas) es intermedia, reflejando el alto coste de anotación requerido para tareas dinámicas de múltiples pasos. Se mencionan las consideraciones éticas respecto al potencial de doble uso de los agentes autónomos para la desinformación o la evasión, recomendando la supervisión humana para el despliegue en el mundo real.