Resumen Técnico: Video2GUI

Enunciado del Problema

El desarrollo de agentes generalizados de Interfaz Gráfica de Usuario (GUI) se encuentra actualmente limitado por la escasez de datos de entrenamiento a gran escala y diversos. Los enfoques existentes dependen en gran medida de trayectorias de interacción anotadas manualmente o de entornos simulados, cuya producción es costosa y su escalabilidad es limitada. En consecuencia, los agentes entrenados con estos conjuntos de datos reducidos tienen dificultades para generalizar a interfaces no vistas, aplicaciones y tareas del mundo real. Aunque internet contiene un vasto repositorio de videos tutoriales de GUI sin etiquetar, aprovechar eficazmente estos datos es un desafío debido a la dificultad de filtrar contenido instructivo de alta calidad y a la complejidad de extraer trayectorias de acción estructuradas y fundamentadas espacialmente a partir de videos crudos sin anotaciones explícitas.

Metodología

Para abordar estos desafíos, los autores proponen Video2GUI, un marco completamente automatizado diseñado para sintetizar trayectorias de interacción a gran escala a partir de videos de internet sin etiquetar. El pipeline opera a través de tres etapas progresivas:

1. Filtrado de Video de Grueso a Fino:

   • Filtrado Grueso (Metadatos): Comenzando con 500 millones de entradas de metadatos de video (títulos, descripciones, palabras clave), el sistema emplea un clasificador ligero (Qwen2.5-7B ajustado) para filtrar videos no relacionados con operaciones de GUI. Esto reduce el conjunto de candidatos a aproximadamente 20 millones de videos, evitando el costo computacional de procesar contenido irrelevante.
   • Filtrado Fino (Puntuación Visual): Un modelo de puntuación visual (Qwen2.5-Omni ajustado) evalúa el contenido del primer minuto de cada video candidato en tres dimensiones: Relevancia del Tema (enfoque en enseñar operaciones de GUI), Claridad de la Instrucción (coherencia de la narración) y Calidad de la Grabación (fidelidad visual). Esta etapa retiene solo 4,16 millones de videos de alta calidad (~300.000 horas).

2. Extracción de Trayectorias:

   • Utilizando una estrategia de ventana deslizante con memoria de contexto histórico, el marco emplea un potente modelo de visión-idioma (Gemini-3-Pro) para convertir segmentos de video en pares estructurados de instrucción-trayectoria.
   • El modelo extrae instrucciones de tarea, marcas de tiempo de acción, detalles de la acción y el razonamiento detrás de cada acción. Genera una secuencia de pasos donde cada acción se asocia con una marca de tiempo precisa y una descripción textual de bajo nivel.

3. Fundamentación Espacial de la Acción:

   • Para superar las limitaciones de resolución de los fotogramas de video comprimidos, el sistema recupera capturas de pantalla de alta resolución (un tripleto de fotogramas en $t-0.5s$, $t$ y $t+0.5s$) para cada marca de tiempo de acción extraída.
   • Se utiliza Gemini-3-Pro para mapear las instrucciones de bajo nivel a coordenadas de pantalla precisas (cajas delimitadoras o puntos), fundamentando efectivamente las acciones en la interfaz de usuario. Este enfoque de múltiples fotogramas mitiga los problemas causados por cambios visuales rápidos en las interacciones de GUI.

Estrategia de Entrenamiento:
Los autores utilizan el conjunto de datos resultante, WildGUI, para un proceso de entrenamiento de agentes en dos etapas:

• Etapa 1 (Pre-entrenamiento Continuo): Los modelos (Qwen2.5-VL y Mimo-VL) se pre-entrenan en WildGUI utilizando un objetivo mixto de fundamentación de GUI, predicción de acción y modelado de trayectorias.
• Etapa 2 (Post-entrenamiento): Los modelos pre-entrenados se ajustan finamente en conjuntos de datos de código abierto curados y de alta calidad para refinar el rendimiento en tareas específicas posteriores.

Contribuciones Clave

• Marco Video2GUI: Un pipeline escalable y completamente automatizado que extrae trayectorias de interacción de GUI fundamentadas a partir de miles de millones de videos de internet sin etiquetar, eliminando la dependencia de la anotación manual.
• Conjunto de Datos WildGUI: La construcción de un conjunto de datos de pre-entrenamiento diverso y a gran escala que contiene 12,7 millones de trayectorias de interacción y 124,5 millones de capturas de pantalla. Abarca más de 1.500 aplicaciones y sitios web en plataformas de escritorio, móviles y web.
• Mejoras de Rendimiento: Experimentos extensivos demuestran que el pre-entrenamiento en WildGUI produce mejoras consistentes (5–20%) en múltiples benchmarks de fundamentación de GUI y agentes, permitiendo que los modelos igualen o superen el rendimiento del estado del arte a pesar de tener conteos de parámetros más pequeños.
• Lanzamiento Abierto: Los autores se comprometen a publicar tanto el conjunto de datos WildGUI como el pipeline Video2GUI para facilitar la investigación futura en el entrenamiento escalable de agentes de GUI.

Resultados Experimentales

Los autores evaluaron el enfoque utilizando los modelos base Qwen2.5-VL y Mimo-VL en varios benchmarks:

• Fundamentación de GUI: En ScreenSpot-Pro y OSWorld-G, los modelos pre-entrenados con WildGUI mostraron ganancias significativas. Por ejemplo, Mimo-VL-7B logró una puntuación promedio del estado del arte de 67,6 en OSWorld-G, superando a modelos más grandes como Qwen3-VL-32B (60,6) y Seed1.5-VL (62,9).
• Evaluación de Agente Offline: En AndroidControl y CAGUI, los modelos demostraron capacidades mejoradas de planificación y ejecución. Mimo-VL-7B logró una tasa de éxito por paso de 71,4 en AndroidControl-High, una mejora sustancial sobre su modelo base.
• Evaluación de Agente Online: En entornos dinámicos (OSWorld y AndroidWorld), el pipeline de entrenamiento completo (Etapa 1 + Etapa 2) casi duplicó la tasa de éxito en AndroidWorld (31,9% frente al 16,4% del modelo base), demostrando una fuerte generalización a tareas abiertas y del mundo real.
• Análisis de Escalado: Un estudio de escalado reveló una fuerte correlación positiva entre el volumen de tokens de pre-entrenamiento (hasta 200 mil millones) y la precisión en tareas posteriores, con un rendimiento que continúa mejorando sin saturación evidente.

Significado y Afirmaciones

El artículo afirma que el principal cuello de botella para los agentes de GUI generalizados es la escasez y diversidad de datos, no solo la arquitectura del modelo. Al demostrar que los videos de internet sin etiquetar pueden transformarse eficazmente en datos de entrenamiento estructurados y de alta calidad, Video2GUI ofrece una vía escalable para superar esta limitación.

Los autores afirman que:

1. La Calidad de los Datos es Paramount: Las estrategias de filtrado de grueso a fino y de extracción impulsada por VLM son críticas para garantizar que los datos sintetizados sean lo suficientemente precisos y diversos como para entrenar agentes robustos.
2. Los Datos Offline Generalizan: El pre-entrenamiento en datos de video offline proporciona una base crítica que permite a los agentes generalizar eficazmente a entornos dinámicos en línea, incluso si los datos de entrenamiento en sí son estáticos.
3. Escalabilidad: El pipeline Video2GUI es capaz de procesar datos a escala de internet, lo que sugiere que el campo puede avanzar más allá de las limitaciones de conjuntos de datos pequeños y curados manualmente hacia un entrenamiento de agentes verdaderamente a gran escala y diverso.

El trabajo concluye que escalar el entrenamiento con datos de video offline diversos es una dirección prometedora y necesaria para desarrollar agentes autónomos de GUI capaces y de propósito general.