Resumen Técnico: Cubrir el Espacio de Acción Humana para el Uso de Computadoras: Síntesis de Datos y Punto de Referencia

1. Declaración del Problema

Los Agentes de Uso de Computadora (CUA) buscan automatizar el trabajo en pantalla, pero su fiabilidad en interacciones complejas y de baja frecuencia sigue siendo deficiente, lo que limita la confianza del usuario. El análisis de casos de fallo en modelos avanzados (por ejemplo, GPT-5.4) revela un patrón de "cola larga" en las operaciones de GUI: mientras que los clics simples se manejan bien, una parte desproporcionada de los fallos en las tareas proviene de interacciones complejas y diversas, como la edición de tablas, la manipulación de texto, el dibujo en lienzos y la anotación de imágenes.

El documento identifica dos cuellos de botella principales que obstaculizan el despliegue de CUA basados en GUI:

1. Falta de Puntos de Referencia: Los puntos de referencia existentes (por ejemplo, ScreenSpot-Pro, UI-Vision) son predominantemente "centrados en clics" y "centrados en widgets", enfocándose en elementos estándar de GUI. No logran evaluar interacciones complejas como arrastrar, dibujar a mano alzada u operaciones en modalidades que no son widgets (tablas, imágenes naturales).
2. Escasez de Datos: Existe una carencia significativa de datos de entrenamiento a gran escala para estas interacciones complejas. Las tuberías de datos actuales heredan en gran medida los paradigmas de rastreo web y árboles de accesibilidad, que producen etiquetas de clic para widgets pero carecen de la diversidad necesaria para capacidades de anclaje generalizables.

2. Metodología

A. El Punto de Referencia CUActSpot

Para abordar la brecha de evaluación, los autores introducen CUActSpot, un punto de referencia diseñado para reflejar escenarios reales de uso de computadora más allá del simple clic.

• Modalidades: Cubre cinco modalidades distintas: GUI (widgets estándar), Texto (selección, inserción), Tabla (operaciones de hoja de cálculo, redimensionamiento de celdas), Lienzo (manipulación de objetos gráficos) e Imagen Natural (recorte de objetos, dibujo de contornos).
• Tipos de Acción: Incluye clic (1 punto), arrastrar (2 puntos) y dibujar (N puntos), abarcando tanto acciones ordenadas (por ejemplo, arrastrar a lo largo de una flecha) como desordenadas.
• Métricas de Evaluación: El punto de referencia emplea un sistema de evaluación riguroso basado en reglas que implica:
  • Regiones Correctas: Las coordenadas predichas deben caer dentro de estas áreas.
  • Regiones Prohibidas: Las predicciones que caen aquí se marcan inmediatamente como incorrectas para evitar la manipulación de métricas.
  • Atributos de Orden: Utilizados para acciones sensibles al orden (por ejemplo, arrastrar de inicio a fin).
• Construcción: El punto de referencia consta de 206 muestras diversas curadas manualmente en 33 tipos de tareas detallados, diseñadas para minimizar la dependencia del conocimiento de software especializado y centrarse en la capacidad de anclaje.

B. Tubería de Síntesis de Datos Basada en Renderizado

Para resolver el problema de la escasez de datos, los autores proponen una tubería de generación de datos completamente sintética que genera 50 millones de muestras.

• Renderizado: Para cada modalidad, herramientas basadas en código renderizan capturas de pantalla y extraen metadatos de coordenadas precisos (cajas delimitadoras, puntos de control, vértices).
  • GUI/Tablas: Renderizadas mediante herramientas web (Playwright, generación HTML/CSS) con estilos y estructuras aleatorizados.
  • Texto/Lienzo: Renderizados utilizando bibliotecas gráficas de Python (PyQt5, Matplotlib) con fuentes, formas y diseños aleatorizados.
  • Imágenes Naturales: Derivadas del conjunto de datos SAM, con regiones anotadas utilizando algoritmos de extracción de contornos.
• Síntesis de Instrucciones: Un LLM avanzado (OpenAI o3) se solicita para seleccionar elementos salientes de los metadatos renderizados, realizar cálculos intermedios de coordenadas y generar instrucciones de operación complejas y trazas de acción correspondientes (código PyAutoGUI).
• Diversidad: La tubería asegura una alta diversidad en estilos visuales, estructuras de tareas y tipos de interacción, evitando el sesgo de la escalabilidad de una sola modalidad.

C. Entrenamiento del Modelo

Los autores entrenan Phi-Ground-Any-4B, un Modelo Visión-Lenguaje (VLM) de 4 mil millones de parámetros basado en Phi-3.5-VL.

• Estrategia de Entrenamiento: El modelo se preentrena/entrena intermedios en las 50 millones de muestras sintéticas combinadas con datos de OpenCUA.
• Estudios de Ablación: Los experimentos investigan el impacto de la composición de datos, comparando específicamente la escalabilidad de una sola modalidad versus el aumento de la diversidad de modalidades y tareas.

3. Contribuciones Clave

1. Punto de Referencia CUActSpot: Un nuevo estándar de evaluación que cubre cinco modalidades y tipos de acción complejos (arrastrar, dibujar) que refleja mejor los requisitos reales de CUA que los puntos de referencia anteriores centrados en clics.
2. Tubería de Síntesis de Datos: Un marco escalable basado en renderizado que genera 50 millones de muestras de entrenamiento de alta calidad para interacciones complejas de GUI sin depender de anotación manual.
3. Phi-Ground-Any-4B: Un modelo de código abierto que logra un rendimiento de vanguardia entre modelos con menos de 32 mil millones de parámetros en puntos de referencia de interacción compleja.
4. Insights Empíricos: El descubrimiento de la "Escalabilidad de Variedad", que demuestra que aumentar la diversidad de tipos de tareas y modalidades es más efectivo para la capacidad interactiva general que simplemente escalar el volumen de datos dentro de una sola modalidad.

4. Resultados Experimentales

• Rendimiento en el Punto de Referencia: En CUActSpot, Phi-Ground-Any-4B supera a todos los modelos de código abierto menores a 32 mil millones de parámetros. Logra una puntuación general del 44.4%, superando significativamente a modelos como OpenCUA-7B (39.8%) y UI-TARS-1.5-7B (28.5%).
• Comparación con Modelos Comerciales: Aunque GPT-5.4 logra una puntuación más alta (63.6%) en CUActSpot, Phi-Ground-Any-4B sigue siendo competitivo entre las soluciones de código abierto.
• Generalización: El modelo muestra una fuerte generalización entre tareas, completando con éxito tareas detalladas no presentes explícitamente en el conjunto de entrenamiento (por ejemplo, editar texto dentro de contenido visual).
• Hallazgos de Ablación:
  • Escalabilidad de Variedad: Añadir modalidades diversas (Texto, Tabla, Lienzo, Imagen) al conjunto de entrenamiento mejora consistentemente el rendimiento en todos los puntos de referencia, mientras que escalar una sola modalidad produce rendimientos decrecientes.
  • Sensibilidad del Punto de Referencia: Los modelos ajustados finamente en datos de software específicos (por ejemplo, datos de aplicaciones de Phi-Ground) muestran ganancias en puntos de referencia tradicionales (ScreenSpot-Pro, UI-Vision) pero a menudo sufren caídas de rendimiento en CUActSpot, destacando el cambio de distribución y las limitaciones de los puntos de referencia actuales para medir la capacidad general de anclaje.
• Evaluación OSWorld: Cuando se utiliza como anclador en una configuración de agente de extremo a extremo (con GPT-5.4 como planificador), Phi-Ground-Any-4B demuestra capacidades robustas de arrastrar y soltar en tareas complejas de hojas de cálculo, superando a modelos más grandes en escenarios específicos de anclaje.

5. Significado y Afirmaciones

El documento afirma que el prior actual de "widget y clic" en la investigación de anclaje de GUI es insuficiente para la próxima generación de Agentes de Uso de Computadora. Al introducir CUActSpot y una tubería de síntesis escalable, los autores proporcionan a la comunidad las herramientas necesarias para evaluar y entrenar modelos en la "cola larga" de las interacciones humanas con computadoras.

Los autores enfatizan que la diversidad de tareas es un impulsor crítico para aprender capacidades de anclaje generalizables, potencialmente más que la escala de datos crudos. Posicionan su trabajo como un paso diagnóstico hacia CUA más robustos, reconociendo que, aunque los datos sintéticos permiten una cobertura amplia, la alineación con distribuciones del mundo real y el manejo de escenarios de estado con horizontes largos siguen siendo desafíos abiertos para trabajos futuros. La publicación del punto de referencia, datos, código y modelos tiene como objetivo facilitar más investigación en esta dirección.