Resumen Técnico: Anclaje de Agentes de Uso de Computadora en Demostraciones Humanas (GROUNDCUA & GROUNDNEXT)

Planteamiento del Problema

El desarrollo de agentes de uso de computadora (CUA, por sus siglas en inglés) fiables, capaces de operar software en nombre de los usuarios, depende del anclaje (grounding): la capacidad de mapear con precisión instrucciones de lenguaje natural a elementos específicos de la interfaz de usuario (UI) en pantalla. Aunque existen conjuntos de datos extensos para interacciones web y móviles, los recursos de alta calidad para entornos de escritorio siguen siendo limitados. Las aplicaciones de escritorio presentan desafíos únicos, incluyendo pantallas de alta resolución, diseños densos, elementos visualmente similares y artefactos específicos del usuario que introducen una variabilidad no vista durante el entrenamiento. Los conjuntos de datos automatizados existentes suelen sufrir de señales de accesibilidad incompletas, una representación insuficiente de controles pequeños de solo iconos y una falta de anotaciones finas necesarias para una localización precisa. En consecuencia, los agentes suelen fallar al ejecutar planes correctamente cuando no pueden identificar el botón, elemento de menú o control exacto requerido.

Metodología

1. El Conjunto de Datos GROUNDCUA

Para abordar la escasez de datos de escritorio de alta calidad, los autores presentan GROUNDCUA, un conjunto de datos a gran escala, anotado por humanos, derivado de demostraciones de expertos.

• Recolección de Datos: El conjunto de datos comprende 56,000 capturas de pantalla de 87 aplicaciones de código abierto en 12 categorías (p. ej., Oficina, Desarrollo, CAD, Científico). A diferencia de trabajos previos que dependen de la navegación automática o la generación de estados aleatorios, los datos fueron recolectados por anotadores entrenados realizando tareas del mundo real (p. ej., editar hojas de cálculo, ejecutar simulaciones).
• Proceso de Anotación: Se extrajeron fotogramas clave que capturan el estado inmediatamente antes de las acciones del usuario. Los anotadores proporcionaron 3.56 millones de anotaciones verificadas por humanos, etiquetando cada elemento visible con cuadros delimitadores (bounding boxes), nombres textuales y categorías. Aproximadamente el 50% de los elementos fueron asignados a categorías de alto nivel (p. ej., Menú, Botón, Deslizador).
• Generación de Instrucciones: Aprovechando las anotaciones densas (cuadros delimitadores, OCR, contexto), los autores construyeron un conjunto de datos de ajuste de instrucciones de 700K. Las instrucciones se generaron en tres tipos para imitar la diversidad del mundo real:
  • Directas: Describiendo atributos o texto (p. ej., "Haz clic en el botón 'Guardar'").
  • Funcionales: Centrándose en la acción (p. ej., "Abre una nueva pestaña").
  • Espaciales: Usando posicionamiento relativo (p. ej., "Haz clic en el icono a la izquierda de 'Archivos'").
• Escala y Diversidad: El conjunto de datos presenta imágenes de alta resolución (0.39M a 7.0M de píxeles) y un promedio de 64 anotaciones por captura de pantalla, significativamente más denso que los benchmarks existentes. Incluye elementos finos como iconos pequeños y barras de herramientas que suelen ser omitidos por los procesos automatizados.

2. La Familia de Modelos GROUNDNEXT

Los autores desarrollaron GROUNDNEXT, una serie de modelos de visión-lenguaje (de 3B y 7B parámetros) basados en Qwen2.5-VL-Instruct, entrenados para mapear instrucciones a coordenadas de la interfaz de usuario objetivo.

• Etapa 1: Ajuste Fino Supervisado (SFT): Los modelos fueron entrenados con los 700K pares de instrucción-imagen curados de GROUNDCUA. Tanto el codificador de visión como el modelo de lenguaje fueron ajustados (fine-tuned).
• Etapa 2: Aprendizaje por Refuerzo (RL): Una etapa de post-entrenamiento utilizando optimización de Leave-One-Out Relativo (RLOO).
  • Función de Recompensa: Una recompensa discreta personalizada basada en la distancia normalizada entre la coordenada predicha y el cuadro delimitador de la verdad fundamental (ground-truth). Las predicciones dentro del cuadro reciben recompensas positivas, mientras que las de fuera reciben penalizaciones escaladas por su distancia.
  • Datos: Se utilizaron 10K muestras nuevas (distintas del conjunto SFT) para el RL para asegurar la generalización.

Contribuciones Clave

1. Conjunto de Datos GROUNDCUA: El mayor conjunto de datos de anclaje de escritorio anotado por expertos hasta la fecha, que cuenta con 56K capturas de pantalla, más de 3.56M de elementos y diversidad de alta resolución en 87 aplicaciones. Aborda la brecha en la supervisión densa y fina de escritorio.
2. Modelos GROUNDNEXT: Una familia de modelos de 3B y 7B parámetros entrenados con un flujo de trabajo de dos etapas (SFT+RL). Logran un rendimiento de estado del arte (SOTA) en benchmarks de escritorio utilizando significativamente menos muestras de entrenamiento (700K SFT + 10K RL) en comparación con modelos previos entrenados con millones de muestras.
3. Eficiencia y Generalización: El trabajo demuestra que los datos de alta calidad, impulsados por expertos, pueden superar a los conjuntos de datos más grandes y menos precisos. Los modelos muestran una fuerte generalización multiplataforma a entornos móviles y web, a pesar de haber sido entrenados exclusivamente en escritorio.

Resultados

Benchmarks

Los modelos fueron evaluados en cinco benchmarks: ScreenSpot-Pro, OSWorld-G, UI-Vision, MMBench-GUI y ScreenSpot-v2.

• Rendimiento SFT: GROUNDNEXT-3B (SFT) alcanzó una puntuación promedio de 66.4 (incluyendo UI-Vision) y 68.4 (excluyendo UI-Vision), superando significativamente al siguiente mejor baseline de 3B SFT (GUI-Actor-3B) por un margen considerable (+12.1 puntos con UI-Vision). El GROUNDNEXT-7B (SFT) también lideró el grupo de 7B SFT de manera similar.
• Rendimiento RL: Añadir RL mejoró aún más los resultados. GROUNDNEXT-3B (RL) alcanzó 68.4 (Promedio) y GROUNDNEXT-7B alcanzó 70.5.
• Comparación: A pesar de usar menos de 1/10 de los datos SFT utilizados por modelos como JEDI (9M muestras), GROUNDNEXT superó a los baselines de SFT existentes y se mantuvo competitivo con sistemas ajustados mediante RL.

Rendimiento Agéntico (Verificado por OSWorld)

Evaluado en un entorno de múltiples pasos utilizando OpenAI o3 como planificador:

• GROUNDNEXT-3B (RL) logró una puntuación general de 50.6, superando significativamente a otros modelos de código abierto de 3B (p. ej., OpenCUA-A3B con 17.7) y superando a modelos más grandes como OpenCUA-72B (46.1) y APIs propietarias como Qwen3-VL-Flash (41.6).
• Logró un rendimiento comparable al de JEDI-7B (51.0), a pesar de tener menos de la mitad de su tamaño, demostrando una alta utilidad práctica para sistemas con recursos limitados.

Análisis

• Calidad de Datos vs. Cantidad: Entrenar el mismo modelo base con 100K muestras de varios conjuntos de datos (Aguvis, UGround, JEDI, etc.) mostró que GROUNDCUA produjo el rendimiento más alto, confirmando que la supervisión densa y experta es más efectiva que la escala bruta.
• Ganancias de RL: El RL proporcionó mejoras modestas pero consistentes. Los modelos entrenados con GROUNDCUA durante el SFT mostraron menores ganancias de RL, lo que sugiere que los datos de SFT ya eran altamente informativos.
• Trans-dominio: Los modelos se generalizaron bien a interfaces móviles y web (MMBench-GUI, ScreenSpot-v2), aunque el rendimiento en tareas web fue ligeramente inferior al de escritorio, lo que indica la necesidad de una futura integración de datos de múltiples dominios.

Significado y Reivindicaciones

El artículo afirma que los conjuntos de datos de alta calidad, impulsados por expertos, son críticos para avanzar en los agentes de uso de computadora de propósito general. La principal conclusión es que la calidad y la densidad de los datos pueden sustituir al volumen bruto de datos. Al centrarse en anotaciones finas y verificadas por humanos de interacciones reales de escritorio, los autores demuestran que modelos más pequeños pueden lograr un rendimiento de anclaje superior con un entrenamiento eficiente.

Este trabajo posiciona a GROUNDCUA y GROUNDNEXT como recursos fundamentales para la comunidad de investigación abierta, con el objetivo de desbloquear el anclaje como una capacidad central para agentes fiables y adaptables. Los autores enfatizan que, si bien su diseño de recompensa de RL actual es simple, las anotaciones densas en GROUNDCUA permiten el desarrollo futuro de señales de recompensa más precisas. También destacan la importancia de las aplicaciones de código abierto en el conjunto de datos para garantizar una cobertura amplia y conforme a licencias de la funcionalidad de software del mundo real.