Resumen Técnico: Aprendizaje de Anclaje de Interfaz Gráfica de Usuario con Razonamiento Espacial a partir de Retroalimentación Visual

Enunciado del Problema

El anclaje de Interfaz Gráfica de Usuario (GUI) es la tarea de mapear una instrucción en lenguaje natural a una coordenada de píxel específica en una pantalla para ejecutar una acción (por ejemplo, un clic). Aunque los Modelos Visión-Lenguaje (VLM) recientes han avanzado, a menudo fallan al predecir coordenadas numéricas precisas en GUI de alta resolución con diseños complejos. Este fallo se debe a una falta de alineación semántica espacial: el modelo lucha por mapear implícitamente su comprensión de un elemento visual a tokens de coordenadas discretas.

Los enfoques existentes suelen plantear el anclaje de GUI como un problema de predicción de un solo paso, donde el modelo genera coordenadas directamente a partir de una captura de pantalla. Una limitación crítica de este paradigma es la ausencia de un bucle de retroalimentación visual. El modelo se supervisa únicamente sobre la salida numérica final y no recibe información sobre dónde aterriza realmente su predicción en la pantalla. En consecuencia, el modelo no logra desarrollar una alineación robusta entre sus predicciones numéricas y sus posiciones correspondientes en pantalla, lo que conduce a capacidades deficientes de razonamiento espacial.

Metodología: GUI-CURSOR

Para abordar estas limitaciones, los autores proponen GUI-CURSOR, que reformula el anclaje de GUI de una tarea estática de un solo paso a una tarea de búsqueda dinámica e interactiva.

1. Entorno de Búsqueda Interactiva

En lugar de predecir una coordenada final inmediatamente, el modelo controla un cursor virtual en la imagen de la GUI. El proceso opera como una secuencia de pasos:

• Observación: En cada paso $t$, el modelo observa la captura de pantalla de la GUI con el cursor en su posición actual $(x_t, y_t)$.
• Razonamiento y Acción: El modelo genera una respuesta que contiene un proceso de pensamiento (analizando el objetivo, la ubicación actual del cursor y las relaciones espaciales) seguido de una acción. La acción es o bien una nueva coordenada $(x_{t+1}, y_{t+1})$ para mover el cursor, o bien un comando STOP si el cursor está correctamente posicionado.
• Retroalimentación Visual: El entorno renderiza el cursor en la nueva posición y proporciona una captura de pantalla actualizada para el siguiente paso. Esta retroalimentación visual explícita permite al modelo verificar sus predicciones y refinar incrementalmente su comprensión espacial.

2. Entrenamiento con Aprendizaje por Refuerzo

El modelo se entrena utilizando Optimización de Política Relativa de Grupo (GRPO) dentro de este entorno interactivo. El objetivo de entrenamiento se basa en una función de recompensa basada en trayectorias ($R_T$) personalizada, diseñada para guiar tanto la precisión final como el comportamiento de búsqueda.

La función de recompensa consta de:

• Recompensa de Posición ($r_p$): Una recompensa densa basada en la distancia entre la posición final del cursor y el cuadro delimitador objetivo, considerando tanto la proximidad al borde como la centralidad dentro del cuadro.
• Penalizaciones de Trayectoria: Para evitar estrategias degeneradas (por ejemplo, detenerse inmediatamente sin moverse, moverse de un lado a otro, o alejarse del objetivo), los autores introducen cuatro penalizaciones específicas:
  • Penalización de Falsa Detención ($r_{FS}$): Penaliza detenerse cuando el cursor está fuera del objetivo.
  • Penalización de Falso Movimiento ($r_{FM}$): Penaliza continuar moviéndose después de que el cursor ya haya entrado en el cuadro objetivo.
  • Penalización de Falsa Dirección ($r_{FD}$): Penaliza movimientos que aumentan la distancia al objetivo en comparación con la predicción inicial.
  • Penalización de Posición Repetida ($r_{RP}$): Penaliza predecir la misma coordenada más de una vez.

3. Enfoque Centrado en el Cursor (CCF)

Para manejar imágenes de alta resolución de manera eficiente sin incurrir en costos computacionales prohibitivos, los autores introducen una estrategia de dos etapas:

• Entrenamiento: Las imágenes se submuestrean a una resolución manejable (por ejemplo, 1920×1080).
• Inferencia: Para imágenes más grandes que la resolución de entrenamiento, el modelo primero realiza una predicción gruesa en la imagen completa. Luego, recorta una región centrada en esta predicción (manteniendo la resolución de entrenamiento) y realiza movimientos detallados dentro de esta vista enfocada. Esto equilibra la eficiencia del entrenamiento con la precisión de la inferencia.

Contribuciones Clave

1. Reformulación del Anclaje de GUI: El artículo cambia el paradigma de la predicción estática de coordenadas a un proceso dinámico e interactivo donde el modelo aprende la alineación coordenada-espacial a través de retroalimentación visual.
2. Modelo GUI-CURSOR: La introducción de un modelo de anclaje de GUI entrenado mediante aprendizaje por refuerzo en un entorno interactivo, utilizando una función de recompensa densa y consciente de la trayectoria que impone comportamientos de búsqueda racionales.
3. Razonamiento Espacial Mejorado: La evaluación exhaustiva demuestra que aprender el anclaje de GUI moviendo un cursor mejora no solo la precisión del anclaje, sino también las capacidades generales de razonamiento espacial, las cuales se generalizan a dominios fuera de la distribución.

Resultados Experimentales

Los autores evaluaron GUI-CURSOR en múltiples puntos de referencia, incluidos ScreenSpot-Pro, OSWorld-G, UI-Vision y ScreenSpot-v2, utilizando los modelos base Qwen2.5-VL-7B y UI-TARS-1.5-7B.

• Rendimiento de Anclaje: GUI-CURSOR superó consistentemente a las líneas base sólidas (incluyendo métodos de ajuste fino supervisado como SeeClick, UGround, y métodos basados en RL como GTA1). Notablemente, en el desafiante punto de referencia ScreenSpot-Pro, GUI-CURSOR (basado en UI-TARS-1.5-7B) superó al modelo líder GTA1 en un 8.1%, a pesar de utilizar significativamente menos muestras de entrenamiento (8K frente a 64K).
• Tareas Agénticas: En evaluaciones agénticas en línea en OSWorld, GUI-CURSOR logró tasas de éxito más altas con menos pasos de acción en comparación con GTA1, demostrando efectividad en escenarios realistas y diversos.
• Razonamiento Espacial:
  • Prueba Cursor-en-Caja: Una prueba personalizada reveló que los VLM estándar (incluso los ajustados finamente) luchan con la clasificación espacial simple (determinar si un cursor está dentro de una caja) y exhiben fuertes sesgos hacia el centro. GUI-CURSOR, sin entrenamiento explícito en esta tarea de clasificación, logró puntuaciones F1 significativamente más altas, lo que sugiere que su capacidad de anclaje se fundamenta en una comprensión espacial más robusta.
  • Generalización: En puntos de referencia como SPHERE y SpatialMQA, GUI-CURSOR mostró mejoras en el razonamiento y la combinación de habilidades, lo que indica que el paradigma de entrenamiento interactivo mejora las capacidades de razonamiento espacial más allá del dominio de la GUI.
• Eficiencia: El modelo aprende a realizar adaptativamente más pasos solo en ejemplos difíciles (por ejemplo, objetivos pequeños), resolviendo el 95% de las instancias en dos pasos.

Significado y Afirmaciones

El artículo afirma que el significado principal de este trabajo radica en demostrar que los bucles de retroalimentación visual son esenciales para alinear las predicciones numéricas con la realidad espacial en los VLM. Al reformular el anclaje como una tarea de búsqueda, el modelo aprende a "pensar" sobre las relaciones espaciales y corregir su trayectoria, en lugar de depender de una conjetura de un solo disparo.

Los autores afirman que este enfoque:

1. Resuelve el problema de alineación semántica espacial inherente a la predicción de un solo paso.
2. Mejora la eficiencia de los datos, logrando resultados de vanguardia con menos muestras de entrenamiento.
3. Cultiva una capacidad de razonamiento espacial más robusta que se generaliza a tareas fuera de la distribución, lo que sugiere que la capacidad de buscar objetivos de manera interactiva es un componente fundamental de la comprensión espacial en agentes multimodales.

El trabajo concluye que aprender el anclaje de GUI moviendo un cursor es una estrategia superior para desarrollar agentes que puedan navegar e interactuar eficazmente con interfaces digitales complejas.