Resumen Técnico: VISTA (View-Consistent Self-Verified Training) para la Localización de GUI

1. Planteamiento del Problema

La localización de GUI (GUI grounding) consiste en mapear una instrucción de lenguaje natural y una captura de pantalla a una coordenada de clic precisa. Aunque trabajos recientes han aplicado la Optimización de Política Relativa de Grupo (GRPO) a esta tarea utilizando recompensas basadas en reglas de "punto en caja" (point-in-box), los autores identifican un modo de fallo crítico: la degeneración de la recompensa.

En el GRPO estándar, se extrae un grupo de ejecuciones (rollouts) a partir de una única vista de captura de pantalla fija. Esto conduce a dos escenarios problemáticos:

1. Grupos de Fallo Total (All-Fail Groups): En instancias difíciles, todas las ejecuciones muestreadas fallan en alcanzar el objetivo, lo que resulta en un grupo de recompensa cero.
2. Grupos de Éxito Total (All-Success Groups): En instancias fáciles, todas las ejecuciones alcanzan el objetivo, lo que resulta en un grupo de recompensa completa.

En ambos casos, la media del grupo ($\mu$) y la desviación estándar ($\sigma$) colapsan, produciendo una ventaja relativa ($A$) de cero para todas las muestras. Esto elimina la señal de aprendizaje. Los autores señalan que, en el GRPO de vista fija, menos del 5% de los grupos de entrenamiento son "informativos" (contienen una mezcla de éxitos y fallos). Además, debido a que las coordenadas de la GUI están estrechamente vinculadas a la geometría de la captura de pantalla, una predicción correcta en una vista puede ser incorrecta tras un recorte, incluso si el objetivo sigue siendo visible. El GRPO estándar no logra exponer estas sensibilidades geométricas porque no varía la vista de entrada dentro de un grupo de comparación.

2. Metodología: VISTA

El artículo propone VISTA (View-Consistent Self-Verified Training), un marco basado en GRPO diseñado para construir grupos de comparación informativos y estabilizar la generación de coordenadas. Consta de dos componentes principales:

A. Ejecución de Grupo con Consistencia de Vista (View-Consistent Group Rollout)

En lugar de muestrear múltiples completaciones desde una única captura de pantalla fija, VISTA construye cada grupo de GRPO a partir de múltiples vistas que preservan el objetivo de la misma instancia de GUI.

• Recortes que Preservan el Objetivo (Target-Preserving Crops): Para una tarea dada $(I, q, B)$, el sistema genera $K$ vistas recortadas. Cada recorte garantiza contener completamente la caja delimitadora (bounding box) $B$ del objetivo.
• Remapeo Exacto: Las coordenadas de la caja del objetivo se remapean geométricamente al nuevo marco de coordenadas del recorte.
• Construcción del Grupo: El modelo genera $n$ completaciones por vista (donde $K \times n = G$, el tamaño total del grupo).
• Beneficio: Esto asegura que el grupo contenga entradas semánticamente equivalentes (misma instrucción y objetivo) pero capturas de pantalla geométricamente diferentes. Esto aumenta la probabilidad de observar resultados mixtos (algunos aciertos, algunos fallos) dentro de un mismo grupo, restaurando así las ventajas relativas no nulas.

B. Ancla de Verificación Propia entre Vistas (Self-Verified Cross-View Anchor)

Si bien las ejecuciones multi-vista mejoran la exploración, pueden introducir inestabilidad en la generación de coordenadas, particularmente en vistas ambiguas. Para abordar esto sin revertir al ajuste fino supervisado (SFT) incondicional, VISTA introduce un ancla de verificación propia.

• Activación Condicional: Una respuesta de oráculo (el centro de la caja delimitadora remapeada) solo se introduce como señal de entrenamiento si la política actual ya ha producido al menos una ejecución de recompensa máxima dentro del grupo.
• Exclusión de la Línea Base: La respuesta del oráculo se excluye del cálculo de la media del grupo ($\mu_m$) y la desviación estándar ($\sigma_m$). Se trata como una señal supervisada separada.
• Mecanismo:
  • Si el grupo está "autoverificado" (una ejecución del modelo tiene éxito), el ancla se activa con una ventaja positiva derivada de la línea base de solo el modelo.
  • Si el grupo es de "fallo total" (ninguna ejecución del modelo tiene éxito), el anca no se activa. Esto evita que el modelo aprenda de un oráculo cuando aún no ha demostrado la capacidad de resolver la instancia, evitando que la señal de aprendizaje colapse hacia la imitación incondicional.

C. Objetivo de Entrenamiento

La función de pérdida final combina el objetivo de GRPO recortado (clipped) estándar para las ejecuciones generadas por el modelo con una pérdida supervisada ponderada por la ventaja para el ancla (cuando está activa):
$$\mathcal{L}_{VISTA} = -\frac{1}{G+1} \left[ \sum \ell_{clip} + \lambda_a \ell_{anchor} \right] + \beta \mathcal{L}_{KL}$$
La pérdida del ancla solo se calcula si el grupo está autoverificado, asegurando que la señal supervisada estabilice el entrenamiento solo cuando la política ya ha mostrado competencia.

3. Contribuciones Clave

1. Ejecución de Grupo con Consistencia de Vista: Una novedosa estrategia de construcción de grupos que muestrea desde múltiples vistas que preservan el objetivo de la misma instancia en lugar de una única vista fija. Esto aumenta significativamente la fracción de grupos informativos (del <5% al ~20%) y restaura la varianza de la recompensa.
2. Ancla de Verificación Propia entre Vistas: Un mecanismo de estabilización condicional que inyecta guía del oráculo solo cuando el modelo ya ha tenido éxito en al menos una vista dentro del grupo. Esto evita que el ancla desplace la línea base de GRPO o supervise grupos de "fallo total" no informativos.
3. Validación Exhaustiva: Experimentos extensos a través de cinco bancos de pruebas (ScreenSpot-Pro, ScreenSpot-V2, MMBench-L2, OSWorld-G-R, OSWorld-G) y múltiples escalas de modelos (de 4B a 30B+).

4. Resultados Experimentales

El artículo reporta mejoras consistentes en las arquitecturas base Qwen3-VL (4B, 8B, 30B-A3B) y modelos inicializados con Qwen3.5.

• Rendimiento en ScreenSpot-Pro: VISTA mejora significativamente la precisión en este banco de pruebas desafiante, que presenta objetivos pequeños e interfaces densas.
  • Qwen3-VL 4B: Mejoró de 55.5 a 63.4.
  • Qwen3-VL 8B: Mejoró de 52.7 a 65.8.
  • Qwen3-VL 30B-A3B: Mejoró de 53.7 a 67.0.
  • Qwen3.5 35B-A3B: Mejoró de 71.7 a 72.9 (comparado con GRPO estándar).
• Robustez: VISTA demuestra una mayor precisión en la peor vista (worst-view accuracy) y una menor tasa de cambio de predicción (prediction flip rate) en comparación con el GRPO estándar, lo que indica una mejor estabilidad bajo perturbaciones geométricas.
• Estudios de Ablación:
  • Eliminar el recorte con consistencia de vista (usando GRPO estándar) reduce el rendimiento.
  • Eliminar la puerta de verificación propia (usando la inyección de oráculo incondicional) degrada severamente el rendimiento (por ejemplo, reduciendo ScreenSpot-Pro de 64.3 a 57.8 en una ablación), confirmando la necesidad de la activación condicional.
  • La combinación de ambos componentes produce los mejores resultados.

5. Significado y Reivindicaciones

El artículo afirma que VISTA aborda un cuello de botella fundamental al aplicar GRPO a la localización de GUI: la falta de ventajas relativas informativas debido a la degeneración de la recompensa invariante de la vista.

• Cambio en el Foco del Diseño: Los autores argumentan que la clave para mejorar la localización de GUI con RL no es solo cómo recompensar un clic, sino cómo construir el grupo de comparación. Al variar la geometría de la vista mientras se preserva la semántica, VISTA obliga a la política a aprender una generación de coordenadas robusta en lugar de memorizar ubicaciones de píxeles específicas.
• Estabilidad sin Imitación: El ancla de verificación propia permite que el modelo se beneficie de la guía de la verdad de campo (ground-truth) sin convertir el proceso de RL en un aprendizaje de imitación incondicional, lo cual puede suprimir la exploración.
• Generalizabilidad: Se demuestra que el método es efectivo en diferentes escalas de modelos y arquitecturas base, lo que sugiere que la construcción de grupos con consistencia de vista es una señal de entrenamiento generalizable para las tareas de localización de GUI.

Los autores concluyen que VISTA mejora tanto la precisión como la robustez, particularmente en instancias difíciles donde el GRPO estándar no logra proporcionar una señal de aprendizaje. Reconocen limitaciones respecto a los conjuntos de datos mixtos de acción/rechazo y la sensibilidad de la optimización a los recortes agresivos, sugiriendo trabajos futuros en programación adaptativa.