UI-Zoomer: Uncertainty-Driven Adaptive Zoom-In for GUI Grounding

1. El Problema

El Grounding de GUI (anclaje de interfaces gráficas) consiste en localizar elementos de una interfaz a partir de una captura de pantalla y una instrucción en lenguaje natural. Aunque los modelos de lenguaje visuales (VLM) han avanzado, siguen fallando sistemáticamente en iconos pequeños y diseños densos debido a la falta de resolución en el paso de inferencia estándar.

Las soluciones existentes de "zoom-in" en tiempo de prueba (test-time) presentan dos limitaciones fundamentales:

1. Corte indiscriminado: Aplican el zoom a todas las instancias o solo tras errores de ejecución, ignorando si el modelo realmente tiene incertidumbre en ese caso específico. Esto degrada la precisión en casos fáciles al perder el contexto global y aumenta la latencia innecesariamente.
2. Rigidez en el tamaño: Utilizan ratios de recorte fijos predeterminados, sin adaptar el tamaño de la ventana de recorte a la dispersión real de las predicciones del modelo (ya sea demasiado amplia o demasiado estrecha).

2. Metodología: UI-Zoomer

UI-Zoomer es un marco de trabajo libre de entrenamiento (training-free) que trata tanto el disparador (trigger) como la escala del zoom como un problema de cuantificación de incertidumbre de la predicción. El proceso consta de tres etapas:

A. Muestreo Global Multi-estocástico (Stage 1)

El modelo genera $N$ candidatos estocásticos (cajas delimitadoras) a partir de la imagen original con una temperatura alta ($T=0.9$) para capturar la diversidad de predicciones. Se calcula una puntuación de confianza basada en la probabilidad de los tokens generados.

B. Puerta de Confiabilidad (Reliability Gating) (Stage 2)

Se define un mecanismo de decisión para determinar si se necesita un zoom. Se fusionan dos señales complementarias:

1. Consenso Espacial ($C_{spatial}$): La media del IoU (Intersección sobre Unión) entre pares de candidatos. Mide la dispersión posicional.
2. Confianza Promedio de Tokens ($\bar{c}$): La confianza geométrica media de los tokens de coordenadas.

Se calcula una puntuación de puerta $S = C_{spatial} + \bar{c}$.

• Si $S > \tau$ (umbral): El modelo es confiable. Se selecciona el candidato ganador mediante votación por consenso y se finaliza la inferencia.
• Si $S \le \tau$: El modelo es incierto. Se activa el Stage 3 para realizar un zoom adaptativo.

C. Recorte Adaptativo Guiado por Incertidumbre (Stage 3)

Cuando se activa el zoom, el tamaño de la ventana de recorte no es fijo, sino que se deriva de la varianza de los candidatos:

1. Filtrado de Outliers: Se descartan los candidatos más alejados de la mediana (se retiene el 75% más cercano) para evitar que predicciones erráticas inflen la varianza.
2. Descomposición de Varianza: Se aplica la ley de la varianza total para calcular el radio del recorte:
   • Varianza Inter-muestra ($v_{inter}$): Dispersión posicional entre los centros de las cajas (indica desacuerdo sobre dónde está el objeto).
   • Varianza Intra-muestra ($v_{intra}$): Extensión de las cajas individuales (indica el tamaño estimado del objeto).
   • El radio del recorte se calcula como $r = \gamma \sqrt{v_{inter} + v_{intra}}$.
3. Ejecución: Se recorta la imagen según esta ventana adaptativa, se redimensiona y se realiza una única inferencia determinista (T=0) para obtener la predicción final refinada, la cual se mapea de nuevo a las coordenadas globales.

3. Contribuciones Clave

1. Marco UI-Zoomer: Un enfoque de escalado en tiempo de prueba que formula el "cuándo" y "cuánto" hacer zoom basándose en la cuantificación de la incertidumbre del modelo, sin requerir reentrenamiento.
2. Mecanismo de Puerta y Tamaño Adaptativo:
   • Una puerta que evita el cómputo innecesario dirigiendo solo los casos inciertos al refinamiento.
   • Un módulo de dimensionamiento basado en descomposición de varianza (Gaussiana) que ajusta dinámicamente el tamaño del recorte según la dispersión de las predicciones.
3. Validación Empírica: Demostración de mejoras consistentes en múltiples arquitecturas y benchmarks, superando a métodos de corte fijo y muestreo ingenuo.

4. Resultados Experimentales

El método se evaluó en tres benchmarks principales: ScreenSpot-Pro, UI-Vision y ScreenSpot-v2, utilizando modelos base como Qwen2.5-VL, UI-Venus y GUI-G2.

• Mejoras de Precisión: UI-Zoomer logró mejoras consistentes sobre las líneas base más fuertes:
  • +13.4% en ScreenSpot-Pro.
  • +10.3% en UI-Vision.
  • +4.2% en ScreenSpot-v2.
• Eficiencia: A diferencia de métodos iterativos que recortan múltiples veces, UI-Zoomer suele requerir solo una pasada de recorte (o ninguna si la puerta lo permite), manteniendo costos de tiempo bajos.
• Análisis de Casos: Las mejoras son más pronunciadas en objetivos de iconos que en texto, confirmando que los elementos compactos y semánticamente ambiguos se benefician más del refinamiento de alta resolución.
• Comparativa: Supera significativamente a métodos previos como DiMo-GUI (zoom fijo) y RegionFocus, y compite favorablemente con modelos entrenados mediante Refuerzo (RL) sin necesidad de entrenamiento adicional.

5. Significado e Impacto

El trabajo establece un nuevo principio para el escalado en tiempo de prueba en GUI: "Solo hacer zoom cuando hay incertidumbre, y hacer zoom en la medida en que las predicciones no están de acuerdo".

UI-Zoomer demuestra que la incertidumbre espacial implícita en los VLMs puede ser explotada de manera eficiente para mejorar la localización sin los costos computacionales masivos de los métodos iterativos o las limitaciones de los enfoques de recorte fijo. Esto es crucial para el desarrollo de agentes autónomos de GUI que operan en entornos reales complejos y densos, donde la precisión milimétrica es esencial.