Resumen Técnico: Confía en el Maestro Adecuado: Auto-destilación Consciente de la Calidad para el Grounding de GUI

1. Declaración del Problema

El grounding de interfaces gráficas de usuario (GUI) requiere que los Modelos de Lenguaje-Visión (VLM) identifiquen elementos de interfaz específicos en capturas de pantalla de alta resolución y predigan coordenadas de pantalla precisas. Esta tarea es particularmente desafiante debido al tamaño pequeño, la similitud visual y la disposición densa de los elementos objetivo.

Los métodos de post-entrenamiento existentes enfrentan limitaciones significativas en este dominio sensible a las coordenadas:

• Ajuste Fino Supervisado (SFT): Trata las coordenadas anotadas como objetivos rígidos, proporcionando poca información más allá de la respuesta final y fallando al no explotar la incertidumbre del maestro o el "conocimiento oscuro" respecto a los tokens de coordenadas plausibles.
• Aprendizaje por Refuerzo (ej., GRPO): Optimiza los resultados de la tarea, pero depende de recompensas dispersas y múltiples ejecuciones (rollouts), ofreciendo una guía débil para la localización de grano fino.
• Auto-destilación On-Policy Ingenua (OPSD): Aunque es prometedora por proporcionar señales densas a nivel de token del maestro, la OPSD ingenua no es adecuada para el grounding de GUI. En la OPSD, se consulta al maestro sobre los prefijos generados por el estudiante. Si el estudiante genera un prefijo incorrecto (una hipótesis espacial errónea), los logits subsiguientes del maestro pueden convertirse en una continuación plausible de esa coordenada incorrecta en lugar de ser una señal hacia el objetivo real. Esto conduce a señales del maestro poco fiables que degradan el rendimiento.

2. Metodología: Auto-destilación Consciente de la Calidad

Los autores proponen la Auto-destilación Consciente de la Calidad, un método que calibra la supervisión de los tokens de coordenadas aprovechando la verificabilidad espacial del grounding de GUI. El enfoque combina dos mecanismos complementarios: Puerta de Corrección Suave (Soft Correctness-Aware Gating) y Escalamiento de Probabilidad del Maestro.

2.1 Construcción de Información Privilegiada

Siguiendo trabajos previos (GUI-SD), el método construye una entrada privilegiada del maestro $(x^+, I^+)$ donde la región objetivo es resaltada visualmente y las regiones irrelevantes para la tarea son suprimidas mediante un enmascaramiento regional que preserva el diseño. El estudiante está condicionado a la entrada original $(x, I)$, mientras que el maestro está condicionado a la entrada privilegiada $(x^+, I^+)$ para generar señales.

2.2 Puerta de Corrección Suave (Soft Correctness-Aware Gating)

Este mecanismo aborda el problema de que el maestro proporcione continuaciones plausibles pero incorrectas basadas en un prefijo defectuoso del estudiante.

• Verificación: Para una posición de token de coordenada $t$, el método verifica si el token de coordenada predicho por el maestro como máximo ($d^*_t$) aún puede completarse en una coordenada válida dentro del intervalo de la caja delimitadora de la verdad de campo (ground-truth) ($B_{a(t)}$) dado el prefijo actual generado por el estudiante.
• Indicador Binario: Un indicador binario $h_t$ se establece en 1 si la completación es posible (compatible) y en 0 de lo contrario (incompatible).
• Puerta Suave: En lugar de descartar las señales incompatibles por completo (puerta dura), el método aplica una puerta suave $g_t = \alpha + (1-\alpha)h_t$.
  • Si es compatible ($h_t=1$), $g_t = 1$.
  • Si es incompatible ($h_t=0$), $g_t = \alpha$ (establecido en 0.5 en los experimentos).
  • Esto reduce el peso de las señales no fiables en lugar de eliminarlas, preservando la información correctiva potencialmente útil mientras se reduce la influencia negativa.

2.3 Escalamiento de Probabilidad del Maestro

La puerta de corrección por sí sola no tiene en cuenta la confianza del maestro. Dos señales pueden pasar la puerta, pero una puede ser altamente confiable mientras que la otra está cerca de un límite de decisión.

• Factor de Escalamiento: El método utiliza la probabilidad del maestro de la predicción del token de coordenada máximo, $p_t = P^t_T(d^*_t)$, como un factor de escalamiento.
• Mecanismo: Una $p_t$ más alta (mayor confianza) resulta en un peso de destilación más fuerte, mientras que una $p_t$ más baja (mayor incertidumbre) suaviza la señal. Esto asegura que incluso las señales espacialmente compatibles sean ponderadas según su fiabilidad.

2.4 Objetivo Reverse-KL Ponderado

La función de pérdida final combina estos factores en un peso a nivel de token $w_t$:
$$w_t = (1 - r_t) + r_t \cdot g_t \cdot \lambda \cdot p_t$$
Donde $r_t$ es un indicador para los tokens de coordenada, $\lambda$ es un coeficiente de escala (establecido en 3), y $g_t$ es la puerta suave.

• Los tokens que no son de coordenada se destilan con un peso de 1.
• Los tokens de coordenada compatibles se ponderan por $\lambda p_t$.
• Los tokens de coordenada incompatibles se ponderan por $\alpha \lambda p_t$.

3. Contribuciones Clave

1. Auto-destilación Consciente de la Calidad: Un método novedoso para el grounding de GUI que calibra las señales del maestro basándose en su fiabilidad (compatibilidad espacial) y certeza (probabilidad), en lugar de tratar todas las señales del maestro como igualmente dignas de confianza.
2. Estudio Empírico de la Fiabilidad de la Señal: El artículo utiliza la naturaleza espacialmente verificable del grounding de GUI para estudiar empíricamente cómo deben tratarse las señales no fiables del maestro en la auto-destilación on-policy, demostrando que una estrategia de reducción de peso suave es superior al descarte duro o la imitación ciega.
3. Mecanismos Complementarios: Los autores demuestran que ni la puerta suave ni el escalamiento de probabilidad por sí solos mejoran el rendimiento; su combinación es necesaria. La puerta suprime las señales no fiables, mientras que el escalamiento calibra la fuerza de las señales fiables restantes.

4. Resultados Experimentales

Los experimentos se realizaron en seis benchmarks de grounding de GUI (ScreenSpot-Pro, ScreenSpot-v2, UIEG, OSWorld-G, OSWorld-G-R y MMG) utilizando Qwen3.5-9B como columna vertebral (backbone).

• Rendimiento: El método propuesto logró un promedio macro de precisión de 72.23, superando al baseline más fuerte (GUI-SD) por 2.16 puntos.
• Comparaciones: Superó significativamente a SFT (+4.14 puntos) y GRPO (+6.37 puntos), así como a la Naive-OPSD y al baseline Vision-PV-Only.
• Estudios de Ablación:
  • Sinergia de Componentes: El uso de solo la puerta o solo el escalamiento resultó en un rendimiento inferior al del baseline, confirmando sus roles complementarios.
  • Fuerza de la Puerta: La puerta suave ($\alpha=0.5$) superó a la puerta dura ($\alpha=0$), lo que sugiere que el descarte completo de las señales de puerta fallida elimina la guía correctiva valiosa.
  • Coeficiente de Escalamiento: Un coeficiente de escalamiento $\lambda=3$ produjo resultados óptimos, equilibrando la supresión de señales no fiables con la necesidad de una supervisión suficiente en los tokens fiables.

5. Significado y Reivindicaciones

El artículo sostiene que la verificabilidad espacial es una señal crítica y subutilizada para mejorar la fiabilidad de la señal del maestro en la auto-destilación. A diferencia de las tareas generales de predicción de tokens donde la fiabilidad se infiere a través de proxies indirectos (entropía, perplejidad), el grounding de GUI permite la verificación directa de si una predicción sigue siendo factible dadas las restricciones de la verdad de campo.

Los autores argumentan que su método representa un cambio de la "imitación ciega" a la "imitación digna de confianza". Al reducir el peso de forma suave y escalar las señales del maestro basándose en su compatibilidad con la región objetivo y la confianza del maestro, el método mitiga el riesgo de reforzar hipótesis espaciales incorrectas mientras preserva las señales de aprendizaje densas y de grano fino que hacen efectiva la auto-destilación. El trabajo sugiere que, para tareas con restricciones verificables, las estrategias de destilación conscientes de la fiabilidad pueden mejorar significativamente el rendimiento del modelo sin requerir configuraciones complejas de aprendizaje por refuerzo.