Resumen Técnico: Agentes de Interfaz Gráfica Móvil Fieles con Estimador de Ventaja Guiado

1. Declaración del Problema

Los agentes de interfaz gráfica de usuario (GUI) basados en modelos de visión-idioma (VLM) han demostrado capacidades sólidas en la automatización de dispositivos móviles, web y de escritorio. Sin embargo, investigaciones recientes indican que estos agentes a menudo se comportan de manera infiel. Esta infidelidad se manifiesta en dos modos de fallo principales:

1. Interacción sin fundamento: Los agentes dependen de atajos memorizados o patrones superficiales en lugar de condicionar sus decisiones al estado real visible de la interfaz. Esto conduce a acciones realizadas sin verificar la pantalla actual (por ejemplo, hacer clic en un botón que está oculto o no existe).
2. Desviación de instrucciones: Los agentes se desvían de las instrucciones explícitas del usuario, particularmente cuando la instrucción entra en conflicto con el paso actual de la tarea o el estado de la interfaz, avanzando a menudo hacia interfaces no relacionadas.
3. Inconsistencia interna: Existe una discrepancia entre la traza de razonamiento del agente (pensamiento) y su acción ejecutada, donde el razonamiento implica una intención pero la acción sigue otra.

Estos fallos se ven exacerbados en entornos de recompensa dispersa típicos de las tareas de GUI, especialmente al tratar con acciones discretas y enumeradas (por ejemplo, "Botón del Sistema", "Terminar"). Los métodos estándar de Ajuste Fino por Refuerzo (RFT), como la Optimización de Políticas Relativas por Grupos (GRPO), sufren de colapso de la ventaja en estos escenarios. Cuando los grupos de despliegue bajo la misma entrada generan recompensas casi idénticas (común en resultados de baja varianza y casi binarios), la normalización dentro del grupo impulsa las ventajas hacia cero, eliminando la señal de aprendizaje necesaria para refinar comportamientos fieles como la abstención (por ejemplo, presionar "Atrás" o "Inicio" cuando falta evidencia).

2. Metodología: Agente Fiel

Los autores proponen Agente Fiel, un marco que reformula la interacción con la GUI como un problema de "prioridad a la fidelidad". El requisito central es que los agentes deben priorizar el fundamento en la evidencia (decisiones respaldadas por la interfaz y la instrucción) y la consistencia interna (acciones que coinciden con el razonamiento). Cuando falta evidencia o esta entra en conflicto, un agente fiel debe abstenerse de una ejecución especulativa.

El marco emplea una tubería de entrenamiento de dos etapas:

Etapa I: Ajuste Fino Supervisado (SFT) Orientado a la Fidelidad

• Objetivo: Inculcar comportamientos de abstención bajo perturbaciones de evidencia (por ejemplo, oclusión, manipulación de contenido, cambios de objetivo).
• Mecanismo: El modelo se entrena en un conjunto de datos que contiene tanto trayectorias generales como perturbaciones de "Trampa". En los escenarios de Trampa, se supervisa al agente para que reconozca la evidencia faltante o conflictiva y tome acciones seguras y de abstención (por ejemplo, SYSTEM_BUTTON(ATRAS), SYSTEM_BUTTON(INICIO) o TERMINAR) en lugar de adivinar.
• Resultado: Esto proporciona un "arranque en frío fiel", estabilizando el RFT posterior al reducir la exploración infiel.

Etapa II: GRPO con Estimador de Ventaja Guiado (GuAE)

• Objetivo: Amplificar aún más la fidelidad y mitigar el colapso de la ventaja bajo recompensas dispersas y casi binarias.
• Diseño de Recompensa: La función de recompensa combina:
  • Recompensa de Coincidencia de Acción ($R_{AM}$): Evalúa si la acción predicha coincide con la verdad fundamental, permitiendo crédito parcial para argumentos continuos (por ejemplo, coordenadas) pero puntuación casi binaria para acciones discretas.
  • Recompensa de Consistencia Pensamiento-Acción ($R_{Cons}$): Penaliza las discrepancias entre la traza de razonamiento intermedia y la acción ejecutada, desalentando la ejecución especulativa.
• Estimador de Ventaja Guiado (GuAE): Para abordar el cuello de botella donde las ventajas estándar de GRPO desaparecen en grupos de baja varianza, los autores introducen GuAE, que consta de dos componentes:
  1. Regularización de Anclaje: El conjunto de recompensas empíricas se aumenta con puntos de anclaje estáticos $\{0, 1\}$. Esto asegura que, incluso si todas las recompensas de despliegue son idénticas (por ejemplo, todas 0 o todas 1), las estadísticas del grupo (media y varianza) permanezcan no nulas, evitando que la ventaja colapse a cero.
  2. Temperado Adaptativo a la Varianza (VAT): Un mecanismo que escala la ventaja basándose en la dispersión del grupo en relación con una volatilidad de referencia (derivada de una distribución uniforme de máxima entropía). Agudiza las señales en grupos de baja varianza (donde las diferencias sutiles importan) y amortigua las actualizaciones ruidosas en grupos de alta varianza.

3. Contribuciones Clave

1. Definición de Fidelidad Paso a Paso: El artículo define formalmente la fidelidad como un requisito doble: fundamento en la evidencia y consistencia interna, especificando explícitamente la abstención cuando falta o entra en conflicto la evidencia clave.
2. Receta de Entrenamiento de Dos Etapas: Una tubería novedosa que combina SFT para inculcar priores de abstención y RFT basado en GRPO para reforzar la fidelidad paso a paso.
3. Estimador de Ventaja Guiado (GuAE): Un mecanismo de regularización basado en anclajes y temperado adaptativo a la varianza construido sobre GRPO. Previene el colapso de la ventaja en grupos de despliegue de baja varianza bajo recompensas de GUI dispersas, permitiendo que la política refine acciones fieles donde los optimizadores estándar fallan.
4. Recompensa de Consistencia Pensamiento-Acción: Una señal de recompensa auxiliar que alinea la intención declarada con las acciones ejecutadas, reduciendo los comportamientos especulativos.

4. Resultados Experimentales

Los autores evalúan Agente Fiel en un conjunto de datos transversal a escenarios que comprende trayectorias generales y perturbaciones controladas de "Trampa" (oclusión, manipulación de contenido, cambios de objetivo).

• Rendimiento en Escenarios de Trampa: Agente Fiel (Etapa II) supera significativamente a las líneas base fuertes (incluyendo Qwen3-VL-8B, UI-TARS y OS-Atlas). Específicamente, eleva la Tasa de Éxito en Trampa (SR) del 13.88% (línea base) al 80.21%.
• Rendimiento General: El marco preserva capacidades robustas de seguimiento de instrucciones generales, logrando una tasa de éxito general del 71.67% y manteniendo un alto rendimiento en tareas generales (no de trampa).
• Estudios de Ablación:
  • Eliminar los datos de Trampa durante el entrenamiento conduce a una caída brusca en el rendimiento de Trampa, confirmando la necesidad de una supervisión orientada a la fidelidad.
  • Reemplazar GuAE con GRPO estándar resulta en una SR de Trampa más baja (78.58% vs. 80.21%), demostrando que GuAE preserva efectivamente las señales de aprendizaje en grupos de baja varianza.
  • Añadir la recompensa de Consistencia Pensamiento-Acción ($R_{Cons}$) mejora aún más el rendimiento, particularmente en la reducción de pares pensamiento-acción contradictorios.
• Estabilidad: Los diagnósticos muestran que GRPO+GuAE mantiene magnitudes de ventaja más grandes y normas de gradiente más suaves en comparación con GRPO estándar, que sufre de un aumento en las proporciones de ventaja cercanas a cero a medida que avanza el entrenamiento.

5. Significado y Afirmaciones

El artículo afirma que Agente Fiel aborda una brecha crítica en la automatización de GUI: la tendencia de los agentes a alucinar o depender de atajos cuando la evidencia de la interfaz es ambigua o conflictiva. Al priorizar la fidelidad a través de una tubería de entrenamiento dedicada y un estimador de ventaja novedoso, el método permite a los agentes:

• Detectar y recuperarse de evidencia faltante o conflictiva (por ejemplo, presionando "Atrás" o "Inicio").
• Evitar la ejecución especulativa que conduce a errores en tareas complejas y de múltiples pasos.
• Lograr una alta fiabilidad en escenarios de "Trampa" sin sacrificar la utilidad general.

Los autores enfatizan que su enfoque cierra la brecha entre evaluar la fidelidad y entrenar activamente a los agentes para ser fieles a la evidencia subyacente. Señalan que, aunque agentes más capaces pueden ser mal utilizados, el marco incluye mecanismos de seguridad (abstención) y recomienda ejecutar agentes en entornos aislados con permisos de privilegio mínimo para mitigar riesgos de privacidad y seguridad.

El trabajo sugiere que optimizar para la fidelidad paso a paso produce resultados generales consistentemente mejores que optimizar únicamente para la finalización de tareas, particularmente en entornos de GUI dinámicos y perturbados.