CoAdapt-GUI: Joint Workflow Context and Policy Adaptation for Unseen GUI Applications

Resumen Técnico: CoAdapt-GUI

Declaración del Problema
Los agentes de GUI móvil exhiben actualmente una fragilidad al ser desplegados en aplicaciones ausentes de sus datos de entrenamiento de origen. Si bien los avances recientes han mejorado el rendimiento en benchmarks establecidos, estas evaluaciones suelen asumir una colección predefinida de aplicaciones y flujos de trabajo. En un despliegue del mundo real, los agentes encuentran aplicaciones "no vistas" donde tanto los elementos de la interfaz como los procedimientos de las tareas son novedosos. Los enfoques existentes para la generalización, como el aprendizaje por refuerzo (RL) en línea sobre interacciones en el objetivo, a menudo se centran únicamente en la adaptación de la política. Sin embargo, el éxito en nuevas tareas dentro de una interfaz familiar no garantiza un comportamiento efectivo en una aplicación desconocida. Los agentes pueden fallar debido a problemas de fundamentación específicos de la interfaz o a una falta de conocimiento del flujo de trabajo procedimental (por ejemplo, condiciones de finalización, recuperación de fallos). Actualizar solo la política o solo el contexto del flujo de trabajo deja sin resolver fuentes críticas de fallo, particularmente bajo cambios de aplicación cruzados donde la experiencia de origen puede contener transferencia negativa (detalles específicos de la app) que obstaculiza la adaptación.

Metodología: CoAdapt-GUI
El artículo presenta CoAdapt-GUI, un marco de Adaptación en Tiempo de Prueba (TTA) diseñado para adaptar conjuntamente un contexto de flujo de trabajo estructurado y una política utilizando únicamente los propios rollouts de la aplicación objetivo y recompensas a nivel de tarea, sin acceso a demostraciones del objetivo o señales de evaluación retenidas.

El marco opera sobre dos estados adaptativos complementarios:

1. Contexto de Flujo de Trabajo Restringido a la Transferencia ($M_t$):

   • Separación de Preocupaciones: El sistema distingue entre el estado de origen vinculado a la app (pantallas, coordenadas, identificadores específicos) y el conocimiento procedimental transferible (procedimientos abstractos, modos de fallo, reglas de verificación).
   • Representación Fundamentada en FSM: Los flujos de trabajo de origen se representan como Máquinas de Estados Finitos (FSM). Un "sintetizador congelado" construye un estado transferible ($M_{tr}$) filtrando los detalles vinculados a la app mediante predicados de elegibilidad y validadores de esquema.
   • Revisión Fundamentada en el Objetivo: Durante la adaptación, el agente mantiene un estado separado fundamentado en el objetivo ($M_{t}^{tgt}$). Un "reflector congelado" contrasta trazas exitosas y fallidas de rollouts emparejados para proponer revisiones al contexto del flujo de trabajo. Estas revisiones se validan contra un esquema tipado (excluyendo nombres de apps, IDs de paquetes, etc.) antes de entrar en la población.
   • Recuperación: Para una tarea objetivo, el sistema recupera un contexto de flujo de trabajo de origen limitado y con elegibilidad restringida ($M_0$) y lo combina con el estado evolutivo fundamentado en el objetivo.

2. Adaptación de la Política Emparejada Tarea–Contexto:

   • Arquitectura: La política es un Modelo de Lenguaje-Visión (VLM) con un backbone congelado y un adaptador LoRA entrenable ($\theta_t$).
   • Optimización Relativa al Grupo: Para evitar la interferencia de las variaciones de contexto, las actualizaciones de la política se computan únicamente entre rollouts que comparten la misma tarea y la misma condición de contexto ($G(q, \kappa)$).
   • Objetivo: El marco utiliza un objetivo relativo al grupo (Shao et al., 2024) para actualizar los parámetros LoRA basados en ventajas ($A_j$) calculadas dentro de estos grupos emparejados. Esto asegura que la asignación de crédito refleje mejoras en la política más que diferencias en la dificultad de la tarea o la guía del contexto.

3. Bucle de Adaptación Conjunta:

   • El marco ejecuta rollouts emparejados bajo condiciones de reinicio controladas.
   • El mismo flujo de rollouts impulsa dos canales:
     • Canal de Contexto: Actualiza las calificaciones de las variantes de contexto y propone revisiones de hijos validadas.
     • Canal de Política: Actualiza el adaptador LoRA utilizando las trayectorias acumuladas, pero solo cuando existen grupos de comparación válidos de tarea–contexto.
   • Las actualizaciones están acopladas por interacción pero no son conjuntamente diferenciables; el contexto actual moldea las trayectorias para el aprendizaje de la política, mientras que la política actual genera las señales de éxito/fallo utilizadas para revisar el flujo de trabajo.

Contribuciones Clave

1. Adaptación Conjunta en el Lado del Objetivo: Un marco de TTA que actualiza estados de política y contexto de flujo de trabajo por separado utilizando únicamente interacciones autónomas de la aplicación objetivo y recompensas, eliminando la necesidad de demostraciones del objetivo.
2. Adaptación Restringida a la Transferencia: Un mecanismo que separa el conocimiento del flujo de trabajo transferible del estado de la app de origen. Coordina actualizaciones guiadas por recompensa donde las revisiones de contexto son validadas por comprobaciones de esquema, y el crédito de la política se computa estrictamente dentro de grupos emparejados de tarea–contexto.
3. Evaluación Integral: El marco se evalúa a través de dos niveles de generalización:
   • Generalización de Instancia: Nuevas instancias de plantillas de tareas conocidas (AndroidWorld-Generalization).
   • Generalización de Tipo de Tarea: Plantillas de tareas completamente nuevas dentro de aplicaciones no vistas (AndroidWorld Plus).

Resultados Experimentales
Los autores evaluaron CoAdapt-GUI frente a baselines que incluyen una Política Base, Transferencia de Contexto Estático, TTA de Solo Política y TTA de Solo Contexto.

• AndroidWorld-Generalization (Nuevas Instancias de Tarea):

  • CoAdapt-GUI logró una tasa de éxito del 45.0%.
  • Esto superó al baseline de TTA de Solo Política reportado (37.5%) por 7.5 puntos porcentuales y al de TTA de Solo Contexto (35.0%) por 10.0 puntos porcentuales.
  • La Transferencia de Contexto Estático logró un 28.75%.

• AndroidWorld Plus (Nuevas Plantillas de Tarea):

  • Este entorno probó la transferencia a tipos de tareas no vistos durante la adaptación.
  • CoAdapt-GUI elevó la tasa de éxito general de una Política Base de 38.6% a 52.9%.
  • El TTA de Solo Contexto mejoró la base al 48.1%, mientras que el TTA de Solo Política solo alcanzó el 40.0%.
  • En Apps de Categoría Compartida (donde se pudieron recuperar flujos de trabajo de origen), CoAdapt-GUI alcanzó el 70.4%.
  • En Apps de Categoría Novel (sin flujos de trabajo de origen disponibles), CoAda-GUI aún mejoró el éxito del 29.4% (Base) al 34.3%, demostrando la eficacia de la adaptación fundamentada en el objetivo incluso sin priors de origen.

Significancia y Reivindicaciones
El artículo afirma que el contexto de flujo de trabajo restringido a la transferencia proporciona ganancias sustanciales para la generalización a nuevas aplicaciones, y que la adaptación conjunta de la política mejora aún más el rendimiento en modelos retenidos. Los resultados sugieren que:

1. La Adaptación del Flujo de Trabajo es Crítica: Adaptar el contexto del flujo de trabajo por sí solo (TTA de Solo Contexto) produce mejoras significativas sobre la transferencia estática o las actualizaciones de solo política, particularmente en escenarios con nuevos tipos de tareas.
2. Sinergia de la Adaptación Conjunta: La combinación de la adaptación de contexto y de política (CoAdapt-GUI) logra el mejor rendimiento general, indicando que los dos estados son canales distintos pero complementarios para la generalización.
3. Robustez al Cambio de Origen: El marco maneja eficazmente escenarios donde los flujos de trabajo de origen no están disponibles (Apps de Categoría Novel) construyendo conocimiento fundamentado en el objetivo desde cero.

Los autores enfatizan que su enfoque evita la fuga de información utilizando conjuntos de origen y objetivo disjuntos, restringiendo las actualizaciones a la división de adaptación y congelando los estados antes de la evaluación. Concluyen que CoAdapt-GUI ofrece una vía viable para desplegar agentes de GUI que puedan adaptarse autónomamente a aplicaciones no vistas utilizando presupuestos de interacción limitados.