CoAdapt-GUI: Joint Workflow Context and Policy Adaptation for Unseen GUI Applications

Resumo Técnico: CoAdapt-GUI

Definição do Problema
Agentes de GUI móvel exibem atualmente fragilidade quando implantados em aplicações ausentes de seus dados de treinamento de origem. Embora avanços recentes tenham melhorado o desempenho em benchmarks estabelecidos, essas avaliações frequentemente assumem uma coleção predefinida de aplicações e fluxos de trabalho. Em implantações no mundo real, os agentes encontram aplicações "não vistas", onde tanto os elementos da interface quanto os procedimentos de tarefas são novos. As abordagens existentes de generalização, como o aprendizado por reforço (RL) online em interações de destino, focam apenas na adaptação da política. O sucesso em novas tarefas dentro de uma interface familiar não garante um comportamento eficaz em uma aplicação unfamiliar. Os agentes podem falhar devido a problemas de ancoragem específicos da interface ou à falta de conhecimento do fluxo de trabalho procedimental (ex: condições de conclusão, recuperação de falhas). Atualizar apenas a política ou apenas o contexto do fluxo de trabalho deixa fontes críticas de falha sem resolução, particularmente sob mudanças de aplicação cruzada, onde a experiência de origem pode conter transferência negativa (detalhes específicos do app) que impede a adaptação.

Metodologia: CoAdapt-GUI
O artigo apresenta o CoAdapt-GUI, um framework de Adaptação em Tempo de Teste (TTA) projetado para adaptar conjuntamente um contexto de fluxo de trabalho estruturado e uma política usando apenas os próprios rollouts da aplicação de destino e recompensas de nível de tarefa, sem acesso a demonstrações de destino ou sinais de avaliação retidos.

O framework opera em dois estados adaptativos complementares:

1. Contexto de Fluxo de Trabalho com Restrição de Transferência ($M_t$):

   • Separação de Preocupações: O sistema distingue entre o estado de origem vinculado ao app (telas, coordenadas, identificadores específicos) e o conhecimento procedimental transferível (procedimentos abstratos, modos de falha, regras de verificação).
   • Representação Ancorada em FSM: Os fluxos de trabalho de origem são representados como Máquinas de Estados Finitos (FSMs). Um "sintetizador congelado" constrói um estado transferível ($M_{tr}$) filtrando detalhes vinculados ao app via predicados de elegibilidade e validadores de esquema.
   • Revisão Ancorada no Destino: Durante a adaptação, o agente mantém um estado separado ancorado no destino ($M_{t}^{tgt}$). Um "refletor congelado" contrasta traços bem-sucedidos e falhos de rollouts correspondentes para propor revisões ao contexto do fluxo de trabalho. Essas revisões são validadas contra um esquema tipado (excluindo nomes de apps, IDs de pacotes, etc.) antes de entrarem na população.
   • Recuperação: Para uma tarefa de destino, o sistema recupera o contexto de fluxo de trabalho de origem limitado e com restrição de elegibilidade ($M_0$) e o combina com o estado evolutivo ancorado no destino.

2. Adaptação de Política Casada com Tarefa–Contexto:

   • Arquitetura: A política é um Modelo de Linguagem Visual (VLM) com um backbone congelado e um adaptador LoRA treinável ($\theta_t$).
   • Otimização Relativa ao Grupo: Para evitar interferência de variações de contexto, as atualizações da política são computadas apenas entre rollouts que compartilham a mesma tarefa e a mesma condição de contexto ($G(q, \kappa)$).
   • Objetivo: O framework utiliza um objetivo relativo ao grupo (Shao et al., 2024) para atualizar os parâmetros LoRA com base em vantagens ($A_j$) calculadas dentro desses grupos correspondentes. Isso garante que a atribuição de crédito reflita melhorias na política, em vez de diferenças na dificuldade da tarefa ou na orientação do contexto.

3. Loop de Adaptação Conjunta:

   • O framework executa rollouts correspondentes sob condições de reset controladas.
   • O mesmo fluxo de rollouts impulsiona dois canais:
     • Canal de Contexto: Atualiza classificações de variantes de contexto e propõe revisões de filhos validadas.
     • Canal de Política: Atualiza o adaptador LoRA usando as trajetórias acumuladas, mas apenas quando existem grupos de comparação tarefa–contexto válidos.
   • As atualizações são acopladas por interação, mas não são conjuntamente diferenciáveis; o contexto atual molda as trajetórias para o aprendizado da política, enquanto a política atual gera os sinais de sucesso/falha usados para revisar o fluxo de trabalho.

Principais Contribuições

1. Adaptação Conjunta do Lado do Destino: Um framework de TTA que atualiza estados separados de contexto de fluxo de trabalho e política usando apenas interações e recompensas autônomas do destino, eliminando a necessidade de demonstrações de destino.
2. Adaptação com Restrição de Transferência: Um mecanismo que separa o conhecimento de fluxo de trabalho transferível do estado de origem vinculado ao app. Ele coordena atualizações guiadas por recompensa onde as revisões de contexto são validadas por verificações de esquema, e o crédito da política é estritamente computado dentro de grupos de tarefa–contexto correspondentes.
3. Avaliação Abrangente: O framework é avaliado em dois níveis de generalização:
   • Generalização de Instância: Novas instâncias de templates de tarefas conhecidas (AndroidWorld-Generalization).
   • Generalização de Tipo de Tarefa: Templates de tarefas inteiramente novos dentro de apps não vistos (AndroidWorld Plus).

Resultados Experimentais
Os autores avaliaram o CoAdapt-GUI contra baselines incluindo uma Política Base, Transferência de Contexto Estático, TTA de Apenas Política e TTA de Apenas Contexto.

• AndroidWorld-Generalization (Novas Instâncias de Tarefas):

  • O CoAdapt-GUI alcançou uma taxa de sucesso de 45,0%.
  • Isso superou o baseline de TTA de Apenas Política reportado (37,5%) em 7,5 pontos percentuais e o de TTA de Apenas Contexto (35,0%) em 10,0 pontos percentuais.
  • A Transferência de Contexto Estático alcançou 28,75%.

• AndroidWorld Plus (Novos Templates de Tarefas):

  • Este cenário testou a transferência para tipos de tarefas não vistos durante a adaptação.
  • O CoAdapt-GUI elevou a taxa de sucesso geral de uma Política Base de 38,6% para 52,9%.
  • O TTA de Apenas Contexto melhorou a base para 48,1%, enquanto o TTA de Apenas Política atingiu apenas 40,0%.
  • Em Apps com Categoria Compartilhada (onde fluxos de trabalho de origem podiam ser recuperados), o CoAdapt-GUI alcançou 70,4%.
  • Em Apps de Categoria Nova (sem fluxos de trabalho de origem disponíveis), o CoAdapt-GUI ainda melhorou o sucesso de 29,4% (Base) para 34,3%, demonstrando a eficácia da adaptação ancorada no destino mesmo sem priors de origem.

Significância e Alegações
O artigo alega que o contexto de fluxo de trabalho com restrição de transferência fornece ganhos substanciais para a generalização de novos apps, e que a adaptação conjunta da política melhora ainda mais o desempenho em dados retidos. Os resultados sugerem que:

1. A Adaptação de Fluxo de Trabalho é Crítica: Adaptar o contexto do fluxo de trabalho sozinho (TTA de Apenas Contexto) produz melhorias significativas sobre a transferência estática ou atualizações de apenas política, particularmente em cenários com novos tipos de tarefas.
2. Sinergia da Adaptação Conjunta: A combinação de adaptação de contexto e política (CoAdapt-GUI) atinge o melhor desempenho geral, indicando que os dois estados são canais distintos, mas complementares, para a generalização.
3. Robustez à Mudança de Origem: O framework lida efetivamente com cenários onde fluxos de trabalho de origem não estão disponíveis (Apps de Categoria Nova) ao construir conhecimento ancorado no destino do zero.

Os autores enfatizam que sua abordagem evita o vazamento de informações usando pools de origem e destino disjuntos, restringindo as atualizações à divisão de adaptação e congelando estados antes da avaliação. Eles concluem que o CoAdapt-GUI oferece um caminho viável para implantar agentes de GUI que podem se adaptar autonomamente a aplicações não vistas usando orçamentos de interação limitados.