Resumo Técnico: Agentes de Interface Gráfica Móvel Fiéis com Estimador de Vantagem Guiado

1. Declaração do Problema

Agentes de interface gráfica (GUI) baseados em modelos de visão e linguagem (VLM) demonstraram capacidades robustas na automação de dispositivos móveis, web e desktop. No entanto, pesquisas recentes indicam que esses agentes frequentemente se comportam de forma pouco fiel. Essa infidelidade manifesta-se em dois modos de falha principais:

1. Interação Desancorada: Agentes dependem de atalhos memorizados ou padrões superficiais, em vez de condicionarem suas decisões ao estado real visível da interface. Isso leva a ações executadas sem verificar a tela atual (por exemplo, clicar em um botão que está oculto ou inexistente).
2. Desvio de Instrução: Agentes afastam-se das instruções explícitas do usuário, particularmente quando a instrução entra em conflito com a etapa atual da tarefa ou o estado da interface, frequentemente avançando para interfaces não relacionadas.
3. Inconsistência Interna: Há uma incompatibilidade entre o rastro de raciocínio do agente (pensamento) e sua ação executada, onde o raciocínio implica uma intenção, mas a ação segue outra.

Essas falhas são exacerbadas em ambientes de recompensa esparsa típicos de tarefas de GUI, especialmente ao lidar com ações discretas e enumeradas (por exemplo, "Botão do Sistema", "Terminar"). Métodos padrão de Ajuste Fino por Reforço (RFT), como a Otimização de Política Relativa por Grupos (GRPO), sofrem de colapso de vantagem nesses cenários. Quando grupos de execução sob a mesma entrada produzem recompensas quase idênticas (comum em resultados de baixa variância, quase binários), a normalização dentro do grupo leva as vantagens a zero, eliminando o sinal de aprendizado necessário para refinar comportamentos fiéis, como a abstenção (por exemplo, pressionar "Voltar" ou "Início" quando há evidências faltantes).

2. Metodologia: Agente-Fiel

Os autores propõem o Agente-Fiel, um quadro que reformula a interação com GUI como um problema de "fidelidade em primeiro lugar". O requisito central é que os agentes priorizem a ancoragem em evidências (decisões apoiadas pela interface e instrução) e a consistência interna (ações correspondentes ao raciocínio). Quando evidências estão faltando ou em conflito, um agente fiel deve abster-se de execução especulativa.

O quadro emprega um pipeline de treinamento em duas etapas:

Etapa I: Ajuste Fino Supervisionado Orientado à Fidelidade (SFT)

• Objetivo: Incutir comportamentos de abstenção sob perturbações de evidências (por exemplo, oclusão, adulteração de conteúdo, mudanças de objetivo).
• Mecanismo: O modelo é treinado em um conjunto de dados contendo tanto trajetórias gerais quanto perturbações "Armadilha". Em cenários de Armadilha, o agente é supervisionado para reconhecer evidências faltantes ou conflitantes e tomar ações seguras e abstenidas (por exemplo, SYSTEM_BUTTON(VOLTAR), SYSTEM_BUTTON(INÍCIO) ou TERMINAR) em vez de adivinhar.
• Resultado: Isso fornece um "início frio fiel", estabilizando o RFT subsequente ao reduzir a exploração infiel.

Etapa II: GRPO com Estimador de Vantagem Guiado (GuAE)

• Objetivo: Amplificar ainda mais a fidelidade e mitigar o colapso de vantagem sob recompensas esparsas e quase binárias.
• Design de Recompensa: A função de recompensa combina:
  • Recompensa de Correspondência de Ação ($R_{AM}$): Avalia se a ação prevista corresponde à verdade fundamental, permitindo crédito parcial para argumentos contínuos (por exemplo, coordenadas), mas pontuação quase binária para ações discretas.
  • Recompensa de Consistência Pensamento-Ação ($R_{Cons}$): Penaliza incompatibilidades entre o rastro de raciocínio intermediário e a ação executada, desencorajando a execução especulativa.
• Estimador de Vantagem Guiado (GuAE): Para abordar o gargalo onde as vantagens padrão do GRPO desaparecem em grupos de baixa variância, os autores introduzem o GuAE, que consiste em dois componentes:
  1. Regularização de Âncora: O conjunto de recompensas empíricas é aumentado com pontos de âncora estáticos $\{0, 1\}$. Isso garante que, mesmo que todas as recompensas de execução sejam idênticas (por exemplo, todas 0 ou todas 1), as estatísticas do grupo (média e variância) permaneçam não nulas, impedindo que a vantagem colapse para zero.
  2. Temperamento Adaptativo à Variância (VAT): Um mecanismo que escala a vantagem com base na dispersão do grupo em relação a uma volatilidade de referência (derivada de uma distribuição uniforme de máxima entropia). Ele afina sinais em grupos de baixa variância (onde diferenças sutis importam) e atenua atualizações ruidosas em grupos de alta variância.

3. Contribuições Principais

1. Definição de Fidelidade Passo a Passo: O artigo define formalmente a fidelidade como um requisito duplo: ancoragem em evidências e consistência interna, especificando explicitamente a abstenção quando evidências-chave estão faltando ou em conflito.
2. Receita de Treinamento em Duas Etapas: Um pipeline inovador que combina SFT para incutir priores de abstenção e RFT baseado em GRPO para reforçar a fidelidade passo a passo.
3. Estimador de Vantagem Guiado (GuAE): Um mecanismo de temperamento baseado em âncora e adaptativo à variância construído sobre o GRPO. Ele previne o colapso de vantagem em grupos de execução de baixa variância sob recompensas esparsas de GUI, permitindo que a política refine ações fiéis onde otimizadores padrão falham.
4. Recompensa de Consistência Pensamento-Ação: Um sinal de recompensa auxiliar que alinha a intenção declarada com as ações executadas, reduzindo comportamentos especulativos.

4. Resultados Experimentais

Os autores avaliam o Agente-Fiel em um conjunto de dados de cenários cruzados compreendendo trajetórias gerais e perturbações "Armadilha" controladas (oclusão, adulteração de conteúdo, mudanças de objetivo).

• Desempenho em Cenários de Armadilha: O Agente-Fiel (Etapa II) supera significativamente bases fortes (incluindo Qwen3-VL-8B, UI-TARS e OS-Atlas). Especificamente, eleva a Taxa de Sucesso em Armadilha (SR) de 13,88% (linha de base) para 80,21%.
• Desempenho Geral: O quadro preserva capacidades robustas de seguimento geral de instruções, alcançando uma taxa de sucesso geral de 71,67% e mantendo alto desempenho em tarefas gerais (não armadilha).
• Estudos de Ablação:
  • Remover os dados de Armadilha durante o treinamento leva a uma queda acentuada no desempenho em Armadilha, confirmando a necessidade de supervisão orientada à fidelidade.
  • Substituir o GuAE pelo GRPO padrão resulta em uma SR de Armadilha menor (78,58% vs. 80,21%), demonstrando que o GuAE preserva efetivamente os sinais de aprendizado em grupos de baixa variância.
  • Adicionar a recompensa de Consistência Pensamento-Ação ($R_{Cons}$) melhora ainda mais o desempenho, particularmente na redução de pares pensamento-ação contraditórios.
• Estabilidade: Diagnósticos mostram que GRPO+GuAE mantém magnitudes de vantagem maiores e normas de gradiente mais suaves em comparação com o GRPO puro, que sofre de taxas crescentes de vantagem próxima a zero à medida que o treinamento progride.

5. Significado e Alegações

O artigo alega que o Agente-Fiel aborda uma lacuna crítica na automação de GUI: a tendência dos agentes de alucinar ou depender de atalhos quando a evidência da interface é ambígua ou conflitante. Ao priorizar a fidelidade por meio de um pipeline de treinamento dedicado e um estimador de vantagem inovador, o método permite que os agentes:

• Detectem e se recuperem de evidências faltantes ou conflitantes (por exemplo, pressionando "Voltar" ou "Início").
• Evitem a execução especulativa que leva a erros em tarefas complexas e multi-etapa.
• Alcançem alta confiabilidade em cenários de "Armadilha" sem sacrificar a utilidade geral.

Os autores enfatizam que sua abordagem preenche a lacuna entre avaliar a fidelidade e treinar ativamente agentes para serem fiéis às evidências subjacentes. Eles observam que, embora agentes mais capazes possam ser mal utilizados, o quadro inclui mecanismos de segurança (abstenção) e recomenda executar agentes em ambientes isolados (sandbox) com permissões de menor privilégio para mitigar riscos de privacidade e segurança.

O trabalho sugere que a otimização para fidelidade passo a passo produz resultados gerais consistentemente melhores do que a otimização apenas para conclusão de tarefas, particularmente em ambientes de GUI dinâmicos e perturbados.