GUI agent: Guided Exploration of User-Sensitive Screens

Resumo Técnico: Agente de GUI: Exploração Guiada de Telas Sensíveis ao Usuário

Declaração do Problema
Agentes de Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados para automatizar tarefas dentro de ambientes de Interface Gráfica do Usuário (GUI) abertos. No entanto, esses agentes inevitavelmente encontram telas que contêm informações sensíveis ao usuário (ex: dados financeiros, mensagens privadas), onde a execução autônoma acarreta riscos à privacidade e segurança. Os agentes atuais baseados em LLM de última geração são tipicamente ajustados para completar tarefas independentemente das implicações de segurança, o que dificulta sua implantação no mundo real e reduz a confiabilidade. Além disso, os fluxos de trabalho de agentes de GUI frequentemente operam em loops fechados onde as ações são irreversíveis (ex: excluir arquivos, enviar e-mails), e um único erro pode levar a falhas em cascata. Há uma necessidade crítica de identificar e categorizar estados sensíveis ao usuário e definir "consultas sensíveis ao usuário" para permitir que os agentes reconheçam quando solicitar a intervenção humana. Os métodos de exploração existentes muitas vezes carecem de cobertura rigorosa do espaço de solução ou falham em visar especificamente estados sensíveis ao usuário.

Metodologia
O artigo propõe um framework centrado em um Agente Explorador projetado para explorar sistematicamente o espaço de consultas de uma aplicação de GUI, partindo de uma única tarefa demonstrada, para identificar consultas que levam a estados sensíveis ao usuário. O framework utiliza dois modelos:

1. LM Nativo: Determina as ações durante a execução (ex: M3A).
2. LM Explorador: A principal contribuição, treinado iterativamente com o objetivo de exploração pura. Sua política determina quais nós explorar com base em recompensas derivadas da novidade e da sensibilidade do usuário dos nós.

A metodologia segue um loop de treinamento iterativo (Algoritmo 1) compreendendo três etapas principais:

• Seleção, Expansão e Saturação de Consultas:

  • O LM Explorador gera lotes de consultas ($N \times M$ episódios) baseados em uma trajetória base ($T_0$) e uma instrução.
  • Um Algoritmo de Seleção de Consulta ($A_{sel}$) filtra essas consultas. Ele calcula representações vetoriais e utiliza similaridade de cosseno para reter apenas consultas que sejam novas (baixa similaridade com o pool existente e dentro do lote) e distintas da trajetória inicial.
  • Um Algoritmo de Verificação de Saturação ($A_{sat}$) monitora o processo de geração. Ele ajusta curvas lineares e polinomiais ao número de consultas retidas por lote para detectar um ponto de inflexão onde o modelo para de gerar consultas novas, sinalizando a saturação.

• Execução com Emulador:

  • As consultas selecionadas são executadas em um emulador Android (usando a configuração SPABench).
  • O LM Nativo executa as ações, e o sistema captura capturas de tela e logs de ação.
  • Este processo gera um "banco de memória" de episódios contendo consultas, passos, descrições de tela e embeddings.

• Treinamento (Backpropagation):

  • Em vez do backpropagation padrão de MCTS, o LM Explorador é treinado usando Otimização de Política Relativa de Grupo (GRPO).
  • O objetivo de treinamento é duplo: (1) gerar passos precisos (via Ajuste Fino Supervisionado em pares de prompt-resposta) e (2) gerar consultas novas que levem a novos estados sensíveis ao usuário (via GRPO com um modelo de recompensa customizado).
  • Modelagem de Recompensa: A função de recompensa ($R$) é composta por três pontuações de novidade:
    1. Novidade da Consulta: Baseada na inércia de agrupamento K-means e índices de cluster.
    2. Novidade do Passo: Baseada na similaridade de cosseno dos passos de "propósitoDaAção" contra o banco de memória.
    3. Novidade de Categoria: Baseada na frequência de categorias de tela (especificamente sinalizando categorias "críticas" ou sensíveis).

Principais Contribuições

1. Framework de Agente Explorador: Um novo algoritmo para isolar consultas e telas sensíveis ao usuário partindo de uma única trajetória definida pelo usuário, utilizando destilação de experiência de iterações anteriores.
2. Sistema de Recompensa Baseado em Novidade: Uma função de recompensa composta que quantifica a novidade de consultas, passos e categorias de tela para guiar o agente em direção a estados não visitados e potencialmente sensíveis.
3. Detecção de Saturação: Uma abordagem algorítmica para determinar quando o espaço de exploração foi suficientemente coberto, evitando iterações de treinamento redundantes.
4. Potencial de Geração de Dataset: O método visa produzir um conjunto de dados de consultas sensíveis ao usuário para auxiliar engenheiros no reconhecimento de cenários críticos e na solicitação de intervenção do usuário.

Resultados
Os autores realizaram três rodadas de treinamento usando o modelo Qwen-2.5-32B-Instruct como o LM Explorador, enquanto modelos menores (Llama3.1-8B, Qwen2.5-3B) falharam em prosseguir além da tela inicial.

• Convergência: A recompensa total diminuiu progressivamente por ordens de magnitude (de $10^{-2}$ para $10^{-5}$) entre as rodadas, indicando uma redução do espaço de consultas e telas conforme o agente saturava o ambiente.
• Saturação: O número de consultas necessárias para atingir a saturação diminuiu significativamente entre as rodadas (160 consultas na Rodada 1, 100 na Rodada 2, 70 na Rodada 3).
• Precisão do Passo: O desvio padrão das pontuações de novidade dos passos caiu significativamente da Rodada 1 (0.0686) para as Rodadas 2 e 3 (0.0024 e ~0.0068), sugerindo que o Ajuste Fino Supervisionado (SFT) melhorou a precisão das previsões de passo.
• Ajuste de Instrução: As pontuações de novidade diminuíram conforme o número de lotes aumentava dentro de uma rodada, demonstrando que o ajuste de instrução permite a geração de consultas novas em lotes subsequentes.

Significância e Alegações
O artigo afirma fornecer um método sistemático para explorar autonomamente espaços de consulta de GUI para identificar estados sensíveis ao usuário. Argumenta-se que, ao otimizar iterativamente as políticas de exploração, o framework pode priorizar estados não visitados e melhorar a cobertura de diversidade de telas. Os autores postulam que a redução do espaço de consulta em rodadas subsequentes serve como evidência de cobertura. Sugerem que esta abordagem pode ajudar engenheiros a projetar conjuntos de dados de treinamento para fins específicos de aplicação e melhorar a segurança dos agentes de LLM ao permitir que eles reconheçam quando parar e solicitar a intervenção do usuário. O artigo conclui modestamente, observando que, embora o método seja promissor, investigações adicionais são necessárias para lidar com consultas de alta similaridade (ex: "ligar notificação" vs. "desligar notificação") e para alcançar estratégias de busca mais agressivas.