Resumo Técnico: Me-Agent

1. Definição do Problema

Agentes móveis baseados em Grandes Modelos de Linguagem (LLMs) avançaram significativamente na execução de tarefas complexas em diversos cenários de aplicação. No entanto, os agentes atuais enfrentam limitações críticas de personalização e de tratamento de instruções ambíguas. Os sistemas existentes dependem primordialmente de instruções explícitas do usuário, falhando em considerar preferências latentes ou padrões de interação histórica. Isso leva a três desafios específicos:

1. Incapacidade de interpretar instruções ambíguas: Os agentes têm dificuldade quando os usuários omitem nomes de aplicativos (ex: "Tocar Hey Jude" sem especificar "QQ Music") ou usam referências vagas (ex: "Tocar minha música favorita").
2. Falta de aprendizado com o histórico de interação: Os agentes não conseguem atualizar continuamente sua compreensão dos padrões comportamentais do usuário através de interações de múltiplos turnos.
3. Falha no tratamento de instruções personalizadas: Os agentes atuais carecem de mecanismos para processar configurações de preferência, dificultando experiências centradas no usuário.

Além disso, os métodos de personalização existentes para LLMs são inadequados para agentes móveis. Abordagens de ajuste fino (fine-tuning) são impraticáveis devido aos recursos computacionais e de armazenamento limitados do dispositivo móvel, enquanto o treinamento baseado em nuvem levanta preocupações de privacidade. Por outro lado, métodos baseados em prompts que expandem continuamente o contexto sem mecanismos de filtragem degradam a eficiência da inferência e complicam o gerenciamento de memória.

2. Metodologia: Me-Agent

Para enfrentar esses desafios, os autores propõem o Me-Agent, um framework de agente móvel personalizado, aprendível e memorável. O Me-Agent opera sem treinamento adicional de modelo (sem parâmetros) e utiliza uma abordagem de aprendizado de hábitos do usuário em dois níveis:

A. Aprendizado de Preferência do Usuário (UPL)

Inspirado no aprendizado por reforço livre de parâmetros, o UPL é um módulo sem parâmetros projetado para modelar as preferências do usuário através de um Modelo de Recompensa Pessoal. Ele opera em quatro estágios:

1. Rollout: O agente realiza $G$ rollouts independentes para uma determinada instrução para gerar trajetórias de execução diversas.
2. Recompensa: Um Modelo de Linguagem-Visão (VLM) avalia essas trajetórias com base em sequências de capturas de tela, avaliando o alcance do objetivo, a validade das etapas, a visibilidade do resultado e a detecção de erros para gerar um sinal de recompensa contínuo ($r_g \in [0, 1]$).
3. Vantagem: Um LLM analisa trajetórias bem-sucedidas e falhas para extrair experiências estruturadas em linguagem natural. Isso inclui uma fase de Crítica Comparativa que identifica insights generalizáveis em seis categorias: preferências do usuário, navegação de UI, sequências de ação, identificação de elementos, consciência de contexto e sinais de conclusão.
4. Otimização: Novas experiências são integradas a um pool de experiências ($E$) via um mecanismo de operação ($ADD, UPDATE, DELETE, KEEP$) para evitar redundância e gerenciar a decadência da memória.

B. Memória de Preferência Hierárquica (HPM)

Para resolver o transbordamento de contexto e a diluição da atenção causados pela injeção de toda a memória nos prompts, o HPM armazena o conhecimento específico de aplicativos externamente em uma hierarquia de dois níveis:

• Memória de Nível-1 ($M_{L1}$): Organizada por categorias de intenção (ex: Música, Navegação), mapeando categorias para conjuntos de aplicativos.
• Memória de Nível-2 ($M_{L2}$): Armazena dados específicos do app, incluindo fluxos de trabalho (padrões de execução de instrução, posições de elementos de UI) e preferências de conteúdo (itens específicos do usuário dentro de um app).

Mecanismo de Inferência:
Durante a execução, o Me-Agent resolve a ambiguidade em duas etapas:

1. Resolução de Aplicativo: Se a instrução carece de um aplicativo explícito, o agente infere o aplicativo alvo ($a^*$) com base nas probabilidades de preferência do usuário derivadas do pool de experiências.
2. Recuperação de Conteúdo: Para referências de conteúdo implícitas (ex: "o meu de sempre"), o agente recupera os $k$ principais candidatos da memória do aplicativo relevante com base na similaridade semântica e seleciona o conteúdo final ($c^*$) via raciocínio de LLM.
   O aplicativo resolvido, o conteúdo e as experiências relevantes são então injetados no prompt para guiar a execução.

3. Principais Contribuições

O artigo descreve quatro contribuições primárias:

1. Framework Me-Agent: Um agente móvel personalizado que se adapta às preferências do usuário via modelagem de hábito em dois níveis (níveis de prompt e memória) sem exigir atualizações de parâmetros do modelo, tornando-o adequado para implantação via API.
2. Aprendizado de Preferência do Usuário (UPL): Um módulo sem parâmetros que modela as preferências do usuário usando um Modelo de Recompensa Pessoal e acumulação de experiência estruturada.
3. Memória de Preferência Hierárquica (HPM): Uma arquitetura de memória que separa preferências gerais de longo prazo do conhecimento específico de aplicativos para mitigar o transbordamento de contexto, ao mesmo tempo que permite a modelagem comportamental contínua.
4. Benchmark User FingerTip: Um novo conjunto de dados projetado para avaliar agentes móveis no raciocínio de preferência implícita. Ele apresenta dois tipos de instruções ambíguas:
   • Tipo I (Ambiguidade de App): Omissão do nome do aplicativo (ex: "Tocar Hey Jude").
   • Tipo II (Ambiguidade de Conteúdo): Substituição de conteúdo específico por referências vagas (ex: "Tocar minha música favorita").

4. Resultados Experimentais

Os autores avaliaram o Me-Agent no benchmark User FingerTip e no E-dataset geral.

• Desempenho de Personalização (User FingerTip):
  • O Me-Agent alcançou uma Acurácia de Seleção de App (ASA) perfeita de 1.000 tanto para instruções do Tipo I quanto do Tipo II, superando significativamente os modelos de base (Mobile-Agent-v2 e Mobile-Agent-E), que tiveram dificuldades para inferir preferências sem modelagem explícita.
  • Nas instruções do Tipo II, o Me-Agent mostrou um BERTScore superior (0.725 vs. 0.549) e uma Pontuação de Preferência (PS) (0.534 vs. 0.275), demonstrando sua capacidade de inferir preferências de conteúdo.
• Desempenho de Tarefas Gerais (E-dataset):
  • O Me-Agent alcançou uma Taxa de Conclusão de Tarefa (TCR) de 89,3%, uma melhoria substancial sobre o baseline Mobile-Agent-E (63,9%) e Mobile-Agent-v2 (41,4%).
  • Manteve uma alta Fidelidade de Ação (AF) (0,861) e Precisão de Reflexão (RP) (0,978).
• Estudos de Ablação:
  • Experimentos confirmaram que o UPL e o HPM são complementares. O UPL melhorou a conclusão de tarefas ao deslocar a otimização da política para o espaço de contexto, enquanto o HPM aumentou a qualidade semântica e o alinhamento de preferência através de recuperação sob demanda.
• Robustez:
  • O framework demonstrou desempenho estável em diferentes modelos de base (GPT-4o, Claude-3.5-Sonnet, Gemini-2.5-Pro), indicando que o design modular reduz a dependência das capacidades específicas do modelo de base.

5. Significância e Limitações

Significância:
O artigo afirma que o Me-Agent representa um passo significativo em direção a agentes móveis centrados no usuário. Ao desacoplar a personalização do ajuste de parâmetros, ele oferece uma solução prática para ambientes móveis com recursos limitados. O framework preenche efetivamente a lacuna entre instruções explícitas e intenção implícita do usuário, permitindo que os agentes lidem com ambiguidades do mundo real (ex: inferir "QQ Music" para "Tocar Hey Jude" com base no histórico) sem exigir retreinamento. A introdução do User FingerTip fornece um benchmark necessário para avaliar essas capacidades de raciocínio implícito, que datasets anteriores falharam em avaliar.

Limitações:
Os autores reconhecem duas limitações principais:

1. Dinâmica de UI: O sistema depende de posições de UI e sequências de ação armazenadas de execuções bem-sucedidas. Essas experiências aprendidas podem tornar-se inválidas se a interface do aplicativo for atualizada ou se pop-ups inesperados aparecerem, potencialmente levando a falhas de execução.
2. Fatores Contextuais: A abordagem atual de personalização baseia-se principalmente em preferências históricas e padrões de comportamento. Ela ainda não incorpora fatores contextuais dinâmicos, como a localização atual do usuário ou seu estado emocional, o que pode limitar a precisão da recomendação em situações que se desviam do padrão habitual.