Mobile GUI Agent Privacy Personalization with Trajectory Induced Preference Optimization

1. Problema e Motivação

Os agentes de Interface Gráfica do Usuário (GUI) móveis, impulsionados por Modelos de Linguagem Multimodal (MLLMs), têm avançado na execução de tarefas complexas em dispositivos móveis. No entanto, a maioria dos sistemas existentes foca apenas na taxa de sucesso da tarefa ou na eficiência, negligenciando a personalização baseada nas preferências do usuário, especificamente em relação à privacidade.

• O Desafio da Heterogeneidade Estrutural: Diferentes perfis de usuários (ex.: "Privacidade-Primeiro" vs. "Utilidade-Primeiro") não apenas escolhem ações diferentes, mas geram trajetórias de execução estruturalmente heterogêneas.
  • Exemplo: Um usuário focado em privacidade pode negar permissões, usar modo anônimo ou fazer logout após a tarefa, enquanto um usuário focado em utilidade pode aceitar permissões padrão e manter o login.
  • Isso resulta em trajetórias de comprimentos variáveis e estruturas lógicas distintas para a mesma tarefa.
• Limitação dos Métodos Atuais: Técnicas de otimização de preferência padrão, como o DPO (Direct Preference Optimization), assumem que as trajetórias comparadas são homogêneas e alinhadas passo a passo. Quando aplicadas a trajetórias de tamanhos diferentes, o DPO precisa usar preenchimento (padding) para alinhar os comprimentos. Isso introduz "ruído semântico" (passos de preenchimento que não carregam informação real) e dilui os sinais de gradiente, tornando o aprendizado de preferências instável e pouco informativo.

2. Metodologia: TIPO (Trajectory Induced Preference Optimization)

Para resolver a heterogeneidade estrutural e o ruído de alinhamento, os autores propõem o TIPO, um método de otimização de preferência projetado especificamente para trajetórias variáveis. O TIPO melhora o aprendizado através de dois mecanismos principais:

A. Definição do Problema

O problema é definido como uma seleção de trajetória personalizada. Dada uma tarefa e um estado inicial, o agente deve escolher uma trajetória que seja viável para a tarefa, mas que também esteja alinhada com a "persona" de privacidade do usuário (ex.: Privacy-first ou Utility-first). O conjunto de dados criado contém pares de trajetórias (preferida vs. rejeitada) para a mesma tarefa sob diferentes personas.

B. Mecanismos do TIPO

O método decompõe a otimização de nível de trajetória em sinais de preferência de nível de passo, aplicando duas melhorias:

1. Pesagem por Intensidade de Preferência (Preference-Intensity Weighting):

   • Nem todos os passos em uma trajetória são igualmente importantes para a distinção da persona. Passos críticos (ex.: negar permissão) são raros, enquanto passos neutros são comuns.
   • O TIPO atribui um peso $\alpha_t$ a cada par de passos alinhados. Esse peso é calculado com base na diferença de pontuação entre as ações da trajetória preferida e a rejeitada.
   • Objetivo: Amplificar o sinal de gradiente nos passos críticos relacionados à privacidade, evitando que sejam ofuscados pelos passos neutros.

2. Portão de Preenchimento (Padding Gating):

   • Para alinhar trajetórias de comprimentos diferentes, passos de preenchimento (no_action) são inseridos. Esses passos não contêm informação real de preferência.
   • O TIPO introduz um mecanismo de portão $m_t$ que define o peso como zero se o passo escolhido for um preenchimento (no_action).
   • Objetivo: Suprimir o ruído e os gradientes inválidos introduzidos pelo alinhamento artificial, impedindo que o modelo aprenda padrões de preenchimento como preferências reais.

A função de perda final do TIPO combina esses dois mecanismos, focando apenas nos passos semânticos relevantes e críticos para a persona.

3. Contribuições Principais

1. Definição de Personalização como Seleção de Trajetória: O artigo redefine a personalização de agentes GUI móveis não apenas como a escolha de conteúdo, mas como a seleção de uma trajetória de execução estruturalmente consistente com a persona do usuário.
2. Dataset de Preferência de Privacidade: Os autores construíram um novo dataset contendo 151 tarefas em 8 categorias (compras, pagamentos, navegação, etc.), com trajetórias pareadas coletadas de humanos simulando personas Privacy-first e Utility-first. O dataset destaca a heterogeneidade estrutural e de comprimento das trajetórias.
3. Algoritmo TIPO: Proposição de um novo método de otimização que lida com a heterogeneidade estrutural através da pesagem de intensidade e do portão de preenchimento, superando as limitações do DPO padrão neste contexto.

4. Resultados Experimentais

Os experimentos foram conduzidos no dataset proposto, utilizando o modelo base Qwen2.5VL-3B e comparando o TIPO com métodos baselines como DPO, ORPO, CPO, SimPO e IPO.

• Desempenho Geral: O TIPO alcançou a melhor taxa de sucesso geral (SR = 65,60%), mantendo a executabilidade da tarefa enquanto realizava o alinhamento de persona.
• Aderência à Persona (Compliance): O TIPO superou significativamente os outros métodos na aderência às preferências de privacidade, alcançando uma pontuação de Compliance de 46,22% (vs. 31,94% do DPO).
• Distinção de Persona (PD): O TIPO demonstrou a melhor capacidade de gerar trajetórias logicamente distintas para diferentes personas, com uma pontuação de PD de 66,67% (vs. 59,26% do DPO).
• Estudo de Ablação: A remoção de qualquer um dos componentes (pesagem ou portão) resultou em degradação de desempenho, confirmando que ambos são complementares e essenciais para lidar com a esparsidade dos passos críticos e o ruído de alinhamento.

5. Significado e Implicações

• Avanço Técnico: O trabalho demonstra que a otimização de preferência padrão (DPO) é insuficiente para cenários onde as preferências do usuário alteram a estrutura fundamental da execução (comprimento e lógica da trajetória). O TIPO oferece uma solução robusta para esse problema de heterogeneidade.
• Aplicabilidade Prática: Para desenvolvedores de agentes móveis, o estudo sugere que a personalização deve ir além da resposta de texto ou da escolha de ferramentas; deve abranger como a tarefa é executada. O TIPO permite treinar agentes que respeitam não apenas o "o que" o usuário quer, mas o "como" ele prefere que seja feito (ex.: com mais ou menos privacidade).
• Escalabilidade: Embora focado em privacidade, o framework TIPO é generalizável para outras preferências de usuário que induzem variações estruturais, como sensibilidade a custos, tolerância a riscos ou necessidades de acessibilidade.

Em resumo, o artigo estabelece que a personalização de agentes GUI móveis requer uma abordagem centrada na trajetória, capaz de lidar com a variabilidade estrutural, e propõe o TIPO como a solução eficaz para alinhar agentes a preferências humanas complexas e estruturalmente diversas.