Safe, or Simply Incapable? Rethinking Safety Evaluation for Phone-Use Agents

Resumo Técnico: Seguro, ou Simplesmente Incapaz? Reavaliando a Avaliação de Segurança para Agentes de Uso de Telefone

Declaração do Problema
As avaliações de segurança atuais para agentes de uso de telefone sofrem de uma ambiguidade fundamental: um resultado inofensivo não indica necessariamente um comportamento seguro. Quando um agente evita causar dano em um momento arriscado, isso pode dever-se a julgamento seguro (reconhecer o risco e escolher a ação segura correta) ou incapacidade de agir (falhar em entender a interface, localizar controles ou executar qualquer ação relevante). Os benchmarks existentes frequentemente confundem essas causas distintas sob métricas agregadas como "sucesso da tarefa", "recusa" ou "resultado final prejudicial". Essa confusão leva a dois problemas críticos:

1. Superestimação de modelos fracos: Agentes que falham em agir são incorretamente creditados com segurança porque nenhum dano ocorreu.
2. Diagnóstico equivocado de modelos fortes: Agentes que entendem a interface, mas tomam más escolhas de segurança, não são distinguidos daqueles que simplesmente não conseguem agir.

À medida que os agentes transitam de assistentes passivos para sistemas capazes de operar diretamente smartphones, um toque errado pode expor dados privados, autorizar pagamentos ou conceder permissões. Avaliar se um agente toma a escolha certa no momento em que uma fronteira de segurança se torna relevante para a ação é distinto de avaliar se ele pode completar uma tarefa.

Metodologia: PHONESAFETY
Para abordar isso, os autores introduzem o PHONESAFETY, um benchmark projetado para avaliar agentes em momentos críticos para a segurança, em vez de ao longo de episódios completos de tarefas.

• Construção de Dados: O benchmark consiste em 700 momentos críticos para a segurança extraídos de 4.512 trajetórias em dispositivos reais, abrangendo mais de 130 aplicativos móveis chineses. Essas trajetórias cobrem cenários diversos, incluindo aplicativos nativos, mini-programas e fluxos de trabalho entre aplicativos.
• Unidade de Avaliação: A unidade de análise é o ponto de decisão específico onde a próxima ação pode determinar diretamente a segurança da interação. O modelo recebe a instrução do usuário, o histórico de interação e o contexto atual da tela, sendo então solicitado a prever a próxima ação no telefone.
• Decomposição em Três Vias: Em vez de um rótulo binário seguro/insseguro, os resultados são categorizados em três classes mutuamente exclusivas:
  1. Ação Segura: O modelo engaja-se na decisão e escolhe o lado seguro (por exemplo, pedir confirmação, recusar uma instrução prejudicial, fechar um pop-up enganoso).
  2. Ação Insegura: O modelo engaja-se na decisão, mas cruza a fronteira de segurança (por exemplo, prosseguir com o pagamento sem confirmação, conceder permissões desnecessárias).
  3. Falha em Fazer Algo Útil (Falha de Capacidade): O modelo falha em realizar qualquer comportamento seguro ou inseguro. Isso inclui tocar em áreas irrelevantes, sair da página ou produzir ações malformadas. Esta categoria é tratada como um sinal operacional de incapacidade de agir, e não como uma afirmação sobre os internos profundos do modelo.
• Métricas: Os autores relatam a Taxa de Ação Segura, a Taxa de Ação Insegura e a Taxa de Falha de Capacidade (CFR). Eles também rastreiam $1 - \text{CFR}$ (a taxa de produzir qualquer ação relevante) como um proxy para a capacidade operacional geral.

Principais Resultados
O artigo avalia oito agentes representativos de uso de telefone (incluindo Gemini 3.1 Pro, Claude Opus 4.6 e AutoGLM 9B) e revela dois padrões principais:

1. Capacidade Geral Não Prevê Escolhas Seguras:
   Não há correlação confiável entre o desempenho geral de uso de telefone de um modelo e seu julgamento de segurança em momentos críticos.

   • Evidência: Modelos que se classificam alto em tarefas gerais (por exemplo, Seed 2.0 Pro) não necessariamente têm as maiores taxas de ação segura. Por outro lado, modelos com pontuações gerais mais baixas às vezes exibem tomada de decisão mais segura quando a fronteira é explícita.
   • Implicação: Alta capacidade operacional não garante comportamento seguro; é necessária uma avaliação de segurança dedicada.

2. Modos de Falha Distintos:
   As falhas não são monolíticas; elas se dividem em dois padrões distintos com base no cenário:

   • Escolhas Inseguras: Em cenários que exigem recusa simples (por exemplo, família "Segurança"), as falhas são predominantemente ações inseguras. O modelo entende a interface, mas escolhe o lado errado da decisão (por exemplo, prosseguir com uma instrução prejudicial).
   • Incapacidade de Agir: Em cenários visual e operacionalmente exigentes (por exemplo, "Resistência a Armadilhas", "Minimização de Permissões"), as falhas são predominantemente falhas em fazer algo útil. O modelo não consegue ancorar a interface ou executar a ação necessária.
   • Correlação: A taxa de "falha em fazer algo útil" (CFR) correlaciona-se fortemente com a capacidade geral de uso de telefone ($\rho = 0,922$), enquanto as taxas de ação segura não o fazem.

3. Invariância de Protocolo da Incapacidade:
   Quando o protocolo de avaliação (definindo o que constitui uma ação segura versus insegura) é variado, a Taxa de Ação Segura muda significativamente. No entanto, a Taxa de Falha de Capacidade (CFR) permanece estável ($\Delta \text{CFR} = 0,0$). Isso confirma que "falhar em fazer algo útil" é um sinal de incapacidade operacional, e não uma sensibilidade a definições específicas de segurança.

Significado e Alegações
O artigo argumenta que, para agentes que tomam ações, a inofensividade não é evidência suficiente de segurança. Um sistema não deve receber crédito de segurança meramente porque nenhum dano ocorreu se esse resultado foi o resultado de uma incapacidade de agir.

• Contribuição Central: A introdução de um framework de avaliação em três vias que separa o julgamento inseguro da incapacidade de agir.
• Mudança Metodológica: Mover-se de resultados ao nível do episódio para momentos críticos para a segurança permite o isolamento do ponto de decisão específico onde a segurança é determinada.
• Implicação Prática: A avaliação de segurança deve distinguir entre um modelo que escolhe mal e um modelo que não consegue agir. Tratar "nenhuma ação relevante" como um sucesso de segurança é um erro metodológico que obscurece a verdadeira natureza dos riscos dos agentes.

O estudo é limitado à avaliação offline dentro de um ecossistema móvel chinês, mas os autores postulam que o princípio subjacente — de que resultados inofensivos devem ser interpretados e não meramente observados — aplica-se amplamente a agentes capazes de agir no mundo real.