AgentRAE: Remote Action Execution through Notification-based Visual Backdoors against Screenshots-based Mobile GUI Agents

Título: AgentRAE: Execução Remota de Através de Backdoors Visuais Baseados em Notificação contra Agentes de GUI Móvel Baseados em Capturas de Tela

1. O Problema

A rápida adoção de agentes de Interface Gráfica do Usuário (GUI) móveis, que controlam autonomamente aplicativos e sistemas operacionais (OS) usando Modelos de Linguagem Multimodal (MLLMs), expõe novas superfícies de ataque em nível de sistema.

• Limitação das Ameaças Existentes: Backdoors anteriores contra agentes de GUI web ou modelos GenAI gerais dependem de injeção ambiental (manipulação de interfaces) ou pop-ups enganosos. Essas técnicas falham em agentes móveis baseados em screenshots (capturas de tela) devido a:
  1. Restrições do Sistema Operacional: Mecanismos de segurança nativos impedem a injeção de novos elementos de UI ou modificações na interface do sistema.
  2. Falha de Atenção em Gatilhos Pequenos: Ícones de notificação são pequenos e visualmente semelhantes, sendo ofuscados pelo fundo da tela (interface principal) nos modelos de visão.
  3. Conflitos de Mapeamento Multi-alvo: Diferentes ícones de notificação (gatilhos) precisam acionar ações distintas do agente (ex: clicar, digitar, voltar), criando sinais de aprendizado conflitantes que métodos de backdoor tradicionais não conseguem resolver.

2. Metodologia: AgentRAE

Os autores propõem o AgentRAE, um ataque de backdoor visual que utiliza ícones nativos de aplicativos em notificações do sistema (que parecem benignos) como gatilhos para executar ações remotas maliciosas. O ataque opera em duas fases distintas para superar os desafios técnicos:

Fase 1: Aprendizado Contrastivo Supervisionado (Separação de Representações)

• Objetivo: Resolver a "falha de atenção" e a sobreposição de representações visuais. Como os ícones são pequenos e o fundo é dominante, o modelo tende a ignorar as diferenças sutis entre os ícones.
• Técnica: Utiliza uma Função de Perda de Separação de Gatilho (Trigger-Separation Loss) baseada em aprendizado contrastivo supervisionado.
  • Agrupa representações de amostras com o mesmo ícone de gatilho no espaço de características.
  • Separa representações de amostras com diferentes ícones de gatilho.
  • Agrega estados ocultos através de pooling médio para criar uma representação unificada ao nível da amostra.
• Resultado: O modelo aprende a distinguir semanticamente ícones visualmente similares, tornando-os representações separáveis no espaço latente do MLLM.

Fase 2: Treinamento de Envenenamento Supervisionado (Injeção do Backdoor)

• Objetivo: Estabelecer um mapeamento preciso e estável entre cada ícone de notificação específico e uma ação maliciosa do agente (ex: ícone do TikTok $\to$ ação "COMPLETE", ícone do Discord $\to$ ação "CLICK").
• Técnica:
  • Utiliza os dados envenenados (com gatilhos injetados) e dados limpos.
  • Aplica uma Função de Perda de Envenenamento Balanceada (Balanced Poison Loss).
  • Otimiza o modelo para manter o desempenho em tarefas legítimas (dados limpos) enquanto aprende a executar ações específicas quando o gatilho visual é detectado.
• Vetor de Ataque: O atacante envia uma notificação benigna (ex: "Nova mensagem do Discord") que contém o ícone de aplicativo específico. O agente, ao processar a captura de tela, ignora o texto e executa a ação maliciosa associada ao ícone.

3. Principais Contribuições

1. Exploração de Nova Superfície de Ataque: Primeiro trabalho a demonstrar vulnerabilidade de backdoor em agentes móveis explorando notificações nativas do OS como gatilhos ativos e multi-alvo. Isso permite ataques sob demanda, indetectáveis e que não requerem acesso ao dispositivo da vítima (apenas ao modelo).
2. Framework de Aprendizado Robusto (AgentRAE): Propõe um pipeline de duas fases que integra aprendizado contrastivo e fine-tuning desentrelaçado, resolvendo os desafios de ícones pequenos e mapeamentos conflitantes.
3. Alto Desempenho e Generalização: O método alcança taxas de sucesso de ataque (ASR) superiores a 90% em múltiplos alvos e tarefas, mantendo o desempenho em tarefas limpas (clean performance) praticamente inalterado. Funciona bem em diferentes resoluções de tela.
4. Avaliação de Defesa: Demonstra que defesas state-of-the-art (como Fine-Pruning, Neural Attention Distillation e Neural Cleanse) são ineficazes contra este tipo de ataque, pois não conseguem lidar com sequências de ações abertas e multi-alvo geradas por agentes.

4. Resultados Experimentais

Os experimentos foram realizados em dois agentes de GUI móveis de código aberto: OdysseyAgent e SeeClic-aitw.

• Taxa de Sucesso de Ataque (ASR):
  • AgentRAE alcançou uma ASR média de 95,59% (SeeClic-aitw) e 90-95% nas diferentes divisões do OdysseyAgent.
  • Comparado ao baseline Scenario-BadNets (aplicação direta de BadNets), o AgentRAE teve um aumento de 13% a 55% na taxa de sucesso.
  • Em testes com 9 gatilhos simultâneos (todos os tipos de ação suportados), a ASR média manteve-se em 89,25% a 99,58%.
• Impacto no Desempenho Limpo (Clean Performance):
  • A degradação na taxa de acerto de tarefas legítimas (AMS e SR) foi mínima (ex: queda de apenas 0,14% a 3,63% na AMS), provando que o backdoor é "invisível" para o funcionamento normal do agente.
• Robustez:
  • O ataque manteve alta eficácia em diferentes resoluções de tela (de 720x1280 a 1440x3120), mesmo tendo sido treinado em uma única resolução.
  • Requer apenas 2.000 amostras por gatilho para atingir >90% de sucesso, demonstrando alta eficiência de dados.
• Evasão de Defesa:
  • Defesas como Fine-Pruning e NAD falharam em reduzir significativamente a ASR (mantendo-se acima de 86-89%), indicando que as defesas atuais não são adequadas para agentes multimodais complexos.

5. Significância e Implicações

• Risco na Cadeia de Suprimentos: O ataque destaca um risco crítico na cadeia de suprimentos de IA. Um modelo MLLM comprometido (distribuído via repositórios públicos como Hugging Face) pode controlar remotamente agentes de usuários finais apenas através de notificações benignas, sem necessidade de comprometer o sistema operacional ou o dispositivo físico.
• Ineficácia de Defesas Atuais: A pesquisa revela uma lacuna fundamental nas defesas de segurança de IA. Métodos tradicionais baseados em enumeração de rótulos fixos ou detecção de anomalias simples não conseguem lidar com a natureza dinâmica, sequencial e de múltiplos alvos dos agentes de GUI.
• Chamada para Ação: O trabalho sublinha a necessidade urgente de desenvolver mecanismos de defesa que examinem o comportamento condicionado a notificações e as representações internas dos agentes, além de monitoramento em tempo de execução, pois a segurança baseada apenas no pré-desenvolvimento é insuficiente.

Em resumo, o AgentRAE expõe uma vulnerabilidade silenciosa e altamente eficaz em agentes de IA móveis, transformando elementos de interface comuns (ícones de notificação) em armas para controle remoto malicioso, desafiando as atuais práticas de segurança de modelos multimodais.