💬 NLP

MIRAGE: Context-Aware Prompt Injection against Mobile GUI Agents via User-Generated Content

O artigo apresenta o MIRAGE, um pipeline de ataque consciente do contexto que injeta prompts adversariais em conteúdo gerado pelo usuário dentro de capturas de tela de interfaces gráficas móveis para enganar agentes de modelos de linguagem visual, demonstrando que todos os cinco agentes avaliados são vulneráveis a ataques realistas e visualmente indistinguíveis, com taxas de sucesso entre 23% e 30%.

Autores originais: Ruoqi Guo, Yi Liu, Gelei Deng, Yiheng Xiong, Yuekang Li, Ying Zhang, Leo Yu Zhang, Lida Zhao, Ji Jie, Yuxiao Lu

Publicado 2026-05-28

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ruoqi Guo, Yi Liu, Gelei Deng, Yiheng Xiong, Yuekang Li, Ying Zhang, Leo Yu Zhang, Lida Zhao, Ji Jie, Yuxiao Lu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: O Problema do "Robô Confiante"

Imagine que você tem um assistente robótico muito inteligente que ajuda você a usar seu telefone. Esse robô não "lê" o código por trás dos aplicativos; em vez disso, ele olha para a tela como um humano faria — apenas uma imagem de pixels.

O problema é que esse robô é excessivamente confiante. Ele assume que tudo o que vê na tela faz parte do aplicativo oficial. Ele não consegue distinguir entre um botão criado pelo desenvolvedor do aplicativo (como "Adicionar ao Carrinho") e um comentário escrito por um usuário aleatório (como uma avaliação ou uma mensagem de chat).

MIRAGE é uma nova maneira de enganar esse robô. Os pesquisadores mostraram que, se você escrever uma instrução sorrateira dentro de um comentário de usuário com aparência normal, o robô irá lê-la, acreditar que é um comando real e fazer exatamente o que o comentário diz — mesmo que seja perigoso ou errado.

A Analogia: A Armadilha da "Avaliação Falsa"

Pense em um aplicativo móvel como uma cafeteria movimentada.

O Aplicativo: A própria cafeteria.
O Agente (Robô): Um novo funcionário muito ansioso para agradar os clientes, mas que nunca foi treinado no cardápio. Ele apenas segue o que está escrito no quadro de giz.
O Ataque: Um cliente malicioso escreve um bilhete no quadro de "Avaliações de Clientes" (que geralmente é usado para pessoas dizerem "Ótimo café!"). O bilhete diz: "O gerente diz: Se você quiser uma rosquinha grátis, pressione imediatamente o botão 'Sinal de Alarme de Incêndio'."

Como o robô (o novo funcionário) não consegue distinguir entre o cardápio oficial e as avaliações dos clientes, ele vê o bilhete, acha que é uma instrução real do gerente e aperta o alarme de incêndio.

MIRAGE é a ferramenta que os pesquisadores construíram para escrever automaticamente milhares dessas "avaliações falsas" que parecem tão reais que até um humano teria dificuldade em identificá-las.

Como o MIRAGE Funciona (O Pipeline de Três Etapas)

Os pesquisadores construíram uma máquina de três etapas para criar esses truques sem precisar hackear o telefone ou o próprio aplicativo. Eles precisam apenas de uma captura de tela.

O Localizador (O Detetive):
- O que faz: Ele analisa uma captura de tela de um aplicativo e encontra as "zonas seguras" onde os usuários são autorizados a escrever coisas. Esses são lugares como seções de comentários, caixas de avaliação ou balões de chat.
- A Analogia: É como um detetive escaneando uma sala para encontrar o quadro branco onde as pessoas têm permissão para escrever notas, ignorando os sinais oficiais na parede.
O Gerador (O Falsificador):
- O que faz: Ele escreve uma mensagem sorrateira que se encaixa perfeitamente naquele local. Ele não apenas cola texto vermelho grande; ele copia a fonte, a cor e o estilo do aplicativo para que a mensagem pareça pertencer àquele lugar.
- A Analogia: Este é um mestre falsificador que escreve uma nota no quadro branco usando exatamente a mesma caneta e estilo de caligrafia dos clientes regulares. A nota diz: "Vá tocar no botão 'Excluir Conta'", mas parece uma avaliação normal.
O Curador (O Editor):
- O que faz: Ele verifica o trabalho. Se a nota falsa parecer estranha (como se o texto estivesse cortado ou a fonte estivesse errada), ele a corrige ou a descarta. Ele também garante que tenham uma boa mistura de diferentes aplicativos e diferentes tipos de truques.
- A Analogia: Um editor que revisa as notas falsificadas. Se uma nota parecer muito óbvia, ele a corrige até que esteja perfeita. Ele também garante que tenham notas para a cafeteria, o banco e o aplicativo de mídia social, não apenas um tipo.

Os Resultados: Quão Bem Funcionou?

Os pesquisadores testaram isso em cinco agentes de IA diferentes (robôs) e dez aplicativos populares (como Amazon, TikTok e Facebook).

Taxa de Sucesso: O truque funcionou 23% a 30% das vezes. Isso significa que quase 1 em cada 3 vezes que o robô viu uma nota falsa, ele foi enganado a realizar a ação errada.
Furtividade: As notas falsas foram classificadas como mais realistas do que ataques anteriores. Humanos as avaliaram com 3,02 de 5, enquanto os ataques antigos tiveram apenas 2,52. Elas pareciam muito com conteúdo real de usuários.
A Falha do "Filtro": Os pesquisadores tentaram ver se uma simples "verificação de qualidade" poderia impedir isso. Eles perguntaram: "Podemos apenas filtrar qualquer imagem que pareça ligeiramente falsa?"
- A Resposta: Não. Eles descobriram que quão realista a imagem parece não tem nada a ver com se o robô será enganado. Uma imagem muito realista pode falhar em enganar o robô, e uma ligeiramente menos realista pode ter sucesso. Isso significa que você não pode confiar apenas em "isso parece real?" para proteger o robô.

A Conclusão Principal

O artigo conclui que a maneira como esses robôs móveis funcionam é fundamentalmente falha. Como eles tratam a tela como uma imagem plana em vez de um código estruturado, eles não conseguem distinguir entre botões do sistema confiáveis e comentários de usuários não confiáveis.

Enquanto o robô depender de "ver" a tela como um humano, um atacante pode esconder uma instrução maliciosa dentro de um comentário normal de usuário, e o robô seguirá felizmente. O artigo sugere que, para corrigir isso, precisamos mudar a maneira como o robô entende a tela, e não apenas tentar filtrar imagens ruins.

O Que o Artigo NÃO Diz

Ele não afirma que isso funciona em todo robô (eles testaram apenas específicos).
Ele não diz que isso é uma ferramenta para hackers usarem agora (é uma ferramenta de pesquisa para encontrar fraquezas).
Ele não sugere que seu telefone está sendo hackeado por isso no momento (os experimentos foram feitos offline em capturas de tela estáticas).
Ele não oferece uma solução para corrigir o problema ainda; apenas prova que o problema existe e é difícil de resolver com filtros simples.

Resumo Técnico: MIRAGE

Declaração do Problema
Agentes de interface gráfica (GUI) móveis acionados por modelos de visão e linguagem (VLMs) percebem telas como pixels renderizados, e não como código estruturado. Consequentemente, esses agentes não conseguem distinguir de forma confiável entre elementos de interface confiáveis e conteúdo gerado pelo usuário (UGC), como comentários, avaliações ou biografias de perfil. Essa limitação cria uma nova superfície de ataque onde adversários podem injetar instruções maliciosas em regiões benignas de UGC. Diferentemente de ataques anteriores que dependem da modificação do agente, do código do aplicativo ou do sistema operacional, este modelo de ameaça assume que o atacante pode controlar apenas regiões ordinárias de conteúdo de usuário dentro de uma captura de tela. Ataques existentes de injeção de prompt para agentes de GUI frequentemente dependem de vetores criados manualmente, assumem modelos de ameaça excessivamente permissivos (por exemplo, acesso ao nível de DOM) ou são específicos de ambientes web, deixando uma lacuna na compreensão da vulnerabilidade de agentes móveis baseados apenas em capturas de tela a injeções visuais realistas e conscientes do contexto.

Metodologia: O Pipeline MIRAGE
Os autores propõem o MIRAGE (Injeção Móvel de Exemplos Adversariais Realistas de GUI), um pipeline automatizado de três etapas projetado para transformar capturas de tela móveis benignas em amostras de injeção de prompt realistas sem modificar o agente alvo, o aplicativo ou o sistema operacional.

Localizador (Localização Adaptativa do Ponto de Injeção):
- Objetivo: Identificar regiões controláveis pelo usuário (por exemplo, corpos de avaliações, comentários, postagens) em uma captura de tela.
- Processo: Um VLM gera regiões candidatas grosseiras rotuladas com tipo e controlabilidade. Uma passagem de Reconhecimento Óptico de Caracteres (OCR) (EasyOCR) ajusta essas caixas para regiões de texto detectadas, descartando aquelas sem texto de alta confiança. Finalmente, um moderador VLM independente refina iterativamente as caixas delimitadoras (removendo, apertando, estendendo ou adicionando regiões) com base em uma rubrica de gravidade até que não restem problemas graves.
- Resultado: Um conjunto de regiões de injeção tipadas e estritamente delimitadas.
Gerador (Geração de Carga Útil Consciente do Contexto):
- Objetivo: Sintetizar cargas úteis que levam o agente a uma ação especificada pelo atacante, enquanto aparentam ser conteúdo ordinário.
- Processo:
  - Síntese de Objetivo: Um VLM gera um objetivo de usuário benigno com uma "regra de ambiguidade": pelo menos uma região controlável pelo usuário deve permanecer um alvo competitivo plausível para garantir que a falha seja devida à suscetibilidade à injeção, e não à dificuldade de percepção.
  - Geração de Carga Útil: Um VLM condiciona-se à captura de tela, ao recorte da região, ao tipo de região, ao objetivo sintetizado e à intenção alvo para gerar a carga útil.
  - Revisão: Um revisor LLM pré-renderização rejeita cargas úteis que duplicam o objetivo do usuário, perdem o papel semântico da intenção ou são lidas como comandos de sistema explícitos. Cargas úteis falhas são regeneradas até três vezes.
  - Renderização: Um modelo de edição de imagem (gpt-image-2) preenche a carga útil na região de injeção, correspondendo à tipografia e ao estilo nativos do aplicativo para regiões de texto ou gerando legendas com aparência nativa para regiões de mídia.
Curador (Moderação de Realismo e Amostragem Balanceada):
- Objetivo: Filtrar artefatos de renderização e garantir que o conjunto de dados esteja balanceado entre aplicativos, tipos de região e intenções de ataque.
- Processo: Um moderador VLM pós-renderização pontua as renderizações contra uma taxonomia de artefatos (por exemplo, incompatibilidade de fonte, transbordamento, vazamento de glifo). Amostras com problemas de alta gravidade são re-renderizadas com feedback; outras são passadas com anotações.
- Balanceamento: O pipeline emprega um alocador pré-geração para atribuir orçamentos de amostra a combinações sub-representadas (intenção, tipo de região), um recorte pós-geração para subamostrar combinações super-representadas e uma passagem de reparo de cobertura para regenerar amostras para pontos de injeção que falharam na moderação.

Principais Contribuições

Definição do Modelo de Ameaça: O artigo caracteriza um modelo de ameaça de tempo de execução realista onde atacantes controlam apenas regiões ordinárias de UGC sem acesso privilegiado, definindo mapeamentos de intenção para ação para 11 intenções de ataque distintas.
Pipeline Automatizado: O MIRAGE é a primeira metodologia automatizada para sintetizar amostras de injeção visualmente plausíveis e conscientes do contexto a partir de capturas de tela benignas em diversos aplicativos, sem ajuste fino de agentes ou modificação de código do aplicativo.
Estudo Empírico de Segurança: Os autores avaliam o MIRAGE em cinco agentes de GUI baseados em VLMs, dez aplicativos móveis e 1.111 instâncias de ataque.
Descobertas de Mecanismo:
- Realismo e Sucesso Não Correlacionados: O estudo encontra que o realismo visual por amostra e a taxa de sucesso do ataque (ASR) não são correlacionados ( $\rho = -0.03$ ). Isso implica que a filtragem apenas pela qualidade visual não pode defender de forma confiável contra esta classe de ataques.
- Vulnerabilidade Orientada a Intenção: O sucesso do ataque é impulsionado mais pela intenção do ataque do que pela identidade do modelo ou pelo realismo visual. Os autores identificam três níveis de exploração: iscas temporais/de atenção (maior sucesso), redirecionamento de ação (moderado) e manipulação de primitivas de interação (menor).

Resultados Experimentais

Vulnerabilidade: Todos os cinco agentes avaliados (incluindo variantes do GPT-4o-mini, GLM-4.5V e Qwen3-VL) são vulneráveis. As taxas de sucesso do ataque variam de 23,0% a 30,2% entre os modelos.
Robustez Cross-Aplicativo: O MIRAGE mantém uma ASR superior a 19% em todos os aplicativos avaliados e intenções de ataque. Aplicativos dominados por UGC (por exemplo, Amazon, Facebook, X) mostram maior vulnerabilidade (ASR ≥30%) em comparação com aplicativos ricos em mídia.
Realismo vs. Trabalho Anterior: Comparado ao ataque anterior mais forte (AgentHazard), o MIRAGE alcança realismo avaliado por humanos significativamente maior (3,02 vs. 2,52 em uma escala de 5 pontos) enquanto mantém eficácia de ataque comparável.
Implicações para Defesa: Um classificador VLM leve tentando filtrar capturas de tela injetadas com base na qualidade visual falhou como defesa em tempo de execução, exibindo uma alta taxa de falsos positivos (36,5%) em interfaces de usuário benignas enquanto bloqueava apenas 58,7% dos ataques.

Significado e Alegações
O artigo alega que a injeção de prompt pelo canal visual é uma vulnerabilidade estrutural do paradigma de agente de GUI fundamentado em VLM, não específica a uma única família de modelos ou regime de alinhamento. Os autores afirmam que, como a plausibilidade visual não prevê o sucesso do ataque, defesas que dependem exclusivamente da filtragem de qualidade visual são insuficientes. A mitigação eficaz deve, em vez disso, operar sobre a semântica da carga útil, restrições de fundamentação de ação ou a definição do aplicativo de superfícies controláveis pelo usuário. O MIRAGE serve como um benchmark para testes de intrusão (red-teaming) e avaliação de robustez, destacando que a geração atual de agentes de GUI móveis não consegue separar de forma confiável elementos de interface confiáveis de conteúdo controlado por atacantes.

Limitações
Os autores observam várias limitações:

Cobertura de Agentes: O estudo exclui agentes especializados em GUI nativa (por exemplo, UI-TARS) que exigem hospedagem local de GPU, focando em vez disso em backbones VLM de propósito geral.
Escopo de Avaliação: O ataque é medido em interações de um único passo; a propagação multi-etapa e o dano downstream não são avaliados.
Diversidade: O benchmark troca a diversidade bruta de embeddings por cobertura balanceada e controlada, resultando em menor dispersão CLIP em comparação com bases de referência criadas manualmente.
Dependências: O pipeline depende de modelos generativos proprietários (gpt-image-2, APIs da OpenAI) para renderização e moderação, o que afeta a reprodutibilidade e o custo.