Resumo Técnico: Sequestro de Agentes de SO Multimodais por Patches de Imagem Maliciosos (MIPs)

Declaração do Problema

Avanços recentes em agentes de Sistemas Operacionais (SO) permitiram que Modelos de Linguagem-Visão (VLMs) controlem autonomamente computadores de usuários através da captura de capturas de tela (screenshots), análise de informações visuais e execução de ações de baixo nível via APIs (ex: cliques de mouse, entradas de teclado). Diferente de modelos passivos de geração de texto, esses agentes interagem diretamente com o SO, o que significa que manipulações adversárias podem levar a consequências imediatas e tangíveis, como exfiltração de dados ou danos financeiros.

Embora a pesquisa adversária existente foque em injeções de prompt baseadas em texto ou ataques de pop-ups explícitos, estes são frequentemente detectáveis ou exigem acesso direto ao pipeline de entrada de texto do agente. Este artigo identifica uma lacuna crítica: a vulnerabilidade de agentes de SO a Patches de Imagem Maliciosos (MIPs). Estes são regiões de tela adversariamente perturbadas que parecem benignas para observadores humanos mas que, quando capturadas em uma captura de tela por um agente de SO, induzem o modelo a gerar instruções de texto específicas que disparam chamadas de API prejudiciais. O desafio central é que os adversários geralmente controlam apenas um pequeno patch da tela (ex: uma postagem de rede social ou papel de parede da área de trabalho) em vez de toda a exibição, e o ataque deve sobreviver ao pipeline de múltiplos componentes do agente, incluindo parsers de tela não diferenciáveis e operações de redimensionamento de imagem.

Metodologia

Estrutura Formal

Os autores modelam um agente de SO como um pipeline composto por três componentes:

1. Parser de Tela ($g$): Converte uma captura de tela $s$ em descrições visuais estruturadas (caixas delimitadoras/bounding boxes) e textuais (Set-of-Marks, SOMs).
2. VLM ($f_\theta$): Processa o prompt do usuário, o prompt de sistema, a memória, os SOMs e a captura de tela anotada para gerar uma sequência de tokens de texto (raciocínio e planos de ação).
3. APIs ($a$): Executam as ações específicas derivadas da saída do VLM.

O objetivo do ataque é encontrar uma perturbação $\delta$ dentro de uma região de patch de imagem específica $R$ tal que o agente gere uma saída de texto alvo maliciosa pré-definida $y$ (ex: um script Python para exfiltrar dados) ao capturar a captura de tela perturbada.

Estratégia e Restrições de Otimização

Os autores formulam o ataque como um problema de otimização com restrições estritas para garantir praticidade e furtividade:

• Restrição de Patch: As perturbações são restritas a uma região específica $R$ (ex: uma imagem enviada).
• Discretização: As perturbações devem ser valores inteiros de pixels válidos.
• Invariância do Parser: A perturbação não deve alterar a saída do parser de tela não diferenciável $g$. Especificamente, o parser não deve gerar caixas delimitadoras dentro de $R$ que intersectem o patch, e a descrição textual da tela deve permanecer inalterada.
• Robustez ao Redimensionamento: O ataque deve permanecer eficaz após a captura de tela ser redimensionada para caber nas dimensões de entrada do VLM.

Para resolver isso, os autores utilizam Gradiente Descendente Projetado (PGD). Eles aproximam a função de redimensionamento para torná-la diferenciável e otimizam a perturbação $\delta$ para minimizar a perda de Entropia Cruzada entre a saída do VLM e o texto malicioso alvo $y$. Crucialmente, eles impõem a restrição de invariância do parser verificando se $g(s) = g(s + \delta)$ e revertendo o processo se as caixas delimitadoras interceptarem a região do patch.

Configuração Experimental

Experimentos foram conduzidos no Microsoft Windows Agent Arena (WAA), utilizando:

• Parsers de Tela: OmniParser (recomendado) e um baseline usando GroundingDINO + TesseractOCR.
• VLMs: Série Llama 3.2 Vision (parâmetros de 11B e 90B).
• Configurações: Dois vetores de ataque principais: (1) Desktop, onde o MIP é incorporado em um papel de parede de fundo; e (2) Rede Social, onde o MIP é uma imagem dentro de um feed de rede social.
• Alvos: Dois comportamentos maliciosos foram testados: (1) gatilho de estouro de memória via uma sequência específica de tokens, e (2) navegação para um site explícito/adversário.

Principais Contribuições

1. Introdução dos MIPs: O artigo define e demonstra os Patches de Imagem Maliciosos como um novo vetor de ataque direcionado especificamente a agentes de SO. Diferente de trabalhos anteriores, os MIPs exploram a dependência do agente de capturas de tela para sequestrar o sistema sem acesso direto ao pipeline de entrada de texto.
2. Identificação de Restrições Práticas: Os autores abordam sistematicamente as restrições de ataques reais de agentes de SO, incluindo controle limitado sobre a entrada (apenas o patch), a não diferenciabilidade de parsers de tela e a necessidade de sobreviver ao redimensionamento de imagem.
3. Demonstração de Generalização: O estudo mostra que os MIPs podem ser criados para generalizar através de:
   • Prompts de Usuário Não Vistos: O ataque funciona mesmo quando a tarefa do usuário é benigna e não relacionada ao patch.
   • Layouts de Tela Não Vistos: O ataque tem sucesso em diferentes capturas de tela (ex: diferentes postagens de redes sociais ou arranjos de ícones de desktop).
   • Parsers de Tela Não Vistos: MIPs otimizados para um parser (OmniParser) transferem-se efetivamente para um parser diferente (GroundingDINO/Tesseract).
   • Múltiplos Passos de Execução: O ataque permanece eficaz mesmo se o agente encontrar o patch após vários passos de execução da tarefa.
   • Múltiplos VLMs: A otimização conjunta permite que um único MIP sequestre diferentes arquiteturas de VLM (11B vs 90B, Pré-treinado vs Instrução-ajustado).

Resultados

• Ataques Direcionados: MIPs otimizados para um par específico de prompt e captura de tela alcançaram uma taxa de sucesso de 100% para esse par. Eles também transferiram para prompts não vistos com uma Taxa de Sucesso Média (ASR) de 0,33–0,91, mas falharam em transferir para capturas de tela não vistas (ASR 0,0) sem otimização adicional.
• Ataques Universais: Ao otimizar sobre um lote de diversos pares de prompt-captura de tela, os autores criaram "MIPs Universais". Estes alcançaram altos ASRs (0,89–1,00) em prompts e capturas de tela não vistos na mesma configuração.
• Transferência Cross-Parser: MIPs universais mantiveram alta eficácia (ASR 0,36–0,90) quando testados contra um parser de tela não visto, demonstrando robustez às variações na forma como a tela é processada.
• Transferência Cross-VLM: Um único MIP otimizado conjuntamente em três VLMs (Llama 3.2 11B-PT, 11B-IT, 90B-IT) alcançou altas taxas de sucesso (0,92–0,97) em todos os três. No entanto, a transferência para um VLM completamente não visto (90B-IT quando não estava no conjunto de treinamento) foi limitada, alinhando-se com achados anteriores sobre transferibilidade adversária em VLMs.
• Robustez de Passo de Execução: Os MIPs permaneceram eficazes mesmo quando o agente os encontrava após navegar por múltiplos passos para completar uma tarefa benigna.

Significância e Alegações

O artigo afirma que os MIPs representam uma mudança fundamental no cenário de risco para agentes de SO. Como os MIPs podem ser incorporados em conteúdo benigno (papéis de parede, postagens de redes sociais, anúncios) e se propagar amplamente sem detecção, eles funcionam de forma semelhante a "vermes de computador" para agentes de SO. Os autores argumentam que:

• Furtividade e Propagação: Diferente de ataques baseados em texto, os MIPs são difíceis de detectar e podem se espalhar autonomamente se um agente interagir com uma postagem comprometida (ex: ao curtir ou compartilhar).
• Gravidade: O controle direto que os agentes de SO têm sobre o SO significa que um ataque MIP bem-sucedido pode levar à exfiltração imediata de dados ou comprometimento do sistema, excedendo em muito os riscos das tradicionais alucinações baseadas em texto.
• Urgência: As descobertas destacam uma vulnerabilidade de segurança crítica que deve ser abordada antes da implantação generalizada de agentes de SO. Os autores sugerem que as defesas atuais são insuficientes e pedem novos frameworks, como módulos de verificação ou checagens de consistência sensíveis ao contexto, para mitigar essas ameaças entre componentes.

Os autores concluem que, embora os MIPs não sejam uma panaceia para todos os problemas de segurança de agentes de SO, eles expõem uma vulnerabilidade específica de alto impacto que requer estratégias de defesa sistemáticas para garantir a segurança dos futuros agentes multimodais.