Resumo Técnico: VisualLeakBench

Definição do Problema

Agentes de visão-linguagem (VLAs) estão cada vez mais integrados em fluxos de trabalho agênticos, onde processam capturas de tela, documentos e interfaces de usuário para executar ações subsequentes, como salvar notas, enviar e-mails ou realizar consultas de busca. Embora a pesquisa de segurança anterior tenha se concentrado na fuga ao nível da resposta (o que o modelo diz ao usuário), este artigo identifica um modo de falha distinto e crítico: a propagação de fronteira de ação (action-boundary propagation).

Esta falha ocorre quando um agente de visão-linguagem extrai texto visível sensível ou inseguro de uma imagem de entrada e o propaga diretamente para os argumentos de uma chamada de ferramenta (tool call). Diferente de uma falha de recusa, onde o modelo simplesmente declina um pedido, esta falha é frequentemente invisível à inspeção ao nível da resposta, pois a saída visível do modelo pode ser benigna, enquanto o conteúdo perigoso está incorporado nos argumentos estruturados da ferramenta (ex: save_note(content="...API_KEY...")). Isso permite que dados sensíveis persistam na memória, deixem o contexto local ou se tornem entrada para outros sistemas sem o conhecimento explícito do usuário.

Metodologia

Os autores introduzem o VisualLeakBench, um benchmark reproduzível projetado para medir e diagnosticar essas falhas de propagação.

Design do Benchmark

• Dataset: Um conjunto diversificado de 500 imagens abrangendo cinco famílias visuais: UI (interface de usuário), chat, documento, formulário e dashboard.
• Tracks (Trilhas):
  1. Trilha de PII: Contém oito tipos sintéticos de Informações de Identificação Pessoal (SSNs, cartões de crédito, e-mails, chaves de API, etc.).
  2. Trilha de Texto Inseguro Renderizado: Contém solicitações sintéticas prejudiciais (ex: phishing, fraude, sabotagem) renderizadas como texto visível dentro de contextos visuais comuns.
• Protocolo de Avaliação: O estudo avalia um subconjço estratificado de 100 imagens usando quatro sistemas VLM de produção (GPT-5.4, Claude Opus 4.7, Gemini 3.1 Flash Lite e Grok 4.20).
• Workflows (Fluxos de Trabalho): Dois cenários de uso de ferramenta de etapa única são testados:
  1. Captura de Nota: O agente chama save_note(content).
  2. Transferência Externa: O agente chama send_email(to, body).
  3. Pesquisa Web: Uma terceira superfície de ferramenta (search_query) foi testada para avaliar a especificidade da superfície da ferramenta.
• Métricas: A métrica primária é a taxa de propagação de ferramenta (tool propagation rate), definida como a fração de traços sem erro onde a string alvo normalizada aparece nos argumentos da ferramenta. A avaliação distingue entre "fuga apenas na resposta", "propagação apenas na ferramenta" e "fuga na resposta e na ferramenta".

Estratégia de Mitigação

Os autores testam um prompt de sistema defensivo leve, instruindo os modelos a não transcreverem PII e a recusarem solicitações de engenharia social. Adicionalmente, um diagnóstico de oráculo rotulado por alvo (labeled-target oracle diagnostic) offline é usado para simular um guardião perfeito na fronteira da ferramenta, bloqueando qualquer chamada de ferramenta que contenha a string alvo sintética conhecida. Isso serve como um diagnóstico de limite superior para isolar o valor de controlar a fronteira da ferramenta.

Resultados Principais

Altas Taxas de Propagação no Baseline

Sem o prompt defensivo, a propagação de fronteira de ação é severa:

• PII: Propagada em 78,8% dos traços sem erro. As taxas variaram por modelo (ex: até 95,7% para o Claude na captura de nota) e cenário (maior na captura de nota do que na transferência externa).
• Texto Inseguro Renderizado: Propagado em 85,5% dos traços sem erro.

Eficácia Assimétrica da Mitigação

O prompt defensivo gerou resultados altamente assimétricos:

• PII: A propagação caiu significativamente de 78,8% para 2,0%. No entanto, os autores observam que isso foi alcançado majoritariamente através da supressão total do uso da ferramenta (94,2% dos traços resultaram em "nenhuma chamada de ferramenta"), em vez de sanitizar os argumentos preservando a utilidade.
• Texto Inseguro Renderizado: A propagação permaneceu alta em 52,6%. A mitigação falhou em impedir que a maioria do texto inseguro atravessasse a fronteira da ferramenta, sugerindo que os modelos tratam o texto prejudicial renderizado como conteúdo a ser preservado ou encaminhado, em vez de uma violação de segurança a ser recusada.

Diagnósticos de Traço e Especificidade da Superfície da Ferramenta

• Dominância Apenas na Ferramenta: A maioria das falhas (78,1% para PII, 83,4% para texto inseguro) foram propagações "apenas na ferramenta", onde a resposta visível era segura, mas os argumentos da ferramenta continham o alvo. Isso confirma que a inspeção de resposta padrão subestima o risco do agente.
• Dependência da Superfície da Ferramenta:
  • Ferramentas de Busca: Ferramentas do tipo busca (pesquisa web) quase nunca propagaram PII (1,0% de baseline), provavelmente porque as consultas de busca são orientadas a palavras-chave e não convidam naturalmente à preservação de detalhes de contato completos.
  • Ferramentas de Nota/Transferência: Estas ferramentas naturalmente convidam à preservação do conteúdo visível, levando a taxas de propagação mais altas.
  • Persistência de Texto Inseguro: Mesmo com ferramentas de busca, o texto inseguro renderizado permaneceu um risco residual (54,5% de baseline), indicando que instruções prejudiciais podem atravessar fronteiras de ação independentemente da semântica da ferramenta.

Diagnósticos de Oráculo

O diagnóstico de oráculo revelou que bloquear argumentos de ferramenta contendo a string alvo remove a grande maioria das falhas de propagação (ex: 335/341 traços inseguros detectados). No entanto, um pequeno risco residual permanece a partir da fuga no lado da resposta, destacando que a fronteira da ferramenta é um ponto de intervenção crítico, mas não exclusivo.

Significância e Alegações

O artigo posiciona o VisualLeakBench como um primitivo de falha controlada para estudar a segurança de agentes, em vez de uma alegação de que todos os agentes implantados carecem de filtros de memória ou pontos de controle humano.

1. Redefinição da Unidade de Falha: O trabalho desloca a unidade de análise da segurança de chat ao nível da resposta para a propagação de fronteira de ação. Demonstra que um modelo pode ser "seguro" em sua resposta visível enquanto executa simultaneamente uma ação insegura ao incorporar dados sensíveis nos argumentos da ferramenta.
2. Granularidade Diagnóstica: Ao separar as classes de traço (resposta apenas vs. ferramenta apenas), o estudo revela que a inspeção de resposta padrão é insuficiente para a avaliação de segurança de agentes.
3. Assimetria de Mitigação: Os resultados destacam que formas reconhecíveis de PII são mais fáceis de suprimir (frequentemente via supressão da ferramenta) do que o texto inseguro renderizado, que os modelos frequentemente interpretam erroneamente como conteúdo benigno a ser preservado.
4. Reprodutibilidade: Os autores fornecem um artefato abrangente, incluindo logs por traço, regras de normalização e scripts para regenerar tabelas agregadas, permitindo a atribuição precisa de falhas a famílias visuais, modelos ou superfícies de ferramentas específicas.

Os autores concluem que as futuras avaliações de agentes devem tratar os argumentos de ferramentas como artefatos de segurança de primeira classe e relatar diagnósticos ao nível do traço junto com resultados ao nível da resposta para capturar totalmente o panorama de risco dos agentes de visão-linguagem.