Resumo Técnico: AgentSecBench

Declaração do Problema

Agentes de Modelos de Linguagem de Grande Escala (LLM) integram instruções confiáveis, registros recuperados e observações de ferramentas em um único canal generativo. Essa escolha arquitetural confunde fluxo de dados com autoridade: strings não confiáveis (por exemplo, documentos recuperados ou saídas de ferramentas) podem influenciar respostas que carregam segredos ou propostas de ação, mesmo quando nenhuma política de aplicação autoriza tal influência. Diferentemente de programas convencionais, onde sistemas de tipos e verificações de acesso impõem a distinção entre instrução e dados, agentes LLM frequentemente dependem de prosa dentro do prompt do sistema para definir essas fronteiras. O artigo identifica uma lacuna crítica: enquanto o texto do prompt pode descrever uma fronteira de segurança, ele não inerentemente impõe uma. Consequentemente, um adversário que controla observações não confiáveis pode contornar restrições de política, levando a injeção de prompt, vazamento de privacidade e uso não autorizado de ferramentas.

Metodologia

O artigo apresenta AgentSecBench, uma instanciação empírica de um framework de segurança formal projetado para medir e distinguir entre anotação de prompt e fronteiras de segurança impostas.

Framework Formal

Os autores definem não-interferência de intenção para execução com vazamento permitido. O conceito central envolve três "jogos" que compartilham uma estrutura criptográfica: um adversário seleciona uma observação não confiável, uma defesa transforma o canal observável e um distinguidor avalia um evento de saída não autorizado.

1. Jogo de Integridade de Instrução: Testa se uma instrução adversarial embutida em um documento pode anular uma solicitação benigna do usuário.
2. Jogo de Confidencialidade de Recuperação: Testa se um segredo (canário) atribuído a um locatário fora do escopo de autorização do chamador pode ser vazado via contexto recuperado.
3. Jogo de Integridade de Capacidade: Testa se uma observação de ferramenta pode induzir a seleção de uma ação proibida pela política do usuário.

O framework distingue entre projeções de política (operações matemáticas que removem recursos não autorizados do espaço de entrada ou de ação) e anotações de prompt (avisos textuais ou delimitadores que deixam os dados não autorizados visíveis ao modelo).

Design Experimental

• Modelos: Os experimentos foram conduzidos no Qwen3-0.6B e Qwen3-1.7B.
• Defesas: Seis classes de defesa foram avaliadas:
  1. Sem defesa (linha de base).
  2. Endurecimento de delimitadores (anotação de prompt).
  3. Filtragem por classificador (correspondência de padrões pré-geração).
  4. Gating de RAG consciente de proveniência (projeção do contexto de recuperação).
  5. Gating de ferramenta de menor privilégio (projeção das saídas de ferramentas).
  6. Pilha combinada (composição das anteriores).
• Métricas:
  • Vantagem Adversarial ($\widehat{Adv}$): A diferença nas taxas de violação entre controles adversariais e benignos pareados.
  • Fechamento de Canal ($\widehat{C}$): Um indicador binário que mede se o marcador não autorizado designado ou a capacidade foi removido da entrada antes da geração.
  • Utilidade Benigna: Um proxy lexical para conclusão de tarefa em entradas benignas.
• Protocolo: A avaliação utiliza distinguidores de correspondência exata (por exemplo, strings de canário específicas como BETA CANARY 0000 ou tokens de ação como CALL SEND EXTERNAL EMAIL 0000) para garantir verdade absoluta inequívoca. O benchmark evita juízes LLM para evitar introduzir variância adicional dependente do modelo.

Contribuições Principais

1. Definição Formal: Definiu não-interferência de intenção para execução com vazamento permitido para agentes que combinam instruções confiáveis com observações não confiáveis.
2. Distinção de Segurança: Separou explicitamente instruções em nível de texto (anotações de prompt) de fronteiras de segurança impostas (projeção de proveniência e restrição de capacidade). O artigo argumenta que a anotação depende da conformidade do modelo, enquanto a imposição remove o canal adversarial.
3. Três Jogos de Segurança: Instanciou o isolamento de instrução, segredo e capacidade como projeções de política, fornecendo estimadores para vantagem adversarial, vazamento de RAG e fechamento de canal.
4. Rastreamento de Avaliação: Implementou um sistema de avaliação que registra tanto eventos de resultado quanto a classe específica de imposição que produziu o contexto defendido, permitindo a desagregação da resistência comportamental do fechamento real do canal.
5. Análise Empírica: Conectou o risco residual observado à remoção de um símbolo ou capacidade não autorizada antes da geração, demonstrando que a redução de risco nem sempre implica fechamento de canal.

Resultados

A avaliação de 576 execuções (através de 3 jogos, 6 defesas, 2 modelos) produziu as seguintes percepções:

• Fechamento de Canal vs. Vantagem: A defesa Combinada alcançou 100% de fechamento de canal e 0% de vantagem adversarial. Em contraste, o Endurecimento de delimitadores (anotação de prompt) alcançou 0% de fechamento de canal, mas reduziu a vantagem para 0,438 (ligeiramente superior à linha de base de 0,375).
• Eficácia da Defesa:
  • O Gating de proveniência fechou com sucesso o canal de recuperação para o jogo de confidencialidade (0% de vazamento), mas falhou em fechar o canal de capacidade no jogo de ferramenta.
  • O Gating de menor privilégio fechou o canal de capacidade (0% de violação), mas não afetou o vazamento de recuperação.
  • A Filtragem alcançou fechamento parcial (54,2%) e reduziu a vantagem para 0,042.
• Interpretação: Uma defesa pode reduzir a taxa de sucesso do ataque observada (ASR) enquanto deixa o canal adversarial aberto (confiando no modelo para ignorar a entrada). Por outro lado, uma defesa que fecha o canal (remove o recurso não autorizado) fornece uma garantia mais forte e impositiva, embora ainda possa exigir validação pós-geração para prevenir a invenção pelo modelo do alvo proibido.

Significado e Alegações

O artigo alega que o AgentSecBench fornece um método de avaliação orientado à segurança que desloca o foco do ranqueamento de templates de prompt para a verificação da imposição de fronteiras de segurança.

• Anotação vs. Imposição: A contribuição principal é a demonstração de que o texto do prompt pode descrever uma fronteira, mas apenas projeção de proveniência, restrição de capacidade e validação de saída podem impor uma.
• Fechamento Mensurável: O framework introduz "fechamento de canal" como uma variável mensurável. Isso permite que pesquisadores distingam entre uma defesa que remove com sucesso uma observação não autorizada (imposição) e uma que apenas reduz a probabilidade do modelo agir sobre ela (anotação).
• Alegações Modestas: Os autores afirmam explicitamente que os experimentos com marcadores exatos são "uma instanciação observável" e não alegam segurança semântica exaustiva. O uso de marcadores exatos (canários) serve como testemunho suficiente para violação de política, mas subestima violações semânticas (por exemplo, segredos parafraseados). Os resultados estabelecem insegurança para os jogos específicos testados; não-violações não certificam não-interferência irrestrita.

Em conclusão, o artigo argumenta que o design seguro de agentes requer projeção explícita de observação e validação de capacidade além de instruções em linguagem natural, em vez de confiar apenas em instruções para definir o perímetro de segurança.