Resumo Técnico: ARGUS: Defendendo Agentes de LLM Contra Injeção de Prompt Consciente de Contexto

Declaração do Problema

A rápida adoção de agentes de Modelos de Linguagem de Grande Escala (LLM), que utilizam ferramentas, habilidades e conhecimento externo para executar fluxos de trabalho autônomos, introduziu vulnerabilidades de segurança significativas, particularmente ataques de injeção de prompt. Embora defesas e benchmarks existentes tenham alcançado resultados promissores em ambientes controlados, eles sofrem de duas limitações fundamentais quando aplicados a implantações do mundo real:

1. Tarefas Insensíveis ao Contexto: Os benchmarks atuais avaliam defesas em cenários onde o prompt do usuário especifica totalmente a ação pretendida (por exemplo, "Pague $500 para a Conta X"). Na realidade, os agentes frequentemente realizam tarefas dependentes de contexto, onde a ação específica (destinatário, valor, escolha da ferramenta) é determinada dinamicamente por observações em tempo de execução (por exemplo, "Pague a conta em invoice.pdf").
2. Ataques Agnósticos ao Contexto: Os benchmarks existentes dependem de cargas úteis agnósticas à tarefa (por exemplo, substituições genéricas como "ignore instruções anteriores") que não se adaptam aos dados específicos que o agente recupera. Adversários do mundo real empregam ataques conscientes de contexto, incorporando instruções maliciosas dentro de transportadores de dados legítimos (por exemplo, uma nota em uma fatura) que manipulam a lógica de decisão do agente semanticamente, em vez de substituí-la abertamente.

Consequentemente, as defesas existentes frequentemente falham nesses cenários porque validam ações apenas contra o prompt do usuário (perdendo a âncora quando o prompt é vago) ou tratam todas as observações em tempo de execução como uniformemente não confiáveis, levando a ataques bem-sucedidos ou ao bloqueio de fluxos de trabalho legítimos dependentes de contexto.

Metodologia: A Defesa ARGUS

Para abordar essas lacunas, os autores propõem o ARGUS, um auditor de decisão em tempo de execução projetado para impor auditoria de decisão consciente de proveniência. O ARGUS opera construindo um Grafo de Proveniência de Influência (IPG) para rastrear como o contexto não confiável se propaga para as decisões do agente, verificando que toda ação que altera o estado é justificada por evidências confiáveis antes da execução.

Componentes Principais

O ARGUS opera através de um pipeline de quatro ferramentas de segurança apoiadas por LLM que interagem com o IPG:

1. Grafo de Proveniência de Influência (IPG): Um grafo acíclico direcionado onde os nós representam unidades de conteúdo (prompts do sistema, consultas do usuário, retornos de ferramentas, etc.). Cada nó é segmentado em espaços (spans) rotulados como BENIGNO ou ANOMALOUS. Os nós recebem uma pontuação de confiança dinâmica com base em seu tipo de fonte e na proporção de conteúdo anômalo.
2. ContentSegmenter: Analisa nós de observação brutos para particioná-los em espaços. Ele distingue entre evidências de tarefa ordinárias (por exemplo, um nome de beneficiário em uma fatura) e influência anômala (por exemplo, uma nota instruindo uma transferência extra). Isso permite que o sistema trate partes de um documento como confiáveis enquanto sinaliza outras.
3. ArgumentGrounder: Mapeia cada argumento de uma chamada de ferramenta proposta de volta ao seu espaço de origem no IPG. Ele determina o "tipo de fundamentação" (por exemplo, copiar, normalizar, derivar) para verificar se um valor específico (por exemplo, uma conta de destinatário) origina-se de um espaço benigno ou de um anômalo.
4. InvariantChecker: Deriva um pequeno conjunto de restrições de nível de tarefa (invariantes) da consulta do usuário antes que qualquer contexto externo seja lido. Ele verifica se as ações propostas não violam esses limites fixos (por exemplo, "nenhuma transferência para contas não mencionadas no documento").
5. EntailmentVerifier: Verifica se a ação proposta é logicamente implicada pela evidência benigna acumulada no IPG. Ele garante que a ação não seja justificada apenas por conteúdo anômalo, mesmo que os próprios argumentos pareçam fundamentados.

Processo de Auditoria

Quando um agente propõe uma chamada de ferramenta que altera o estado, o ARGUS executa:

• Auditoria Local: Rastreia argumentos até seus espaços de origem. Se os argumentos estiverem fundamentados em espaços ANOMALOUS, a chamada é sinalizada.
• Auditoria Global: Verifica a ação contra as invariantes do usuário e verifica se a ação é apoiada por evidência benigna.
• Recuperação: Se uma chamada for bloqueada, o ARGUS extrai Dicas de Dados Benignos (valores confiáveis de espaços BENIGNO) e as retorna ao agente, permitindo que ele tente novamente a ação com valores seguros, em vez de falhar na tarefa inteiramente.

Contribuições Principais

1. Benchmark AgentLure: Os autores introduzem o AgentLure, um novo benchmark especificamente projetado para tarefas dependentes de contexto e ataques conscientes de contexto.

   • Escopo: Contém 320 amostras em quatro domínios (Banca, Viagem, Espaço de Trabalho, Slack).
   • Estrutura: Abrange oito vetores de ataque (por exemplo, Sequestro de Roteamento de Capacidade, Manipulação de Argumentos, Injeção de Habilidade) e seis superfícies de ataque (por exemplo, retornos de ferramentas, documentos recuperados, memória).
   • Diferenciação: Ao contrário de benchmarks anteriores (por exemplo, AgentDojo, ASB), o AgentLure exige que os agentes derivem ações de observações em tempo de execução e apresenta cargas úteis indistinguíveis do conteúdo legítimo do transportador.

2. Mecanismo de Defesa ARGUS: Um auditor em tempo de execução inovador que vai além da filtragem grosseira em nível de observação para rastreamento de proveniência em nível de espaço. Ele combina exclusivamente o rastreamento local de argumentos com verificação global em nível de tarefa para distinguir entre delegação legítima e influência maliciosa.

3. Avaliação Sistemática: Uma avaliação abrangente do ARGUS contra oito defesas de última geração (incluindo Tool Filter, MELON e InjecGuard) no benchmark AgentLure, incluindo estudos de ablação e ataques adaptativos de caixa branca.

Resultados Experimentais

Avaliado no benchmark AgentLure, o ARGUS demonstra desempenho superior ao equilibrar segurança e utilidade:

• Taxa de Sucesso do Ataque (ASR): O ARGUS reduz a ASR de uma linha de base de 28,8% (sem defesa) para 3,8%. Esta é a segunda menor ASR entre todas as defesas testadas, ficando atrás apenas do MELON (1,6%).
• Utilidade da Tarefa: Ao contrário do MELON, que alcança baixa ASR bloqueando agressivamente ações legítimas (reduzindo a utilidade limpa para 65,0%), o ARGUS preserva 87,5% da utilidade de tarefas limpas.
• Pontuação de Defesa Efetiva (EDS): Uma nova métrica combinando segurança e utilidade ($EDS = (1 - ASR) \times Utilidade$). O ARGUS alcança a maior EDS de 84,2%, superando significativamente a próxima melhor defesa (InjecGuard com 78,5%).
• Robustez: Sob um ataque adaptativo de caixa branca (onde o adversário tem conhecimento total da arquitetura e prompts do ARGUS), a ASR sobe apenas para 5,9%, permanecendo 79% menor que a linha de base sem defesa.
• Estudos de Ablação: A remoção de qualquer uma das quatro ferramentas de segurança (Segmentador, Fundamentador, EntailmentVerifier, InvariantChecker) resulta em uma degradação significativa do desempenho (a ASR aumenta de 3,7% para 21,2%), confirmando que cada componente é necessário para a eficácia da defesa.

Significado e Alegações

O artigo afirma que o ARGUS representa um passo prático rumo a agentes de LLM mais seguros, abordando os modos de falha específicos das defesas existentes em cenários do mundo real dependentes de contexto.

• Mudança de Paradigma: O trabalho argumenta que a "autorização apenas por prompt" é insuficiente para agentes que dependem de dados em tempo de execução. A segurança deve, em vez disso, estar ancorada em evidências de tempo de execução confiáveis e proveniência.
• Granularidade: O artigo destaca que a filtragem grosseira em nível de observação é muito bruta para transportadores de conteúdo misto. Ao operar em nível de espaço, o ARGUS pode admitir dados benignos enquanto rejeita influência maliciosa dentro do mesmo documento.
• Resolução de Trade-off: Os autores demonstram que é possível alcançar alta segurança sem sacrificar a utilidade, um trade-off que as defesas existentes frequentemente falham em equilibrar em configurações conscientes de contexto.

Os autores concluem que, embora o ARGUS mitigue efetivamente a injeção de prompt em fluxos de trabalho dependentes de contexto, desafios permanecem quanto à integridade do transportador (por exemplo, documentos totalmente falsificados) e questões mais amplas de segurança do agente além da injeção de prompt, que são deixadas para trabalhos futuros.