AgentVisor: Defending LLM Agents Against Prompt Injection via Semantic Virtualization

1. Declaração do Problema

Agentes de Modelos de Linguagem de Grande Escala (LLM) são cada vez mais utilizados para automatizar fluxos de trabalho complexos ao interagir com ferramentas e dados externos. No entanto, integrar dados externos não confiáveis (por exemplo, páginas da web, e-mails) com capacidades de execução privilegiada cria vulnerabilidades de segurança graves.

Os riscos de segurança centrais são:

• Injeção Direta de Prompt: Usuários maliciosos sobrescrevem explicitamente as instruções do sistema para forçar ações não autorizadas.
• Injeção Indireta de Prompt: Comandos maliciosos ocultos são embutidos em conteúdo externo processado pelo agente, sequestrando sua tomada de decisão sem o conhecimento do usuário.

Limitações das Defesas Existentes:

• Endurecimento de Prompt: Heurístico e facilmente sobrescrito por instruções adversárias.
• Filtragem de Entrada/Saída: Propenso a evasão, altos falsos positivos e falta de garantias sobre como o conteúdo afeta as decisões de uso de ferramentas.
• Sandboxing de Ferramentas: Frequentemente muito grosseiro, falha em rastrear o fluxo de informações em fluxos de trabalho de múltiplos passos e carece de caminhos de recuperação principistas uma vez que uma violação ocorre.
• Compromisso: Os métodos atuais lutam para equilibrar segurança (bloquear ataques) com utilidade (permitir tarefas legítimas), resultando frequentemente em "superdefesa" (bloquear tudo) ou "subdefesa" (perder ataques sutis).

2. Metodologia: AgentVisor

Os autores propõem o AgentVisor, um framework de defesa inspirado na Virtualização de Sistema Operacional (SO). Ele trata o agente LLM alvo como um "Convidado" não confiável e media todas as chamadas de ferramentas através de um "Visor Semântico" (Hipervisor) confiável.

Arquitetura Central

O AgentVisor impõe um ciclo de controle Captura–Auditoria–Recuperação:

1. Convidado (Agente Alvo): Opera no contexto completo da tarefa (incluindo dados externos potencialmente maliciosos) e propõe uma chamada de ferramenta ($T_{raw}$).
2. Visor (Hipervisor Semântico): Um componente confiável que audita a proposta do Convidado. Crucialmente, o Visor é arquiteturalmente cego ao contexto externo bruto. Ele vê apenas:
   • Instruções do sistema confiáveis ($I_{sys}$).
   • Consulta do usuário ($I_u$).
   • Um histórico de execução sanitizado ($\tilde{H}_{t-1}$) contendo apenas campos estruturados (nomes de ferramentas, argumentos canonizados, resumos de status), tratados estritamente como dados, não como código executável.
3. Decisão: O Visor permite a chamada ou injeta uma Exceção Semântica para acionar a autocorreção.

O Protocolo de Auditoria STI

O Visor impõe um protocolo rigoroso de verificação em três etapas:

1. Adequação (S): Verifica se a ferramenta proposta é permitida sob a política do sistema e o papel do agente. Isso atua como um portão de granularidade grossa contra tentativas de injeção direta de escalar privilégios.
2. Contaminação (T): Verifica se o objetivo implícito pela chamada de ferramenta alinha-se com a intenção do usuário e objetivos intermediários legítimos. Bloqueia ações que introduzem novos objetivos não autorizados (por exemplo, exfiltração de dados quando o usuário pediu apenas um resumo).
3. Integridade (I): Garante que os argumentos da ferramenta sejam consistentes com as entidades e restrições especificadas pelo usuário. Isso previne redirecionamentos sutis (por exemplo, manter a ferramenta "enviar e-mail" mas alterar o destinatário para um atacante).

Injeção de Exceção Semântica e Autocorreção

Em vez de simplesmente bloquear uma solicitação (o que causa falha na tarefa), o AgentVisor usa Injeção de Exceção Semântica.

• Se o protocolo STI falhar, o Visor gera uma exceção estruturada ($E_t$) contendo o tipo de violação, a fundamentação, as restrições e o objetivo permitido.
• O Convidado recebe essa exceção e realiza uma autocorreção de um único tiro para regenerar uma chamada de ferramenta segura.
• Essa abordagem transforma violações de segurança em feedback construtivo, preservando a utilidade.

3. Contribuições Principais

1. Framework AgentVisor: Uma defesa inovadora baseada em virtualização que impõe separação de privilégios semântica, tratando o agente como um convidado não confiável e a camada de segurança como um hipervisor confiável.
2. Protocolo STI: Um mecanismo de auditoria semântica estruturada (Adequação, Contaminação, Integridade) que adapta primitivas clássicas de segurança de SO (Separação de Privilégios, Aplicação de Política, Tratamento de Exceções) ao domínio LLM.
3. Autocorreção de Um Único Tiro: Um mecanismo que converte falhas de auditoria em eventos recuperáveis, permitindo que agentes se recuperem de ataques sem encerrar o fluxo de trabalho.
4. Validação Empírica: Experimentos extensivos demonstrando desempenho superior sobre linhas de base existentes em cenários de injeção direta e indireta.

4. Resultados Experimentais

O framework foi avaliado em backbones GPT-4o e GLM-4.7 contra 7 estratégias de ataque representativas em 4.900 casos de injeção direta e 629 casos de injeção indireta.

• Taxa de Sucesso do Ataque (ASR): O AgentVisor reduziu a ASR para 0,65% em média (0,00% para injeção direta, <1,7% para injeção indireta), superando significativamente todas as linhas de base.
• Preservação de Utilidade:
  • Utilidade Benigna (BU): Mantidas altas taxas de conclusão de tarefa em cenários sem ataque.
  • Utilidade sob Ataque (UA): Alcançou 83,14% (Direto) e 73,21% (Indireto) de utilidade sob ataque, comparado a utilidade próxima de zero para métodos baseados em detecção estrita (por exemplo, DataSentinel) ou altas taxas de falha para métodos de mitigação apenas.
• Sobrecarga:
  • Latência: Introduziu uma sobrecarga moderada (~1,4x em condições benignas). Sob ataque, a latência aumentou devido à autocorreção (até 2,32x para injeção direta), mas esse compromisso "pagar pela segurança" foi considerado justificado para prevenir violações críticas.
  • Rodadas de Correção: Estudos de ablação mostraram que correção de um único tiro (N=1) é ótima; rodadas adicionais produziram ganhos de utilidade negligenciáveis (<1,3%) enquanto aumentavam desproporcionalmente a latência.
• Robustez:
  • Agnóstico ao Modelo: Eficaz em diferentes backbones LLM (de modelos leves a modelos de ponta).
  • Ataques Adaptativos: Neutralizou com sucesso ataques adaptativos recursivos (por exemplo, "Ignore Verificação de Segurança") onde defesas ingênuas falharam, mantendo 86,85% de utilidade.

5. Significado

O AgentVisor representa uma mudança de paradigma na segurança de agentes LLM, movendo-se da filtragem heurística para o isolamento estrutural.

• Segurança Principista: Fornece uma arquitetura de segurança formal baseada em princípios de SO (privilégio mínimo, controle de fluxo de informações) em vez de engenharia de prompt ad hoc.
• Defesa Equilibrada: Resolve com sucesso o compromisso segurança-utilidade, provando que proteção rigorosa não requer sacrificar a funcionalidade do agente.
• Escalabilidade: O framework é leve o suficiente para ser implantado com modelos custo-efetivos (por exemplo, Gemini-2.5-Flash) enquanto mantém altos padrões de segurança.

Limitações: O artigo reconhece a sobrecarga computacional, potenciais problemas de escalabilidade com janelas de contexto extremamente longas e o foco atual em injeções textuais em vez de multimodais (visuais/áudio).