Semantic Attacks on Tool-Augmented LLMs: Securing the Model Context Protocol Against Descriptor-Level Manipulation

Resumo Técnico: Ataques Semânticos a LLMs Aprimorados por Ferramentas

Declaração do Problema
O Protocolo de Contexto de Modelo (MCP) permite que Modelos de Linguagem de Grande Escala (LLMs) interajam com ferramentas externas por meio de interfaces de metadados padronizadas, especificamente descritores de ferramentas. Embora esses descritores sejam essenciais para a tomada de decisão autônoma e a coordenação de agentes múltiplos, as implementações atuais tratam-nos como metadados confiáveis. Este artigo identifica uma lacuna crítica de segurança: como os descritores de ferramentas são integrados diretamente no contexto de raciocínio do LLM, eles constituem uma superfície de ataque semântico ativa. Diferentemente da injeção de prompt tradicional, que manipula a entrada do usuário, a manipulação no nível do descritor explora a natureza confiável dos metadados da ferramenta para enviesar a seleção de ferramentas e o raciocínio subsequente, sem violar esquemas sintáticos ou exigir comprometimento da infraestrutura. As defesas existentes, focadas principalmente em injeção de prompt e validação estática, falham em abordar essas manipulações semânticas.

Metodologia
Os autores propõem um framework de avaliação controlado e entre modelos para isolar e analisar vulnerabilidades impulsionadas por descritores. O estudo envolve três componentes principais:

1. Formalização do Modelo de Ameaça: O artigo define três classes distintas de ataque:

   • Envenenamento de Ferramenta: Manipular o descritor de uma ferramenta para enviesar o raciocínio em direção a ações inseguras (por exemplo, adicionar "priorizar o contexto do usuário" a uma ferramenta de busca benigna).
   • Ocultação (Shadowing): Introduzir um descritor malicioso em um contexto MCP compartilhado para contaminar a interpretação de ferramentas que, de outra forma, seriam benignas.
   • Rug Pull: Modificar o descritor de uma ferramenta após a aprovação (por exemplo, via atualizações de plugin) para introduzir comportamento inseguro, mantendo a validade sintática.

2. Configuração Experimental:

   • Modelos: O estudo avalia GPT-5.3, DeepSeek-V3 e LLaMA-3.5.
   • Ambiente: Um ambiente de teste MCP empresarial sintético com ferramentas para recuperação de informações, produtividade e utilitários de sistema.
   • Geração Adversarial: Um motor de mutação leve gera descritores adversariais aplicando perturbações semânticas (por exemplo, expansão contextual, amplificação de autoridade) que preservam a validade sintática, mas alteram a intenção semântica.
   • Estratégias de Prompting: A avaliação abrange oito estratégias, incluindo Zero-shot, Cadeia de Pensamento (Chain-of-Thought), Reflexion e Scarecrow prompting.
   • Métricas: As métricas principais incluem Taxa de Seleção Maliciosa, Taxa de Invocação Insegura, Gravidade de Vazamento, Desvio de Intenção e Latência.

3. Mecanismos de Defesa: O artigo propõe e avalia uma estratégia de defesa em camadas:

   • Verificação de Integridade do Descritor: Assinatura criptográfica para prevenir modificações pós-aprovação (Rug Pulls).
   • Avaliação Semântica: Uso de um LLM auxiliar para auditar descritores quanto a intenções adversariais antes da integração ao contexto.
   • Barreiras de Proteção em Tempo de Execução: Filtragem baseada em regras leve para bloquear padrões de risco explícitos durante a execução.

Resultados Principais

• Vulnerabilidade: Sob configurações de base, a manipulação de descritores causou invocações inseguras de ferramentas em até 36% dos ensaios. Aproximadamente 30% das invocações inseguras contornaram as defesas de base.
• Eficácia do Ataque: O Envenenamento de Ferramenta provou ser o mais difícil de detectar devido a perturbações semânticas sutis, enquanto a Ocultação (Shadowing) foi a mais prontamente identificada entre os modelos.
• Variação entre Modelos: A robustez variou significativamente por arquitetura. O GPT-5.3 demonstrou latência estável e filtragem consistente. O DeepSeek-V3 mostrou alta sensibilidade à manipulação no nível do contexto (particularmente Shadowing), mas incorreu em sobrecarga substancial de latência. O LLaMA-3.5 ofereceu a menor latência, mas exibiu filtragem semântica mais fraca.
• Impacto do Prompting: Estratégias de raciocínio estruturado (Cadeia de Pensamento, Reflexion) melhoraram as taxas de detecção, mas aumentaram a latência. Por outro lado, estratégias leves (Zero-shot) mostraram menor robustez.
• Eficácia da Mitigação: A mitigação completa proposta (combinando verificação de integridade, avaliação semântica e barreiras de proteção) reduziu as invocações inseguras de 36% para 15% e aumentou a taxa de bloqueio para 74%. No entanto, isso introduziu uma compensação, aumentando a taxa de falsos positivos para 21,6% e adicionando sobrecarga de latência.
• Transferibilidade: Ataques no nível do descritor demonstraram transferibilidade moderada entre modelos, com ataques otimizados contra o LLaMA-3.5 comprometendo efetivamente o GPT-5.3 e o DeepSeek-V3.

Significado e Alegações
O artigo alega fornecer a primeira avaliação sistemática e controlada entre modelos de ameaças no nível do descritor em sistemas integrados ao MCP. Suas principais contribuições são:

1. Formalização da Ameaça: Estabelecer Envenenamento de Ferramenta, Ocultação e Rug Pull como um modelo de ameaça semântico unificado específico para MCP.
2. Evidência Empírica: Demonstrar que os descritores de ferramentas não são metadados passivos, mas vetores ativos para manipulação semântica que podem comprometer a segurança do agente mesmo quando os esquemas são válidos.
3. Framework de Defesa: Propor uma estratégia de defesa no nível do protocolo que não requer re-treinamento do modelo, mostrando que a resiliência pode ser alcançada por meio de verificação de integridade do descritor e avaliação semântica.
4. Compensações Operacionais: Destacar a tensão inerente entre segurança e usabilidade, observando que, embora defesas em camadas reduzam significativamente o risco, elas introduzem custos de latência e falsos positivos que devem ser gerenciados em implementações empresariais.

O estudo conclui que a segurança de LLMs aprimorados por ferramentas exige tratar os descritores de ferramentas como entradas não confiáveis e incorporar a validação diretamente no pipeline de orquestração, indo além da validação estática de esquemas para abordar a intenção semântica.