Breaking MCP with Function Hijacking Attacks: Novel Threats for Function Calling and Agentic Models

Título: Quebrando o MCP com Ataques de Sequestro de Função: Novas Ameaças para Chamadas de Função e Modelos Agentes

1. Problema e Contexto

O crescimento da IA Agêntica (sistemas onde LLMs interagem autonomamente com o ambiente externo) depende fundamentalmente da Chamada de Função (Function Calling - FC). Neste paradigma, o modelo seleciona e invoca ferramentas externas (APIs) com base na intenção do usuário. O Model Context Protocol (MCP) emergiu como um padrão para padronizar essa comunicação.

Apesar de pesquisas anteriores focarem em injeção de prompt e jailbreaking (geração de conteúdo prejudicial), existe uma lacuna crítica: a vulnerabilidade do próprio processo de seleção de ferramentas. Ataques existentes dependem frequentemente de preferências semânticas entre o prompt e a função, o que limita sua eficácia em cenários diversos. O problema central abordado é a falta de métodos robustos para perturbar sistematicamente a decisão do modelo sobre qual função chamar, permitindo que um atacante force a execução de uma ação maliciosa específica, mesmo que não seja a correta para a tarefa.

2. Metodologia: O Ataque de Sequestro de Função (FHA)

Os autores propõem um novo vetor de ataque chamado Function Hijacking Attack (FHA).

• Objetivo: Manipular o processo de seleção de ferramentas de um modelo agente para forçar a invocação de uma função específica escolhida pelo atacante ($f_{target}$), em vez da função correta ($f_{ground\_truth}$).
• Modelo de Ameaça:
  • O atacante não tem controle sobre o prompt do usuário (que é dinâmico).
  • O atacante não tem acesso ao código-fonte das ferramentas.
  • O atacante controla apenas a descrição textual de uma função específica na lista de ferramentas disponíveis (o que é viável no MCP, onde as descrições são expostas).
• Técnica de Implementação:
  • O FHA adapta o algoritmo GCG (Gradient-based Causal Generation) originalmente usado para jailbreaking.
  • Em vez de injetar um sufixo no prompt do usuário, o ataque insere tokens adversariais otimizados dentro da descrição da função alvo.
  • O algoritmo otimiza esses tokens para minimizar a perda de entropia cruzada, forçando o modelo a gerar o nome da função alvo como a próxima sequência de tokens, ignorando a semântica do prompt do usuário.
  • Para modelos de raciocínio (que pensam antes de agir), o ataque é projetado para suprimir o processo de "pensamento" e forçar a chamada direta da ferramenta.

3. Contribuições Principais

1. Novo Vetor de Ataque (FHA): Demonstra que é possível sequestrar a seleção de ferramentas manipulando apenas a descrição da função, sem necessidade de injetar conteúdo no prompt do usuário.
2. Robustez e Agnosticismo Semântico: Diferente de ataques anteriores que dependem da similaridade semântica entre prompt e função, o FHA é agnóstico ao contexto. Ele funciona independentemente da tarefa do usuário ou do domínio da aplicação.
3. Universalidade: Os autores desenvolveram uma versão "Universal" do ataque, onde um único conjunto de tokens adversariais ($optim\_str$) é treinado para funcionar em múltiplos prompts (diferentes intenções) e múltiplas configurações de conjuntos de funções (perturbações de payload).
4. Análise de MCP: Validação prática do ataque em servidores MCP reais (GitHub e Slack), mostrando que o ataque pode levar a ações destrutivas (ex: deletar um repositório em vez de criá-lo).

4. Resultados Experimentais

Os experimentos foram conduzidos em 5 modelos diferentes (incluindo modelos instruídos e modelos de raciocínio como Qwen) utilizando o conjunto de dados BFCL (Berkeley Function Calling Leaderboard).

• Taxa de Sucesso do Ataque (ASR):
  • O FHA alcançou taxas de sucesso entre 70% e 100% no conjunto de dados BFCL.
  • Em comparação, ataques de base (como Function Injection e MPMA - Preference Manipulation Attack) tiveram desempenho significativamente inferior (muitas vezes abaixo de 10% ou 20% em cenários complexos).
• Eficácia em Modelos de Raciocínio: O ataque conseguiu suprimir o mecanismo de "pensamento" de modelos como o Qwen-3, forçando a execução direta da ferramenta maliciosa.
• Robustez a Perturbações:
  • O ataque manteve-se eficaz mesmo quando o número de funções disponíveis no contexto variava (adicionando "ruído" de outras ferramentas).
  • A versão universal do ataque demonstrou capacidade de generalização, funcionando em diferentes intenções de usuário e formatos de payload.
• Análise de Sufixo Adversarial: Foi observado que sufixos maiores (ex: 60 tokens) são necessários para compensar o contexto extenso das chamadas de função, mas ainda representam uma pequena fração (cerca de 5%) do total do input, tornando o ataque sutil.

5. Significado e Implicações

• Vulnerabilidade Sistêmica: O estudo revela que a segurança dos sistemas agênticos não pode depender apenas da filtragem de prompts de entrada. A integridade das descrições das ferramentas é um vetor de ataque crítico e frequentemente negligenciado.
• Falha das Defesas Atuais: Mecanismos de segurança que focam em detectar conteúdo nocivo no prompt do usuário são ineficazes contra o FHA, pois o conteúdo malicioso reside na definição da ferramenta (metadados), não na interação do usuário.
• Necessidade de Novas Defesas: Os autores concluem que é imperativo desenvolver guardrails (barreiras de proteção) e módulos de segurança específicos para o contexto de chamadas de função. Isso inclui validação rigorosa das descrições das ferramentas, monitoramento de anomalias na seleção de ferramentas e mecanismos que verifiquem a coerência semântica entre a intenção do usuário e a ferramenta selecionada, independentemente de manipulações textuais na descrição da ferramenta.

Em resumo, o paper alerta que, à medida que os modelos de IA se tornam mais autônomos e integrados a ferramentas externas, a superfície de ataque expande-se para a própria definição dessas ferramentas, exigindo uma reavaliação fundamental das estratégias de segurança em sistemas agênticos.