Breaking MCP with Function Hijacking Attacks: Novel Threats for Function Calling and Agentic Models

Titre : Briser le MCP par des attaques de détournement de fonctions : Nouvelles menaces pour les appels de fonctions et les modèles agents

1. Problématique

L'essor de l'IA agentique repose sur la capacité des modèles de langage (LLM) à invoquer des fonctions externes via des interfaces d'appel de fonctions (Function Calling - FC). Le protocole MCP (Model Context Protocol) est devenu un standard pour faciliter cette interaction. Cependant, cette interactivité accrue élargit la surface d'attaque des systèmes.

Bien que les attaques par injection de prompt et les "jailbreaks" soient bien documentées pour manipuler le contenu généré par les LLM, la littérature existante a négligé la vulnérabilité spécifique du processus de sélection des fonctions lui-même. Les travaux antérieurs se sont concentrés sur la génération de contenu nuisible ou sur l'injection de prompts dans les arguments, mais n'ont pas systématiquement exploré la possibilité de forcer un modèle à sélectionner une fonction spécifique et malveillante, indépendamment de la sémantique de la requête utilisateur.

2. Méthodologie : L'Attaque par Détournement de Fonction (FHA)

Les auteurs proposent une nouvelle attaque nommée Function Hijacking Attack (FHA). Contrairement aux attaques précédentes qui tentent de manipuler la préférence sémantique du modèle entre plusieurs fonctions, la FHA vise à corrompre le mécanisme de sélection pour forcer l'appel d'une fonction cible choisie par l'attaquant ($f_{target}$), même si elle est inappropriée pour la tâche demandée.

Principes de l'attaque :

• Vecteur d'attaque : L'attaquant ne contrôle pas le prompt de l'utilisateur, mais la description textuelle d'une fonction spécifique dans la liste des fonctions disponibles (le "toolset"). C'est un scénario réaliste dans les environnements MCP où les descriptions sont accessibles mais le code source ne l'est pas.
• Mécanisme : L'attaque insère des tokens adversariaux (une chaîne de caractères optimisée) directement dans la description de la fonction cible.
• Algorithme : L'approche adapte l'algorithme GCG (Greedy Coordinate Gradient), initialement conçu pour les jailbreaks, au contexte des appels de fonctions.
  • L'objectif est de minimiser la perte (loss) pour que le modèle génère le nom de la fonction cible ($f_{target}$) en premier, en exploitant la nature auto-régressive du modèle pour compléter ensuite les arguments.
  • La cible d'optimisation est réduite au nom de la fonction (ex: delete_repository) plutôt qu'à l'ensemble de l'appel, rendant l'attaque plus efficace.

Configuration expérimentale :

• Jeu de données : Utilisation du BFCL (Berkley Function Calling Leaderboard), version v3_multiple (200 échantillons avec 2 à 4 fonctions disponibles).
• Modèles cibles : 5 modèles différents, incluant des modèles instructés (Llama-3.2-3B, Mistral-7B) et des modèles de raisonnement (Qwen-3 variants : 1.7B, 8B, 14B).
• Métriques :
  • ASR Nom de fonction : Correspondance exacte du nom de la fonction appelée.
  • ASR Remplissage de slots : Validation de la structure et des paramètres de l'appel (pour s'assurer que l'appel est exécutable en production).

3. Contributions Clés

1. Nouvelle vulnérabilité systémique : Démonstration que les modèles d'appel de fonctions sont vulnérables à des perturbations adversaires insérées dans les métadonnées des fonctions (descriptions), et non seulement dans les prompts utilisateurs.
2. Robustesse et Indépendance Sémantique : Contrairement aux attaques basées sur la préférence textuelle (comme MPMA), la FHA est largement agnostique au contexte sémantique. Elle fonctionne même lorsque la fonction cible est sémantiquement très éloignée de la requête utilisateur.
3. Universalité de l'attaque :
   • Universalité par requête : Un seul token adversaire peut fonctionner sur un ensemble de requêtes différentes (batch de requêtes).
   • Universalité par charge utile (Payload) : L'attaque peut être entraînée pour résister à des perturbations du jeu de fonctions (ajout de nouvelles fonctions, changement d'ordre), rendant l'attaque persistante même si le serveur MCP est modifié après l'injection.
4. Contournement des modèles de raisonnement : L'attaque réussit à forcer les modèles de raisonnement (comme Qwen) à sauter leur phase de réflexion (thinking) pour exécuter directement l'appel de fonction malveillant.

4. Résultats Expérimentaux

• Taux de succès (ASR) : Sur le jeu de données BFCL, la FHA atteint des taux de succès allant de 70 % à 100 % selon les modèles.
  • Llama-3.2-3B & Mistral-7B : ASR proche de 100 % (Nom de fonction) et >90 % (Remplissage de slots).
  • Qwen-3 (Reasoning) : ASR de 70 % à 82 %, nécessitant un effort d'optimisation supplémentaire pour supprimer la phase de raisonnement.
• Comparaison avec les bases de référence (Baselines) :
  • L'attaque par injection de fonction (Function Injection) et l'attaque MPMA (Preference Manipulation) montrent des performances nettement inférieures (ASR < 10 % pour MPMA dans des environnements complexes) car elles dépendent trop de la similarité textuelle entre le prompt et la fonction.
  • La FHA surpasse ces méthodes car elle ne dépend pas de la similarité sémantique, mais de la perturbation structurelle du processus de décision.
• Impact de la taille de la perturbation : Une chaîne adversaire de 60 tokens (insérée dans la description) suffit à compromettre presque tous les échantillons, représentant seulement ~5 % du contexte total (contre 25-50 % dans les jailbreaks NLP classiques).
• Robustesse aux perturbations : L'attaque reste efficace même avec l'ajout de 3 à 5 fonctions "bruit" dans le contexte. Les versions universelles de l'attaque (entraînées sur des batches de perturbations) maintiennent un ASR > 85 % même avec 25 fonctions supplémentaires.

5. Signification et Implications

• Menace pour les systèmes Agents : Cette recherche révèle une faille critique dans l'architecture des systèmes agents basés sur MCP. Un attaquant n'a pas besoin de contrôler le prompt utilisateur ni le code de la fonction, mais seulement sa description textuelle, ce qui est souvent exposé.
• Échec des défenses actuelles : Les mécanismes de sécurité actuels, conçus pour détecter les prompts malveillants ou les contenus nuisibles, sont inefficaces contre la FHA car l'attaque se produit au niveau de la sélection d'outil, souvent invisible pour l'utilisateur final.
• Nécessité de nouvelles défenses : Les auteurs concluent que des gardes-fous (guardrails) robustes et des modules de sécurité spécifiques aux agents sont indispensables. Cela inclut la validation stricte des descriptions de fonctions, la détection de tokens adversaires dans les métadonnées, et la vérification de la cohérence sémantique entre la requête et la fonction sélectionnée avant l'exécution.

En résumé, cet article démontre que la sécurité des systèmes d'IA agents ne peut se limiter à la protection des prompts utilisateurs ; elle doit impérativement sécuriser l'intégrité des outils et des descriptions de fonctions auxquels ces modèles ont accès.