Breaking MCP with Function Hijacking Attacks: Novel Threats for Function Calling and Agentic Models

1. Problemstellung

Mit dem Aufkommen von Agentic AI (Agenten-KI) haben Large Language Models (LLMs) die Fähigkeit erhalten, externe Funktionen über Function Calling (FC) aufzurufen, um ihre Handlungsfähigkeit zu erweitern. Ein weit verbreiteter Standard für diese Interaktion ist das Model Context Protocol (MCP).

Bisherige Sicherheitsforschung konzentrierte sich stark auf Prompt-Injection- und Jailbreaking-Angriffe, die darauf abzielen, Modelle dazu zu bringen, schädliche Inhalte zu generieren oder Sicherheitsrichtlinien zu umgehen. Es wurde jedoch wenig untersucht, wie die Funktionenauswahl selbst manipuliert werden kann.
Das Paper identifiziert eine kritische Lücke: Es fehlt an Methoden, um den Prozess der Funktionsauswahl (Tool Selection) robust und systematisch zu stören. Angreifer könnten theoretisch dazu gebracht werden, eine falsche, aber schädliche Funktion anstelle der vom Benutzer intendierten Funktion auszuführen (z. B. das Löschen einer Datenbank statt des Abrufs von Wetterdaten).

2. Methodik: Function Hijacking Attack (FHA)

Die Autoren stellen eine neue Angriffsmethode vor, die Function Hijacking Attack (FHA). Im Gegensatz zu früheren Ansätzen zielt diese nicht auf die Semantik des Benutzerprompts ab, sondern manipuliert die Beschreibung der Ziel-Funktion im System-Context.

• Bedrohungsmodell: Der Angreifer hat keine Kontrolle über den Benutzer-Prompt, sondern kann nur die Textbeschreibung einer spezifischen Funktion in der Liste der verfügbaren Tools manipulieren (z. B. in einem MCP-Server). Der Angriff wird offline vorbereitet.
• Technische Umsetzung:
  • Die FHA basiert auf einer Anpassung des GCG-Algorithmus (Gradient-based Causal Generation) von Zou et al. (2023), der ursprünglich für Jailbreaking entwickelt wurde.
  • Statt einen adversarialen Suffix am Ende des Benutzerprompts zu platzieren, injiziert der Algorithmus adversariale Tokens direkt in die Beschreibung (Description) der Ziel-Funktion ($f_{target}$).
  • Optimierungsziel: Der Algorithmus minimiert die Kreuzentropie-Loss-Funktion, um sicherzustellen, dass das Modell bei einem gegebenen Benutzer-Prompt ($q$) die manipulierte Funktion $f_{target}$ auswählt, anstatt die korrekte Ground-Truth-Funktion ($f_{ground\_truth}$).
  • Auto-regressive Annahme: Da LLMs auto-regressiv arbeiten, reicht es aus, die ersten Tokens der Ausgabe (den Funktionsnamen) zu erzwingen. Das Modell generiert dann automatisch die restlichen Parameter korrekt.
• Universalität: Die Autoren entwickeln eine erweiterte Version, die über mehrere Prompts und Payload-Variationen hinweg trainiert wird, um universelle adversariale Funktionen zu erstellen, die unabhängig von spezifischen Benutzeranfragen oder Payload-Konfigurationen funktionieren.

3. Schlüsselergebnisse und Experimente

Die Studie wurde an 5 verschiedenen Modellen durchgeführt, darunter Instruct-Modelle (Llama-3.2-3B, Mistral-7B) und Reasoning-Modelle (Qwen-3-Serie in verschiedenen Größen).

• Erfolgsraten (ASR - Attack Success Rate):
  • Die FHA erreichte auf dem BFCL-Datensatz (Berkley Function Calling Leaderboard) Erfolgsraten zwischen 70 % und 100 %.
  • Selbst bei komplexen Reasoning-Modellen (Qwen), die vor dem Aufruf einer Funktion einen „Denkprozess" durchlaufen, konnte der Angriff erfolgreich sein, indem er den Denkprozess unterdrückte und direkt den Funktionsaufruf erzwang.
• Vergleich mit Baselines:
  • Im Vergleich zu Function Injection (Hinzufügen einer neuen, bevorzugten Funktion) und MPMA (MCP Preference Manipulation Attack, die Namen/Beschreibungen modifiziert, um Präferenzen zu verschieben), zeigte sich die FHA als deutlich überlegen.
  • MPMA und Injection-Ansätze scheiterten oft, wenn die verfügbaren Funktionen semantisch sehr unterschiedlich waren (wie im BFCL-Datensatz). Die FHA ist hingegen kontextagnostisch und funktioniert über diverse Domänen hinweg.
• Robustheit:
  • Der Angriff bleibt auch dann erfolgreich, wenn die Payload verändert wird (z. B. Hinzufügen oder Entfernen von Funktionen im MCP-Server).
  • Durch das Training auf Batch-Variationen (unterschiedliche Anzahlen von Funktionen und Positionen) konnte die Robustheit gegenüber „Rauschen" (neuen Tools) weiter erhöht werden.
• Universalität:
  • Ein einzelner adversarialer Suffix konnte erfolgreich über verschiedene Benutzeranfragen (Query-Variationen) und sogar unterschiedliche Absichten (Intents) hinweg transferiert werden.

4. Wichtige Beiträge

1. Neue Angriffsvektoren: Demonstration, dass die Funktionsauswahl selbst ein kritischer Angriffsvektor ist, der unabhängig von der Prompt-Semantik manipuliert werden kann.
2. Effektive Methode (FHA): Vorstellung einer robusten Methode, die durch die Manipulation von Funktionsbeschreibungen (statt des Benutzerinputs) Modelle dazu bringt, falsche Tools auszuführen.
3. Universalität und Skalierbarkeit: Nachweis, dass ein einzelner Angriff auf eine Funktion ausreicht, um eine Vielzahl von Szenarien zu kompromittieren, was die Gefahr für reale MCP-Implementierungen (wie GitHub oder Slack) erhöht.
4. Benchmarking: Umfassende Evaluierung an modernen Modellen, einschließlich der Analyse von Reasoning-Modellen und deren Anfälligkeit für das Unterdrücken des „Denkprozesses".

5. Bedeutung und Implikationen

Die Arbeit hat erhebliche Sicherheitsimplikationen für die Zukunft von Agentic AI:

• Verwundbarkeit von MCP: Da MCP-Server oft öffentlich zugängliche Beschreibungen von Tools haben, sind sie anfällig für diese Art von „Tool Poisoning". Ein Angreifer muss nicht den Code ändern, sondern nur die Metadaten (Beschreibung) manipulieren.
• Notwendigkeit von Guardrails: Herkömmliche Sicherheitsmaßnahmen, die auf Prompt-Filterung oder Jailbreak-Erkennung basieren, reichen nicht aus. Es werden neue Guardrails und Sicherheitsmodule benötigt, die speziell die Integrität der Funktionsauswahl und die Validierung von Tool-Beschreibungen überwachen.
• Herausforderung für Reasoning-Modelle: Die Tatsache, dass auch fortschrittliche Reasoning-Modelle (die normalerweise sicherer wirken) durch das Unterdrücken ihres Denkprozesses gehijackt werden können, unterstreicht die Dringlichkeit, diese Architekturen gegen solche Manipulationen abzusichern.

Zusammenfassend zeigt das Paper, dass die Sicherheit von Agentic-Systemen nicht nur vom Inhalt der Benutzeranfrage abhängt, sondern fundamental von der Integrität der verfügbaren Tool-Definitionen bedroht ist.