💬 NLP

Breaking MCP with Function Hijacking Attacks: Novel Threats for Function Calling and Agentic Models

Dit paper introduceert een nieuwe aanvalsmethode genaamd Function Hijacking Attack (FHA) die de tool-selectie van agentische AI-modellen manipuleert om specifieke, door de aanvaller gekozen functies af te dwingen, waarbij deze aanval ongevoelig is voor context en hoge succespercentages bereikt over verschillende modellen.

Oorspronkelijke auteurs: Yannis Belkhiter, Giulio Zizzo, Sergio Maffeis, Seshu Tirupathi, John D. Kelleher

Gepubliceerd 2026-04-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yannis Belkhiter, Giulio Zizzo, Sergio Maffeis, Seshu Tirupathi, John D. Kelleher

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🕵️‍♂️ De Grote Omleiding: Hoe hackers AI-agenten "hijacken"

Stel je voor dat je een super slimme, digitale assistent hebt (een AI-agent). Deze assistent kan niet alleen praten, maar ook echt dingen doen: e-mails sturen, bestanden opslaan, of zelfs een nieuwe website maken. Om dit te doen, gebruikt de AI een functie-oproep-systeem.

Je kunt dit vergelijken met een chef in een restaurant (de AI) die bestellingen aanneemt. De chef heeft een lijst met gerechten (functies) die hij kan bestellen bij de keuken. Als jij zegt: "Ik wil een pizza", kijkt de chef op zijn lijst, vindt hij "Pizza" en stuurt hij de bestelling door.

Het probleem:
De onderzoekers van IBM en andere universiteiten hebben ontdekt dat hackers deze lijst met gerechten kunnen vervalsen. Ze hoeven de chef niet te dwingen om een giftige pizza te maken; ze hoeven alleen maar de beschrijving van een gerecht op de lijst te veranderen.

🎭 Wat is de "Function Hijacking Attack" (FHA)?

In dit onderzoek noemen ze dit een Functie-Omleidingsaanval (Function Hijacking Attack).

De Analogie van de Vervalsde Menukaart:
Stel je voor dat er op de menukaart bij het gerecht "Pizza" een hele rare, onbegrijpelijke zin staat, vol met vreemde tekens en code die de hacker erin heeft gestopt.

Normaal: De chef leest "Pizza" en denkt: "Ah, dat is wat de klant wil."
Aangevallen: De hacker heeft de beschrijving van een gevaarlijk gerecht (bijvoorbeeld: "Rekenmachine uitschakelen" of "Geheime bestanden wissen") zo verpest dat de AI-chemie erdoor wordt verward.

De AI denkt dan: "Oh, als de klant 'Pizza' zegt, moet ik eigenlijk dat andere, gevaarlijke gerecht bestellen, omdat die beschrijving zo opvallend is."

De AI doet precies wat de hacker wil, niet omdat hij kwaadaardig is, maar omdat hij door de vervalsde beschrijving in de war is geraakt. Hij "hijackt" (krijgt de controle over) de keuze van de AI.

🧪 Wat hebben ze ontdekt?

De onderzoekers hebben dit getest op 5 verschillende slimme AI-modellen. Hier zijn de belangrijkste bevindingen, vertaald naar alledaags taal:

Het werkt bijna altijd (70% tot 100%):
Of je nu vraagt om een privé-repository te maken op GitHub of om een e-mail te sturen, de hacker kan de AI zo manipuleren dat hij in plaats daarvan een andere actie uitvoert (zoals die repository weer verwijderen). Het is alsof je vraagt om een auto te huren, en de verhuurder (de AI) door een vervalsde folder in de war raakt en je in plaats daarvan een brandblusser geeft.
Het maakt niet uit wat je vraagt (Robuustheid):
Vroeger moesten hackers heel specifieke zinnen bedenken die precies bij de vraag pasten. Deze nieuwe aanval werkt bijna altijd, ongeacht wat de gebruiker vraagt. Het is alsof de hacker een magische sleutel heeft die bij elke deur past, ongeacht het slot.
Eén sleutel voor alle deuren (Universeel):
De onderzoekers hebben een manier gevonden om één enkele "vergiftigde" beschrijving te maken die werkt voor veel verschillende vragen. Je hoeft niet voor elke nieuwe vraag een nieuwe aanval te bedenken. Het is alsof je één sleutel hebt die niet alleen je voordeur opent, maar ook je achterdeur, je garage en je kluis.
Zelfs slimme "Denkers" worden gekaapt:
Sommige AI-modellen denken eerst na voordat ze iets doen (zoals een mens die eerst overweegt). De onderzoekers hebben ontdekt dat ze deze AI's zelfs kunnen dwingen om niet na te denken, maar direct de verkeerde actie uit te voeren. Ze "slapen" de denk-functie van de AI in.

🛡️ Waarom is dit gevaarlijk?

Vroeger dachten we dat de grootste gevaar voor AI was dat mensen de AI dwongen om te liegen of boze dingen te zeggen (zoals "maak een bom").
Dit onderzoek laat zien dat het gevaarlijk is dat de AI de verkeerde knop indrukt.

Voorbeeld: Een gebruiker vraagt: "Maak een nieuwe map voor mijn project."
Het resultaat van de aanval: De AI denkt dat hij een map moet maken, maar door de vervalsde beschrijving in de achtergrond, voert hij in plaats daarvan de opdracht uit: "Verwijder alle bestanden van de server."

De AI doet dit niet uit kwaadaardigheid, maar omdat hij door de hacker is "gehaakt" in zijn keuzeproces.

🚧 Wat moeten we doen?

De onderzoekers concluderen dat we nu veel strengere veiligheidsbarrières nodig hebben.

We kunnen niet meer vertrouwen op de AI om zelf te kiezen welke knop hij indrukt.
We moeten controleren of de beschrijvingen van de functies (de "menukaart") niet zijn gemanipuleerd.
We moeten systemen bouwen die controleren of de actie die de AI wil uitvoeren, wel logisch is bij wat de gebruiker heeft gevraagd.

Kortom: AI-agenten worden steeds krachtiger, maar deze studie laat zien dat ze kwetsbaar zijn voor een slimme vorm van "verkeerde instructie". Hackers hoeven de AI niet te breken; ze hoeven alleen maar de instructiekaart zo te vervalsen dat de AI zelf de verkeerde beslissing neemt.

Titel: Breaking MCP with Function Hijacking Attacks

Auteurs: Yannis Belkhiter, Giulio Zizzo, Sergio Maffeis, Seshu Tirupathi, John D. Kelleher (IBM Research, Trinity College Dublin, Imperial College London).

1. Het Probleem

Agente AI-systemen, die Large Language Models (LLMs) koppelen aan externe tools via Function Calling (FC), worden steeds populairder. Een standaard voor de communicatie tussen deze agents en tools is het Model Context Protocol (MCP). Hoewel bestaand onderzoek zich voornamelijk richt op prompt-injectie en "jailbreaking" om schadelijke inhoud te genereren, blijft er een kritieke kwetsbaarheid bestaan in de tool-selectie zelf.

Bestaande aanvallen proberen vaak de semantische voorkeur van het model te manipuleren (bijv. door een nieuwe tool toe te voegen die beter lijkt te passen bij de prompt). Echter, er ontbreekt een robuuste methode om de FC-processtroom systematisch te verstoren zonder afhankelijk te zijn van de specifieke semantiek van de prompt of de toolset. Dit maakt agente systemen kwetsbaar voor manipulatie waarbij een model gedwongen wordt om een specifieke, door de aanvaller gekozen functie uit te voeren, zelfs als deze niet relevant is voor de gebruikersvraag.

2. Methodologie: Function Hijacking Attack (FHA)

De auteurs introduceren een nieuwe aanvalstechniek genaamd Function Hijacking Attack (FHA).

Doel: Het manipuleren van het tool-selectieproces van een agentic model om het te dwingen een door de aanvaller gekozen doelwitfunctie ( $f_{target}$ ) aan te roepen in plaats van de correcte grondwaarheid-functie ( $f_{ground\_truth}$ ).
Aanvalsvector: De aanvaller heeft controle over de beschrijving van een specifieke functie in de lijst van beschikbare tools (bijvoorbeeld via MCP). De gebruikerprompt zelf is niet toegankelijk voor de aanvaller (offline aanval).
Technische Implementatie:
- De FHA is een adaptatie van de GCG (Gradient-based Causal Generation) aanval (Zou et al., 2023), die oorspronkelijk werd gebruikt voor jailbreaking.
- In plaats van een schadelijke output te forceren, optimaliseert de FHA een adversariale suffix (een reeks tokens) die wordt ingevoegd in de beschrijving van de doelwitfunctie.
- Optimalisatie: Het algoritme minimaliseert de cross-entropy-verliesfunctie ( $L_{adv}$ ) om ervoor te zorgen dat het model de naam van de doelwitfunctie genereert als eerste token in de output.
- Autowegende aanname: Omdat LLM's autoregressief werken, volstaat het om de modeloutput te forceren om te beginnen met de naam van de doelwitfunctie. Het model zal vervolgens automatisch de juiste parameters invullen voor die functie, zelfs als de parameters niet overeenkomen met de oorspronkelijke intentie van de gebruiker.
- Universele aanval: De auteurs ontwikkelen een versie die over meerdere queries en payload-variaties (verschillende sets van tools) wordt getraind om een "universele" adversariale string te creëren die robuust is tegen veranderingen in de context.

3. Belangrijkste Bijdragen

Nieuwe Aanvalsvector: Het paper definieert en demonstreert de FHA, een aanval die specifiek gericht is op het verstoren van de tool-selectie in FC-modellen, in plaats van het genereren van schadelijke tekst.
Robuustheid en Generalisatie: In tegenstelling tot eerdere methoden die afhankelijk zijn van semantische overeenkomsten tussen prompt en tool, is FHA grotendeels agnostisch ten opzichte van de contextsemantiek. Het werkt effectief over diverse domeinen en toolsets.
Universele Adversariale Functies: De auteurs tonen aan dat het mogelijk is om een enkele aanvalsfunctie te trainen die werkt over verschillende gebruikersvragen (queries) en payload-configuraties (bijv. toevoegen van ruis-tools of veranderen van de volgorde).
Empirische Validatie: Uitgebreide experimenten op 5 verschillende modellen (inclusief instructie-modellen en redeneringsmodellen zoals Qwen-3 en Llama-3) op het BFCL-dataset.

4. Resultaten

De experimenten tonen overtuigende resultaten:

Aanvalssuccesratio (ASR): De FHA bereikte een ASR tussen 70% en 100% op het BFCL_v3_multiple dataset.
- Modellen zoals Llama-3.2-3B en Mistral-7B bereikten successen tot 98-100%.
- Redeneringsmodellen (Qwen-3) waren iets weerbaarder (70-82%), maar de aanval slaagde er toch in om het "denken" (reasoning) van het model te onderdrukken en de tool-call direct te forceren.
Validiteit van de Call: Niet alleen werd de verkeerde tool geselecteerd, maar de gegenereerde slot filling (parameters) was in 65-92% van de gevallen geldig, wat betekent dat de aanval in een realistische omgeving zou kunnen slagen.
Vergelijking met Baselines:
- Function Injection: Het toevoegen van een nieuwe, "beter" geoptimaliseerde tool leverde lagere successen op (0.57 - 0.91 ASR) en was minder robuust.
- MPMA (MCP Preference Manipulation Attack): Bestaande methoden zoals MPMA faalden bijna volledig (0.01 - 0.10 ASR) in de complexe, semantisch diverse omgeving van BFCL, omdat ze afhankelijk zijn van tekstuele voorkeuren die niet generaliseren naar verschillende tools.
Invloed van Payload: De aanval is robuust tegen het toevoegen van "ruis" (extra tools) tot ongeveer 3 extra functies. Door het trainen op batches met variërende aantallen tools en posities, kon de robuustheid worden verhoogd naar >85% ASR zelfs bij 25 extra tools.

5. Betekenis en Implicaties

Veiligheid van Agente Systemen: De studie toont aan dat de beveiliging van FC-modellen niet alleen moet focussen op het filteren van gebruikersinput, maar ook op de integriteit van de tool-beschrijvingen en de selectie-mechanismen.
Kwetsbaarheid van MCP: Aangezien MCP-serverbeschrijvingen vaak toegankelijk zijn voor manipulatie (bijv. door een kwaadwillende developer of via een gehackte server), vormt FHA een reëel risico voor productieomgevingen.
Noodzaak van Guardrails: De resultaten onderstrepen de dringende behoefte aan sterke "guardrails" en beveiligingsmodules die specifiek controleren of de gekozen tool logisch past bij de gebruikersintentie, ongeacht de tekstuele manipulatie in de tool-definitie.
Toekomstig Onderzoek: Het paper suggereert dat bestaande verdedigingsmechanismen (zoals het filteren van prompts) onvoldoende zijn en dat nieuwe verdedigingen nodig zijn die de attention-mechanismen van het model en de structuur van de tool-call analyseren.

Conclusie: De Function Hijacking Attack is een krachtige, robuuste en universele aanval die de fundamentele veiligheid van agente AI-systemen in gevaar brengt door de tool-selectie te manipuleren via geoptimaliseerde beschrijvingen, wat een nieuwe dimensie toevoegt aan het landschap van LLM-beveiliging.