💬 NLP

Breaking MCP with Function Hijacking Attacks: Novel Threats for Function Calling and Agentic Models

Questo articolo presenta un nuovo attacco di dirottamento funzionale (FHA) che manipola il processo di selezione degli strumenti nei modelli AI agentic per forzare l'esecuzione di funzioni specifiche, dimostrando una vulnerabilità trasversale e ad alta efficacia che richiede l'implementazione di robusti meccanismi di sicurezza.

Autori originali: Yannis Belkhiter, Giulio Zizzo, Sergio Maffeis, Seshu Tirupathi, John D. Kelleher

Pubblicato 2026-04-24

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yannis Belkhiter, Giulio Zizzo, Sergio Maffeis, Seshu Tirupathi, John D. Kelleher

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente personale super intelligente, un "agente AI", che può fare cose per te: prenotare un volo, inviare email, o creare file sul tuo computer. Per farlo, questo agente non "pensa" da solo, ma usa una lista di strumenti (come un set di chiavi inglesi) che gli sono stati forniti. Se gli chiedi di "creare un file", lui guarda la lista, sceglie lo strumento giusto (es. crea_file) e lo usa.

Questo è il cuore dei nuovi sistemi di Intelligenza Artificiale "agentic".

Ora, immagina che un malintenzionato voglia ingannare questo assistente. Non vuole che l'assistente dica cose cattive (come nei classici attacchi "jailbreak"), ma vuole rubare il controllo degli strumenti. Vuole che, quando gli chiedi di "creare un file", l'assistente invece cancelli tutto il tuo disco rigido.

Questo è esattamente ciò che il paper "Breaking MCP with Function Hijacking Attacks" scopre e spiega. Ecco la versione semplice, con qualche metafora per chiarire il concetto.

1. Il Problema: Il "Menu Avvelenato"

Immagina che l'assistente AI guardi un menu per decidere cosa fare. Il menu contiene una lista di opzioni (i "tool" o funzioni) con le loro descrizioni.

Situazione normale: L'utente chiede "Crea un file". L'AI legge il menu, vede che crea_file è la descrizione migliore e la usa.
L'Attacco (FHA - Function Hijacking Attack): L'attaccante non cambia la richiesta dell'utente. Non cambia nemmeno il nome del file. Modifica la descrizione di uno strumento sbagliato nel menu.

È come se, in un ristorante, il cameriere (l'AI) leggesse la descrizione del "Gelato" e, per un trucco magico nascosto nel testo, pensasse: "Oh, questa descrizione mi dice di ordinare la Pizza invece del Gelato!".

L'attaccante inserisce dei "token avvelenati" (frasi strane o codici nascosti) nella descrizione di una funzione pericolosa (es. cancella_tutto). Quando l'AI legge quel testo, il suo cervello si confonde e sceglie quell'arma invece dell'arma sicura che l'utente voleva.

2. Come funziona l'Attacco: Il "Trucco del Linguaggio"

Gli autori hanno usato un metodo chiamato GCG (Gradi-Contro-Gradiente), che è un po' come un "tiro alla fune" matematico.

L'attaccante prende la descrizione di una funzione pericolosa.
Aggiunge e rimuove piccole parole o caratteri strani (come xBr:- x x $ x) in modo automatico e ripetuto.
L'obiettivo è trovare la combinazione esatta di parole che fa "scattare" il cervello dell'AI, convincendola che quella funzione pericolosa è esattamente ciò che l'utente ha chiesto.

È come se un mago provasse milioni di combinazioni di parole su un lucchetto finché non trova quella che lo apre, anche se la chiave originale era diversa.

3. Perché è pericoloso? (I 3 Punti Chiave)

A. Funziona su tutti (Robustezza)

Prima di questo studio, si pensava che questi attacchi funzionassero solo se la richiesta dell'utente era molto simile alla funzione sbagliata.

Metafora: Pensavi che il trucco funzionasse solo se ordinavi "Gelato" e l'AI scambiava per "Gelato Avvelenato".
Realtà: Gli autori hanno scoperto che l'attacco funziona anche se l'utente chiede cose totalmente diverse! L'AI può essere ingannata a scegliere la funzione sbagliata anche se la richiesta è "Metti la lavatrice in pausa". È come se il menu avvelenato fosse così potente da convincere il cameriere a fare qualsiasi cosa, indipendentemente da cosa hai ordinato.

B. Funziona su tutti i modelli (Universalità)

Hanno testato l'attacco su 5 modelli AI diversi (alcuni semplici, altri molto complessi che "ragionano" prima di agire).

Risultato: L'attacco ha funzionato dal 70% al 100% delle volte. Anche i modelli che "pensano" prima di agire sono stati ingannati, quasi come se l'attacco avesse un "tasto stop" per il loro ragionamento.

C. È un "Attacco Universale"

Questa è la parte più inquietante. Gli autori hanno creato un attacco che funziona per molti scenari diversi contemporaneamente.

Metafora: Invece di creare una chiave specifica per ogni serratura, hanno creato una "Master Key" (chiave maestra). Una volta trovata la combinazione di parole magica, quella stessa chiave apre (o meglio, sblocca l'attacco su) centinaia di richieste diverse. Se un'azienda usa questo strumento avvelenato, l'attaccante può colpire qualsiasi utente, in qualsiasi momento.

4. Cosa significa per noi?

Questo studio ci dice che la sicurezza degli agenti AI non è solo una questione di "non dire cose cattive". È un problema di controllo degli strumenti.

Se un'azienda collega la sua AI a strumenti reali (come server, database, o email), un attaccante potrebbe:

Iniettare una descrizione "avvelenata" in uno strumento.
Aspettare che un utente chieda qualcosa di innocuo.
Vedere l'AI eseguire l'azione pericolosa invece di quella sicura.

Conclusione

Il paper ci avverte: Non basta che l'AI sia intelligente, deve essere anche "difficile da ingannare" quando sceglie gli strumenti.
Gli autori concludono che abbiamo bisogno di "guardiani" (guardrails) molto più forti. Non possiamo più fidarci ciecamente del fatto che l'AI legga il menu e scelga la cosa giusta. Dobbiamo verificare che la scelta sia logica, anche se il testo sembra perfetto.

In sintesi: L'AI è come un autista molto abile, ma se qualcuno modifica il cartello stradale (la descrizione della funzione) in modo subdolo, l'autista potrebbe girare nella strada sbagliata senza accorgersene.

1. Il Problema: Vulnerabilità dei Modelli Agentic e del Function Calling

Con l'ascesa dell'Intelligenza Artificiale Agentic, i modelli linguistici (LLM) sono sempre più utilizzati per invocare funzioni esterne (Function Calling - FC) tramite protocolli standardizzati come il Model Context Protocol (MCP). Questo permette agli agenti di interagire autonomamente con ambienti di esecuzione, database e strumenti esterni.

Tuttavia, questa capacità espansa amplia la superficie di attacco. Mentre la ricerca precedente si è concentrata su:

Injection e Jailbreaking: Manipolazione del prompt utente per generare contenuti dannosi.
Attacchi semantici: Sfruttamento delle preferenze semantiche del modello tra prompt e descrizione delle funzioni.

Il paper identifica una lacuna critica: la mancanza di metodi robusti per perturbare sistematicamente il processo di selezione delle funzioni stesse. Gli attuali sistemi di difesa non sono sufficienti a prevenire la manipolazione della scelta dello strumento da parte dell'agente, portando a comportamenti imprevisti come la cancellazione di dati, loop infiniti o l'esecuzione di azioni non autorizzate.

2. Metodologia: L'Attacco di Hijacking delle Funzioni (FHA)

Gli autori introducono una nuova tecnica di attacco chiamata Function Hijacking Attack (FHA). A differenza degli attacchi tradizionali, l'obiettivo non è far dire al modello qualcosa di dannoso, ma forzarlo a selezionare e invocare una specifica funzione scelta dall'attaccante ( $f_{target}$ ), ignorando la funzione corretta ( $f_{ground\_truth}$ ) richiesta dal contesto.

Meccanismo dell'Attacco

Vettore di Attacco: L'attaccante controlla solo la descrizione testuale di una funzione disponibile nella lista di strumenti (tipicamente esposta nel protocollo MCP), senza avere accesso al prompt dell'utente o al codice della funzione.
Tecnica di Ottimizzazione: L'algoritmo è un adattamento dell'attacco GCG (Greedy Coordinate Gradient), originariamente sviluppato per il jailbreaking.
- L'attacco inserisce un suffisso avversario (una stringa di token ottimizzata) all'interno della descrizione della funzione target.
- L'obiettivo è minimizzare una funzione di perdita ( $L_{adv}$ ) che massimizza la probabilità che il modello generi il nome della funzione target come primo output, sfruttando la natura auto-regressiva del modello per completare poi gli argomenti correttamente.
Indipendenza Semantica: L'attacco è progettato per essere agnostico rispetto al contesto semantico. Non cerca di "ingannare" il modello con una descrizione che sembra pertinente al prompt, ma manipola direttamente la probabilità di selezione tramite perturbazioni avversarie nel testo della descrizione.

Varianti dell'Attacco

Attacco Diretto: Ottimizzazione per un singolo prompt e una singola configurazione di funzioni.
Attacco Universale (Query-Universal): Ottimizzazione di un'unica stringa avversaria che funziona su un batch di diversi prompt utente (diverse formulazioni o intenti).
Attacco Universale (Payload-Universal): Ottimizzazione per resistere a perturbazioni del payload, come l'aggiunta di nuove funzioni o la modifica dell'ordine delle stesse nel set di strumenti disponibili.

3. Contributi Chiave

Nuova Minaccia: Dimostrazione che i modelli FC sono vulnerabili a perturbazioni avversarie mirate alla selezione degli strumenti, non solo alla generazione di contenuti.
Robustezza e Generalizzazione: L'FHA è efficace indipendentemente dal dominio, dal set di funzioni o dalla semantica del prompt, superando i limiti degli attacchi basati su preferenze testuali (come il MPMA - Model Context Protocol Preference Manipulation Attack).
Universalità: Capacità di creare "funzioni universali" che possono dirottare la selezione degli strumenti su molteplici query e configurazioni diverse con un'unica stringa avversaria.
Impatto sui Modelli di Ragionamento: L'attacco è stato adattato per funzionare anche su modelli di ragionamento (Reasoning Models) come Qwen-3, forzandoli a saltare la fase di "pensiero" (thinking) e procedere direttamente all'invocazione della funzione malevola.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 5 modelli diversi (inclusi modelli istruiti come Llama-3.2-3B, Mistral-7B e modelli di ragionamento Qwen-3 di varie dimensioni) utilizzando il dataset BFCL (Berkeley Function Calling Leaderboard) e server MCP reali (GitHub, Slack).

Tasso di Successo (ASR): L'attacco ha raggiunto un ASR (Attack Success Rate) compreso tra il 70% e il 100% sui modelli testati.
- Modelli istruiti (Llama, Mistral): ASR fino al 98-100%.
- Modelli di ragionamento (Qwen): ASR del 70-82%, con la capacità di sopprimere la fase di ragionamento.
Validità delle Chiamate: Oltre al nome della funzione, l'88-92% delle chiamate di funzione dirottate aveva anche i parametri (slot filling) corretti, rendendo l'attacco eseguibile in scenari reali.
Confronto con Baseline:
- L'FHA ha superato significativamente gli attacchi di Function Injection (che aggiungono una nuova funzione) e MPMA (che modifica descrizioni basandosi su preferenze semantiche), i quali hanno mostrato tassi di successo molto bassi (0-10%) in contesti con funzioni semanticamente diverse.
Robustezza: L'attacco rimane efficace anche quando vengono aggiunte funzioni "rumorose" (fuori distribuzione) al payload, fino a un certo limite, e le varianti universali migliorano ulteriormente la resilienza.
Dimensione del Suffisso: È stato dimostrato che suffissi avversari di circa 60 token sono sufficienti per dirottare quasi tutti i campioni, rappresentando una percentuale molto bassa (circa 5%) del contesto totale, rendendo l'attacco difficile da rilevare.

5. Significato e Implicazioni

Il paper evidenzia una vulnerabilità fondamentale negli ecosistemi Agentic: la sicurezza non può basarsi solo sulla validazione del prompt utente o sulla sicurezza del codice delle funzioni, ma deve considerare la sicurezza delle descrizioni delle funzioni stesse.

Impatto sulla Sicurezza: Un attaccante può manipolare un server MCP (o la descrizione di uno strumento) per far sì che un agente esegua azioni distruttive (es. cancellare un repository invece di crearne uno) anche quando l'utente richiede l'azione corretta.
Necessità di Difese: I risultati sottolineano l'urgenza di implementare guardrail (limiti di sicurezza) robusti e moduli di sicurezza specifici per i sistemi agentic che validino non solo l'output, ma anche la coerenza logica tra l'intento dell'utente e la funzione selezionata, indipendentemente dalle descrizioni testuali.
Futuro della Ricerca: Il lavoro apre nuove direzioni per la difesa contro gli attacchi avversari sui protocolli di contesto e suggerisce che le tecniche di "tool poisoning" sono una minaccia reale e sottostimata per l'adozione sicura dell'IA agentic.

In sintesi, gli autori dimostrano che il processo di selezione degli strumenti negli LLM è intrinsecamente vulnerabile a manipolazioni sottili ma potenti, richiedendo un ripensamento delle strategie di sicurezza per i sistemi autonomi.