Semantic Attacks on Tool-Augmented LLMs: Securing the Model Context Protocol Against Descriptor-Level Manipulation

Riepilogo Tecnico: Attacchi Semantici agli LLM Potenziati da Strumenti

Enunciato del Problema
Il Protocollo di Contesto Modello (MCP) consente ai Modelli Linguistici su Larga Scala (LLM) di interagire con strumenti esterni tramite interfacce di metadati standardizzate, in particolare i descrittori degli strumenti. Sebbene tali descrittori siano essenziali per il processo decisionale autonomo e il coordinamento multi-agente, le implementazioni attuali li trattano come metadati attendibili. Questo documento identifica una lacuna di sicurezza critica: poiché i descrittori degli strumenti sono integrati direttamente nel contesto di ragionamento dell'LLM, costituiscono una superficie di attacco semantico attiva. A differenza dell'iniezione di prompt tradizionale, che manipola l'input dell'utente, la manipolazione a livello di descrittero sfrutta la natura attendibile dei metadati degli strumenti per influenzare la selezione degli strumenti e il ragionamento a valle, senza violare gli schemi sintattici o richiedere compromissioni dell'infrastruttura. Le difese esistenti, incentrate principalmente sull'iniezione di prompt e sulla validazione statica, non riescono ad affrontare queste manipolazioni semantiche.

Metodologia
Gli autori propongono un framework di valutazione controllato e trasversale ai modelli per isolare e analizzare le vulnerabilità guidate dai descrittori. Lo studio coinvolge tre componenti principali:

1. Formalizzazione del Modello di Minaccia: Il documento definisce tre classi distinte di attacco:

   • Avvelenamento degli Strumenti (Tool Poisoning): Manipolazione del descrittore di uno strumento per influenzare il ragionamento verso azioni non sicure (ad esempio, aggiungere "prioritizzare il contesto dell'utente" a uno strumento di ricerca innocuo).
   • Ombreggiamento (Shadowing): Introduzione di un descrittore malevolo in un contesto MCP condiviso per contaminare l'interpretazione di strumenti altrimenti innocui.
   • Rug Pull: Modifica del descrittore di uno strumento dopo l'approvazione (ad esempio, tramite aggiornamenti del plugin) per introdurre comportamenti non sicuri mantenendo la validità sintattica.

2. Configurazione Sperimentale:

   • Modelli: Lo studio valuta GPT-5.3, DeepSeek-V3 e LLaMA-3.5.
   • Ambiente: Un banco di prova sintetico aziendale MCP dotato di strumenti per il recupero delle informazioni, la produttività e le utilità di sistema.
   • Generazione Adversariale: Un motore di mutazione leggero genera descrittori avversari applicando perturbazioni semantiche (ad esempio, espansione contestuale, amplificazione dell'autorità) che preservano la validità sintattica ma alterano l'intento semantico.
   • Strategie di Prompting: La valutazione copre otto strategie, tra cui Zero-shot, Chain-of-Thought, Reflexion e Scarecrow prompting.
   • Metriche: Le metriche chiave includono il Tasso di Selezione Malevola, il Tasso di Invocazione Non Sicura, la Gravità della Perdita di Dati, la Deviazione dell'Intento e la Latenza.

3. Meccanismi di Difesa: Il documento propone e valuta una strategia di difesa a più livelli:

   • Verifica dell'Integrità del Descrittore: Firma crittografica per prevenire modifiche post-approvazione (Rug Pull).
   • Vaglio Semantico: Utilizzo di un LLM ausiliario per auditare i descrittori alla ricerca di intenti avversari prima dell'integrazione nel contesto.
   • Sicurezze Runtime (Runtime Guardrails): Filtraggio basato su regole leggero per bloccare pattern esplicitamente rischiosi durante l'esecuzione.

Risultati Chiave

• Vulnerabilità: Nelle configurazioni di base, la manipolazione dei descrittori ha causato invocazioni di strumenti non sicure in fino al 36% dei tentativi. Circa il 30% delle invocazioni non sicure ha aggirato le difese di base.
• Efficacia dell'Attacco: L'Avvelenamento degli Strumenti si è rivelato il più difficile da rilevare a causa di perturbazioni semantiche sottili, mentre l'Ombreggiamento è stato il più facilmente identificato tra i modelli.
• Variazione tra Modelli: La robustezza è variata significativamente in base all'architettura. GPT-5.3 ha dimostrato una latenza stabile e un filtraggio coerente. DeepSeek-V3 ha mostrato un'alta sensibilità alla manipolazione a livello di contesto (in particolare l'Ombreggiamento) ma ha sostenuto un sovraccarico di latenza sostanziale. LLaMA-3.5 ha offerto la latenza più bassa ma ha mostrato un filtraggio semantico più debole.
• Impatto del Prompting: Le strategie di ragionamento strutturato (Chain-of-Thought, Reflexion) hanno migliorato i tassi di rilevamento ma aumentato la latenza. Al contrario, le strategie leggere (Zero-shot) hanno mostrato una robustezza inferiore.
• Efficacia della Mitigazione: La mitigazione full-stack proposta (combinando verifica dell'integrità, vaglio semantico e sicurezze) ha ridotto le invocazioni non sicure dal 36% al 15% e aumentato il tasso di blocco al 74%. Tuttavia, ciò ha introdotto un compromesso, aumentando il tasso di falsi positivi al 21,6% e aggiungendo un sovraccarico di latenza.
• Trasferibilità: Gli attacchi a livello di descrittero hanno dimostrato una moderata trasferibilità trasversale ai modelli, con attacchi ottimizzati contro LLaMA-3.5 che hanno compromesso efficacemente GPT-5.3 e DeepSeek-V3.

Significato e Affermazioni
Il documento afferma di fornire la prima valutazione sistematica e controllata trasversale ai modelli delle minacce a livello di descrittori nei sistemi integrati con MCP. I suoi contributi principali sono:

1. Formalizzazione della Minaccia: Stabilire Avvelenamento degli Strumenti, Ombreggiamento e Rug Pull come un modello di minaccia semantica unificato specifico per MCP.
2. Evidenza Empirica: Dimostrare che i descrittori degli strumenti non sono metadati passivi ma vettori attivi per manipolazioni semantiche che possono compromettere la sicurezza degli agenti anche quando gli schemi sono validi.
3. Framework di Difesa: Proporre una strategia di difesa a livello di protocollo che non richiede il riaddestramento del modello, dimostrando che la resilienza può essere ottenuta attraverso la verifica dell'integrità del descrittore e il vaglio semantico.
4. Compromessi Operativi: Evidenziare la tensione intrinseca tra sicurezza e usabilità, notando che, sebbene le difese a più livelli riducano significativamente il rischio, introducono costi di latenza e falsi positivi che devono essere gestiti nelle implementazioni aziendali.

Lo studio conclude che la sicurezza degli LLM potenziati da strumenti richiede di trattare i descrittori degli strumenti come input non attendibili e di incorporare la validazione direttamente nella pipeline di orchestrazione, andando oltre la validazione statica degli schemi per affrontare l'intento semantico.