TRUSTDESC: Preventing Tool Poisoning in LLM Applications via Trusted Description Generation

1. Il Problema: Attacchi di Avvelenamento degli Strumenti (Tool Poisoning)

Le Large Language Models (LLM) si affidano sempre più a strumenti esterni per eseguire azioni nel mondo reale e compiti sensibili al tempo. Tuttavia, l'integrazione di questi strumenti introduce una nuova superficie di attacco nota come Tool Poisoning Attacks (TPA).

Gli attaccanti manipolano le descrizioni semantiche degli strumenti (che vengono inserite nel contesto del prompt dell'LLM) per influenzare il comportamento del modello. Esistono due categorie principali:

• TPA Espliciti: Gli attaccanti inseriscono istruzioni malevole dirette nelle descrizioni (es. "esegui questo comando dannoso").
• TPA Impliciti: Gli attaccanti creano descrizioni che sembrano innocue ma esagerate o fuorvianti (es. uso di termini come "migliore", "più efficiente", o regole implicite) per biasare la selezione degli strumenti da parte dell'LLM, facendogli preferire strumenti controllati dall'attaccante rispetto a quelli legittimi.

Le difese esistenti si concentrano principalmente sul rilevamento di istruzioni anomale o malevole esplicite, risultando inefficaci contro gli attacchi impliciti, che non contengono segnali maligni evidenti ma sfruttano la discrepanza tra ciò che la descrizione afferma e ciò che l'implementazione fa realmente.

2. Metodologia: Il Framework TRUSTDESC

Il paper propone TRUSTDESC, il primo framework che genera automaticamente descrizioni degli strumenti fedeli all'implementazione (implementation-faithful), eliminando la fiducia nelle descrizioni fornite dagli sviluppatori. Il sistema utilizza il codice sorgente come "verità fondamentale" (ground truth) e segue una pipeline a tre stadi:

A. SliceMin (Generazione di Fette di Codice Consapevoli della Raggiungibilità)

Per affrontare la complessità dei codebase reali (spesso intrecciati e grandi), SliceMin estrae solo il codice rilevante per uno specifico strumento:

1. Identificazione della Funzione di Entry: Riconosce l'interfaccia pubblica dello strumento (es. tramite decoratori o dispatcher).
2. Analisi Statica e Costruzione del Call Graph: Analizza il codice per costruire un grafo di chiamate.
3. Debloating (Riduzione) Guidata da LLM: Utilizza un LLM per rimuovere logica irraggiungibile o irrilevante basandosi sui siti di chiamata concreti. Questo evita che l'LLM generi descrizioni basate su funzionalità che non vengono mai effettivamente eseguite (es. parametri opzionali mai passati).

B. DescGen (Generazione di Descrizioni Basate sul Codice)

Sulla base delle fette di codice minime, DescGen genera una descrizione iniziale utilizzando un LLM, applicando misure di sicurezza per mitigare artefatti malevoli nel codice:

• Rimozione di Commenti e Docstring: Elimina tutti i commenti e le docstring per prevenire l'iniezione di istruzioni nascoste nel testo naturale.
• Normalizzazione degli Identificatori: Accorcia i nomi di variabili e funzioni a un massimo di 20 caratteri per impedire agli attaccanti di inserire termini promozionali o fuorvianti nei nomi stessi.
• Filtraggio Semantico: Utilizza un classificatore LLM per rimuovere termini di bias (es. "migliore", "ottimo") dagli identificatori rimanenti.

C. DynVer (Raffinamento tramite Verifica Dinamica)

Per correggere le allucinazioni dell'LLM e verificare le affermazioni comportamentali:

1. Sintesi di Task: Scompone la descrizione generata in task eseguibili.
2. Esecuzione e Logging: Un agente esegue questi task con lo strumento reale e registra i log di esecuzione.
3. Giudice LLM: Un LLM analizza i log per verificare se le affermazioni nella descrizione corrispondono al comportamento osservato. Le affermazioni non verificate o errate vengono rimosse o corrette.

3. Contributi Chiave

• Primo Framework di Generazione Fidata: Introduce un approccio sistematico per derivare descrizioni direttamente dal codice sorgente, eliminando alla radice le discrepanze tra descrizione e implementazione.
• Pipeline di Integrazione Semantica: Combina analisi statica del codice (per la precisione) e ragionamento LLM (per la sintesi), mitigando sia gli artefatti malevoli nel codice che le allucinazioni del modello.
• Validazione Dinamica: Introduce un meccanismo di verifica tramite esecuzione reale per garantire che le descrizioni riflettano il comportamento runtime, non solo la logica statica.
• Adattabilità: Sebbene implementato per Python e TypeScript (linguaggi dominanti negli ecosistemi MCP - Model Context Protocol), il design è agnostico rispetto al linguaggio.

4. Risultati Sperimentali

Il framework è stato valutato su 52 strumenti reali provenienti da 12 server MCP diversi.

• Accuratezza: TRUSTDESC ha migliorato il tasso di successo dei task (TSR) del 4,3% in media rispetto alle descrizioni originali. Gli agenti LLM sono riusciti a completare più compiti grazie a descrizioni più precise.
• Costo: La generazione di una descrizione fidata ha un costo monetario molto basso (circa $0,013 con Gemini-3-Flash) e un tempo di elaborazione di circa 25,7 secondi.
• Overhead di Runtime: Durante l'esecuzione dei task, l'uso di TRUSTDESC aumenta il costo monetario solo del 4% e la latenza dello 0,2%. In alcuni casi, la precisione migliorata riduce i fallimenti e i richiami ridondanti, migliorando l'efficienza complessiva.
• Selezione della Qualità: In scenari competitivi, TRUSTDESC ha ridotto drasticamente la selezione di strumenti di bassa qualità (es. con controlli di sicurezza rimossi o funzionalità disabilitate), scendendo a tassi di selezione del 14,5% per le varianti più degradate.
• Robustezza agli Attacchi: Il sistema ha neutralizzato con successo sia TPA espliciti che impliciti. Di fronte ad attacchi adattivi (dove un attaccante modifica iterativamente i nomi delle variabili per ingannare il generatore), il tasso di successo dell'attacco non ha mostrato un trend di crescita stabile, rimanendo fluttuante tra il 44,7% e il 67,4%.

5. Significato e Impatto

TRUSTDESC rappresenta un cambio di paradigma nella sicurezza delle applicazioni LLM. Invece di cercare di filtrare le descrizioni malevoli (un approccio difensivo passivo), il framework sostituisce le descrizioni non fidate con verità generate automaticamente dal codice.

Questo approccio:

1. Mitiga gli attacchi impliciti che le difese basate sul rilevamento non possono vedere.
2. Migliora l'affidabilità operativa delle applicazioni LLM, riducendo errori di selezione degli strumenti.
3. Rivela vincoli di sicurezza latenti presenti nel codice ma assenti nella documentazione, rendendo il sistema più sicuro anche contro l'uso improprio degli strumenti.
4. Offre una soluzione scalabile e a basso costo per un ecosistema in rapida crescita come quello degli strumenti LLM (MCP).

In sintesi, TRUSTDESC dimostra che la fiducia nelle applicazioni LLM può essere ripristinata spostando la fonte di verità dalle descrizioni testuali (soggette a manipolazione) all'implementazione eseguibile.