ToolFlood: Beyond Selection -- Hiding Valid Tools from LLM Agents via Semantic Covering

1. Il Problema: Attacchi al Livello di Recupero (Retrieval-Layer)

Gli agenti basati su Large Language Models (LLM) utilizzano sempre più spesso strumenti esterni (API, database, motori di ricerca) per eseguire compiti complessi. Per gestire cataloghi di strumenti vasti, questi sistemi si affidano a meccanismi di recupero basato su embedding: data una query dell'utente, il sistema codifica la query e i metadati degli strumenti (nome, descrizione) in uno spazio vettoriale e recupera i top-$k$ strumenti più simili.

La ricerca precedente si è concentrata principalmente sugli attacchi alla fase di selezione: una volta che uno strumento malintenzionato è stato recuperato e reso visibile all'agente, l'attaccante cerca di manipolare i metadati per aumentare la probabilità che venga scelto rispetto agli strumenti benigni.

Il gap identificato: ToolFlood individua una nuova vulnerabilità critica: il dominio del top-$k$. Invece di competere per la selezione all'interno di un insieme di candidati visibile, l'attaccante mira a saturare l'intero processo di recupero. L'obiettivo è inondare il sistema con strumenti controllati dall'attaccante che, grazie a una copertura semantica strategica, occupano tutti gli slot del top-$k$, escludendo completamente gli strumenti benigni dal contesto dell'agente. Questo rende inefficaci le difese tradizionali che operano a livello di selezione (come il filtraggio dei prompt), poiché gli strumenti benigni non vengono mai recuperati.

2. Metodologia: ToolFlood

ToolFlood è un attacco di livello di recupero che sfrutta la geometria dello spazio degli embedding per eseguire un attacco di tipo Sybil (creazione di molte identità false) tramite "sciami" di strumenti. L'attacco si articola in due fasi principali:

Fase 1: Generazione Monte Carlo di Candidati

L'obiettivo è creare un pool diversificato di metadati per strumenti avversari che coprano lo spazio semantico delle query target.

1. Campionamento: Si estraggono casualmente sottoinsiemi di query target ($S_i$).
2. Generazione Condizionata: Un LLM controllato dall'attaccante genera $g$ nuovi nomi e descrizioni di strumenti per ogni sottoinsieme $S_i$.
   • Strategia: I metadati sono generati per essere semanticamente rilevanti per tutte le query nel sottoinsieme, non per una singola query. Questo favorisce la creazione di strumenti "generalisti" che si posizionano nella regione centrale dello spazio degli embedding condivisa da più query, massimizzando la loro utilità per la copertura multipla.

Fase 2: Copertura Semantica Multipla Greedy (Iterativa)

Dato il pool di candidati generati e un budget di iniezione $B$ (numero massimo di strumenti da inserire), l'attaccante seleziona il sottoinsieme ottimale per saturare le query.

1. Definizione del Problema: L'obiettivo è risolvere un problema di "Maximum Coverage" a budget limitato. Si cerca di massimizzare il numero di query coperte da almeno $r$ strumenti avversari (dove $r=k$, il numero di strumenti recuperati).
2. Algoritmo Greedy:
   • Si calcola il "guadagno marginale" di ogni candidato: quanti query residue (non ancora coperte sufficientemente) vengono coperte da quel candidato entro una soglia di distanza coseno $\delta$.
   • Si seleziona iterativamente lo strumento con il guadagno massimo.
   • Si aggiornano i contatori di copertura e si rimuovono le query che hanno raggiunto la quota $r$.
   • Il processo si ferma quando il budget è esaurito o tutte le query sono saturate.

Modello di Minaccia: L'attaccante non ha accesso diretto al modello di embedding target o al sistema di recupero (scenario black-box). Utilizza un modello di embedding "ombra" (surrogate) per approssimare la geometria dello spazio e ottimizzare i metadati.

3. Contributi Chiave

1. Nuovo Modello di Minaccia (Top-k Domination): Definizione formale di un attacco che compromette la disponibilità e l'integrità a livello di recupero, nascondendo gli strumenti benigni prima ancora che l'agente possa valutarli.
2. ToolFlood: Un framework pratico che combina la generazione assistita da LLM con l'ottimizzazione greedy per la copertura semantica, dimostrando come piccoli sciami di strumenti possano dominare i risultati di recupero.
3. Analisi Teorica: Fornisce una garanzia di convergenza per la Fase 1, dimostrando che con un numero sufficiente di iterazioni di campionamento casuale, è possibile generare un pool di candidati sufficiente a coprire l'intero spazio delle query target con alta probabilità.
4. Valutazione Empirica: Dimostrazione sperimentale che l'attacco è altamente efficace anche con tassi di avvelenamento (poisoning rate) molto bassi (circa l'1% del catalogo).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due benchmark principali: MetaTool (199 strumenti benigni) e ToolBench (11.760 strumenti benigni).

• Tasso di Dominio Top-k (TDR): ToolFlood ha raggiunto un tasso di dominio del 97,2% su MetaTool e del 91% su ToolBench. Ciò significa che per la stragrande maggioranza delle query, tutti gli strumenti recuperati (top-5) erano controllati dall'attaccante.
• Tasso di Successo dell'Attacco (ASR): Quando l'agente seleziona uno strumento, la probabilità che sia uno strumento avversario è estremamente alta (fino al 99,6% su MetaTool e 96,1% su ToolBench), superando di gran lunga le baselines.
• Efficienza del Budget: L'attacco raggiunge questi risultati iniettando solo circa l'1% di strumenti malintenzionati rispetto al totale del catalogo (es. 171 strumenti su MetaTool, 145 su ToolBench).
• Trasferibilità: L'attacco dimostra robustezza quando ottimizzato con un modello di embedding "ombra" diverso da quello target (es. ottimizzazione con MiniLM e valutazione con text-embedding-3-small), mantenendo tassi di successo elevati.
• Efficacia delle Difese:
  • Le difese basate sulla diversità (reranking MMR) riducono il dominio top-k ma non prevengono la selezione di strumenti malintenzionati (l'ASR rimane alto).
  • I filtri per l'injection di prompt (es. Llama Prompt Guard) sono inefficaci perché ToolFlood non usa payload espliciti di injection, ma sfrutta la copertura semantica legittima.

5. Significato e Implicazioni

Il paper evidenzia una vulnerabilità fondamentale negli ecosistemi di agenti LLM: la sicurezza del recupero è spesso trascurata.

• Bypass delle Difese: Le difese attuali si concentrano sul contenuto del prompt o sulla selezione finale, assumendo che gli strumenti benigni siano presenti nel contesto. ToolFlood dimostra che se il recupero viene compromesso, queste difese diventano inutili.
• Denial of Visibility: L'attacco trasforma il recupero in un meccanismo di "negazione della visibilità", impedendo all'agente di vedere soluzioni legittime.
• Implicazioni per i Marketplace: In marketplace aperti o semi-aperti di strumenti (come GPT Store o LangChain Hub), la pubblicazione di sciami di strumenti duplicati o semanticamente sovrapposti potrebbe essere utilizzata per manipolare i risultati di ricerca e dirottare gli agenti verso strumenti controllati da malintenzionati.

Conclusioni: ToolFlood sposta il focus della sicurezza degli agenti LLM dalla selezione alla fase di recupero, suggerendo la necessità di nuove difese come il rilevamento di pattern di allagamento (flooding), la gestione della provenienza degli strumenti e meccanismi di recupero resistenti agli attacchi Sybil.