💬 NLP

ToolFlood: Beyond Selection -- Hiding Valid Tools from LLM Agents via Semantic Covering

Dit paper introduceert ToolFlood, een aanvalstechniek die de tool-selectie van LLM-agenten verstoort door een klein aantal kwaadwillende tools met zorgvuldig ontworpen metadata in te voegen die de embedding-ruimte zo domineren dat alle nuttige tools uit het contextvenster worden gedrukt.

Oorspronkelijke auteurs: Hussein Jawad, Nicolas J-B Brunel

Gepubliceerd 2026-03-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hussein Jawad, Nicolas J-B Brunel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een LLM-agent (een slimme computer die taken voor je uitvoert) als een uitstekende kok is. Deze kok kan fantastisch koken, maar hij heeft geen eigen ingrediënten. Hij is afhankelijk van een grote supermarkt (de "tool catalogus") waar hij de juiste producten moet vinden om een gerecht te bereiden.

Normaal gesproken vraagt de kok: "Ik wil een Italiaanse pasta maken." De supermarkt scant dan duizenden producten en geeft de kok de top 5 meest geschikte ingrediënten (bijv. tomaten, basilicum, pasta). De kok kiest er dan één uit om zijn gerecht mee te maken.

De auteurs van dit paper, ToolFlood, hebben ontdekt hoe je deze supermarkt kunt saboteren. Ze laten zien dat je niet hoeft te vechten om de kok te overtuigen om een slecht product te kiezen; je kunt de supermarkt zelf zo manipuleren dat de kok de goede producten nooit eens ziet.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Top 5" Lijst

In de digitale wereld gebruiken slimme AI's een systeem om de beste hulpmiddelen te vinden. Ze kijken naar wat je vraagt en zoeken in een enorme database. Ze tonen je alleen de top 5 resultaten (de "Top-k"). Alles wat niet in die top 5 zit, is voor de AI alsof het niet bestaat.

Tot nu toe dachten onderzoekers dat hackers alleen probeerden hun eigen "verkeerde" hulpmiddel net iets mooier te maken, zodat het in die top 5 kwam en de goede producten verdrong.

2. De Oplossing van de Hackers: ToolFlood (De "Zee van Valse Kaarten")

ToolFlood is een nieuwe, slimmere manier om aan te vallen. In plaats van één valse kaart te proberen te verkopen, sturen de hackers een zwerm van duizenden nep-kaarten de supermarkt in.

Stel je voor dat de supermarkt een zoektocht is.

Normaal: Je zoekt "Pasta". De supermarkt geeft je 5 goede pasta-recepten.
ToolFlood aanval: De hackers plaatsen duizenden nep-recepten in de supermarkt. Deze recepten zijn zo geschreven dat ze op alles lijken.
- Eén recept lijkt op "Pasta".
- Eén op "Italiaans eten".
- Eén op "Snelle maaltijd".
- Eén op "Avondeten".

De hackers gebruiken een slimme truc (een wiskundige kaart genaamd "embeddings") om ervoor te zorgen dat deze nep-recepten precies in het midden van de zoekruimte liggen, waar de echte zoekopdrachten ook zijn.

3. Het Resultaat: De "Verstikkende Zwerm"

Wanneer de AI nu vraagt om "Pasta", ziet de supermarkt niet 5 goede resultaten en 1000 slechte. Nee, de top 5 wordt volledig gevuld met de nep-recepten van de hackers.

De echte producten (de goede tools) worden naar de achterste planken geduwd. Ze zijn er nog steeds, maar de AI ziet ze nooit.
De AI denkt: "Oh, dit zijn de beste 5 resultaten die er zijn!" en kiest een nep-tool.
De hacker heeft de supermarkt zelf overgenomen, niet alleen de keuze van de kok.

4. Hoe doen ze dit? (De Twee Fasen)

De paper beschrijft een slim plan in twee stappen:

Fase 1: De "Ideeënfabriek" (Monte Carlo Generatie)
De hackers gebruiken een andere AI om duizenden nep-beschrijvingen te schrijven. Ze vragen de AI: "Schrijf 100 dingen die lijken op deze 20 verschillende vragen." Zo ontstaan er tools die breed inzetbaar zijn en op veel verschillende zoekopdrachten lijken. Het is alsof je een fabriek hebt die duizenden vage, maar verleidelijke folders maakt.
Fase 2: De "Slimme Selectie" (Greedy Covering)
Nu hebben ze een enorme stapel folders. Ze kiezen er een paar uit die het meest effectief zijn. Ze kijken: "Welke folder dekt het grootste aantal zoekopdrachten?" Ze selecteren de folders die de meeste "leegte" in de zoekresultaten opvullen. Ze vullen de top 5 zo efficiënt mogelijk op met nep-inhoud, zodat er geen ruimte meer is voor de echte dingen.

5. Waarom is dit gevaarlijk?

De paper laat zien dat dit extreem effectief is.

Ze hebben getoond dat je met slechts 1% nep-tools (een heel klein beetje vervuiling) de 95% van de zoekresultaten kunt overnemen.
Bestaande veiligheidsmaatregelen werken niet. Die maatregelen kijken vaak naar de keuze van de AI (bijv. "Is dit een kwaadaardige opdracht?"). Maar als de AI de goede tools nooit ziet, kan hij ze ook nooit kiezen. Het is alsof je een alarm hebt dat afgaat als iemand een dief pakt, maar de dief heeft de camera's zo verdraaid dat de bewaker de echte dief niet eens ziet.

Conclusie: Een Nieuw Soort Diefstal

De boodschap van dit paper is: We moeten opletten bij de "supermarkt" (de zoekfunctie), niet alleen bij de "winkel" (de keuze van de AI).

Als hackers de zoekresultaten kunnen "overstromen" (flooden) met nep-inhoud die perfect op je vraag lijkt, dan is de hele AI-veiligheid kapot. Het is alsof iemand de hele straat volzet met nep-winkels die precies zo uitzien als de echte bakkerij. Je loopt erlangs, ziet alleen de nep-winkels, en denkt dat je de bakkerij hebt gevonden.

Kort samengevat: ToolFlood is een aanval waarbij hackers de "Google" van de AI-agent vullen met nep-resultaten, zodat de AI de echte, veilige tools nooit ziet en per ongeluk kiest voor wat de hacker wil.

Titel: ToolFlood: Beyond Selection — Valid Tools verbergen van LLM-agenten via Semantische Dekking

1. Het Probleem: Kwetsbaarheid in de Retrieval-laag

Large Language Model (LLM) agenten vertrouwen steeds meer op externe tools (API's, databases, zoekmachines) voor complexe taken. Om de contextvensters beperkt te houden, gebruiken deze systemen embedding-based retrieval om een kleine subset van de meest relevante tools (de top- $k$ ) te selecteren uit een grote catalogus.

Bestaande veiligheidsstudies richten zich voornamelijk op de selectiefase: hoe een aanvaller ervoor zorgt dat een reeds gevonden kwaadaardige tool wordt gekozen boven een veilige tool (bijv. door de naam of beschrijving te manipuleren).

ToolFlood identificeert een fundamenteel ander en onderbelicht risico: de retrieval-laag zelf. In plaats van te concurreren binnen een zichtbare lijst, probeert een aanvaller de gehele top- $k$ -lijst te domineren met kwaadaardige tools. Hierdoor worden alle veilige (benigne) tools uit het contextvenster van de agent verwijderd voordat de selectie überhaupt plaatsvindt. Dit vormt een "Denial-of-Visibility" aanval, waarbij bestaande verdedigingen (zoals prompt-injectie filters) nutteloos zijn omdat ze ervan uitgaan dat veilige tools nog steeds beschikbaar zijn.

2. Methodologie: ToolFlood

ToolFlood is een aanval die gebruikmaakt van de geometrie van de embedding-ruimte om een "Sybil-zwerm" van kwaadaardige tools te injecteren die semantisch de ruimte van gebruikersvragen "dekken". De aanval verloopt in twee fasen:

Fase 1: Monte Carlo Kandidaatgeneratie

Het doel is het genereren van een grote, diverse pool van potentiële kwaadaardige tool-metagegevens (namen en beschrijvingen).

Stappen: De aanval steekt willekeurige subsets van doelvragen ( $Q_{tar}$ ) en gebruikt een LLM om diverse toolbeschrijvingen te genereren die specifiek relevant zijn voor dat subset.
Logica: Door te focussen op een subset van vragen in plaats van één vraag, worden tools gegenereerd die in de "gemeenschappelijke regio" van de embedding-ruimte liggen. Dit vergroot de kans dat deze tools meerdere verschillende vragen kunnen "dekken" (multi-cover).

Fase 2: Iteratieve Greedy Semantische Multi-Dekking

Vanuit de gegenereerde pool wordt een optimale subset geselecteerd om de injectie-begroting ( $B$ ) te maximaliseren.

Probleemformulering: Dit wordt gemodelleerd als een "Budgeted Maximum Coverage" probleem (NP-hard). Het doel is om voor elke query $q$ in de doelset minimaal $r$ (vaak gelijk aan $k$ , de retrieval diepte) kwaadaardige tools te vinden die binnen een bepaalde cosine-afstand ( $\delta$ ) van de query liggen.
Algoritme: Een iteratieve greedy-strategie selecteert stap voor stap de tool die het grootste aantal nog niet-afgedekte vragen "bedekt".
Resultaat: Een kleine set van kwaadaardige tools die samen de embedding-ruimte van de doelvragen zo volledig bedekken dat ze de top- $k$ resultaten verdringen.

3. Belangrijkste Bijdragen

Nieuw Bedreigingsmodel: De paper introduceert "Top-k Domination" als een kritieke beveiligingsbreuk. Het toont aan dat het verbergen van veilige tools (retrieval-layer) gevaarlijker en effectiever is dan het manipuleren van de keuze binnen een lijst.
ToolFlood Framework: Een praktische aanvalsmethode die LLM-assisted generatie combineert met greedy-optimalisatie om semantische dekking te bereiken.
Theoretische Analyse: Een wiskundige onderbouwing die aantoont dat met voldoende iteraties in Fase 1, de kans op volledige dekking van de doelset wiskundig naar 1 convergeert.
Empirisch Bewijs: Uitgebreide evaluaties op standaard benchmarks (MetaTool en ToolBench) die de kwetsbaarheid van embedding-based retrieval aantonen.

4. Resultaten

De experimenten zijn uitgevoerd op de benchmarks MetaTool (199 tools) en ToolBench (11.760 tools) met verschillende retrievers (o.a. OpenAI text-embedding-3-small/large) en LLM-selectors (GPT-4o, GPT-5-mini, etc.).

Aanvalsucces (ASR) en Dominatie (TDR):
- ToolFlood bereikt een Top-k Domination Rate (TDR) van tot 97,2% op MetaTool en 91,0% op ToolBench.
- De Attack Success Rate (ASR) (hoe vaak de agent een kwaadaardige tool kiest) ligt tussen 94% en 99,6%.
Efficiëntie: De aanval is zeer efficiënt; met slechts 1% geïnjecteerde tools (in vergelijking met de totale catalogus) wordt volledige dominatie bereikt.
Transferbaarheid: De aanval werkt ook wanneer de "shadow retriever" (gebruikt voor optimalisatie) verschilt van de "target retriever" (gebruikt in het systeem), wat aantoont dat de aanval robuust is tegen modelverschillen.
Verdedigingsevaluatie:
- MMR (Maximal Marginal Relevance): Verlaagt de dominatie significant (van 91% naar 44,8%), maar de aanvalssuccesrate blijft hoog (~91%), omdat zelfs een gedeeltelijke overstroming de agent kan sturen.
- Prompt Guard: Heeft geen effect (TDR blijft 91%). Omdat ToolFlood werkt via brede semantische dekking en geen expliciete instructie-injectie bevat, worden deze tools niet gedetecteerd als "prompt injection".

5. Betekenis en Implicaties

Verschuiving van de Veiligheidsgrens: De paper toont aan dat beveiliging niet alleen bij de LLM-selectie moet liggen, maar bij de retrieval-infrastructuur. Als de retrieval-laag wordt gecompromitteerd, zijn downstream-verdedigingen nutteloos.
Sybil-aanvallen in Tool-ecosystemen: De aanval benut de open aard van tool-marktplaatsen (zoals de GPT Store), waar kwaadaardige actoren duizenden bijna-identieke tools kunnen publiceren om de zoekresultaten te manipuleren.
Noodzaak voor Nieuwe Defensies: Traditionele methoden zijn ontoereikend. De paper pleit voor:
- Diversiteitsbewust her-ranken (diversity-aware reranking).
- Detectie van flooding-patronen en Sybil-identiteiten.
- Sterkere provenance-controles voor tools.

Conclusie: ToolFlood onthult een fundamentele kwetsbaarheid in de architectuur van tool-augmented agents. Zelfs een kleine hoeveelheid slim geoptimaliseerde kwaadaardige tools kan de agent volledig isoleren van veilige opties, wat leidt tot onbeheersbare en potentieel schadelijke acties. Dit onderstreept de urgentie van robuuste retrieval-beveiliging in toekomstige AI-systemen.