Technische Samenvatting: Denk twee keer na voordat u handelt

Probleemstelling

De integratie van externe tools heeft de mogelijkheden van Large Language Model (LLM) agents aanzienlijk uitgebreid, maar introduceert ook nieuwe aanvalsoppervlakken die verder gaan dan traditionele prompt injection. Dit paper identificeert en formaliseert cross-tool description poisoning, een geavanceerde aanvalsvector waarbij aanvallers de metadata (beschrijvingen) van niet-kritieke of zwak gereguleerde tools manipuleren om het planningsverloop van een agent te sturen.

In tegen tegenstelling tot eerdere "tool-preference" aanvallen, die een agent bevoordelen om een specifieke vergiftigde tool te selecteren, maakt cross-tool description poisoning het een aanvaller mogelijk om kwaadwillige acties te induceren met behulp van andere tools—zelfs als de vergiftigde tool zelf nooit wordt geselecteerd. Bijvoorbeeld: het vergiftigen van de beschrijving van een onschuldige "Account Backup"-tool kan de planner ertoe brengen om een kwaadwillige "Email Sender"-stap (bijv. het verzenden van accountgegevens naar een aanvaller) in te voegen in het traject van een legitieme "Bank Transfer"-taak. De kernuitdaging is dat vergiftigde beschrijvingen persistent blijven in de planningscontext over meerdere stappen, waardoor ze een continue invloed kunnen uitoefenen op daaropvolgende toolkeuzes.

Bestaande verdedigingen, zoals statische tool-filtering, herhaaldelijk prompten of systeemniveau-beperkingen (bijv. Drift, Progent), bleken ineffectief tegen deze specifieke dreiging. Deze methoden houden ofwel geen rekening met de taakcontext, vertrouwen op interne modeltoestanden (die vaak niet toegankelijk zijn via API's), of kunnen het onderscheid niet maken tussen legitiem toolgebruik en gebruik dat beïnvloed is door vergiftigde metadata.

Methodologie: Tool-Guard

Om deze beperkingen aan te pakken, stellen de auteurs Tool-Guard voor, een nieuw systeemniveau-verdedigingsmechanisme gebaseerd op het concept van geïsoleerde planning. De kernfilosofie is het toepassen van het beveiligingsprincipe van isolatie op agentic planning, waarbij de verbinding tussen vergiftigde beschrijvingen en het beoogde doel van de invloed wordt verbroken zonder tools permanent uit te schakelen.

Kernmechanisme

Tool-Guard werkt via een dynamische, iteratieve lus bestaande uit drie hoofdfasen:

1. Dynamische Toolset-partitionering:
   Het systeem houdt een dynamische partitionering bij van de beschikbare toolset $K$ in twee disjuncte lijsten:

   • Influenced List ($K_{inf}$): Bevat tools die verdacht worden beïloed te worden door vergiftigde beschrijvingen (aanvankelijk leeg).
   • Others List ($K_{others}$): Bevat de resterende tools.
     Tools worden niet als kwaadwillend beschouwd; ze worden echter verplaatst naar $K_{inf}$ als hun aanroep onjuist lijkt te zijn in relatie tot de gebruikersintentie of slecht gegrond is in de context.

2. Geïsoleerde Planning:
   In plaats van de planner te bevragen met de volledige toolset, bevraagt Tool-Guard de planner tweemaal onder strikte isolatie:

   • Eén keer met alleen de beschrijvingen in $K_{inf}$.
   • Eén keer met alleen de beschrijvingen in $K_{others}$.
     Dit voorkomt dat een vergiftigde beschrijving in één subset de selectie of parametrisering van tools in de andere subset stuurt. Het systeem selecteert vervolgens een kandidaat-actie uit de twee resulterende plannen. Als beide subsets geldige acties opleveren, wordt een tie-breaker toegepast; als geen van beide dat doet, wordt het traject beëindigd.

3. Validatie vóór uitvoering en Lijstupdate:
   Voordat een geselecteerde tool-aanroep wordt uitgevoerd, voert Tool-Guard twee semantische controles uit met behulp van een LLM-gebaseerde validator:

   • Alignment Check: Controleert of de actie consistent is met de gebruikersintentie en gevalideerde voortgang.
   • Suspicion Check: Controleert of de argumenten gegrond zijn in de gebruikersaanvraag of eerdere tool-outputs, en markeert gevoelige entiteiten (bijv. ontvangeradressen) die een duidelijke herkomst missen.

   Als de validatie faalt, wordt de tool verplaatst naar de Influenced List, en wordt de planner getriggerd om te herplannen onder de bijgewerkte partitionering. Dit iteratieve proces isoleert progressief schadelijke invloedsroutes terwijl de bruikbaarheid van legitieme tools behouden blijft.

Extensie naar MCP

De methodologie wordt uitgebreid naar het Model Context Protocol (MCP) door dezelfde isolatielogica toe te passen op serverniveau, waarbij servers worden opgedeeld in beïnvloede en niet-beïnvloede groepen om cross-server vergiftiging te voorkomen.

Belangrijkste Bijdragen

1. Karakterisering van Cross-Tool Description Poisoning: Het paper toont aan dat aanvallers kwaadwillige stappen kunnen injecteren in veiligheidskritische tool-aanroepen door de beschrijvingen van niet-kritieke tools te vergiftigen, zelfs wanneer de vergiftigde tool nooit wordt aangeroepen. Het toont aan dat bestaande verdedigingen een hoge Attack Success Rate (ASert) vertonen tegen deze continue invloed.
2. Tool-Guard Verdediging: De auteurs stellen een verdediging voor die de toolset dynamisch partitioneert en geïsoleerde planning gebruikt. Door acties te valideren vóór uitvoering en verdachte tools te isoleren, snijdt het schadelijke cross-tool sturende paden af terwijl de volledige beschikbaarheid van tools behouden blijft.
3. Uitgebreide Evaluatie: Uitgebreide experimenten op de AgentDojo en ASB (Agent Security Bench) benchmarks laten zien dat Tool-Guard de ASR tot verwaarloosbare niveaus vermindert terwijl de taakutiliteit hoog blijft. Het paper kwantificeert ook de efficiëntie en robuustheid tegen adaptieve aanvalsvarianten.

Experimentele Resultaten

De auteurs hebben Tool-Guard geëvalueerd tegen vijf bestaande defensiemechanismen (System Prompt, Tool Filtering, Repeat Prompt, Drift, Progent) over meerdere LLM's (GPT-4o, GPT-4o-mini, Gemini-2.5, Claude-3.5) op twee benchmarks.

• Attack Success Rate (ASR): Tool-Guard reduceerde de ASR tot verwaarloosbare niveaus (bijv. van ~43% naar ~2% of 0% op AgentDojo, en van ~72-96% naar 0% op ASB voor de meeste modellen). In tegenstelling hiertoe faalden bestaande verdedigingen vaak om de ASR significant te verlagen (bijv. Drift en Progent vertoonden ASR's van respectievelijk 24,7% en 19,6% op AgentDojo).
• Utiliteitbehoud: Tool-Guard behield een hoge taakutiliteit onder zowel gunstige als aanvallende omstandigheden. In tegenstelling tot "over-kill" verdedigingen die tools onvoorwaardelijk blokkeren, behield Tool-Guard het vermogen om taken te voltooien, met utiliteitsscores die vergelijkbaar met of beter dan de baselines waren onder aanval.
• Efficiëntie:
  • Token Overhead: Tool-Guard veroorzaakte een toename van ongeveer 1,5× in tokengebruik vergeleken met de no-defense baseline, wat aanzienlijk lager is dan andere systeemniveau-verdedigingen zoals Drift of Progent.
  • Latentie: De methode introduceerde een runtime-overhead van ongeveer 3,7× vergeleken met de baseline (hoger dan Progent's 1,2× maar lager dan Drift's 7,3×), toegeschreven aan het herplanningsmechanisme.
• Robuustheid:
  • Stabiliteit: De verdediging bleef stabiel over meerdere runs met een lage standaarddeviatie.
  • Adaptieve Aanvallen: Tool-Guard bleef robuust tegen semantisch-adaptieve aanvallen (die proberen controles te ontwijken via gefabriceerde rechtvaardigingen) en optimalisatie-gebaseerde aanvallen (PAIR, TAP). Hoewel optimalisatie-gebaseerde aanvallen de ASR licht verhoogden, bleef deze zeer laag (bijv. 2,06% onder PAIR), wat de inherente afweging benadrukt die aanvallers ervaren tussen expliciet genoeg zijn om planning te beïnvloeden en subtiel genoeg om validatie te ontwijken.
  • Stress Tests: Zelfs wanneer kritieke, hoogfrequente tools werden vergiftigd, hield Tool-Guard de ASR op een laag enkelcijferig niveau.

Betekenis en Claims

Het paper claimt dat tool-beschrijvingen een kritiek, voorheen onderbelicht aanvalsoppervlak vormen voor LLM-agents. De betekenis van dit werk ligt in:

1. Identificatie van een Nieuwe Aanvalsvector: Het formaliseren van cross-tool description poisoning, wat traditionele verdedigingen omzeilt door de persistente aard van tool-metadata in de planningscontext uit te buiten.
2. Demonstratie van de Beperkingen van Verdediging: Het aantonen dat huidige state-of-the-art verdedigingen onvoldoende zijn tegen continue cross-tool invloed.
3. Voorstel voor een Systeemniveau-Oplossing: Het introduceren van Tool-Guard, dat deze aanvallen effectief mitigeert door invloed te isoleren in plaats van enkel te vertrouwen op bescherming tijdens de uitvoering of statische scanning.
4. Balans tussen Beveiliging en Utiliteit: Het bewijzen dat effectieve verdediging niet hoeft te betekenen dat de agent-utiliteit wordt opgeofferd; Tool-Guard bereikt robuuste beveiliging met minimale token-overhead en zonder "over-kill" gedrag.

De auteurs concluderen dat effectieve verdedigingen voor tool-augmented LLM-agents expliciet cross-tool invloed moeten adresseren via mechanismen zoals geïsoleerde planning, in plaats van enkel te vertrouwen op prompt injection-verdedigingen of statische tool-filtering.