Technische Samenvatting: Blue Teaming Function-Calling Agents

Probleemstelling

Function-calling agents breiden Large Language Models (LLM's) uit door interactie met externe omgevingen en tool-executie mogelijk te maken. Hoewel protocollen zoals Agent2Agent (A2A) en het Model Context Protocol (MCP) de adoptie van agentische applicaties stimuleren, blijft de beveiligingsrobuustheid van deze systemen onbewezen. Bestaande literatuur geeft aan dat function-calling capaciteiten niet inherent een weerstand tegen adversariële aanvallen garanderen, zelfs niet wanneer verdedigingen worden afgedwongen. Dit artikel adresseert het gebrek aan empirische beveiligingsevaluatie die specifiek gericht is op open-source function-calling modellen, waarbij wordt opgemerkt dat eerder werk zich grotendeels heeft gericht op propriëtaire systemen of een gedetailleerde analyse van tool-implementaties miste.

Methodologie

De auteurs voerden een experimentele evaluatie uit met gebruik van vier open-source LLM's die claimen over function-calling te beschikken:

• Qwen3:8B
• Llama-3.2:3B
• Granite3.2:8B
• Granite3.3:8B

Deze modellen zijn geselecteerd vanwege hun open-source natuur, populariteit en afstemming op duurzame AI-ontwikkelingsdoelen (lager energieverbruik). De evaluatie maakte gebruik van de Berkeley Function Calling Leaderboard (BFCL) dataset, specifal een gesaneerde subset van 172 query-antwoord paren bestaande uit enkelvoudige functie-aanroepen. Om realistische omstandigheden te simuleren waarin agents toegang hebben tot tool-code, genereerden de auteurs plausibele tool-implementaties met behulp van Qwen2.5-Coder:32B.

De studie evalueerde drie verschillende aanvalsvectoren en acht verdedigingsmechanismen (zowel preventief als actief):

Aanvalsvectoren

Alle aanvallen waren erop gericht de agent te induceren tot het aanroepen van een specifieke kwaadaardige doel-functie (get_result) met een parameter param1=true, die een SQL-injectie (DROP TABLE users) uitvoert.

1. Direct Prompt Injection (DPI): Embedt kwaadaardige instructies direct in gebruikersqueries om systeemprompts te overschrijven en de kwaadaardige tool-aanroep te forceren.
2. Simple Tool Poisoning (STP): Wijzigt tool-beschrijvingen om kwaadaardige instructies te bevatten, waardoor de agent wordt misleid om de kwaadaardige tool te selecteren boven legitieme tools.
3. Renaming Tool Poisoning (RTP): Een nieuwe aanval die profiteert van de zichtbaarheid van de tool-implementatie. Het manipuleert zowel de tool-beschrijvingen als de implementaties gelijktijdig. Het injecteert een payload in de beschrijving die de agent aanstuurt om implementatie-variabelen te inspecteren, en een overeenkomstige kwaadaardige payload wordt toegewezen aan een variabele binnen de code van de tool.

Verdedigingsmechanismen

• Preventieve Verdedigingen:
  • Cosine Similarity: Gebruikt een embedding-model om gebruikersqueries te matchen met tools, waarbij de selectie aan het embedding-model wordt gedelegeerd.
  • Tool Obfuscation: Hernoemt systematisch functies en variabelen in tool-implementaties om renaming-gebaseerde aanvallen te verstoren.
  • Description Rewriting: Gebruikt een gespecialiseerd code-analyse LLM (Granite-Code:8B) om tool-beschrijvingen te regenereren op basis strikt van hun werkelijke implementaties, waardoor discrepanties worden verwijderd.
• Actieve Verdedigingen:
  • Watermarking: Implementeert cryptografische authenticatie (HMAC/SHA-256) voor tool-namen om ongeautoriseerde wijzigingen te detecteren.
  • LLM-gebaseerde Detectoren: Maakt gebruik van een guardian-model (granite-guardian-3.2-3b-a800m) om te detecteren:
    • Query Jailbreak: Identificeert DPI-pogingen.
    • Query Answer Consistency: Valideert of modelresponsen overeenkomen met verwachte inputs.
    • Tools Jailbreak: Scant tool-implementaties en -beschrijvingen op compromittering.
    • Query Tools Consistency: Analyseert de relevantie van geselecteerde tools ten opzichte van gebruikersqueries.

Belangrijkste Resultaten

De evaluatie toonde aan dat function-calling modellen niet standaard veilig zijn.

• Kwetsbaarheid: Zonder verdediging varieerde de Attack Success Rate (ASR) aanzienlijk per model en aanvalstype.
  • DPI was zeer effectief tegen Qwen3:8B (94% ASR) en Llama3.2:3B (58% ASR), maar ineffectief tegen Granite3.3:8B (0% ASR).
  • STP behaalde een ASR van 95% tegen Qwen3:8B, maar had lagere succespercentages op andere modellen.
  • RTP was alleen effectief tegen Qwen3:8B (74% ASR), wat suggereert dat dit model onevenredig veel gewicht toekent aan tool-implementatiedetails vergeleken met beschrijvingen.
• Effectiviteit van Verdediging:
  • Description Rewriting bleek zeer effectief tegen tool-poisoning aanvallen (STP en RTP), waarbij de ASR naar nul reduceerde voor deze scenario's met een verwaarloosbare impact op de nauwkeurigheid.
  • Watermarking detecteerde succesvol 100% van de kwaadaardige tool-aanroepen (omdat aanvallers de geheime sleutel niet hebben), maar faalde voor Llama3.2:3B vanwege het onvermogen van het model om de watermark exact te rapporteren.
  • LLM-gebaseerde Actieve Verdedigingen leden over het algemeen onder hoge False Positive Rates (FPR). Bijvoorbeeld, de "Query Answer Consistency" en "Query Tools Consistency" detectoren markeerden 11–13% van de veilige interacties als kwaadaardig. De "Tools Jailbreak Detector" had een zeer hoge FPR voor niet-aanvallen en DPI-scenario's.
  • Cosine Similarity toonde gemengde resultaten; het verbeterde de nauwkeurigheid in sommige gevallen, maar verslechterde deze in andere gevallen aanzienlijk.

Betekenis en Bijdragen

Het artikel levert de volgende bijdragen aan het veld van de beveiliging van agentische systemen:

1. Empirische Focus op Open Source: In tegen tegenstelling tot eerder werk dat zich richtte op propriëtaire modellen, biedt deze studie een gerichte evaluatie van open-source function-calling systemen, waarbij de specifieke kwetsbaarheden ervan worden benadrukt.
2. Identificatie van Nieuwe Aanvalsvectoren: De auteurs identificeren dat de zichtbaarheid van de tool-implementatie unieke aanvalsgelegenheden creëert die voorheen niet waren geadresseerd. Dit leidde tot de introductie van Renaming Tool Poisoning (RTP) en een bijbehorende verdediging, Tool Obfuscation.
3. Beperkingen van Huidige Verdedigingen: De studie toont aan dat hoewel specifieke verdedigingen (zoals Description Rewriting en Watermarking) veelbelovend zijn, geen enkele verdediging volledige bescherming biedt tegen alle aanvalstypes.
4. Praktische Beperkingen: De auteurs concluderen dat huidige LLM-gebaseerde "guardian" modellen nog niet levensvatbaar zijn voor real-world deployment vanwege hoge False Positive Rates of een gebrek aan generalisatie. Zij suggereren dat toekomstige vooruitgang gespecialiseerde modellen vereist die getraind zijn op function-calling specifieke datasets, die momenteel niet bestaan.

Samenvattend stelt het artikel dat hoewel agentische systemen populairder worden, ze geen inherente robuustheid bezitten. Huidige verdedigingsmechanismen zijn ofwel te specifiek voor bepaalde aanvallen, of introduceren onacceptabele operationele frictie (hoge FPR), wat duidt op een behoefte aan meer gespecialiseerde, scenario-specifieke beveiligingsoplossingen.