Technische Samenvatting: AgentSecBench

Probleemstelling

Large Language Model (LLM)-agenten integreren vertrouwde instructies, opgehaalde records en toolobservaties in één generatief kanaal. Deze architecturale keuze verwardt dataflow met autoriteit: onbetrouwbare strings (bijvoorbeeld opgehaalde documenten of tool-uitvoer) kunnen invloed uitoefenen op antwoorden met geheime informatie of voorstellen voor acties, zelfs wanneer geen enkele applicatiebeleid dergelijke invloed toestaat. In tegenstelling tot conventionele programma's, waar typesystemen en toegangscontroles het onderscheid tussen instructie en data afdwingen, vertrouwen LLM-agenten vaak op proza in de systeemprompt om deze grenzen te definiëren. Het artikel identificeert een kritieke kloof: terwijl prompttekst een beveiligingsgrens kan beschrijven, dwingt het deze niet inherent af. Bijgevolg kan een aanvaller die onbetrouwbare observaties controleert, beleidsbeperkingen omzeilen, wat leidt tot prompt-injectie, lekken van privacy en ongeautoriseerd gebruik van tools.

Methodologie

Het artikel introduceert AgentSecBench, een empirische instantiatie van een formeel beveiligingskader dat is ontworpen om promptannotatie en afgedwongen beveiligingsgrenzen te meten en te onderscheiden.

Formeel Kader

De auteurs definiëren non-interferentie van intentie tot uitvoering met toegestane lekken. Het kernconcept omvat drie "spellen" die een cryptografische structuur delen: een aanvaller kiest een onbetrouwbare observatie, een verdediging transformeert het waarneembare kanaal, en een onderscheider evalueert een ongeautoriseerde uitvoer gebeurtenis.

1. Integriteit van Instructiespel: Test of een door een aanvaller ingebedde instructie in een document een onschuldige gebruikersaanvraag kan overschrijven.
2. Vertrouwelijkheid van Ophaalspel: Test of een geheim (canary) dat is toegewezen aan een huurder buiten het autorisatiebereik van de aanroeper, kan worden gelekt via opgehaalde context.
3. Integriteit van Mogelijkheden: Test of een toolobservatie de selectie van een actie kan induceren die door het beleid van de gebruiker is verboden.

Het kader onderscheidt tussen beleidsprojecties (wiskundige operaties die ongeautoriseerde kenmerken uit de invoer- of actieruimte verwijderen) en promptannotaties (tekstuele waarschuwingen of afbakening die de ongeautoriseerde data zichtbaar laten voor het model).

Experimenteel Ontwerp

• Modellen: Experimenten werden uitgevoerd op Qwen3-0.6B en Qwen3-1.7B.
• Verdedigingen: Zes klassen van verdediging werden geëvalueerd:
  1. Geen verdediging (baseline).
  2. Hardening van afbakening (promptannotatie).
  3. Filteren met classifier (patroonherkenning voorafgaand aan generatie).
  4. Provenance-bewuste RAG-gating (projectie van opgehaalde context).
  5. Gating van tools met minst privileges (projectie van tool-uitvoer).
  6. Gecombineerde stack (compositie van de bovenstaande).
• Metrieken:
  • Adversariaal Voordeel ($\widehat{Adv}$): Het verschil in schendingspercentages tussen adversariale en gekoppelde onschuldige controles.
  • Kanaalsluiting ($\widehat{C}$): Een binaire indicator die meet of het aangewezen ongeautoriseerde marker of vermogen uit de invoer is verwijderd voordat generatie plaatsvond.
  • Onschuldige Nuttigheid: Een lexische proxy voor taakvoltooiing op onschuldige invoer.
• Protocol: De evaluatie gebruikt exact-match onderscheiders (bijvoorbeeld specifieke canary-strings zoals BETA CANARY 0000 of actietokens zoals CALL SEND EXTERNAL EMAIL 0000) om een ondubbelzinnige grondwahrheid te garanderen. De benchmark vermijdt LLM-rechters om extra model-afhankelijke variatie te voorkomen.

Belangrijkste Bijdragen

1. Formele Definitie: Definitie van non-interferentie van intentie tot uitvoering met toegestane lekken voor agenten die vertrouwde instructies combineren met onbetrouwbare observaties.
2. Beveiligingsonderscheid: Expliciete scheiding tussen tekstniveau-instructies (promptannotaties) en afgedwongen beveiligingsgrenzen (provenance-projectie en beperking van mogelijkheden). Het artikel betoogt dat annotatie vertrouwt op modelcompliance, terwijl afdwinging het adversariale kanaal verwijdert.
3. Drie Beveiligingsspellen: Instantiatie van instructie-, geheim- en mogelijkhedenisolatie als beleidsprojecties, met schatters voor adversariaal voordeel, RAG-lekken en kanaalsluiting.
4. Evaluatietrace: Implementatie van een evaluatiesysteem dat zowel uitkomstgebeurtenissen als de specifieke afdwingingsklasse registreert die de verdedigde context produceerde, waardoor ontvlechting van gedragsweerstand en daadwerkelijke kanaalsluiting mogelijk is.
5. Empirische Analyse: Koppeling van waargenomen residuair risico aan de vraag of een ongeautoriseerd symbool of vermogen vóór generatie is verwijderd, wat aantoont dat risicoreductie niet altijd kanaalsluiting impliceert.

Resultaten

De evaluatie van 576 uitvoeringen (over 3 spellen, 6 verdedigingen, 2 modellen) leverde de volgende inzichten op:

• Kanaalsluiting versus Voordeel: De Gecombineerde verdediging bereikte 100% kanaalsluiting en 0% adversariaal voordeel. Daarentegen bereikte Hardening van afbakening (promptannotatie) 0% kanaalsluiting, maar verminderde het voordeel tot 0,438 (iets hoger dan de baseline van 0,375).
• Effectiviteit van Verdediging:
  • Provenance-gating slaagde erin het ophaalkanaal voor het vertrouwelijkheidsspel te sluiten (0% lekken), maar faalde het capabilitieskanaal in het toolspel te sluiten.
  • Gating met minst privileges sloot het capabilitieskanaal (0% schending), maar had geen invloed op ophaallekken.
  • Filteren bereikte gedeeltelijke sluiting (54,2%) en verlaagde het voordeel tot 0,042.
• Interpretatie: Een verdediging kan het waargenomen succespercentage van aanvallen (ASR) verminderen terwijl het adversariale kanaal open blijft (vertrouwend op het model om de invoer te negeren). Omgekeerd biedt een verdediging die het kanaal sluit (het ongeautoriseerde kenmerk verwijdert) een sterkere, afdwingbare garantie, hoewel het mogelijk nog post-generatie validatie vereist om te voorkomen dat het model het verboden doel verzint.

Betekenis en Claims

Het artikel claimt dat AgentSecBench een beveiligingsgerichte evaluatiemethode biedt die de focus verschuift van het rangschikken van prompttemplates naar het verifiëren van de afdwinging van beveiligingsgrenzen.

• Annotatie versus Afdwinging: De primaire bijdrage is de demonstratie dat prompttekst een grens kan beschrijven, maar dat alleen provenance-projectie, beperking van mogelijkheden en uitvoervalidatie een dergelijke grens kunnen afdwingen.
• Meetbare Sluiting: Het kader introduceert "kanaalsluiting" als een meetbare variabele. Dit stelt onderzoekers in staat te onderscheiden tussen een verdediging die een ongeautoriseerde observatie succesvol verwijdert (afdwinging) en een verdediging die slechts de waarschijnlijkheid vermindert dat het model erop reageert (annotatie).
• Bescheiden Claims: De auteurs stellen expliciet dat de experimenten met exacte markers "één waarneembare instantiatie" zijn en geen exhaustieve semantische beveiliging claimen. Het gebruik van exacte markers (canaries) dient als voldoende getuige voor beleidschending, maar onderschat semantische schendingen (bijvoorbeeld parafraseerde geheimen). De resultaten stellen onveiligheid vast voor de specifieke geteste spellen; niet-schendingen certificeren geen onbeperkte non-interferentie.

Concluderend betoogt het artikel dat veilig agentontwerp expliciete observatieprojectie en capabilitiesvalidatie vereist naast instructies in natuurlijke taal, in plaats van te vertrouwen op instructies alleen om de beveiligingsperimeter te definiëren.