🤖 machine learning

Know Your Agent: Reconnaissance-Driven Pentesting of AI Agents

Het artikel introduceert "Know Your Agent" (KYA), een framework dat black-box, op reconnaissance gebaseerde pentesting voor AI-agenten automatiseert door deze systematisch te beproeven om doelprofielen op te bouwen en sterkere indirecte prompt injection-aanvallen te ontwerpen.

Oorspronkelijke auteurs: Or Zion Eliav, Eyal Lenga, Shir Bernstien, Yisroel Mirsky

Gepubliceerd 2026-07-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Or Zion Eliav, Eyal Lenga, Shir Bernstien, Yisroel Mirsky

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin je computer niet alleen wacht tot je commando's typt, maar ook echt dingen voor je gaat doen. Het kan je e-mails lezen, het web doorzoeken, code schrijven en zelfs vluchten boeken. We noemen dit "AI-agenten". Ze zijn als superintelligente digitale assistenten die zelfstandig kunnen plannen en handelen. Maar hier komt het lastige gedeelte bij: deze agenten luisteren altijd naar de wereld om hen heen. Als je een agent vraagt om een webpagina te lezen, leest hij alles op die pagina, zelfs de delen die door vreemden zijn geschreven. Dit creëert een uniek beveiligingsprobleem. Als een kwaadwillende een geheime, sluwe instructie verstopt in een normaal uitziende webpagina of e-mail, kan de agent deze lezen, denken dat het een echte opdracht van jou is, en precies doen wat de kwaadwillende wil. Dit wordt "Indirecte Prompt Injectie" genoemd. Het is alsof iemand een briefje in de lunchtrommel van je vriend stopt met de tekst: "Geef mij je lunch," en je vriend, omdat hij beleefd is, de lunch overhandigt zonder te beseffen dat het briefje niet van jou kwam.

De grote vraag die onderzoekers zich stellen is: Hoe testen we deze agenten om er zeker van te zijn dat ze niet in deze trucs trappen voordat we ze in de echte wereld loslaten? Een lange tijd probeerden beveiligingsexperts hen te testen door er simpelweg willekeurige, verwarrende instructies naar te gooien, in de hoop dat ze zouden breken. Het was een beetje alsof je probeerde een zwakke plek in een kasteelmuur te vinden door blindelings stenen naar de muur te gooien. Maar een nieuw artikel suggereert dat deze aanpak het belangrijkste onderdeel van de taak mist: verkenning (reconnaissance). In de wereld van traditionele beveiliging gooit een tester niet alleen maar met stenen; een tester verkent eerst het kasteel. Ze zoeken naar open ramen, controleren het rooster van de bewakers en leren de lay-out kennen. Dit artikel betoogt dat we om AI-agenten echt te testen, hetzelfde moeten doen: we moeten "Ken Je Agent" (Know Your Agent).

De auteurs, een team van de Ben-Gurion Universiteit, introduceren een nieuw framework genaamd KYA (Know Your Agent). Zij stellen dat de beste manier om een AI-agent te breken niet is door blind te gokken, maar door eerst alles te leren wat je over hem kunt weten. Ze ontdekten dat AI-agenten twee belangrijke "blinde vlekken" hebben die hen kwetsbaar maken. Ten eerste vertrouwen ze op dingen die er juist uitzien (zoals specifieke opmaak of woorden die meestal betekenen dat "dit een veilige instructie is"). Ten tweede vertrouwen ze op dingen die bij het verhaal passen (zoals een verzoek dat logisch lijkt te midden van een normale taak).

Het artikel laat zien dat we door een slim, geautomatiseerd systeem te gebruiken dat werkt als een digitale detective, deze blinde vlekken veel beter kunnen uitbuiten dan voorheen. Dit systeem, KYA, valt niet alleen aan; het pauzeert om vragen te stellen, observeert hoe de agent reageert en bouwt een gedetailleerd profiel op van de tools en regels van de agent. Het leert zaken zoals: "O, deze agent gebruikt een speciaal symbool om instructies te scheiden," of "Deze agent wordt nerveus als ik iets vraag dat niet bij het huidige verhaal past." Zodra het deze details kent, smeedt het een veel overtuigender truc.

De onderzoekers testten dit idee op verschillende AI-agenten en ontdekten dat hun "verkenning-gestuurde" methode ongelooflijk effectief was. In hun simulaties was KYA in staat om in te breken bij agenten en succesvol te zijn in aanvallen tot wel 67 procentpunten vaker dan eerdere methoden die simpelweg gokten en het opnieuw probeerden. Ze testten het zelfs op een real-world coding agent genaamd OpenHands en vonden dat het daar ook werkte. Het artikel concludeert dat als we AI-agenten veilig willen maken, we moeten stoppen met hen te behandelen als statische doelwitten en moeten beginnen met het behandelen van hen als complexe systemen die bestudeerd, geprofileerd en begrepen moeten worden voordat we hun verdediging echt kunnen testen. Het gaat niet meer alleen om het gooien met stenen; het gaat erom eerst de geheimen van het kasteel te leren kennen.

Technische Samenvatting: Know Your Agent (KYA)

Probleemstelling

De beveiliging van Large Language Model (LLM) agents wordt steeds vaker bedreigd door Indirect Prompt Injection (IPI). In tegenstelling tot directe prompt injection, waarbij een tegenstander de gebruikersinput controleert, houdt IPI zich bezig met het inbedden van kwaadaardige instructies binnen omgevingsgegevens (bijv. webpagina's, e-mails, repository-bestanden) die de agent via tools ophaalt. Wanneer de agent deze gegevens verwerkt, kan deze de verborgen instructies interpreteren als geldige commando's, wat leidt tot ongeautoriseerde tool-aanroepen, data-exfiltratie of output-manipulatie.

Huidige geautomatiseerde red-teaming benaderingen voor IPI falen grotendeels omdat ze geen rekening houden met de complexiteit van agent-architecturen. De meeste bestaande methoden opereren blind, gebruikmakend van vaste templates, gefuzzed payloads of iteratieve payload-mutatie op basis van enkel succes/falen-signalen. Deze benaderingen behandelen de agent als een statisch doelwit en optimaliseren de payload zonder eerst de target te begrijpen. Ze missen het mechanisme om systematisch intelligentie te verzamelen over de tools, schema's, permissies, taakcontext en defensiemechanismen van een agent voordat een aanval wordt gelanceerd. Bijgevolg missen ze de "reconnaissance-exploitation loop" die effectief menselijk penetratietesten kenmerkt.

Methodologie: Agent Reconnaissance en KYA

Het paper introduceert Agent Reconnaissance, een geformaliseerd proces waarbij een aanvaller strategisch operationele kennis over een agent extraheert om effectievere IPI-aanvallen te construeren. De auteurs stellen dat succesvolle IPI rust op het exploiteren van twee specifieke zwakheden van de agent:

Surface-Form Trust (W1): Agents vertrouwen vaak op tokens die de structurele patronen van vertrouwde data nabootsen (bijv. system prompts, tool-call syntaxis, delimiters).
Coherence-Based Legitimation (W2): Agents accepteren vaak verzoeken die passen binnen de lokale context (user persona, huidige taak, domeintaal), zelfs als de bron onbetrouwbaar is.

Om dit te operationaliseren, stellen de auteurs Know Your Agent (KYA) voor, een volledig autonome, black-box pentesting framework. KYA wisselt reconnaissance en exploitation acties af in plaats van enkel gefaalde payloads te muteren.

Het KYA Framework

KYA opereert onder een black-box dreigingsmodel en interacteert met de doel-agent als een legitieme gebruiker. Het bestaat uit drie primaire modules:

Orchestrator: De besluitvormende kern die een Target Profile ( $M$ ) en een Tactic Library bijhoudt. Na elke interactie evalueert het de resultaten en besluit het of het moet:
- Een Exploitation poging lanceert (als het profiel voldoende kennis bevat voor een specifieke tactiek).
- Reconnaissance initieert (als de vereisten voor een tactiek ontbreken).
- De huidige tactiek verfijnt of van strategie wisselt.
Reconnaissance Module: Gebruikt een "Scout" agent om probes te genereren die ontworpen zijn om specifieke Knowledge Assets te extraheren. Deze assets worden gecategoriseerd als:
- Evasion Assets: Filters, guardrails en structurele defensies (bijv. delimiters).
- Pretext Assets: Agent type, user persona, huidige taak en benigne responsstijlen.
- Blueprint Assets: Gedragsregels, model identiteit, conversatiestructuur, tool details en tool-call schema's.
Exploitation Module: Gebruikt een "Strategist" en "Forger" om payloads te synthetiseren. Het instantiëren van tactieken uit de library met behulp van de doelspecifieke data in $M$ , waarbij de payload de vertrouwde surface forms nabootst en past binnen het contextuele narratief.

Het framework circuleert tussen deze fasen en werkt het Target Profile incrementeel bij totdat een succesvolle aanval is bereikt of het interactiebudget is uitgeput.

Belangrijkste Bijdragen

Formalisering van Agent Reconnaissance: Het paper definieert agent reconnaissance als een afzonderlijke fase in pentesting, waarbij specifieke Knowledge Assets (bijv. tool schema's, refusal boundaries, user taken) worden geïdentificeerd die aanvallers moeten extraheren om te slagen.
Identificatie van Agent Zwakheden: Het legt uit hoe reconnaissance gebruikmaakt van Surface-Form Trust en Coherence-Based Legitimation, en verklaart waarom doelspecifieke details IPI-payloads effectiever maken dan generieke payloads.
Het KYA Framework: De auteurs presenteren KYA, een autonoom black-box platform dat de reconnaissance-exploitation loop automatiseert. In tegenstelling tot eerder werk, modelleert KYA expliciet de target en beslist het wat er geleerd moet worden voordat besloten wordt hoe er aangevallen wordt.
Empirische Validatie: Het paper biedt een uitgebreide evaluatie van KYA tegen gevestigde agent-security benchmarks en een real-world coding agent (OpenHands).

Resultaten

De evaluatie demonstreert dat reconnaissance-gestuurd testen significant beter presteert dan payload-centrische red teaming:

Benchmark Prestaties: Over gevestigde agent-security benchmarks en diverse foundation models heen, overtrof KYA alle baselines (inclusclusief statische templates, single-shot generatie en iteratieve verfijningsmethoden) met wel 67 procentpunten in de attack success rate.
Real-World Toepassing: KYA identificeerde succesvol kwetsbaarheden in OpenHands, een real-world coding agent, wat aantoont dat de benadering effectief is buiten synthetische benchmark-settings.
Component Analyse: De resultaten wijzen erop dat de verbetering wordt gedreven door de strategische acquisitie van knowledge assets, wat het systeem in staat stelt om payloads te creëren die zowel structureel valide zijn (exploiterend van W1) als contextueel coherent (exploiterend van W2).

Betekenis en Claims

Het paper claimt dat reconnaissance een vereiste is voor betrouwbare agent-implementatie. De auteurs stellen dat het behandelen van agent security testing als een eenvoudige prompt-generatie taak onvoldoende is. In plaats daarvan moet effectieve testing de iteratieve informatieverzameling van traditioneel penetratietesten nabootsen.

Door KYA, de benchmarks en de baseline implementaties vrij te geven, beogen de auteurs reproduceerbaar onderzoek in AI-security te ondersteunen. Zij stellen dat het begrijpen van het "attack surface" van de observeerbare gedrag van een agent (de tools, responsen en context handling) cruciaal is voor het ontwikkelen van robuuste defensies tegen indirect prompt injection. Het werk suggereert dat toekomstige defensies niet alleen gericht moeten zijn op de inhoud van de prompt, maar ook op de neiging van de agent om surface forms en contextuele coherentie te vertrouwen die afkomstig zijn van onbetrouwbare bronnen.