Technische Samenvatting: PI-Hunter

Probleemdefinitie

Large Language Models (LLM's) evolueren steeds meer naar agentische systemen die interageren met externe tools, geheugen en dynamische databronnen. Hoewel dit paradigma de mogelijkheden uitbreidt, introduceert het aanzienlijke beveiligingsrisico's, met name indirecte prompt injectie. In deze scenario's zijn kwaadaardige instructies ingebed in onbetrouwbare externe bronnen (bijv. e-mails, webpagina's, API's, opgehaalde documenten) in plaats van direct door de gebruiker te zijn ingevoegd. Deze "latente" injecties blijven vaak latent totdat specifieke gebruikersinteracties, retrieval-patronen of redeneertrajecten ze activeren.

Huidige veiligheidspraktijken kampen met een fundamentele kloof:

1. Beperkingen van defensie: Bestaande defensies richten zich primair op het filteren of afwijzen van kwaadaardige inhoud tijdens de inferentie.
2. Beperkingen van Red-Teaming: Huidige geautomatiseerde red-teaming methoden richten zich op het optimaliseren van het succespercentage van aanvallen (jailbreaking) in plaats van het systematisch blootleggen van verborgen kwetsbaarheden.
3. Zichtbaarheidsgat: Ontwikkelaars missen zicht op hoe latente injecties zich voortplanten door de interacties van de agent met externe omgevingen. Bijgevolg kunnen gevaarlijke gedragingen ongedetecteerd blijven tijdens het testen, maar exploiteerbaar worden na implementatie.

De kernuitdaging is het proactief blootleggen van verborgen kwetsbare ingestiepaden en het lokaliseren van de specifieke intersectie van gecompromitteerde bronnen en tools die kwaadaardige gedragingen activeren, voordat deze in de echte wereld worden getriggerd.

Methodologie: PI-Hunter Framework

De auteurs stellen PI-Hunter voor, een geautomatiseerd agentisch audit-framework ontworpen om de focus te verschuiven van aanvalsoptimalisatie naar injectie-expositie. In tegenstelling tot traditionele red-teaming die fungeert als een "aanvalsoptimizer", functioneert PI-Hunter als een diagnostische "jager" die het beveiligingsperimeter van een agent in kaart brengt.

Het framework werkt via een drie-fasen, feedbackgestuurde evolutionaire loop:

1. Statische Analyse

Voordat de iteratieve audit begint, voert PI-Hunter een eenmalige statische analyse uit van de doel-agent om het interactieoppervlak in kaart te brengen. Het identificeert:

• Toegankelijke tools en retrieval-interfaces (bijv. e-mailclients, zoekmachines, databases).
• Potentieel kwetsbare externe bronnen (bijv. ongestructureerde HTML, repositories).
• Hoog-risico interfaces die in staat zijn tot geprivilegieerde acties (bijv. berichten verzenden, gegevens wijzigen).
  Deze analyse initialiseert realistische, bron-bewuste probing-taken die zijn afgestemd op de operationele capaciteiten van de agent.

2. Evolutionaire Exploitatie Loop

De kern van PI-Hunter is een iteratief proces geïnspireerd door genetische algoritmen, waarbij gebruik wordt gemaakt van een door een LLM aangestuurde Generator en een Trajectory-aware Evaluator:

• Source-Aware Meta-Seeding: In plaats van generieke prompts, initialiseert de Generator een populatie testgevallen die specifiek zijn ontworpen om hoog-risico interfaces te activeren die door de statische analyse zijn geïdentificeerd. Deze queries stimuleren de agent om externe inhoud op te halen en te inspecteren (bijv. "citeren", "lijsten" of "samenvatten" van opgehaalde items) om verborgen payloads bloot te leggen.
• Trajectory Execution & Evaluation: Testgevallen worden uitgevoerd door de doel-agent. De Evaluator auditeert het volledige uitvoeringstraject (opgehaalde inhoud, redeneertrajecten, tool-aanroepen) in plaats van alleen de uiteindelijke output. Het gebruikt rubric-gestuurde evaluatie om signalen te detecteren zoals intentie-afwijking, verdachte instructie-propagatie, autoriteitsmanipulatie en abnormaal toolgebruik.
• Feedback-Driven Mutation: Op basis van de feedback van de evaluator evolueert de Generator adaptief de testgevallen. Het past mutatie-operators toe (bijv. volumevergroting, parameter-fuzzing, rol-inversie) om de agent in verschillende redeneertoestanden te dwingen. Cruciaal is dat PI-Hunter ook LLM-gestuurde meta-mutatie toepast, waarbij de mutatie-operators zelf worden verfijnd en gecombineerd op basis van historische effectiviteit, waardoor het exploratiebeleid zich kan aanpassen aan de doelomgeving.

3. Verificatie en Co-evolutie (Patch-and-Reexplore)

Zodra een injectie is blootgelegd, past de Patcher lichtgewicht, tijdelijke mitigaties toe (bijv. het zwartlijsten van specifieke instructies in de system prompt of het tijdelijk isoleren van een bron).

• Doel: Deze mitigaties zijn geen permanente defensies. Hun doel is het neutraliseren van het ontdekte pad om te voorkomen dat het framework herhaaldelijk dezelfde hoog-waarschijnlijke injectie herontdekt.
• Effect: Dit dwingt de daaropvolgende exploratie richting alternatieve aanvalsoppervlakken en eerder verborgen, diepere injecties, waardoor de dekking van de omgeving van de agent progressief wordt uitgebreid.

Belangrijkste Bijdragen

1. Proactief Expositie-Framework: PI-Hunter is het eerste framework dat systematisch verborgen prompt injectie kwetsbaarheden blootlegt door ingestiepaden in kaart te brengen in plaats van enkel te optimaliseren voor aanvalssucces.
2. Source-Aware & Trajectory-Aware Auditing: Het framework introduceert een methodologie die statische analyse van interactieoppervlakken combineert met dynamische, feedbackgestuurde exploratie van de redeneertrajecten van de agent.
3. Co-evolutionaire Strategie: Door tijdelijke patching te integreren met evolutionaire mutatie, vermijdt PI-Hunter lokale optima (het herhaaldelijk vinden van dezelfde injectie) en legt het schaarse, contextafhankelijke kwetsbaarheden bloot die standaard red-teaming mist.
4. Uitgebreide Evaluatie: Het framework wordt geëvalueerd over diverse benchmarks (AgentDojo, AgentDyn), agent-architecturen (ReAct, Planner-Executor) en defensiemechanismen.

Experimentele Resultaten

Uit uitgebreide experimenten blijkt dat PI-Hunter de sterke geautomatiseerde red-teaming baselines substantieel overtreft:

• Kwetsbaarheidsexpositie: Over meerdere modellen (Gemini, GPT, Claude) en benchmarks presteert PI-Hunter aanzienlijk beter op zowel Source Recall als Instruction Recall. Zo verbeterde de Source Recall op AgentDojo met de agentvigil aanval van 0,255 (baseline) naar 0,834 (PI-Hunter) voor Gemini-3.1-pro.
• Diversiteit en Dekking: PI-Hunter ontdekt een veel breder scala aan kwetsbare ingestiepaden. De Source Diversity scores namen aanzienlijk toe (bijv. van 0,11 naar 0,84 voor Gemini-3.1-pro op AgentDojo), wat aangeeft dat het framework diverse aanvalsoppervlakken verkent in plaats van te convergeren op één enkel patroon.
• Effectiviteit onder Defensies: PI-Hunter blijft effectief, zelfs wanneer agents worden beschermd door bestaande defensies zoals Spotlighting, MELON en PIGuard. Hoewel deze defensies het totale aantal blootgestelde injecties verminderen, ontdekt PI-Hunter consistent residuele latente injecties die huidige mitigatiestrategieën omzeilen.
• Ablatie-studies: De resultaten bevestigen dat zowel Source-Aware Seeding als Feedback-Guided Mutation cruciale componenten zijn. Het verwijderen van deze functies leidt tot significante dalingen in expositie-nauwkeurigheid en diversiteit.

Betekenis en Claims

Het artikel stelt dat PI-Hunter een kritiek gat in de beveiliging van LLM-agents aanpakt: het gebrek aan systematische, proactieve auditing voor latente, omgevingsafhankelijke prompt injecties.

• Systeem-niveau Beveiliging: De auteurs beargumenteren dat beveiliging niet uitsluitend beoordeeld kan worden door het gedrag van een model in isolatie te evalueren of een beperkte set adversariële prompts te optimaliseren. In plaats daarvan moet de interactie tussen het model, externe tools en opgehaalde inhoud worden geaudit als een systeem.
• Complementaire Rol: PI-Hunter wordt gepresenteerd, niet als een vervanging voor bestaande defensies, maar als een complementair adversarieel audit-framework. Het test de verdedigde systemen onder druk om verborgen injecties te onthullen vóór implementatie, waardoor ontwikkelaars kunnen begrijpen welke specifieke componenten (tools, bronnen, interactiepatronen) risico's introduceren.
• Praktische Bruikbaarheid: Het framework blijkt computationeel efficiënt te zijn, met een bescheiden tokenverbruik per audit-run, wat het een praktisch instrument maakt voor real-world deployment scenario's.

Het werk concludeert dat proactieve, systeem-niveau auditing essentieel is voor het beveiligen van steeds krachtiger wordende agentische AI-systemen, aange omdat latente prompt injecties een significante dreiging blijven, zelfs bij de aanwezigheid van huidige defensieve maatregelen.