Stop Fixating on Prompts: Reasoning Hijacking and Constraint Tightening for Red-Teaming LLM Agents

Probleemstelling

Met de toenemende inzet van Large Language Model (LLM) agents in complexe domeinen (zoals video-analyse, klinische besluitvorming en intelligente vraag-antwoordsystemen), ontstaan nieuwe veiligheidsbedreigingen die verder gaan dan die van traditionele LLM's. Bestaande "red-teaming" methoden (technieken om kwetsbaarheden te vinden) hebben twee belangrijke beperkingen:

1. Prompt-modificatie: De meeste huidige methoden vertrouwen op het expliciet aanpassen van de gebruikersprompt (bijv. door vermomming of reverse engineering). Dit maakt de aanval minder adaptief aan nieuwe data en kan de prestaties van de agent negatief beïnvloeden, waardoor de aanval minder stealthy (stiekem) is en makkelijker door verdedigingsmechanismen wordt gedetecteerd.
2. Gebrek aan generalisatie: Bestaande methoden presteren vaak goed op specifieke datasets maar falen bij nieuwe scenario's of wanneer de onderliggende LLM wordt vervangen. Ze manipuleren vaak de externe uitgangspunten in plaats van de interne redeneerprocessen.

Het paper introduceert JailAgent, een framework dat deze problemen aanpakt door de gebruikersprompt niet te wijzigen, maar in plaats daarvan de interne redenering en het geheugen van de agent impliciet te manipuleren.

Methodologie: Het JailAgent Framework

JailAgent opereert via een drie-staps proces dat de redeneringsbaan (reasoning trajectory) en het geheugenherstel (memory retrieval) van de target agent beïnvloedt zonder de originele input te veranderen.

1. Trigger Extractie (Trigger Extraction)

In plaats van willekeurige tokens toe te voegen, identificeert JailAgent bestaande, hoog-bijdragende delen van de gebruikersprompt die de redenering van de agent beïnvloeden.

• Syntactische en subwoord-uitlijning: De prompt wordt opgesplitst in subwoorden (via BERT WordPiece) en gekoppeld aan syntactische groepen (naamwoorden en werkwoordspassen).
• Belangrijkheidsanalyse: Er wordt een "coarse-to-fine" analyse uitgevoerd op basis van log-probabiliteiten en stapsgewijze KL-divergentie (Kullback-Leibler). Dit meet hoe sterk de kansverdeling van het model verandert wanneer een bepaalde woordgroep of token wordt gemaskeerd.
• Resultaat: Een selectie van "high-contribution triggers" die essentieel zijn voor de redenering, maar die de structuur van de originele prompt intact laten.

2. Redenering Hijacking (Reasoning Hijacking)

Deze fase manipuleert hoe de agent informatie ophaalt en redeneert door het gebruik van een Shadow Model en een Reranker.

• Data Factory: Er wordt automatisch een trainingsdataset gegenereerd met tripletten bestaande uit context, een "vergiftigd" (positief) antwoord en een "onschuldig" (negatief) antwoord.
• Real-time Adaptive Reranker: Een model (bestaande uit een ingevroren Sentence Transformer en een lichtgewicht scoring head) wordt snel gefinetuned op de huidige context. Dit model leert om de "vergiftigde" antwoorden hoger te scoren dan de normale antwoorden.
• Hijacking: Tijdens de inferentie genereert de agent meerdere kandidaat-antwoorden. De getrainde Reranker filtert deze en selecteert het antwoord dat past bij de aanval, waardoor de redeneringsroute van de agent wordt omgeleid zonder dat de prompt zelf verandert.

3. Constraint Tightening

Om ervoor te zorgen dat de triggers effectief, robuust en generaliseerbaar zijn, worden vier gezamenlijke verliesfuncties (loss functions) geoptimaliseerd op de embedding-ruimte van de triggers:

• Particularity Loss: Dwingt de trigger-embeddings weg van de clusters van normale (benigne) data, zodat ze uniek zijn.
• Clustering Loss: Zorgt ervoor dat de embeddings van de trigger-tokens compact blijven (niet verspreid), wat de stabiliteit verhoogt.
• Separability Loss: Maximaliseert de kans dat de vergiftigde data succesvol wordt opgehaald (retrieval) terwijl de kans op verwarring met normale data minimaal is.
• Margin Loss: Verhoogt de discriminatieve marge tussen de vergiftigde entry en alle normale entries in de vectorruimte.

Kernbijdragen

1. Prompt-vrije aanval: JailAgent is de eerste methode die een jailbreak uitvoert zonder de originele gebruikersprompt te wijzigen, wat de stealth en adaptiviteit aanzienlijk verbetert.
2. Impliciete manipulatie: Door in te spelen op de interne redeneringsbaan en het geheugenherstel, omzeilt de methode verdedigingen die gericht zijn op prompt-analyse.
3. Real-time adaptiviteit: Het gebruik van een dynamisch gegenereerde "Data Factory" en een snel te finetunen Reranker maakt de aanval aanpasbaar aan verschillende prompts en scenario's.
4. Geoptimaliseerde Trigger-ruimte: De combinatie van de vier verliesfuncties zorgt voor triggers die zowel specifiek als robuust zijn over verschillende modellen en taken heen.

Resultaten

De auteurs hebben JailAgent geëvalueerd op drie types agents (VideoAgent, ReAct-UALA, EHRAgent) met 7 verschillende LLM-kernen (o.a. GPT-4o, Llama-3.1, Claude-3.5) en 8 datasets.

• Superieure Aanvalsuccesratio (ASR): JailAgent presteerde consistent beter dan state-of-the-art baselines zoals PAIR, AgentPoison en BadChain.
  • Voorbeeld: Op de MMLU dataset met GPT-5 overtrof JailAgent AgentPoison met ongeveer 22% op de ASR-R (retrieval succes) en 23% op ASR-L (log-succes).
• Behoud van Prestaties: In tegenstelling tot andere methoden die de prestaties van de agent vaak verstoren (wat leidt tot detectie), behield JailAgent de oorspronkelijke taakprestaties (zoals Exact Match en Task Success Rate) bijna volledig. Dit maakt de aanval minder detecteerbaar.
• Efficiëntie: JailAgent had de laagste tijd per succesvolle aanval (TCPS), met reducties van tot wel 86% ten opzichte van PAIR.
• Robuustheid: De methode bleef effectief onder verdedigingsmechanismen zoals Perplexity Filters en RA-LLM, omdat de prompt zelf niet was gemanipuleerd.

Betekenis en Conclusie

Dit paper markeert een paradigmaverschuiving in red-teaming voor LLM-agents. Het toont aan dat het focussen op prompt-manipulatie beperkend is en dat de echte kwetsbaarheid ligt in de interne redeneringsprocessen en het geheugenherstel van agents.

Door deze processen impliciet te manipuleren, demonstreert JailAgent dat het mogelijk is om agents te "jailbreaken" met een hoge mate van succes en generalisatie, terwijl ze tegelijkertijd functioneren alsof ze onaangetast zijn. Dit onderstreept de noodzaak voor toekomstige verdedigingsstrategieën om niet alleen prompts te monitoren, maar ook de consistentie van redeneringsbaan en geheugenherstel te controleren. De methode biedt een krachtig hulpmiddel voor onderzoekers om de robuustheid van autonome agents systematisch te testen voordat ze in risicovolle omgevingen worden ingezet.