Technische Samenvatting: Magnet: Detectie van Misbruik van AI over Meerdere Sessies door Capaciteitsaccumulatie

Probleemstelling

Huidige kaders voor de detectie van AI-misbruik zijn primair ontworpen rondom single-turn of multi-turn (enkele sessie) dreigingsmodellen. Deze systemen gaan ervan uit dat schadelijke intenties of artefacten zichtbaar zullen zijn binnen de context van een enkele conversatie. Echter, moderne AI-implementaties maken steeds vaker gebruik van ensembles van gespecialiseerde agenten die opereren over meerdere, geïsoleerde sessies.

Deze architectuur creëert een kritieke kwetsbaarheid: een aanvaller kan een schadelijk doel ($T$) ontbinden in een reeks individueel onschuldige sub-capaciteiten ($c_1, \dots, c_n$). Hoewel de AI-agent staatloos is tussen gesprekken (het contextvenster wordt ververst), is de aanvaller dat niet. Door deze subtaken te verdelen over onafhankelijke sessies, kan de aanvaller geleidelijk de componenten verzamelen die nodig zijn om een schadelijk artefact te construeren (bijv. een phishing-kit of een handleiding voor de assemblage van een wapen) zonder ooit de veiligheidsfilters in een enkele sessie te triggeren. Bestaande detectiemethoden, die vaak vertrouwen op het comprimeren van de gesprekshistorie of het evalueren van intentie per sessie, slagen er niet in om deze "low-and-slow" aanvallen te identificeren omdat het belastende bewijs verspreid is over de tijd en verschillende sessies, waardoor het in isolatie onschuldig lijkt.

Methodologie

1. Aanvalssimulatie en Datageneratie

De auteurs construeerden een pijplijn om cross-sessie doelontbinding te simuleren, wat zij "MOSAIC Prompting" noemen.

• Decompositie: Deskundige auteurs ontleedden twee afzonderlijke schadelijke doelstellingen — generatie van een phishing-kit en assemblage van een Molotovcocktail — in een set sub-capaciteiten.
• Executie: Een minimale multi-tool agent (uitgerust met tools zoals web zoeken, e-mail verzenden en bestanden opslaan) werd gebruikt om deze subtaken te dispatcheren. Elke subtaak werd afgehandeld door een vers geïnstancieerd assistent-aanvaller paar, wat ervoor zorgde dat er geen gesprekshistorie of intentiekader werd gedeeld tussen de stappen.
• Modellen: De pijplijn werd getest op negen verschillende LLM-modellen (inclusief de Claude-, GPT- en Gemini-families) via GitHub Copilot.
• Leveringsmodi: De studie vergeleek drie leveringsstrategieën:
  1. Single-turn: Alle sub-capaciteiten in één prompt.
  2. Multi-turn (Intra-sessie): Sub-capaciteiten sequentieel binnen één gesprek.
  3. Multi-sessie (Inter-sessie): Elke sub-capaciteit in een nieuwe, geïsoleerde agent-sessie.

2. Evaluatie en Labeling

• Succescriteria: Succes werd niet gedefinieerd als een binaire pass/fail van een enkele sessie, maar door het vermogen om artefacten uit meerdere sessies te combineren om specifieke taakcriteria te voldoen (bijv. een functionele phishingpagina).
• Scoring: Er werd een additieve rubric gebruikt om het fractie van de volledige capaciteit die is geaccumuleerd te meten. Een drempelwaarde van 50% werd gebruikt om een succesvolle aanval te definiëren.
• Falen-analyse: Falen werd gecategoriseerd als ofwel veiligheidsweigering (guardrails getriggerd) of contextdegradatie (pijplijn-falen door gebrek aan context), waarbij onderscheid werd gemaakt tussen veiligheidsblokkades en capaciteitsbeperkingen.

3. Detectie-benaderingen

Het artikel evalueert drie detectie-architecturen tegenover een dataset van 336 scenario's (een mix van echte conversationele data en aanvalspogingen):

1. Per-Sessie Detector: Evalueert elke sessie onafhankelijk op schadelijke inhoud.
2. Compressie Detector: Houdt een gecomprimeerde historie bij (de top 20 meest verdachte berichten op basis van vector-gelijkenis met "capability anchors") en evalueert deze subset holistisch.
3. Magnet (Voorgesteld): Een detectie-primitief die gedemonstreerde capaciteit trackt in plaats van geuite intentie.
   • Mechanisme: Voor elke sessie extraheert een LLM een binaire vector over een vooraf gedefinieerde, door experts geschreven capaciteit-taxonomie (bijv. "credential capture form", "email-sending code").
   • Aggregatie: Deze vectoren worden op entiteitsniveau (User ID) geaggregeerd met behulp van een bitwise OR-operatie. Dit creëert een monotone inventaris van geaccumuleerde capaciteiten.
   • Verdict: Een entiteit wordt geflagged als hun inventaris voldoet aan een instelbaar deel van de vereisten voor een specifieke aanvalscategorie.

Belangrijkste Bijdragen

1. Demonstratie van Cross-Sessie Evasie: Het artikel demonstreert empirisch dat het ontbinden van schadelijke doelen over geïsoleerde sessies een effectieve evasie-techniek is. Het toont aan dat deze methode meer schadelijke capaciteit kan oproepen dan equivalente single-session of multi-turn aanvallen, wat een detectiekloof blootlegt die veroorzaakt wordt door de staatloosheid van agenten.
2. De Magnet Detectie-primitief: De auteurs stellen Magnet voor, een detectie-benadering die:
   • Intentie ontkoppelt van Capaciteit: Het trackt concrete outputs en tool-call effecten (capaciteit) in plaats van prompt-framing (intentie), wat gemakkelijk kan worden witgewassen.
   • Op Entiteitsniveau Aggregeert: In plaats van per-conversatie status, houdt het een per-gebruiker inventaris bij van geaccumuleerde capaciteiten.
   • Resistent is tegen Ruis en Duplicatie: Door een bitwise OR te gebruiken over een multidimensionale taxonomie, behoudt Magnet bewijsmateriaal zonder het te laten instorten tot een enkele scalaire score, wat het robuust maakt tegen "low-and-slow" ruis en adversariële duplicatie-aanvallen.

Resultaten

• Attack Success Rates (ASR): De multi-sessie decompositie-strategie bereikte een gemiddelde ASR van 37,4%, wat aanzienlijk hoger is dan single-turn (18,7%) en multi-turn (26%) benaderingen. Dit bevestigt dat de staatloosheid tussen sessies aanvallers in staat stelt om guardrails te omzeilen die een samengestelde aanval zouden blokkeren.
• Detectieprestaties:
  • Per-Sessie Detector: Bereikte een hoge precisie (96,2%) maar een zeer lage recall (44,6%), waardoor aanvallen die over sessies verspreid zijn, niet werden gedetecteerd.
  • Compressie Detector: Verbeterde de recall (72,0%) maar bleef kwetsbaar voor adversariële duplicatie. Wanneer de historie werd overspoeld met onschadelijke of duplicerende kwaadaardige berichten (25x replicatie), daalde de recall naar 43% doordat cruciale aanvalstadia uit de top-K buffer werden verwijderd.
  • Magnet: Bereikte de hoogste F1-score (84,0%) met een recall van 75,0%. Cruciaal is dat Magnet een stabiele prestatie behield (62–73% recall), zelfs onder hoge niveaus van adversariële ruis en duplicatie, wat de superioriteit van het tracken van een multidimensionale capaciteitsinventaris boven het comprimeren van historie naar een enkel verdict aantoont.

Betekenis en Claims

Het artikel betoogt dat de primaire faalmodus in huidige AI-misbruikdetectie de afhankelijkheid is van sessie-gebonden moderatie. Naarmate agentische systemen gebruikelijker worden, verschuift het dreigingslandschap naar longitudinale, capaciteit-gecentreerde monitoring.

• Herformulering van Defensie: De auteurs claimen dat verdedigers moeten verschuiven van de vraag "Ziet deze prompt er schadelijk uit?" naar "Heeft deze gebruiker de componenten van iets schadelijks geaccumuleerd?".
• Interpretabiliteit: Magnet biedt interpreteerbare verdicts (bijv. "Deze entiteit heeft $k$ van de $n$ componenten van aanval $T$ geaccumuleerd"), wat detectie fundeert in auditeerbare, door experts gespecificeerde dreigingsmodellen in plaats van obscure geleerde grenzen.
• Schaalbaarheid: De benadering is ontworpen om het "naald in een hooiberg"-probleem van low-and-slow aanvallen aan te pakken, waarbij individuele sessies onschadelijk zijn, maar het aggregaat gevaarlijk is.

Beperkingen en Omvang:
De auteurs kaderen de omvang van hun werk expliciet in. Ze richten zich op een enkele user ID correlator (uitgaande van niet-adaptieve aanvallers die hun activiteiten niet over verschillende accounts versnipperen), één modelfamilie per aanval, en twee specifieke schadegebieden. Ze erkennen dat toekomstig werk rekening moet houden met adaptieve aanvallers die meerdere accounts gebruiken, cross-model routing, en de ontdekking van nieuwe aanvalsstructuren die niet aanwezig zijn in de vooraf gedefinieerde taxonomie.