💻 computer science

Caught in the Act(ivation): Toward Pre-Output and Multi-Turn Detection of Credential Exfiltration by LLM Agents

Dit artikel stelt een meerlagige verdedigingsstrategie voor tegen de exfiltratie van inloggegevens door LLM-agenten, die pre-output activatie-probing, formaatspecifieke honeytoken-detectie met conformistische voorspelling en cumulatieve multi-turn lekkage-verantwoording combineert om de beperkingen te overwinnen van het uitsluitend vertrouwen op tekstgebaseerde outputfilters.

Oorspronkelijke auteurs: Kargi Chauhan, Pratibha Revankar

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kargi Chauhan, Pratibha Revankar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, behulpzame robotassistent hebt (een LLM-agent) die je helpt je digitale leven te beheren. Om zijn werk te kunnen doen, moet deze robot je geheime sleutels in zijn geheugen bewaren—zoals wachtwoorden, API-sleutels en banktokens.

Het probleem is dat deze robot ook e-mails, webpagina's en aantekeningen van vreemden leest. Als een kwaadwillende een sluwe instructie in een aantekening van een vreemde verbergt (een "prompt injection"), kunnen ze de robot foppen om je geheime sleutels prijs te geven.

Huidige beveiligingsbewakers staan meestal bij de deur (het controleren van binnenkomende aantekeningen) of bij de uitgang (het controleren van wat de robot zegt). Maar kwaadwillenden zijn slim en kunnen de verzoeken vermommen of de geheimen letter voor letter over vele gesprekken verspreiden, waardoor ze de bewakers passeren.

Dit artikel introduceert een nieuw, driedelig beveiligingssysteem genaamd het Agentic Immune System (AIS). Denk hier niet aan als één enkele bewaker, maar als een team van drie gespecialiseerde detectives die samenwerken om het lek te vangen voordat het gebeurt, terwijl het gebeurt, en nadat het is gebeurd.

Hier is hoe de drie detectives werken, met eenvoudige analogieën:

1. De "Gedachtenlezer" (CIFT): De gedachte vangen voordat er gesproken wordt

Het Probleem: Traditionele bewakers luisteren alleen naar wat de robot zegt. Maar tegen de tijd dat de robot spreekt, kan hij het wachtwoord al gecodeerd hebben (zoals "password123" veranderen in "cGFzc3dvcmQxMjM=") of het vermomd hebben zodat de bewaker het niet herkent.
De Oplossing: Deze detective luistert niet naar de stem van de robot. In plaats daarvan observeert hij de hersenactiviteit van de robot (interne "activatie"-signalen) voordat de robot überhaupt zijn mond opent.

De Analogie: Stel je een goochelaar voor die net een konijn uit een hoed wil toveren. Een normale bewaker wacht tot hij het konijn ziet. Deze "Gedachtenlezer" kijkt naar het trillen van de hand van de goochelaar en het wapperen van de oren van het konijn binnenin de hoed. Als de hersenen van de robot op een specifieke manier oplichten die suggereert dat hij op het punt staat een geheime sleutel te pakken, stopt dit systeem de actie onmiddellijk, zelfs als de robot nog geen woord heeft gezegd.
De Keerzijde: Je moet in staat zijn om in de hersenen van de robot te kijken (white-box toegang). Als je alleen via een black-box API met de robot communiceert, kun je deze detective niet gebruiken.

2. De "Nepkoekje" (DP-HONEY): De statistische val

Het Problelem: Soms zegt de robot inderdaad iets dat op een wachtwoord lijkt. Maar hoe weet je of het een echt wachtwoord is of gewoon een willekeurige reeks tekens die eruitziet als een wachtwoord? Als je alles blokkeert wat op een wachtwoord lijkt, stop je misschien per ongeluk de robot in het uitvoeren van zijn echte taak.
De Oplossing: Deze detective plant honeytokens—nepwachtwoorden die er realistisch uitzien (zoals nepjes of nep-sleutels) gemengd met de echte.

De Analogie: Stel je voor dat je een nep $20-biljet op je bureau legt naast je echte portemonnee. Als iemand het nepbiljet steelt, weet je onmiddellijk dat er een dief in de kamer is. Het systeem genereert deze nepbiljetten zo perfect dat ze echt lijken, maar gebruikt een speciale statistische methode (zoals een "privacyschild") om ervoor te zorgen dat ze precies goed zijn. Als de robot per ongeluk een nepbiljet overhandigt, weet het systeem: "Aha! We zijn gecompromitteerd!"
De Keerzijde: Dit werkt alleen als de kwaadwillende niet weet welk biljet nep is. Als zij kunnen achterhalen welke sleutel echt is, zullen ze de neppe simpelweg negeren.

3. De "Lekkage-meter" (NIMBUS): Het langzame druppelen vangen

Het Probleem: Een kwaadwillende vraagt misschien niet in één keer om het hele wachtwoord. Ze kunnen vragen om "de eerste letter", dan "de tweede letter", enzovoort, over 20 verschillende gesprekken. Elke individuele reactie ziet er onschadelijk uit, maar samen onthullen ze het hele geheim.
De Oplossing: Deze detective kijkt niet naar losse zinnen; hij houdt de volledige gesprekshistorie in de gaten. Hij houdt een lopende score bij van hoeveel "geheime informatie" er in de loop van de tijd is gelekt.

De Analogie: Stel je een emmer voor met een klein gaatje. Een enkele druppel water die eruit valt is geen probleem. Maar als je de druppels bijhoudt, merk je dat de emmer langzaam leegloopt. Dit systeem telt de "bits" aan informatie die naar buiten lekken. Zelfs als elke beurt veilig lijkt, sluit het systeem de emmer zodien de totale "lekkage-score" te hoog wordt.
De Keerzijde: Dit is een schatting, geen perfecte natuurwet. Het is erg goed in het vangen van langzame, sluipende aanvallen die andere bewakers missen, maar het vangt mogelijk geen enorme lek die in één keer plaatsvindt.

Het Grote Plaatje

Het artikel betoogt dat we niet op slechts één van deze methoden kunnen vertrouwen.

Tekstfilters (controleren van de output) zijn te gemakkelijk te misleiden met vermommingen.
Inputfilters (controleren van de input) kunnen niet elke slimme truc voorspellen die een kwaadwillende kan gebruiken.

In plaats daarvan stelt het artikel een gelaagde verdediging voor:

Kijk naar de hersenen van de robot om het te stoppen voordat hij spreekt.
Plant nep-sleutels om hem te vangen als hij probeert te spreken.
Tel de lekkages over de tijd om langzame, sluipende aanvallen te vangen.

De auteurs hebben dit getest op open-source robots en vonden dat het combineren van deze drie methoden veel beter werkt dan het gebruik van enkel tekstfilters. Ze geven echter toe dat dit nog een "prototype" is (een onderzoeksmodel). Het werkt goed in het laboratorium, maar implementatie in de echte wereld vereist meer testen, vooral voor gevallen waarin de robot tools gebruikt (zoals API's) in plaats van alleen maar in zinnen te praten.

Kortom: Om te voorkomen dat een robot je geheimen steelt, moet je zijn gedachten observeren, hem vangen met neppers en zijn langzame lekkages tellen, in plaats van alleen te luisteren naar wat hij zegt.

Technische Samenvatting: Caught in the Act(ivation)

Probleemstelling

Large Language Model (LLM) agenten opereren vaak door vertrouwde context (bevattelijke gevoelige gegevens zoals API-sleutels of wachtwoorden) te combineren met onbetrouwbare opgehaalde inhoud binnen een enkel contextvenster. Deze architectuur creëert een kwetsbaarheid voor Indirect Prompt Injection (IPI), waarbij een kwaadaardige payload in de onbetrouwbare inhoud de agent kan omleiden om inloggegevens te exfiltreren.

Bestaande verdedigingen werken primair op tekstniveau:

Inputfilters screenen onbetrouwbare inhoud voordat deze de model bereikt.
Outputmonitors scannen gegenereerde tekst op patronen van inloggegevens.

Deze benaderingen lijden aan structurele beperkingen: detectie op outputniveau kan worden omzeild via coderingen (Base64, Unicode), parafrasering of lekken met een lage frequentie verspreid over meerdere gesprekssessies. Detectie op inputniveau worstelt met het generalisatieprobleem van adversariële formuleringen. Het artikel betoogt dat de exfiltratie van inloggegevens monitoring vereist op drie verschillende niveaus: interne modeltoegang, geplante canary-inloggegevens en cumulatieve conversatie-lekken.

Methodologie: Het Agentic Immune System (AIS)

De auteurs stellen AIS voor, een onderzoeksprototype dat drie complementaire verdedigingsmechanismen integreert:

1. CIFT: Pre-Output Activatie Detectie

Doel: Detectie van zoekgedrag naar inloggegevens voordat er een output-token wordt uitgegeven, waardoor de noodzaak om de uiteindelijke tekst te analyseren wordt omzeild.
Mechanisme:
- Het systeem registreert forward hooks op de laatste $K$ transformer-lagen (standaard $K = \lfloor 0.25 \cdot L_{total} \rfloor$ ).
- In plaats van statische posities van inloggegevens te analyseren (die causaal gemaskeerd zijn voor downstream queries in decoder-only modellen), poolt CIFT hidden states bij readout-posities ( $R_t$ ) die voorkomen na zowel de geheime context als de huidige query/payload.
- Het berekent een Causal Flow Score (CFS) met behulp van een Mahalanobis-deviatie van deze gepoolde features tegenover een benigne baseline.
- Een lichtgewicht niet-lineaire probe (MLP) brengt de CFS in kaart naar een detectie-logit.
Belangrijke beperking: Deze methode vereist white-box toegang tot modelactivaties.

2. DP-HONEY: Gecalibreerde Honeytoken Generatie

Doel: Pogingen tot exfiltratie detecteren door "canary" inloggegevens te planten die statistisch ononderscheidbaar zijn van echte gegevens, maar meldingen triggeren als ze lekken.
Mechanisme:
- Generatie: Honeytokens worden gegenereerd met behulp van formaatspecifieke karaktermodellen (bigrammen) die getraind zijn met Differential Privacy (DP) (Laplace-ruis toegevoegd aan count-tabellen) om te voorkomen dat aanvallers ze onderscheiden op basis van statistische artefacten.
- Detectie: Een tekstniveau-detector scant outputs op deze canaries.
- Kalibratie: De detectiedrempel wordt bepaald via Split Conformal Prediction om een gecontroleerd fout-positief percentage te garanderen zonder handmatige afstemming, uitgaande van exchangeability.
Logica: Als een aanvaller de echte inloggegevens niet kan onderscheiden van de honeytokens, is de waarschijnlijkheid van het triggeren van een canary evenredig aan de ratio van honeytokens ten opzichte van de totale zichtbare inloggegevens.

3. NIMBUS: Cumulatieve Lekage Rekenkundige Verantwoording

Doel: Detectie van multi-turn exfiltratie waarbij een aanvaller kleine hoeveelheden informatie lekt (bijv. één karakter per beurt) die individueel onschadelijk lijken, maar cumulatief een geheim onthullen.
Mechanisme:
- Behandelt multi-turn exfiltratie als een informatie-flow probleem.
- Gebruikt een InfoNCE critic om een per-beurt lekagescore (in bits) te schatten op basis van de wederzijdse informatie tussen de output en de geheime context, geconditioneerd op de gesprekshistorie.
- Houdt een cumulatief lekagebudget ( $\hat{I}_{cum}$ ) bij. Als de geaccumuleerde score een drempel overschrijdt, triggert het systeem acties (waarschuwen, saneren of blokkeren).
Beperking: De estimator biedt een praktisch signaal (een geleerde ondergrens) in plaats van een formele bovengrens op informatieverlies.

Belangrijkste Bijdragen

Empirische Studie van Activatie Probes: Gedemonstreerd dat activatie-features in open-weight LLM's benigne prompts kunnen scheiden van credential-zoekende prompts met hoge nauwkeurigheid, zelfs onder uitgesloten encoding-transformaties, zonder te vertrouwen op statische geheime posities.
Statistisch Gedisciplineerde Honeytokens: DP-gebaseerde modellering en conformal kalibratie aangepast aan honeytoken generatie en detectie, waarbij de statistische garanties en beperkingen van canary-gebaseerde detectie zijn verduidelijkt.
Cumulatieve Lekage Monitor: Een prototype (NIMBUS) geïntroduceerd voor het bijhouden van geschatte lekage over gesprekssessies, wat aantoont dat het aanvallen kan detecteren die per-beurt detectoren missen.

Experimentele Resultaten

Experimenten werden uitgevoerd op open-weight modellen (Qwen-2.5, Llama-3.1, Mistral-7B) en een kleine, in-house synthetische multi-turn benchmark.

CIFT Prestaties: Op een uitgesloten single-turn set bereikte CIFT een AUROC van 0.998 en een F1 van 0.990 op Qwen-7B, wat aanzienlijk beter presteert dan tekstniveau-baselines (bijv. Substring, Fuzzy, Semantic Embedding) die degradeerden onder diverse encodings (Base64, Hex, ROT13, etc.).
DP-HONEY Prestaties: Bereikte perfecte precisie en recall in een kleine scenario-set. Conformal kalibratie maakte handmatige drempelafstemming overbodig terwijl een dekking van 0.998 werd behouden.
NIMBUS Prestaties: Op een synthetische suite van 50 gesprekken (20 beurten per gesprek) detecteerde NIMBUS 90% van de low-rate aanvallen, terwijl per-beurt baselines (zoals LlamaGuard) slechts 12% detecteerden. NIMBUS ving succesvol aanvallen op waarbij individuele beurten onder de detectiedrempels bleven.
Geïntegreerd Systeem: De volledige AIS-pipeline (combinatie van alle drie) bereikte een detectiegraad van 0.94 met een False Positive Rate (FPR) van 0.018 op single-turn benchmarks.

Betekenis en Claims

Het artikel positioneert deze resultaten als voorlopig maar indicatief voor een noodzakelijke verschuiving in de beveiliging van agent-ontwerp.

Bescheidenheid in Claims: De auteurs stellen expliciet dat AIS een onderzoeksprototype is, geen klaar voor productie zijnde verdediging. De multi-turn benchmark is klein en synthetisch; de activatiemethode vereist white-box toegang; en NIMBUS biedt een praktisch signaal in plaats van een formele beveiligingsgrens.
Ontwerprichting: De primaire bijdrage is het vaststellen van een onderzoeksrichting die suggereert dat effectieve verdedigingen tegen credential-exfiltratie moeten combineren:
1. Pre-output monitoring (interne modeltoestanden).
2. Gecalibreerde canary detectie (statistisch gedisciplineerde honeytokens).
3. Temporele lekage-verantwoording (cumulatieve informatiestroom).
Erkende Beperkingen: Het systeem behandelt momenteel geen credentials die worden doorgegeven via gestructureerde tool-call argumenten (een grote blind spot), vertrouwt op exchangeability-aannames voor kalibratie, en vereist white-box toegang voor zijn meest effectieve component (CIFT).

Het artikel concludeert dat hoewel huidige tekstniveau-filters onvoldoende zijn tegen geavanceerde, multi-turn of gecodeerde exfiltratie, een gelaagde aanpak die interne toegang, geplante canaries en cumulatieve flow monitort, een veelbelovend pad biedt voor het beveiligen van LLM-agenten.