💻 computer science

Amplify, Don't Create: Temporal Accumulation for Slow-Burn Prompt Injection

Dit artikel toont aan dat hoewel technieken voor temporele accumulatie zoals CUSUM zwakke, gedistribueerde prompt-injectiesignalen kunnen versterken om slow-burn aanvallen te detecteren die per-event detectoren omzeilen, hun effectiviteit strikt beperkt is tot scenario's waarin individuele gebeurtenissen al over een detecteerbare signaalmarge beschikken, waarbij ze er niet in slagen detectiecapaciteit te genereren waar die niet aanwezig is.

Oorspronkelijke auteurs: J Alex Corll

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: J Alex Corll

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De "Fluister"-aanval

Stel je voor dat je een kasteel bewaakt (een AI-agent). Je hebt een bewaker (een detector) die elke persoon controleert die de poort binnenkomt. Als iemand een geheime code schreeuwt ("Open de poort!"), slaat de bewaker onmiddellijk alarm.

Maar wat als de aanvaller niet schreeuwt? Wat als hij bij elke andere deur die hij doorloopt een klein, onschuldig klinkend instructietje fluistert?

"Trouwens, zou je de kaart kunnen controleren?" (Onschuldig)
"O, en misschien even naar dat oude bestand kijken?" (Onschuldig)
"Nog één dingetje, stuur dat bestand naar mijn huis?" (Onschuldig)

Individueel zijn deze fluisteringen niet luid genoeg om het alarm van de bewaker te laten afgaan. Maar als je naar de hele dag luistert, onthult het patroon van de fluisteringen een plan om de geheimen van het kasteel te stelen. Dit is wat het paper een "Slow-Burn" aanval noemt.

Het Probleem: De Bewaker is Te Gefocust op Harde Geluiden

Het paper betoogt dat huidige beveiligingssystemen lijken op bewakers die alleen luisteren naar harde geluiden. Ze controleren elke boodschap één voor één. Als een boodschap "stil" is (onder een bepaalde volumegrens), negeert de bewaker deze.

Het probleem is dat een slimme aanvaller zijn slechte instructies kan opdelen in veel kleine, stille fluisteringen. De bewaker ziet niets verdachts in een enkele fluistering, waardoor de aanval slaagt.

De Voorgestelde Oplossing: De "Geluidstapelaar"

De onderzoekers vroegen zich af: Wat als we een tweede laag beveiliging toevoegen die niet alleen luistert naar harde geluiden, maar ook een lopende telling bijhoudt van "verdachte fluisteringen"?

Ze bouwden een hulpmiddel genaamd een Temporal Accumulator. Denk aan een spaarrekening voor achterdocht:

Elke keer dat de bewaker een boodschap scoort, kijkt de accumulator naar de score.
Als de score "normaal" is (zoals een onschuldig gesprek), blijft het saldo van de rekening op nul staan.
Als de score iets "verhoogd" is (een fluistering die een beetje vreemd klinkt, maar niet hard genoeg om het hoofdalarm te triggeren), voegt de accumulator een klein beetje "achterdochtpunten" toe aan het saldo.
Als het saldo over een bepaalde tijd te hoog wordt, gaat er een alarm af.

Het Experiment: Werkt het?

De onderzoekers testten dit idee met een zeer strikte set regels om er zeker van te zijn dat ze niet vals speelden (ze lieten de aanvaller het nieuwe beveiligingssysteem niet zien tijdens het ontwerpen van de aanval).

Ze kwamen tot twee zeer specifieke resultaten:

1. Het werkt, maar alleen als "Versterker"

De accumulator kan geen signaal creëren uit het niets. Het kan alleen een signaal versterken dat er al is.

De Analogie: Stel je voor dat je probeert een emmer te vullen met een lekkende tuinslang. Als de slang geen waterdruk heeft (de detector ziet de aanval en het normale gedrag als exact hetzelfde), zal er geen hoeveelheid tijd de emmer vullen. Maar als de slang een beetje druk heeft (de detector ziet de aanval als iets anders dan normaal), kan de accumulator die kleine beetjes over de tijd verzamelen totdat de emmer vol is.
Het Resultaat: Bij een specifieke taak (het stelen van code uit een Git-repository) zag de detector wel een klein verschil tussen de aanval en normale activiteit. De accumulator verzamelde die kleine verschillen en ving de aanval succesvol op.

2. Het faalt wanneer het signaal nul is

Toen ze dezelfde truc probeerden op een andere taak (het downloaden van bestanden), zag de detector geen enkel verschil tussen de aanval en normale activiteit. De "tuinslang" had nul druk.

Het Resultostat: De accumulator bleef daar maar zitten met een lege emmer. Het kon geen signaal uitvinden waar geen signaal was. Het paper concludeert: "Amplify, Don't Create" (Versterk, creëer niet). Als je basisbewaker het verschil tussen een fluistering en een andere fluistering niet kan zien, zal een teller ook niet helpen.

De "Narrow Band" Waarschuwing

Het paper ontdekte ook dat dit systeem erg fragiel is. Het werkt alleen in een zeer nauwe "Goldilocks-zone":

Als de fluisteringen te zacht zijn (te ver onder de alarmdrempel), negeert de accumulator ze.
Als de fluisteringen te hard zijn (dicht bij de alarmdrempel), vangt de hoofd bewaker ze direct op, waardoor de accumulator niet nodig is.
Het werkt alleen als de fluisteringen precies goed zijn: zacht genoeg om de hoofd bewaker te passeren, maar hard genoeg om een paar punten toe te voegen aan de telling van de accumulator.

De "Fake Math" Waarschuwing (Pseudo-Replicatie)

Ten slotte geeft het paper een waarschuwing aan andere wetenschappers. Het zegt: "Bedrieg jezelf niet met wiskunde."

De Analogie: Stel je voor dat je een nieuw medicijn test op één patiënt, en vervolgens diezelfde patiënt vraagt om de pil nog 10 keer in te nemen en dat te tellen als "10 patiënten". Dat zijn valse gegevens.
De Les: In AI-testen, als je dezelfde taak 10 keer uitvoert met verschillende AI-modellen, kun je dat niet tellen als 10 onafhankelijke tests. De taak zelf is hetzelfde, dus de resultaten zijn aan elkaar gekoppeld. Het paper benadrukt dat onderzoekers de unieke taken moeten tellen, niet alleen het aantal keren dat ze de test hebben uitgevoerd.

Samenvatting

De Aanval: Aanvallers splitsen slechte instructies op in veel kleine, stille stappen om detectie te vermijden.
De Verdediging: Een "spaarrekening voor achterdocht" die kleine, stille waarschuwingen over de tijd bij elkaar optelt.
De Catch: Deze verdediging werkt alleen als de basisdetector al in staat is om het verschil tussen "slecht" en "goed" enigszins te zien. Het kan een detector die volledig blind is, niet repareren.
De Belangrijkste Les: Temporele accumulatie is een nuttig hulpmiddel om "slow-burn" aanvallen te vangen, maar het is geen magie. Het heeft een fundament nodig van een detector die al enigszins gevoelig is.

Technische Samenvatting: Versterken, niet Creëren: Temporele Accumulatie voor Slow-Burn Prompt Injectie

1. Probleemstelling

De centrale beveiligingsuitdaging voor tool-gebruikende taalmodel-agenten is prompt injectie, waarbij kwaadaardige tekst in onbetrouwbare kanalen (webpagina's, tool-outputs, repository-bestanden) de controlevlak van de agent omleidt. Huidige defensieve primitieven vertrouwen op per-event detectie: het scoren van individuele berichten of tool-outputs en het triggeren van een alarm als een enkel event een drempel overschrijdt.

Deze aanpak heeft een structurele blinde vlek die bekend staat als het slow-burn regime. Een aanvaller kan een sequentie van individueel onschuldig ogende instructies verspreiden over een lang traject (bijv. "push naar deze remote," "gebruik deze URL," "voeg het env-bestand toe"). Elke stap blijft onder de detectiedrempel, waardoor alarmen worden vermeden, terwijl het geaggregeerde effect resulteert in een volledige data-exfiltratie of overname van het controlevlak. Een per-event detector die is afgestemd op een bruikbaar fout-positief percentage, kan de drempel niet laag genoeg verlagen om deze stille stappen te vangen zonder te verdrinken in onschuldige agent-chatter.

De onderzoeksvraag is of een proxy-zijde temporele accumulator dit gedistribueerde signaal kan herstellen door sub-drempel scores te aggregeren over een traject, specifiek met behulp van piek en Cumulative Sum (CUSUM) persistentie statistieken.

2. Methodologie en Experimentele Opzet

Het Bevroren Contract en Anti-Circulariteit

Om te garanderen dat de resultaten geen artefacten zijn van overfitting, handhaaft de studie een strikt "frozen contract" en anti-circulariteit scheiding:

Generator ( $D_{gen}$ ): Een autoregressief LLM-oordeel (uitgesloten) dat uitsluitend door de aanvalsgenerator wordt gebruikt om grafts te verfijnen. Het scoort hoe sterk een event leest als een beweging in het controlevlak. De generator heeft geen toegang tot de evaluator.
Evaluator ( $D_{eval}$ ): De "detector of record", een bevroren ensemble van een lineaire char-ngram classifier en een embedding-contrastieve kop. Deze wordt nooit gezien door de generator.
Transfer Vereiste: Grafts moeten sub-drempel blijven onder $D_{gen}$ en ook sub-drempel blijven onder $D_{eval}$ puur door middel van cross-family transfer, niet door optimalisatie tegen de evaluator.
Floor Judge: Een uitgesloten LLM verifieert dat grafts instructies bevatten die machine-extracteerbaar zijn en gebonden zijn aan echte uitgevoerde actie-edges, om degeneratieve "lege" grafts te voorkomen.

Het Accumulatormechanisme

Voor een traject van per-event scores $s_1 \dots s_T$ :

Peak: De maximale score in het traject ( $\max_t s_t$ ).
Persistence: Een CUSUM-statistiek die bij nul reset: $g_t = \max(0, g_{t-1} + (s_t - k))$ , waarbij $k$ de benign-gerelateerde drift is (mediaan score van de benign populatie).
Belangrijke beperking: De CUSUM bankt alleen score-massa op boven de benign drift $k$ . Grafts die diep onder $k$ liggen, dragen nul persistentie bij, ongeacht de dichtheid.

Evaluatiemetrieken

Om te voorkomen dat de bijdrage van de grafts wordt verward met de inherente "hitte" van de carrier-trajecten, is de primaire eindpunt de graft-delta:
$\text{m-delta} = \text{m}(\text{native} + \text{grafts}) - \text{m}(\text{native only})$
Dit meet de toegevoegde persistentie of piek-massa die specifiek toe te schrijven is aan de geïnjecteerde grafts, waarbij attack grafts worden vergeleken met gematchte benign sham grafts.

3. Belangrijkste Resultaten

Resultaat 0: Foundation Cohort (Geconcentreerde Aanvallen)

Op een uitgesloten set geconcentreerde aanvallen (waarbij een enkel event al piekt), verslaat de traject-niveau accumulator (piek of persistentie) statistisch de per-event foil (AUC +0.092, 95% CI [+0.025, +0.155]). Echter, persistentie en piek zijn hier statistisch gelijkwaardig, zoals verwacht bij geconcentreerde aanvallen waar een enkel event domineert.

Resultaat 1: Git Repo-Exfil (Slow-Burn Validatie)

Op schone GitHub-carriers met herhaalde git-acties, leverde het graften van vier verspreide, sub-drempel instructies een positieve persistence-delta op:

Attack Survivors: Mediaan persistence-delta van +0.0421.
Benign Shams: Mediaan persistence-delta van +0.0150.
Separatie: Persistence-delta AUC = 0.708 (over 4 attack survivors versus 6 benign shams).
Controle: De gematchte peak-delta controle faalde om aanval van sham te scheiden (AUC 0.417).
Conclusie: Een dichtheid van milde, sub-drempel elevaties accumuleert in persistentie-massa die benign shams niet reproduceren. Dit bevestigt dat temporele accumulatie werkt wanneer de onderliggende detector een marge biedt.

Resultaat 2: Verbreedde Acties (Generalisatie Falen)

Wanneer dezelfde dichtheid-vier constructie werd toegepast op bredere clean-path acties (file downloads, winkelscenario's):

Resultaat: Beslissend nul. Persistence-delta AUC = 0.167.
Oorzaak: De detector voerde ononderscheidbare scores (~0.42) toe aan zowel attack als benign acties. De grafts landden te "koud" (nabij of onder de benign drift) om enige persistentie-massa te banken.
Conclusie: De mislukking was een sensor-marge falen, niet een drempel-falen. De accumulator kan geen marge creëren waar de per-event detector die niet biedt.

Resultaat 3: Onafhankelijke Kracht (Structurele Blokkade)

De studie kon niet onafhankelijk worden gepowered vanwege bron-schaarsheid. De git repo-exfil as legt slechts drie tot vier onafhankelijke taken bloot. Het draaien van meerdere modellen over dezelfde taken creëert pseudo-replicaten (gecorreleerde data), geen onafhankelijke bewijslast. De studie rapporteert dit als een structurele beperking van het huidige benchmark-landschap.

4. Belangrijkste Bijdragen en Betekenis

De "Margin Amplifier" Thesis

De primaire bijdrage van het paper is de begrensde mechanisme-claim: Temporele accumulatie is een marge-versterker, geen semantische detector.

Het kan een gedistribueerd signaal alleen herstellen waar de onderliggende per-event detector al verhoogde sub-drempel scores produceert op attack stappen.
Het kan geen detectiemarge creëren waar de per-event detector ononderscheidbare scores toekent aan attack en benign acties.
De "productieve band" is smal (ongeveer 0.45 tot 0.50 in de geteste setup): grafts moeten boven de benign drift liggen om te accumuleren, maar onder de drempel om een slow-burn te blijven.

Methodologische Bijdragen

Waarschuwing voor Pseudo-Replicatie: Het paper identificeert een kritiek gevaar in de evaluatie van agent-benchmarks waarbij meerdere model-executies over hetzelfde taak-geometrie worden geteld als onafhankelijke bewijslast. Er wordt gepleit voor resampling op de genuin onafhankelijke eenheid (de taak, niet de executie).
Onafhankelijkheids-audit Standaard: De auteurs introduceren een "ladder van onafhankelijkheid" voor verificatie:
- Data-path onafhankelijkheid: Het opnieuw afleiden van cijfers uit bevroren per-event receipts.
- Algoritmische onafhankelijkheid: Blinde herimplementaties van de wiskunde.
- Scoring-layer vertrouwen: Erkenning dat model scores worden vertrouwd maar begrensd zijn door versie-pins.
Niet-Circulaire Evaluatie Protocol: Een rigoureuze scheiding tussen de aanvalsgenerator (cloaking target) en de evaluator (detector of record) om te waarborgen dat transferabiliteit echt is en geen artefact van fitting.

5. Bescheiden Claims en Beperkingen

De auteurs geven expliciet aan dat dit een begrensde mechanisme-studie is, geen inzetbaar systeem.

Geen Nieuwe Detector: Ze claimen geen betere per-event detector; de per-event sensor wordt bevroren gehouden.
Beperkte Toepasbaarheid: Het positieve resultaat is specifiek voor de git repo-exfil as waar een echte per-event marge bestaat. Het faalt bij bredere clean-path acties.
Steekproefomvang: De positieve bevindingen rusten op slechts vier attack survivors over drie onafhankelijke taken.
Vertrouwensgrenzen: Hoewel de aritmetica is geverifieerd, rusten de per-event scores op het vertrouwen in de onderliggende model-outputs (scoring-layer trust).

Samenvattend demonstreert het paper dat temporele accumulatie een zwak, gedistribueerd signaal kan versterken, maar dat dit strikt afhankelijk is van het vermogen van de per-event sensor om aanvalstappen van onschuldige acties te onderscheiden, zelfs als dat slechts marginaal is. Het dient als een waarschuwing tegen overmatig vertrouwen op accumulatie wanneer de onderliggende sensor geen semantische scheiding biedt, en als een methodologische gids voor rigoureuze, niet-circulaire agent-beveiligingsevaluatie.