💻 computer science

MAGE: Safeguarding LLM Agents against Long-Horizon Threats via Shadow Memory

Het artikel introduceert MAGE, een nieuw defensief raamwerk dat gebruikmaakt van een dedicated "shadow memory" om proactief veiligheidskritieke context te distilleren en langetermijndreigingen in LLM-agenten te detecteren, waarbij een hoge detectienauwkeurigheid wordt bereikt met verwaarloosbare overhead.

Oorspronkelijke auteurs: Yuhui Wang, Tanqiu Jiang, Jiacheng Liang, Charles Fleming, Ting Wang

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuhui Wang, Tanqiu Jiang, Jiacheng Liang, Charles Fleming, Ting Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Langzame Vergiftiging"-aanval

Stel je voor dat je een zeer slimme, behulpzame robotassistent (een LLM-agent) inhuurt om je dagelijkse taken te doen, zoals je e-mails controleren, bestanden beheren of berichten sturen.

Meestal maken we ons zorgen dat iemand de robot in één keer een slechte opdracht roept (zoals "Wis alles!"). Maar dit paper gaat over een sluimerender, gevaarlijker probleem dat Long-Horizon Threats (bedreigingen op lange termijn) wordt genoemd.

Denk hierbij aan langzame vergiftiging.

Stap 1: De aanvaller vraagt de robot om een specifiek bestand te vinden. (Heel normaal).
Stap 2: De aanvaller vraagt de robot om het e-mailadres van een vriend op te zoeken. (Heel normaal).
Stap 3: De aanvaller vraagt de robot om dat bestand naar die vriend te e-mailen. (Heel normaal).

Afzonderlijk ziet elke stap onschuldig uit. Maar als je ze samenplaatst, heeft de robot per ongeluk je geheime bedrijfsstrategie naar een concurrent gelekt. De robot raakt in de war omdat het de context van Stap 1 vergeet tegen de tijd dat het bij Stap 3 is. Het is als een film waarin de schurk de held overtuigt om kleine, onschadelijke dingen te doen die uiteindelijk leiden tot een ramp, maar de held herinnert zich alleen het huidige tafereel, niet het hele verhaal.

De Oplossing: MAGE en het "Schaduwgeheugen"

De auteurs hebben een verdedigingssysteem ontwikkeld dat MAGE heet. Om te begrijpen hoe het werkt, stel je een beveiligde bankkluis voor.

Normaal gesproken kijkt de bankbediende (de Agent) naar het verzoek van de klant en beslist of het oké is. Maar als de klant de laatste uur trucs naar de bediende heeft gefluisterd, kan de bediende in de war raken.

MAGE introduceert een "Schaduwgeheugen".
Denk hierbij aan een beveiliger die in een glazen cabine naast de bediende zit.

De bediende (de Agent) doet het werk.
De beveiliger (MAGE) doet het werk niet, maar kijkt alles wat er gebeurt.
Cruciaal is dat de bewaker een speciaal, gecondenseerd notitieboek (het Schaduwgeheugen) bijhoudt.

Elke keer als de bediende iets doet, schrijft de bewaker een klein, opsommend samenvatting in zijn notitieboek. Ze schrijven de saaie details niet op (zoals "het weer was mooi"); ze schrijven alleen veiligheidskritieke aanwijzingen op (zoals "De gebruiker vraagt om een vertrouwelijk bestand" of "De ontvanger is een buitenstaander").

Voordat de bediende daadwerkelijk een e-mail verstuurt of een bestand verwijdert, moet hij de bewaker vragen: "Hé, op basis van mijn notitieboek van alles wat vandaag is gebeurd, is dit veilig?"

Als de bewaker ziet dat Stap 1 "Zoek Geheime Bestand" was en Stap 2 "E-mail naar Vreemdeling", zal hij de rem erop gooien en zeggen: "NEE! Dit is een val!" zelfs als het huidige verzoek (Stap 3) op zichzelf onschuldig lijkt.

Hoe MAGE Verschilt

De meeste vorige beveiligingssystemen zijn als een sleutelwoordfilter. Ze kijken alleen naar de huidige zin. Als de zin zegt "Verstuur e-mail", laten ze het passeren. Ze missen het grote plaatje.

MAGE is anders omdat:

Het het hele verhaal onthoudt: Het verbindt de puntjes tussen de eerste stap en de laatste stap.
Het efficiënt is: In plaats van de volledige geschiedenis van het gesprek te lezen (wat enorm en traag is), leest de bewaker alleen zijn kleine, gecondenseerde notitieboek. Dit maakt het snel en goedkoop.
Het leert: Het systeem is getraind met een methode die "Versterkend Leren" (Reinforcement Learning) heet. Denk hierbij aan een videospelletje waarbij de bewaker punten krijgt voor het vangen van slechte jongens en punten verliest als hij per ongeluk een goede jongen stopt. Na verloop van tijd wordt de bewaker heel goed in het opsporen van "langzame vergiftiging"-aanvallen zonder te paranoïde te zijn.

De Resultaten: Wat Gebeurde er in de Tests?

De onderzoekers testten MAGE tegen twee soorten slechte jongens:

De Gebruiker: Iemand die probeert de robot te bedriegen door een reeks onschuldige vragen te stellen die leiden tot een slecht resultaat.
De Omgeving: Iemand die slechte instructies verbergt in de data die de robot leest (zoals een website die de robot bezoekt).

De bevindingen waren indrukwekkend:

Ving de slechte jongens: MAGE stopte bijna al deze "langzame vergiftiging"-aanvallen. In één test verlaagde het het succespercentage van aanvallen van 100% naar minder dan 10%.
Stopte de goede jongens niet: Het kwam niet in de weg van normaal werk. De robot kon zijn taken bijna net zo goed afronden als zonder enige beveiliger.
Ving ze vroeg: MAGE ontdekte het gevaar meestal direct aan het begin van de aanval, waardoor de menselijke operator tijd had om in te grijpen voordat er schade was aangericht.
Lage kosten: Het vertraagde de robot niet veel of kostte niet veel rekenkracht.

De Conclusie

Het paper betoogt dat naarmate AI-agenten slimmer worden en langere, complexere taken uitvoeren, ze kwetsbaar worden voor aanvallen die zich in de tijd ontvouwen. MAGE lost dit op door de agent een "tweede brein" (het Schaduwgeheugen) te geven dat specifiek let op veiligheidsrisico's over de volledige tijdslijn van een taak, zodat een reeks kleine, onschuldige stappen niet per ongeluk in een ramp verandert.

Technische Samenvatting: MAGE – Bescherming van LLM-agenten tegen langetermijnbedreigingen via Shadow Memory

1. Probleemstelling

Naarmate Large Language Model (LLM)-agenten worden ingezet voor complexe, meertraps taken, worden ze geconfronteerd met een groeiende klasse van langetermijnbedreigingen. In tegenstelling tot aanvallen in één keer (zoals standaard jailbreaks), exploiteren deze bedreigingen uitgebreide interacties waarbij kwaadaardige intentie latent aanwezig is binnen individuele beurten, maar pas op destructieve wijze naar voren komt op het niveau van het traject.

Het artikel identificeert drie hoofdoorzaken voor deze kwetsbaarheid:

Contextverdunning: De spanning tussen een beperkt werkgeheugen en groeiende contextvensters zorgt ervoor dat veiligheidskritieke informatie in de loop van de tijd verdunt.
Gebrek aan retrospectieve inspectie: Agenten missen vaak het vermogen om het volledige traject te inspecteren om op een geleidelijke manier opgebouwde adversariële intentie te detecteren.
Verschuiving in trainingsdistributie: Veiligheidsafstemming wordt doorgaans getraind op korte contexten en faalt bij generalisatie naar uitgebreide interacties.

Bestaande verdedigingen (zoals trefwoordfilters, per-beurt classifiers en veiligheidsprompting) degraderen aanzienlijk onder deze langetermijnomstandigheden. Hoewel sommige recente werken proberen multi-beurt afstemming te realiseren, falen ze vaak wanneer de interactielengte de trainingsregimes overstijgt, of richten ze zich te enge op jailbreaks, waardoor bredere bedreigingen zoals Sequential Tool-Attack Chaining (STAC) en Persistent Indirect Prompt Injection (PI2) onbehandeld blijven.

2. Methodologie: Het MAGE-kader

De auteurs stellen MAGE (Memory As Guardrail Enforcement) voor, een defensief kader geïnspireerd op de "shadow stack"-abstractie in systeembeveiliging. In plaats van uitsluitend te vertrouwen op het werkgeheugen van de agent, introduceert MAGE een dedicated, veiligheidsgerichte Shadow Memory die parallel draait.

Kernarchitectuur

MAGE bestaat uit twee hoofdcomponenten, beide geïmplementeerd als tool-aanroepen binnen de workflow van de agent en getraind via Reinforcement Learning (RL):

Memory Manager ( $M$ ): Een module die de shadow memory distilleert en onderhoudt. Deze verwerkt het uitvoeringstraject van de agent (gebruikersinstructies, acties en observaties) om veiligheidskritieke context te extraheren en te behouden, terwijl irrelevante informatie wordt weggegooid. Het houdt toezicht op gebruikersintentie en bekende aanvalspatronen.
Judge ( $J$ ): Een module die een retrospectieve risicobeoordeling uitvoert. Voordat een actie wordt uitgevoerd, raadpleegt de Judge de huidige staat van de Shadow Memory om het risico van de aanstaande actie te beoordelen. Het geeft een beslissing (goedkeuren/afkeuren) en een voor mensen leesbare onderbouwing.

Werkstroom

Bij elke beurt $t$ :

De agent stelt een actie $a_t$ voor.
De Memory Manager update de shadow memory $m_t$ op basis van de vorige staat $m_{t-1}$ en het huidige trajectsegment.
De Judge beoordeelt het risico van $a_t$ voorwaardelijk op $m_t$ .
Als de Judge de actie afkeurt, wordt de uitvoering gestopt en wordt de onderbouwing gerapporteerd. Anders wordt de actie uitgevoerd.

Optimalisatie via beurt-voor-beurt RL

Het kader maakt gebruik van Group Relative Policy Optimization (GRPO) om $M$ en $J$ gezamenlijk te trainen. De training is uniek in zijn beurt-voor-beurt granulariteit:

Beloningsontwerp: Het systeem kent beloningen toe op beurniveau in plaats van op trajectniveau.
- Judge-beloning: Binaire correctheid gebaseerd op ground-truth labels voor de specifieke actie.
- Memory-beloning: Een tijdsgecompenseerde beloning die toekomstige judge-uitkomsten terugpropageert naar de memory-updates die daaraan hebben bijgedragen. Dit voorkomt kortzichtige memory-updates en zorgt ervoor dat het geheugen informatie behoudt die kritiek is voor toekomstige detectie.
- Boetes: Formaat- en lengteboetes worden toegepast om gestructureerde outputs en compacte memory-representaties te garanderen.
Fasescheiding: De verliesfunctie scheidt de generatiefasen van de Memory Manager en de Judge, zodat beloningen correct worden toegeschreven aan de specifieke tokens die door elke component zijn gegenereerd.

3. Belangrijkste Bijdragen

Identificatie van de Kernuitdaging: Het artikel stelt dat verdediging tegen langetermijnbedreigingen vereist dat veiligheidskritieke context wordt gehandhaafd over het volledige uitvoeringstraject, een vermogen dat ontbreekt in standaard agentontwerpen.
Nieuw Kader (MAGE): MAGE is het eerste kader dat agentic geheugen gebruikt als een veiligheidsprimitief. Het introduceert een shadow memory-mechanisme om context te distilleren en een retrospectieve, trajectgerichte risicobeoordeling uit te voeren.
Plug-and-Play Ontwerp: Het kader integreert met bestaande LLM-agenten met minimale wijzigingen in de kern-inferentiepijplijn, waarbij gebruik wordt gemaakt van de native tool-aanroepmogelijkheden van de agent.
Empirische Validatie: Uitgebreide evaluatie toont de superioriteit van MAGE ten opzichte van bestaande verdedigingen in detectienauwkeurigheid, detectie in een vroeg stadium en behoud van bruikbaarheid.

4. Experimentele Resultaten

De auteurs hebben MAGE geëvalueerd onder twee bedreigingsmodellen: Gebruiker als Adversariër (STAC-aanvallen) en Omgeving als Adversariër (Indirecte Prompt Injectie, inclusief PI2).

Evaluatie I: Gebruiker als Adversariër (STAC)

Opzet: GPT-5.1 werd gebruikt als ruggengraat van de agent en Qwen3-4B voor de MAGE-componenten.
Prestatie: MAGE verlaagde de Attack Success Rate (ASR) van STAC-aanvallen van 100,0% (zonder verdediging) naar 8,3%, terwijl 94,4% van de onschadelijke bruikbaarheid (BU) behouden bleef.
Efficiëntie: Er werden slechts 7,0K extra tokens per taak geïntroduceerd, aanzienlijk lager dan varianten in de baseline.
Detectielatentie: De meerderheid van de aanvallen werd gedetecteerd op of direct naast de daadwerkelijke kwaadaardige actie (gemiddelde vertraging van -0,06 beurten), waardoor vroege waarschuwingen werden gegeven.
Ablatie: Varianten zonder shadow memory of zonder RL-training vertoonden aanzienlijk verslechterde prestaties (bijvoorbeeld: ongetrainde varianten behaalden 0% ASR maar ook 0% BU vanwege indiscriminatie afkeuring).

Evaluatie II: Omgeving als Adversariër (PI2)

Opzet: Geëvalueerd tegen persistente indirecte prompt injectie (PI2) en statische injectie-aanvallen over GPT-4o-mini, Llama-3.3 en Qwen3.
Prestatie: MAGE behaalde 0,0% ASR op PI2-aanvallen (waarbij baselines zoals Spotlighting en Repeated-Prompt faalden met >70% ASR) en behield een hoge onschadelijke bruikbaarheid (73,0% op Llama-3.3, 86,5% op Qwen3).
Vergelijking: MAGE presteerde beter dan baselines (PI-Detector, Spotlighting, MELON, IPIGuard) in de afweging tussen beveiliging, bruikbaarheid en overhead, en behaalde de laagste ASR en hoge BU met lage token-overhead.
Adaptieve Aanvallen: Zelfs onder adaptieve aanvallen waarbij de adversariër de architectuur van MAGE kent en probeert het geheugen te vergiftigen of de judge te overrulen, behield MAGE robuuste prestaties (ASR bleef laag, bijvoorbeeld 0,0% voor adaptieve PI2-aanvallen), terwijl ongetrainde varianten of varianten zonder shadow memory faalden.

5. Betekenis en Claims

Het artikel beweert dat MAGE een nieuw paradigma vestigt voor het verdedigen van LLM-agenten tegen langetermijnbedreigingen. De betekenis hiervan ligt in:

Eerste van zijn soort: Het is het eerste werk dat agentic geheugen specifiek gebruikt als een defensief primitief voor trajectgerichte bedreigingsdetectie.
Gebalanceerde Afwegingen: Het adresseert succesvol het triad van Beveiliging (lage ASR), Bruikbaarheid (hoge BU) en Overhead (lage tokenkosten), een balans die bestaande verdedigingen niet gelijktijdig kunnen bereiken.
Interpreteerbaarheid: Door detectiebeslissingen te verankeren in de shadow memory, biedt MAGE voor mensen leesbare uitleggen, waardoor de verdediging transparant is voor operators.
Generaliseerbaarheid: Het kader is ontworpen als plug-and-play, vereist geen wijziging in de kern-inferentiepijplijn van de agent en functioneert effectief met kleinere, lokale modellen voor de verdedigingscomponenten.

De auteurs concluderen dat hoewel MAGE een significante stap voorwaarts is, toekomstig werk bredere aanvalsklassen (zoals geheugenvergiftiging en doelverschuiving), dynamische memory-schema's en uitbreidingen tot multi-agent systemen moet verkennen.