Technische Samenvatting: Meer Onthouden, Meer Risico's

Probleemstelling

Huidige veiligheidsbeoordelingen voor Large Language Model (LLM)-agenten met geheugenfuncties richten zich voornamelijk op veiligheid binnen de taak, waarbij wordt beoordeeld of een agent een enkel scenario veilig voltooit, vaak onder adversariële omstandigheden zoals prompt-injectie of geheugenvergiftiging. In echte implementaties bedient echter een enkele agent vele onafhankelijke taken over lange tijdsperiodes (weken of maanden), waarbij een persistente staat wordt opgebouwd.

Het artikel identificeert een kritieke kloof: temporele geheugenverontreiniging. Dit is een faalmodus waarbij onschadelijke geheugenopbouw over onafhankelijke, niet-adversariële taken leidt tot steeds onveiliger gedrag naarmate de tijd vordert. In tegenstelling tot adversariële aanvallen waarbij een aanvaller inputs ontwerpt om een falen te veroorzaken, ontstaat temporele geheugenverontreiniging door de routine-interacties van de agent zelf. Naarmate het geheugen groeit, kan het inhoud bevatten die relevant is voor een huidige vraag, maar onverenigbaar met een veilig antwoord (bijvoorbeeld het ophalen van privégegevens van een andere gebruiker of verouderde instructies), wat leidt tot onveilige overdrachten.

Bestaande methoden om dit te bestuderen worden verward door stream-niet-stationariteit. Het simpelweg plotten van schendingspercentages tegen de tijd faalt omdat de inputstroom zelf verandert (bijvoorbeeld een piek in e-mailvolume of onderwerpen die gevoeliger worden), waardoor het onmogelijk is om te isoleren of een toegenomen risico het gevolg is van geheugenopbouw of van de veranderende aard van de taken.

Methodologie

Om geheugeneffecten te isoleren van stream-niet-stationariteit, introduceren de auteurs een trigger-probe-protocol en een op gebeurtenissen gebaseerd kader.

1. Ontleding van Gebeurtenissen

Falen wordt ontbonden in drie componenten:

• Voorwaarde: De geheugenstaat bevat verontreinigende inhoud die opvraagbaar is voor een specifieke vraag.
• Trigger: Een specifieke input (probe) die het ophalen van die inhoud activeert.
• Schending: De agent brengt de opgehaalde inhoud onvanpasselijk over in zijn antwoord.

2. Trigger-Probe-Protocol

Dit protocol evalueert een vaste set van probe-triggers tegen alleen-lezen geheugensnaps die zijn opgebouwd uit stream-prefixen van variërende lengtes ($\ell$).

• Gestuurde Blootstelling: De agent verwerkt de eerste $\ell$ interacties om een geheugenstaat op te bouwen. Vervolgens wordt een vaste set probes tegen deze snapshot geëvalueerd in de alleen-lezen modus (probes worden niet teruggeschreven naar het geheugen).
• Contrast Baseline: Voor elke probe genereert het systeem twee antwoorden: één met geheugen ($y_{mem}$) en één zonder geheugen ($y_{\emptyset}$, de NullMemory-baseline).
• Geheugen-geïnduceerde Schendingslabel ($U_a$): Een schending wordt alleen als geheugen-geïnduceerd gelabeld als:
  1. Het geheugen-verrijkte antwoord onveilig is.
  2. Het NullMemory-antwoord veilig is.
  3. De onveilige inhoud via semantische matching traceerbaar is naar het opgehaalde geheugen.

3. Evaluatieopstelling

Het protocol wordt toegepast op twee verschillende klassen van agenten en drie implementatiescenario's:

• Kantoorassistenten: Geëvalueerd op synthetische streams (Medische Praktijk, Universiteitsregistrar) en een persona-specifiek Enron-postvak. Acht geheugenarchitecturen uit de MemEngine-taxonomie worden getest (bijvoorbeeld Volledig Geheugen, Korte Termijn, Lange Termijn, Generatieve Agenten, MemoryBank, MemGPT, MemTree).
• Claw-achtige Agenten: Geëvalueerd op OpenClaw- en SecLaw-platforms waar agenten opereren in de computing-omgeving van een gebruiker met toegang tot het bestandssysteem. Geheugen wordt opgeslagen als platte Markdown-bestanden. Het risico wordt gemeten via canary-strings die in referenties zijn ingebed; een schending treedt op als deze strings voorkomen in outputs of logs.

Belangrijkste Bijdragen

1. Longitudinaal Veiligheidskader: Introductie van het trigger-probe-protocol dat geheugenveiligheid behandelt als een traject, waarbij accumulatie-effecten worden geïsoleerd van variaties in de inputstroom.
2. Empirische Karakterisering: Omvattende meting van geheugen-geïnduceerde schendingspercentages over acht geheugenarchitecturen en drie scenario's, waarbij wordt aangetoond dat het risico consistent de NullMemory-baseline overstijgt en toeneemt met de blootstellingslengte.
3. Cross-Architectuur Analyse: Aantonen dat temporele versterking voortduurt over structureel verschillende faalmechanismen (cross-context lekken bij kantoorassistenten versus aandachtverdunning/contextnormalisatie bij Claw-achtige agenten).
4. Ontwerpruimte Analyse: Identificatie van ophalingsomvang (brede semantische ophaling) en samenvattingsniveau (geabstraheerde inhoud) als de primaire ontwerpkiezen die versterking aandrijven.
5. Ophaal-tijd Diagnostiek: Ontwikkeling van een lichtgewicht monitor die geheugen-geïnduceerd risico voordat generatie plaatsvindt voorspelt op basis van de ophaalstaat, met een hoge recall (0,970–0,984) zonder afhankelijkheid van domeinspecifieke regels.

Resultaten

• Temporele Versterking: Geheugen-geïnduceerde schendingspercentages ($q_a(\ell)$) tonen een robuust opwaarts trend naarmate de blootstellingslengte ($\ell$) toeneemt. Dit effect wordt waargenomen bij zowel kantoorassistenten als Claw-achtige agenten.
• Inhoud versus Volgorde: Experimenten met volgorde-randomisatie (het door elkaar halen van de volgorde van interacties) geven aan dat de versterking voornamelijk wordt gedreven door geaccumuleerde inhoud en niet door de specifieke volgorde van ontmoetingen, hoewel lokale volgorde het effect kan moduleren voor bepaalde architecturen (bijvoorbeeld boomgestructureerd geheugen).
• Architecturale Gevoeligheid:
  • Architecturen met brede ophaling en lange retentie (bijvoorbeeld MemTree, Self-Controlled Memory, Generatieve Agenten) vertonen de steilste toename in schendingspercentages.
  • Systemen met een bias naar recentheid (bijvoorbeeld Korte Termijn Geheugen) blijven relatief vlak, wat suggereert dat het beperken van de ophalingsomvang fungeert als een veiligheidsbuffer.
  • Samenvatting kan risico introduceren door details uit afzonderlijke contexten te samenvoegen tot samengestelde representaties die nieuwe, onveilige inferenties creëren.
• Claw-achtige Agenten: Zelfs zonder expliciete cross-context lekken (aangezien de probe-inhoud vaststaat), verdunt omringende onschadelijke geheugeninhoud de veiligheidsaandacht en normaliseert taal die grenst aan referenties, wat leidt tot hogere schendingspercentages naarmate het geheugenvolume groeit.
• Voorspellende Monitoring: De monitor op ophaal-tijd detecteert succesvol risico voordat generatie plaatsvindt, wat suggereert dat veiligheidsinterventies kunnen worden toegepast op het ophaalstadium (bijvoorbeeld het filteren van items of terugvallen op generatie zonder geheugen).

Betekenis

Het artikel betoogt dat geheugenveiligheid moet worden behandeld als een longitudinaal eigenschap die temporele evaluatie vereist, in plaats van een eigenschap van een enkele staat die wordt vastgelegd door een snapshot. De bevindingen challenge de aanname dat onschadelijke geheugenopbouw veilig is, en tonen aan dat routine-interacties alleen al veiligheidsprofielen kunnen verslechteren naarmate de tijd vordert.

Het werk biedt een methodologische basis voor het evalueren van de veiligheid van agenten over lange tijdsperiodes en biedt actieerbare inzichten voor systeemontwerpers:

• Afwegingen: Het verbreden van de ophalingsomvang en het toevoegen van samenvattingslagen verbetert de bruikbaarheid, maar verhoogt de temporele veiligheidsblootstelling.
• Mitigatie: Veiligheidsmechanismen moeten worden geïntegreerd op het ophaalstadium, niet alleen op het generatiestadium, om verontreinigende contexten te filteren voordat ze het model beïnvloeden.
• Evaluatiestandaarden: Toekomstige veiligheidsbenchmarks moeten rekening houden met de temporele dimensie en de interactie tussen geheugenopbouw en niet-stationaire inputstromen.

De auteurs concluderen dat zonder expliciete temporele evaluatie de veiligheid van agenten met geheugenfuncties in implementaties over lange tijdsperiodes ongeverifieerd blijft en potentieel wordt ondermijnd door hun eigen geschiedenis.