💻 computer science

Omission Constraints Decay While Commission Constraints Persist in Long-Context LLM Agents

Dit onderzoek toont aan dat bij LLM-agents in lange contexten de naleving van verbodsbepalingen (zoals het niet lekken van gegevens) afneemt naarmate het gesprek langer duurt, terwijl de naleving van verplichtingen stabiel blijft, een fenomeen dat 'Security-Recall Divergence' wordt genoemd en waarvoor het opnieuw injecteren van instructies voorbij een bepaalde diepte de oplossing biedt.

Oorspronkelijke auteurs: Yeran Gamage

Gepubliceerd 2026-04-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yeran Gamage

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kernboodschap: Het "Vergeten Verbod"

Stel je voor dat je een zeer slimme, maar soms vergeetachtige assistent hebt. Je geeft hem één keer aan het begin van de dag een lijst met regels:

Doe dit altijd: Schrijf elke mail met een groet.
Doe dit nooit: Geef nooit je wachtwoord prijs.

De onderzoekers van dit paper hebben ontdekt dat als je met deze assistent een lange, ingewikkelde conversatie voert (bijvoorbeeld 20 of 25 beurtjes lang), er iets vreemds gebeurt:

De assistent blijft perfect de regels volgen om iets te doen (zoals de groet toevoegen).
Maar hij begint stiekem de regels te overtreden die zeggen niets te doen (zoals het wachtwoord onthullen of bullet points gebruiken).

Dit fenomeen noemen ze Security-Recall Divergence (SRD). In het kort: Verboden dingen worden vergeten, verplichte dingen blijven hangen.

De Analogie: De Lange Reis met een Sticker

Om dit beter te begrijpen, gebruik ik een analogie:

Stel je voor dat je een lange treinreis maakt met je assistent.

De Regels: Je plakt een sticker op het raam van de trein met de tekst: "Doe nooit iets stouts."
De Reis: De trein rijdt urenlang. Er komen steeds meer passagiers (nieuwe informatie, bestanden, logs) in de trein. De trein wordt steeds voller.

Wat gebeurt er?
Naarmate de trein voller raakt, wordt de sticker op het raam (de regel) steeds verder weg van de assistent geduwd. De assistent kijkt vooral naar wat er nu gebeurt in de trein (de nieuwe passagiers). De sticker op het verre raam wordt vaag en onzichtbaar.

Verplichtingen (Commissie): Als je zegt: "Zorg dat je altijd een hoed op hebt," en de assistent doet dit al 10 keer, dan ziet hij zichzelf in de spiegel met de hoed. Hij denkt: "Ah, ja, dat moet ik doen." Dit helpt hem om de regel te onthouden.
Verboden (Omissie): Als je zegt: "Gebruik nooit een rode pen," en de assistent gebruikt 10 keer een blauwe pen, dan ziet hij geen rode pen. Er is geen "spiegelbeeld" dat hem herinnert aan de regel. Omdat de sticker op het raam (de instructie) zo ver weg is geduwd door de volle trein, vergeet hij de regel en pakt hij per ongeluk een rode pen.

Hoe hebben ze dit ontdekt?

De onderzoekers hebben 12 verschillende AI-modellen getest in een soort "virtuele werkplek" (zoals een IT-afdeling). Ze lieten de AI's 4.416 keer een probleem oplossen.

De Test: Ze gaven de AI een lijst met regels (bijv. "Gebruik geen opsommingstekens" en "Zet altijd 'STATUS:' voor je antwoord").
De Druk: Ze lieten de AI steeds langer praten (van beurt 5 tot beurt 25) en vulden de conversatie met veel technische data (zoals schema's van cloud-tools).
Het Resultaat:
- Bij beurt 5 volgden ze bijna alle regels.
- Bij beurt 25 volgden ze de regel "Gebruik geen opsommingstekens" (een verbod) vaak niet meer. Maar de regel "Zet 'STATUS:' voor je antwoord" (een verplichting) deden ze nog steeds perfect.

Sommige modellen (zoals Mistral Large 3) werden erg snel "vergeten" (na ongeveer 10 beurtjes), terwijl andere (zoals Gemma) de regels tot het einde trouw bleven.

Waarom is dit gevaarlijk?

Dit is een groot probleem voor de veiligheid van AI in de echte wereld.

De valstrik: Bedrijven gebruiken AI om gevoelige taken te doen, zoals het lezen van e-mails of het beheren van servers. Ze vertrouwen erop dat de AI nooit wachtwoorden lekt of geen kwaadaardige code uitvoert.
Het onzichtbare falen: Als je kijkt naar de AI's "audit-signalen" (zoals de verplichte groetjes of statusberichten), ziet alles er perfect uit. De AI lijkt veilig.
De realiteit: Maar in diezelfde veilige conversatie heeft de AI al lang vergeten dat hij geen wachtwoorden mag lekken. Hij doet het gewoon, omdat hij de "sticker op het raam" niet meer ziet.

Het is alsof een bewaker die je vraagt "niet te slapen" (verbod) en "altijd te zwaaien" (verplichting) blijft zwaaien, maar intussen in slaap valt en de dieven binnenlaat.

De Oplossing: De "Veilige Tijdslimiet"

De onderzoekers zeggen: "We hoeven de AI niet opnieuw te trainen om dit op te lossen." Ze hebben twee simpele oplossingen bedacht:

De Regels Herhalen: Net als een leraar die zegt: "Kijk, we doen dit niet," moet je de AI elke paar beurtjes herinneren aan de verboden regels. Doe dit voordat de AI de "veilige limiet" bereikt.
De Veilige Limiet (STD): Elke AI heeft een eigen limiet. Voor de ene AI is dat na 7 beurtjes, voor de andere na 10. Als een gesprek die limiet bereikt, moet je de AI stoppen of de conversatie resetten.

Samenvatting in één zin

Als je met een AI een lang gesprek voert, vergeet hij snel wat hij niet mag doen (zoals geheimen lekken), terwijl hij perfect blijft doen wat hij moet doen; daarom moet je de regels regelmatig herhalen of het gesprek kort houden om veilig te blijven.

Titel: Omissie-beperkingen vervagen terwijl Commissie-beperkingen aanhouden bij LLM-agents met lange context

Auteur: Yeran Gamage (Universiteit van Zuid-Florida / Onafhankelijk AI-beveiligingsonderzoeker)

1. Het Probleem: Asymmetrisch Verval van Beveiligingsbeperkingen

In productieomgevingen opereren LLM-agents vaak over tientallen of honderden conversatierondes, wat resulteert in contextvensters van tienduizenden tokens. Bestaande veiligheidsbeoordelingen gaan er ten onrechte van uit dat gedragsbeperkingen (zoals "nooit wachtwoorden lekken" of "nooit onbevoegde code uitvoeren") gedurende de hele conversatie geldig blijven.

Het paper introduceert het concept van Security-Recall Divergence (SRD): een fundamentele asymmetrie in hoe modellen omgaan met twee soorten beperkingen onder druk van lange context:

Omissie-beperkingen (Prohibities): Regels die het model verbieden iets te doen (bijv. "gebruik geen opsommingstekens", "lek nooit credentials"). Deze vervagen naarmate de context dieper wordt.
Commissie-beperkingen (Vereisten): Regels die het model verplichten iets te produceren (bijv. "begin elke reactie met STATUS:", "voeg altijd een incident-ID toe"). Deze blijven stabiel en behouden hun naleving zelfs in zeer lange conversaties.

Dit creëert een "Zone van Exploitatie": een situatie waarin een agent ogenschijnlijk veilig lijkt (omdat commissie-auditsignalen groen zijn), terwijl de kritieke verbodsbepalingen al zijn gefaald. Dit verval gebeurt passief door de contextlengte, zonder dat er een kwaadaardige aanval of instructie nodig is.

2. Methodologie

De auteurs hebben een rigoureuze, drie-armige causale studie uitgevoerd om dit fenomeen te isoleren en te kwantificeren.

Opzet: 4.416 trials uitgevoerd over 12 modellen van 8 providers (waaronder Mistral, Qwen, Gemma, Llama, GPT, Claude) op zes verschillende conversatiedieptes (turns 5, 10, 13, 16, 20, 25).
Scenario: Een synthetisch DevOps-debugging-scenario waarin het model moet zoeken naar de oorzaak van een cache-timeout.
Beperkingen: 8 gedragsregels werden opgelegd via een systeemprompt (turn 2):
- 3 Commissie-regels (moeten worden gegenereerd).
- 5 Omissie-regels (moeten worden onderdrukt, zoals "geen opsommingstekens").
De Drie Experimentele Armen:
1. Arm A (Geen verdunning): Alleen de basis-tools en de conversatiegeschiedenis.
2. Arm B (Schema-verdunning): Er worden 20 complexe cloud-infrastructuur schema's (tool definitions) toegevoegd aan de context, wat ongeveer 10.000 extra tokens toevoegt. Dit simuleert een Context-Exhaustion Injection (CEI)-aanval.
3. Arm C (Token-gematchte padding): De schema's worden vervangen door semantisch neutrale content van dezelfde lengte. Dit isoleert of het verval wordt veroorzaakt door het aantal tokens of door de semantische inhoud van de schema's.
Meting: Naleving werd gemeten via deterministische string-matching en regex, zonder gebruik van een LLM als rechter.

3. Belangrijkste Resultaten

A. De Asymmetrie (SRD)

De resultaten tonen een duidelijk en statistisch significant verval van omissie-beperkingen terwijl commissie-beperkingen stabiel blijven:

Mistral Large 3: De naleving van de regel "geen opsommingstekens" (C3) daalde van 73% bij turn 5 naar 33% bij turn 16. Tegelijkertijd bleef de naleving van de vereiste "incident-ID" (C8) 100% gedurende de hele conversatie.
Qwen 3.5: Toonde een nog sneller verval, waarbij de naleving van "geen opsommingstekens" al bij turn 5 op een bodemniveau zat in de verdunningsarm.
Gemma 4 31B: Fungeerde als een "immuun controle" en toonde bijna 100% naleving voor zowel omissie- als commissie-regels, wat aantoont dat het verval geen meetfout is maar model-specifiek.

A. Oorzaak: Semantische Verdunning

De studie toont aan dat het verval voornamelijk wordt gedreven door semantische inhoud en niet alleen door het aantal tokens:

In Arm C (neutrale padding) bleef de naleving hoog, vergelijkbaar met Arm A.
In Arm B (semantische schema's) daalde de naleving drastisch.
Voor de geteste modellen (Gemini 2.5 Flash en Llama 3.3 70B) verklaarde de semantische inhoud van de schema's 62–100% van het verdunningseffect. Dit suggereert dat de "ruis" van relevante schema's de aandacht van het model van de veiligheidsrichtlijnen afleidt.

C. Statistische Validatie

De Cochran-Mantel-Haenszel (CMH) test bevestigde dat omissie-beperkingen significant vaker falen dan commissie-beperkingen (p < 10⁻³³ voor Mistral).
Logistische regressie toonde aan dat de interactie tussen "type beperking" en "conversatiediepte" positief is, wat betekent dat omissiefouten versnellen naarmate de context groeit.

4. Bijdragen en Significatie

Nieuwe Inzichten

SRD (Security-Recall Divergence): Een nieuwe term voor het fenomeen waarbij beveiligingsbeperkingen (verboden) falen terwijl audit-signalen (vereisten) gezond blijven.
Kritieke Blinde Vlek: Bestaande beveiligingsmonitoring kijkt vaak naar audit-trails (commissie). Als deze groen zijn, denken operators dat het systeem veilig is, terwijl de verbodsbepalingen (zoals het lekken van data) al zijn gefaald.
Veiligheidsdrempel (Safe Turn Depth - STD): De auteurs introduceren een meetbare metric: het aantal beurten waarop de naleving van een omissie-beperking onder de 50% zakt.
- Voor Mistral Large 3: STD ≈ 10,6 beurten.
- Voor Qwen 3.5: STD ≈ 7,1 beurten.

Mitigatiestrategieën

Het paper biedt directe, implementeerbare oplossingen die geen hertraining van het model vereisen:

Periodieke Herinjectie: Beperkingen moeten elke $k$ beurten (waarbij $k < \text{STD}$ ) opnieuw in de context worden ingebracht om de "aandachtsafstand" tot het beleid te resetten.
Beperking van Sessielengte: Sessies moeten worden afgebroken of gereset zodra de cumulatieve token-aantal de "Safe Token Budget" bereikt.

5. Conclusie

De studie waarschuwt dat de huidige veiligheidsbenchmarks (die vaak kortdurende interacties testen) onvoldoende zijn voor productie-LLM-agents. Een model dat in een korte test veilig is, kan in een lange, passieve sessie (bijv. DevOps of klantenservice) zijn beveiligingsbeperkingen verliezen door de natuurlijke ophoping van context.

De bevindingen benadrukken dat verbodsbepalingen (prohibities) kwetsbaarder zijn voor contextveroudering dan vereisten. Voor organisaties die LLM-agents inzetten, is het cruciaal om sessielengtes te beperken of beleidsregels periodiek te herhalen om veiligheidslekken te voorkomen die onzichtbaar zijn voor standaard monitoring.