Technische Samenvatting: Obsessieve Ervaringsvergiftiging (OEP)

Probleemstelling

Geheugenaugmentatie Large Language Model (LLM)-agenten gebruiken iteratieve reflectie en zelf-evolutie om complexe taken op te lossen door ervaringen uit het verleden te distilleren tot uitvoerbare regels. Hoewel dit mechanisme de bekwaamheid verbetert, introduceert het een kritieke beveiligingskwetsbaarheid: de mogelijkheid voor tegenstanders om schadelijke generalisatie te induceren via "schone" invoer.

Bestaande aanvalsmethoden op agentgeheugen (zoals AgentPoison, MINJA, MemoryGraft) vertrouwen doorgaans op het injecteren van expliciete kwaadaardige instructies, gemanipuleerde records of onveilige procedures. Deze methoden zijn vaak detecteerbaar door geavanceerde veiligheidsfilters, contentauditors of anomaliedetectiesystemen die scannen op giftige inhoud of verifieerbare feitelijke fouten.

Dit artikel identificeert een onderbelichte aanvalsoppervlakte: Kunnen tegenstanders zelf-evoluerende agenten ertoe brengen schadelijke regels te genereren uitsluitend met lokaal correcte, semantisch plausibele en "schone" ervaringen? De kernuitdaging is dat reflecterende agenten kunnen overgeneraliseren vanuit specifieke randgevallen, waarbij ze niet-overdraagbare lokale methoden distilleren tot persistente, hoog-prioritaire systeemregels die downstream-fouten veroorzaken.

Methodologie: Obsessieve Ervaringsvergiftiging (OEP)

OEP is een aanvalsparadigma met lage privileges en een black-box-aanpak dat de cognitieve kwetsbaarheden van zelf-evoluerende agenten exploiteert zonder directe controle over systeemprompts of geheugendatabases te vereisen. De aanval werkt via een drie-fasenpijplijn:

1. Constructie van Schone Randgevallen

De aanvalt bouwt randgevallen $(t_e, s_e)$ die voldoen aan twee strikte beperkingen:

• Lokale Correctheid: De oplossing $s_e$ moet feitelijk en logisch correct zijn binnen de specifieke context van het randgeval $t_e$, waardoor het epistemische validators ($V_{logic}$) kan omzeilen.
• Globale Niet-overdraagbaarheid: De methode $m_e$ die in $s_e$ wordt gebruikt, moet een succespercentage van bijna nul hebben wanneer deze wordt toegepast op de algemene taakverdeling ($D_{task}$).
• Implementatie: LLM's genereren randvoorwaarden en kandidaatoplossingen, gevolgd door automatische filtering om alleen die te behouden die lokaal geldig maar globaal onbetrouwbaar zijn.

2. Adversariale Consequentietriplet (ACT)

Om de abstractieonzekerheid inherent aan het distilleren van specifieke regels uit geïsoleerde successen te overwinnen, introduceert OEP een Adversariale Consequentietriplet $(t_e, s_e, c_{adv})$.

• Mechanisme: Het triplet koppelt de lokaal correcte oplossing aan een ernstige, doch domein-plausibele, hypothetische catastrofe ($c_{adv}$) die zou optreden als de standaardmethode zou worden gebruikt in plaats van de randgeval-oplossing.
• Cognitieve Exploitatie: Dit maakt gebruik van de inherente aversie tegen verlies (een eigenschap van veiligheids-gealigneerde LLM's) van de agent. Door de verwachte nuttigheidslandschap kunstmatig te vertekenen, domineert de hypothetische straf ($|U(\neg s_e)| \gg U(s_e)$) het besluitvormingsproces van de agent.
• Resultaat: De agent wordt bevooroordeeld om het voorkomen van de ernstige hypothetische straf boven standaardprocedures te prioriteren, waardoor zijn veiligheidsalignatie effectief "gewapend" wordt om te fixeren op de niet-overdraagbare randgeval-oplossing.

3. Injectie en Overgeneralisatie

De vervaardigde ACT's worden ingediend via standaard interacties op gebruikersniveau.

• Omwijzing van Validatie: Aangezien de oplossing lokaal correct is en het gevolg semantisch coherent, passeert de invoer het interne epistemische filter van de agent.
• Reflectie en Distillatie: De reflectiemodule van de agent, gedreven door het hoog waargenomen risico van het hypothetische gevolg, distilleert het lokale succes tot een globale, hoog-prioritaire regel ($r_{obs}$).
• Downstream-fout: Bij toekomstige onschadelijke taken haalt de agent deze overgeneraliseerde regel op. Vanwege de niet-overdraagbaarheid van de regel past de agent ten onrechte de randgeval-methode toe, wat leidt tot redeneerfouten (bijv. verkeerde diagnoses) of uitputting van bronnen (bijv. redundante tooloproepen).

Belangrijkste Bijdragen

1. OEP-aanvalsparadigma: Het voorstellen van een nieuwe aanval die schone-methodevergiftiging koppelt aan het induceren van overgeneraliseerde regels. In tegenstelling tot eerdere aanvallen behoudt OEP lokale correctheid en semantische plausibiliteit, waardoor het ontwijkt voor verdedigingen gebaseerd op feitelijke juistheid en toxiciteit.
2. Raamwerk voor constructie van adversariale gevallen: Een systematische methodologie die schone randgeval-generatie integreert met de synergetische injectie van ACT's. Dit raamwerk hakt cognitief de nuttigheidsberekening van de agent om, stuurt reflectie naar bevooroordeelde regelvorming terwijl het de geldigheid van de invoer behoudt.
3. Empirische robuustheid en inzicht in bekwaamheid-kwetsbaarheid: Experimentele validatie die aantoont dat OEP een Aanvals Succespercentage (ASR) van meer dan 50% bereikt over diverse domeinen (Wiskunde, Gezondheidszorg, Toolgebruik) met GPT-4o-agenten. Opmerkelijk is dat het artikel een "paradox van bekwaamheid en kwetsbaarheid" observeert, waarbij bekwaamere agenten (met sterkere instructie-gevolgzaamheid en reflectiecapaciteiten) paradoxaal genoeg vatbaarder zijn voor deze cognitieve kaping.

Experimentele Resultaten

De auteurs evalueerden OEP over drie domeinen en meerdere agentframeworks (Simple Agent, LangChain, OpenClaw) met verschillende modelruggengraten (GPT-4o, GPT-5.4, Deepseek-v3.2, enz.).

• Prestatieverslechtering: OEP veroorzaakte significante dalingen in nauwkeur (bijv. daalde de wiskundenauwkeur van ~91% naar ~40% bij GPT-4o-agenten) en verhoogde bronverbruik (tokengebruik en latentie) door redundante tooloproepen.
• Persistentie: De aanval toonde een hoge persistentie; het ASR bleef hoog (bijv. 72% in het Tool-domein) zelfs na 50 daaropvolgende onschadelijke queries, wat aangeeft dat de vergiftigde regels de natuurlijke geheugendilutie effectief overrulen.
• Omwijzing van Verdediging: Onder mainstream verdedigingsmechanismen (Promptfilters en LLM-auditors) behield OEP een ASR van ~40%, wat significant beter presteerde dan baselines zoals MINJA en AgentPoison, wiens ASR's onder dezelfde LLM-auditcondities daalden tot onder de 15%.
• Ablatiestudies:
  • Modelruggengraat: Geavanceerde modellen vertoonden een hoger ASR dan kleinere modellen, wat de link tussen bekwaamheid en kwetsbaarheid bevestigt.
  • ACT-componenten: Het verwijderen van het ernstige gevolg (alleen QA of Oplossing gebruiken) resulteerde in marginaal aanvalssucces, wat bevestigt dat de hypothetische straf de kritieke drijver is voor het bevooroordeeld maken van reflectie.
  • Adversariaal Ratio: De effectiviteit van de aanval steeg niet-lineair naarmate het aandeel adversariale gevallen toenam, wat de kwetsbaarheid van "perspectiefconfinement" valideert.

Betekenis en Beweringen

Het artikel beweert dat OEP een fundamentele kwetsbaarheid blootlegt in de geheugen-reflectielus van zelf-evoluerende agenten. De betekenis ligt in het aantonen dat:

1. Schone Invoer Giftig Kan Zijn: Beveiligingsverdedigingen die zich uitsluitend richten op kwaadaardige inhoud of feitelijke fouten, ontoereikend zijn tegen aanvallen die het proces van geheugenconsolidatie en regel-distillatie exploiteren.
2. Veiligheidsalignatie als Vector: De zeer mechanismen die zijn ontworpen om agenten veilig te maken (aversie tegen verlies, risicosensitiviteit) kunnen worden gemanipuleerd om onveilige generalisatie te induceren.
3. Behoefte aan Nieuwe Verdedigingen: De auteurs pleiten voor verdedigingen die verder gaan dan contentfiltering, zoals actieve-zoekparadigma's (het bevragen van externe tools om perspectiefconfinement te doorbreken) en multi-agent debatframeworks (om vertrouwensasymmetrie te counteren en de nuttigheid te herkalibreren).

De auteurs concluderen dat het blootleggen van deze kwetsbaarheden cruciaal is voor de ontwikkeling van robuuste, betrouwbare autonome ecosystemen, met de nadruk dat bekwaamere agenten momenteel mogelijk vatbaarder zijn voor dergelijke cognitieve kaping.