💬 NLP

Memory Contagion: Cross-Temporal Propagation of Evaluator Bias via Agent Memory

Dit artikel identificeert en formaliseert "Memory Contagion" (geheugencontagie), een fenomeen waarbij de bias van de evaluator door de tijd heen voortplant via geheugensystemen van agenten, waarbij wordt aangetoond dat hoewel de voorkeur voor lengte weliswaar toekomstige agenten kan besmetten zelfs bij perfecte consolidatie, autoriteitsbias dat niet doet, wat een model-generatie-afhankelijke kwetsbaarheid in huidige AI-geheugenarchitecturen onthult.

Oorspronkelijke auteurs: Zewen Liu

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zewen Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Hoe Slechte Herinneringen Zich Verspreiden als een Virus

Stel je voor dat je een zeer slimme robotassistent hebt. Om echt nuttig te zijn, heeft deze robot een geheugenbank nodig waar hij lessen opslaat die hij heeft geleerd uit eerdere gesprekken.

Normaal gesproken maken we ons zorgen dat robots dingen zouden kunnen "vergeten" of dat hun geheugen na verloop van tijd rommelig kan worden. Maar dit paper introduceert een nieuw, eng probleem genaamd Memory Contagion (Geheugenbesmetting).

Denk er zo over na: Als een robot leert van een leraar die een vreemde, bevooroordeelde gewoonte heeft (zoals altijd lange antwoorden te prijzen of altijd beroemde namen te vertrouwen), dan leert de robot die gewoonte. Wanneer de robot die les in zijn geheugenboek opschrijft, wordt de "vooroordelende houding" in de inkt geschreven. Later, wanneer een andere robot datzelfde geheugenboek opent om te leren, vangt die robot die slechte gewoonte op — zelfs als de eigen leraar van de nieuwe robot volkomen eerlijk is.

De bias verspreidt zich van de ene robot naar de andere via het gedeelde geheugen, net zoals een verkoudheidsvirus zich verspreidt via een gedeelde waterfles.

Het Experiment: Twee Soorten "Slechte Gewoonten"

De onderzoekers testten dit met twee specifieke soorten bias:

De "Langdradige" Bias: Stel je een leraar voor die denkt dat "langer beter is". Deze geeft alleen hoge cijfers aan lange, woordenrijke antwoorden.
De "Naamdropper" Bias: Stel je een leraar voor die denkt dat "beroemd beter is". Deze geeft alleen hoge cijfers aan antwoorden die beroemde onderzoeken citeren of zinnen gebruiken als "Volgens onderzoek...".

Wat Ze Ontdekten

De onderzoekers voerden een reeks tests uit om te zien hoe deze besmetting werkt. Dit zijn hun belangrijkste bevindingen, eenvoudig uitgelegd:

1. Een Perfect Geheugen Lost Slechte Input Niet Op

Normaal gesproken dachten wetenschappers dat als je een "perfect" geheugensysteem had (dat geen details verliest of fouten maakt), de robot veilig zou zijn.

De Bevinding: Zelfs met een perfect geheugensysteem verspreidde de bias zich nog steeds.
De Analogie: Stel je voor dat je een perfecte camera met een hoge resolutie hebt. Als je een foto maakt van een kamer met een rood licht aan, dan is de foto rood. Het maakt niet uit hoe goed de camera is; als de input bevooroordeeld is, is de output bevooroordeeld. Het "virus" kwam door de deur naar binnen, niet door de camera.

2. De "Geheugen-Samenvatter" Reageert Anders op Verschillende Biases

Robots vatten hun herinneringen vaak samen om ruimte te besparen (zoals een lang verhaal omzetten in een kort opsommingsteken). De onderzoekers ontdekten dat dit samenvattingsproces de bias op onverwachte manieren verandert:

Voor de "Langdradige" Bias: Samenvatten hielp juist. Wanneer de robot de lange, woordenrijke antwoorden samenvatte, werden ze van nature ingekort. De bias werd zwakker (het werd met 84% verminderd).
Voor de "Naamdropper" Bias: Samenvatten maakte het juist erger. Wanneer de robot de tekst samenvatte, hield hij de beroemde namen en de zinnen "Volgens onderzoek..." aan, omdat dit de belangrijkste delen van het verhaal waren. Dit concentreerde de bias, waardoor deze sterker werd (het nam met 47% toe in hun test).
De Analogie: Denk aan het uitwringen van een spons.
- Als de spons vol water zit (lange antwoorden), haalt het uitwringen het water eruit (herstelt de bias).
- Als de spons vol glitters zit (beroemde namen), zorgt het uitwringen er niet voor dat de glitters verdwijnen; het zorgt er alleen voor dat de glitters compacter worden, waardoor de resterende spons nog intenser gaat glimmen.

3. Er Is Geen "Veilige" Hoeveelheid Slecht Geheugen

Je zou kunnen denken: "Als slechts 10% van de herinneringen slecht is, zal het misschien niet uitmaken."

De Bevinding: De onderzoekers ontdekten dat zelfs als slechts 20% van de herinneringen bevooroordeeld was, de robots nog steeds bevooroordeeld begonnen te handelen.
De Analogie: Het is als een pan soep. Je hoeft niet de hele pan te vergiftigen om hem onverteerbaar te maken; een klein lepeltje gif is al genoeg om de smaak te verpesten. Er is geen "veilige drempel" waarbij een beetje slecht geheugen onschadelijk is.

4. Waar Komt de Bias Vandaan?

De onderzoekers vroegen zich af: Verspreidt de bias zich omdat de inhoud van de herinnering fout is, of omdat de manier waarop de robot naar herinneringen zoekt kapot is?

De Bevinding: Beide spelen een rol, maar de inhoud is de grootste boosdoener. De robot kopieert voornamelijk de werkelijke woorden en ideeën die in het geheugen zijn opgeslagen, in plaats van alleen maar in de war te raken door hoe hij de herinneringen doorzoekt.

Waarom Dit Belangrijk Is (Volgens het Paper)

Het paper concludeert dat we ons niet alleen moeten richten op het maken van robotgeheugensystemen "perfect" of "efficiënt". We moeten ook ervoor zorgen dat de ervaringen waarvan de robot leert, vanaf het begin eerlijk zijn.

Als een robot leert van een bevooroordeelde leraar, die les opschrijft en die les vervolgens deelt met andere robots, dan wordt de bias een permanent onderdeel van het systeem. Het repareren van het geheugenboek achteraf zal niet helpen als de oorspronkelijke lessen gebrekkig waren.

Kortom: Je kunt een virus niet desinfecteren door een schoner ziekenhuis te hebben; je moet proberen te voorkomen dat het virus het gebouw überhaupt binnenkomt.

Technische Samenvatting: Memory Contagion (Geheugencontagie)

1. Probleemdefinitie

Het artikel behandelt een kritieke kwetsbaarheid in de geheugensystemen van Large Language Model (LLM) agenten: Memory Contagion (geheugencontagie). Hoewel recent werk (bijv. Zhang et al. [2026]) heeft vastgesteld dat mechanismen voor geheugenconsolidatie nuttige informatie kunnen degraderen, gaan deze studies ervan uit dat de input-ervaringen onbevooroordeeld zijn.

In de werkelijkheid worden agenten vaak getraind of gestuurd door bevooroordeelde evaluatoren (bijv. beloningsmodellen, menselijke feedback, of andere agenten met systematische voorkeuren). Wanneer een agent interacteert met een bevooroordeelde evaluator, worden de resulterende trajecten bevooroordeeld. Als deze bevooroordeelde trajecten in een geheugensysteem worden opgeslagen en door toekomstige agenten worden opgehaald, verspreidt de bias zich over de tijd en verschillende episodes. De auteurs definiëren Memory Contagion als deze cross-temporele propagatie van evaluator-bias via agent-geheugensystemen, waarmee zij zich onderscheiden van eerdere studies naar single-agent reinforcement learning bias of binnen-episode retrieval bias.

2. Methodologie

2.1 Experimentele Opzet

De studie maakt gebruik van een twee-agenten-framework:

Bron-agent ( $A_s$ ): Interacteert met taken en wordt geëvalueerd door een bevooroordeelde evaluator ( $E_b$ ). De trajecten van deze agent worden opgeslagen in een geheugenopslag ( $M_b$ ).
Doel-agent ( $A_t$ ): Haalt informatie op uit de geheugenopslag om nieuwe taken op te lossen. De studie meet of $A_t$ de bias van $E_b$ vertoont, zelfs als de eigen evaluator van $A_t$ onbevooroordeeld is.

Onderzochte Bias-typen:

Lengte-bias (Length Bias): Een voorkeur voor langere reacties ( $b(\tau) = \text{len}(a)$ ).
Autoriteits-bias (Authority Bias): Een voorkeur voor reacties die autoriteitskenmerken bevatten (bijv. "studies tonen aan", citaties), gedetecteerd via een LLM-gebaseerde classifier.

Consolidatiestrategieën:

Oracle Consolidation: Perfecte samenvoeging zonder informatieverlies (dient als een bovengrens om te testen of bias-propagatie inherent is aan de input).
LLM Consolidation: Realistische samenvoeging via LLM-samenvatting.

2.2 Metrieken en Decompositie

De auteurs introduceren $\Gamma_{\text{temporal}}$ , een metriek die de gedragsafstand (met behulp van de Wasserstein-afstand $W_1$ ) meet tussen een doel-agent die uit een bevooroordeeld geheugen haalt versus een schoon geheugen.

Om het mechanisme te begrijpen, wordt de totale contagie ( $\Gamma_{\text{total}}$ ) gedecomponeerd in:

$\Gamma_{\text{content}}$ (E1): Bias-propagatie als gevolg van de inhoud van de opgeslagen herinneringen.
$\Gamma_{\text{retrieval}}$ (E2): Bias-propagatie als gevolg van het retrieval-mechanisme (bijv. embedding-gelijkenis met bevooroordeelde queries).
$\Gamma_{\text{interaction}}$ (E3): Synergetische effecten tussen inhoud en retrieval.
Debiasing Efficacy ( $E_4$ ): De reductie in contagie wanneer herinneringen worden herschreven om bias-kenmerken te verwijderen.

2.3 Experimentele Fasen

Bias Injectie: Genereren van bevooroordeelde trajecten via rejection sampling.
Geheugenconstructie: Opslaan en consolideren van trajecten.
Ablatie (Oracle): Testen van de contagie met perfecte consolidatie.
Mechanisme-decompositie: Isoleren van content- versus retrieval-effecten.
Dosis-Respons Analyse: Variëren van de contaminatiegraad ( $p$ ) van 0.2 tot 1.0.

3. Belangrijkste Resultaten

3.1 Contagie treedt op bij Perfecte Consolidatie

Zelfs onder Oracle consolidatie (waarbij geen informatie verloren gaat tijdens het samenvoegen), wordt Memory Contagion waargenomen.

Lengte-bias: $\Gamma_A = 13.18$ (95% CI [9.05, 21.10]), significant groter dan 0 ( $p < 0.01$ ).
Autoriteits-bias: $\Gamma_A = 11.45$ (exploratieve schatting van een enkele run).
Implicatie: Bevooroordeelde input is een voldoende oorzaak voor de contagie; perfecte consolidatie voorkomt dit niet.

3.2 Bias-type-afhankelijke Consolidatie-effecten

De impact van LLM-gebaseerde consolidatie varieert per type bias:

Lengte-bias: Consolidatie verzwakt de contagie. $\Gamma$ daalt van 13.18 (Oracle) naar 2.03 (LLM), een reductie van 84%. De auteurs hypothetiseren dat dit komt omdat samenvatting globale kenmerken zoals het totale aantal woorden comprimeert.
Autoriteits-bias: Voorlopig bewijs suggereert dat consolidatie de contagie versterkt. $\Gamma$ stijgt van 11.45 (Oracle) naar 16.80 (LLM) in een enkele run. De auteurs hypothetiseren dat samenvatting de kernclaims en de bijbehorende autoriteitskenmerken behoudt terwijl perifere inhoud wordt verwijderd, waardoor de bias-signalen per token worden geconcentreerd.

3.3 Mechanisme-decompositie

Dominantie van Inhoud: Zowel inhoud-gebaseerde ( $E_1$ ) als retrieval-gebaseerde ( $E_2$ ) contagie zijn aanwezig, maar de inhoudelijke contaminatie is iets groter.
Interactie: De interactieterm ( $E_3$ ) is klein en statistisch niet te onderscheiden van nul, wat suggereert dat inhoudelijke en retrieval-mechanismen grotendeels onafhankelijk opereren.
Uitdagingen bij Debiasing: Het herschrijven van herinneringen om bias-kenmerken te verwijderen is moeilijk. Voor autoriteits-bias was de debiasing-efficiëntie ( $E_4$ ) slechts 0.51, wat aangeeft dat er aanzienlijke residuele bias overblijft, waarschijnlijk door de semantische verstrengeling tussen autoriteitskenmerken en de feitelijke inhoud.

3.4 Dosis-Respons Analyse

Geen Veilig Drempelniveau: Contagie is detecteerbaar zelfs bij lage contaminatiegraden ( $p = 0.2$ , oftewel 20% bevooroordeelde herinneringen).
Niet-lineariteit:
- Lengte-bias vertoont een monotone toename met de contaminatiegraad.
- Autoriteits-bias vertoont een "piek-en-daling"-patroon, met een piek bij $p=0.8$ ( $\Gamma = 23.03$ ) en een daling bij $p=1.0$ . De auteurs speculeren dat dit komt door retrieval-interferentie wanneer de meerderheid van de herinneringen vergelijkbare kenmerken bevat.

4. Betekenis en Claims

Het artikel claimt een voorheen onbekende kwetsbaarheid in de ontwerpfase van agent-geheugens te hebben geïdentificeerd: bevooroordeelde input is een voldoende oorzaak voor cross-temporele bias-propagatie, ongeacht de kwaliteit van de consolidatie.

Weerlegging van "Consolidatie is het Probleem": De auteurs stellen dat claims die suggereren dat het oplossen van consolidatie de geheugenproblemen oplost, incompleet zijn. Zelfs met perfecte consolidatie leiden bevooroordeelde inputs tot bevooroordeelde agenten.
Directionele Asymmetrie: De bevinding dat consolidatie één type bias (lengte) kan verzwakken terwijl het een ander type (autoriteit) potentieel versterkt, daagt de aanname uit dat consolidatie uniform neutraal of schadelijk is.
Meetinstrument: Het paper biedt formele instrumenten ( $\Gamma_{\text{temporal}}$ ) om cross-temporele bias-propagatie te meten, wat toekomstig onderzoek mogelijk maakt om deze effecten te kwantificeren en te mitigeren.

De auteurs concluderen dat ontwerpers van geheugensystemen naast de kwaliteit van de consolidatie ook de input-bias moeten aanpakken. Zij merken op dat hun bevindingen met betrekking tot autoriteits-bias voorlopig zijn (gebaseerd op schattingen van een enkele run voor sommige metrieken) en dat het fenomeen sterk afhankelijk is van het specifieke type bias en de taakcontext (bijv. autoriteits-bias verspreidde zich niet in synthetische QA-taken, maar wel in contexten die op feiten gebaseerd zijn).