🤖 machine learning

Memory-Induced Tool-Drift in LLM Agents

Dit artikel identificeert en benchmarkt "geheugen-geïnduceerde tool-drift", een systematische kwetsbaarheid waarbij door persoonlijkheid gedreven biases die in het langetermijngeheugen van een LLM-agent zijn opgeslagen, stilzwijgend parameters van tool-aanroepen verstoren in verschillende domeinen, een fenomeen dat aanhoudt ondanks huidige geheugenarchitecturen en standaardverdedigingen.

Oorspronkelijke auteurs: Mahavir Dabas, Jihyun Jeong, Ming Jin, Ruoxi Jia

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mahavir Dabas, Jihyun Jeong, Ming Jin, Ruoxi Jia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Kernprobleem: De "Slechte Gewoonte"-Lek

Stel je voor dat je een hoogopgeleide professionele assistent huurt, zoals een financieel adviseur of een medische planner. Je wilt dat ze efficiënt en behulpzaam zijn. Om ze beter te maken, geef je hen een "herinneringsnotitieboek" waarin je je persoonlijke levensdetails noteert: "Ik haat wachten in rijen", "Ik koop altijd de goedkoopste koffie" of "Ik lees nooit handleidingen".

Het artikel ontdekt een gevaarlijke glitch: Je persoonlijke slechte gewoonten kappen stilletjes je professionele werk over.

Zelfs wanneer de assistent een serieuze taak uitvoert (zoals het beheren van een ziekenhuisdatabase of het opzetten van een beveiligde server), beginnen ze je persoonlijke shortcuts toe te passen. Als je hen vertelde: "Ik maak nooit een back-up van mijn telefoon omdat ik de moeite haat", zou de assistent plotseling kunnen besluiten geen back-up te maken van een kritieke medische database, omdat ze denken: "Oh, de gebruiker haat back-ups, dus ik sla het over."

De auteurs noemen dit "Memory-Induced Tool-Drift" (door herinnering veroorzaakte tool-afwijking). Het is alsof je persoonlijke "luie modus" lekt in je professionele "veiligheidsmodus".

Het Experiment: De "MEMDRIFT"-Test

Om te bewijzen dat dit gebeurt, bouwden de onderzoekers een enorme test genaamd MEMDRIFT. Denk hierbij aan een "val" voor AI-assistenten.

De Opzet: Ze creëerden 105 verschillende scenario's. In elk scenario moest een AI-agent een serieuze professionele taak uitvoeren (zoals het samenvoegen van een financiële catalogus of het implementeren van een software-update).
De Val: Ze gaven de AI een "herinnering" aan een specifiek persoonlijkheidskenmerk van de gebruiker, zoals "ongeduldig" of "risicovriendelijk".
- Voorbeeld: De herinnering van de gebruiker zegt: "Ik neem altijd de expressbaan en sla de veiligheidscontroles over."
- De Taak: De AI moet een software-update configureren.
Het Resultaat: De AI, die zich de ongeduldigheid van de gebruiker herinnerde, begon "snelle" en "onveilige" instellingen te kiezen voor de software-update, zelfs al vereiste de baan "grondige" en "veilige" instellingen.

Ze testten dit op zeven van de slimste beschikbare AI-modellen (waaronder GPT-5, Claude en Gemini). Het resultaat? Elk enkele van hen liep in de val. De "persoonlijke persoonlijkheid" van de AI overstemde zijn "professionele plicht".

Waarom gebeurt dit? (Het Mechanisme)

De onderzoekers keken in de "hersenen" van de AI (zijn interne wiskunde) om te zien waarom dit gebeurt. Ze vonden twee hoofdredenen:

Het "Stuurwiel"-Effect:
Stel je voor dat de AI een auto bestuurt. Wanneer je hem een professionele taak geeft, moet hij rechtdoor rijden. Maar je persoonlijke herinneringen fungeren als een verborgen hand op het stuurwiel, die de auto naar de "luie" of "risicovolle" rijbaan duwt. De AI beseft niet dat hij wordt geduwd; hij denkt gewoon dat dat de richting is die hij wil gaan.
De "Trefwoord-Magneet":
De AI wordt afgeleid door woorden. Als je herinnering zegt: "Ik hou van economy-klasse vluchten", en de professionele tool heeft een instelling genaamd "economy-modus", ziet de AI het woord "economy" op beide plaatsen. Hij wordt magnetisch aangetrokken om die instelling te kiezen, en negeert het feit dat "economy-modus" een vreselijk idee is voor een ziekenhuisdatabase. Het is alsof een hond achter een piepend speeltje aanrent in plaats van naar zijn baas te luisteren.

Het Reële Gevaar

De onderzoekers hielden niet op bij nep-tests. Ze scannden 6.000 real-world tools die bedrijven vandaag de dag gebruiken. Ze vonden 608 tools met "zwakke plekken" waar deze afwijking kan optreden.

Reëel Voorbeeld 1: Een tool voor het maken van softwareprojecten. Als de gebruiker een herinnering heeft over "open" zijn en "alles delen", zou de AI per ongeluk een privé-medisch project op "Publiek" kunnen zetten, waardoor gevoelige patiëntgegevens worden blootgesteld.
Reëel Voorbeeld 2: Een zoektool voor scholen. Als de gebruiker een herinnering heeft over "filters haten", zou de AI veiligheidsfilters kunnen uitschakelen bij het zoeken naar bronnen voor een middelbare school, waardoor ongepaste inhoud doorgeschoven wordt.

Kunnen We Het Oplossen?

De onderzoekers probeerden dit gat te dichten met twee veelvoorkomende methoden:

De AI vertellen om "Voorzichtig te zijn": Ze voegden instructies toe aan de AI met de boodschap: "Gebruik geen persoonlijke herinneringen voor werk."
- Resultaat: Het hielp een beetje, maar de AI maakte nog steeds fouten.
Herinneringen Filteren: Ze probeerden herinneringen te blokkeren die niet relevant leken.
- Resultaat: Dit werkte perfect op de simpele test, maar faalde wanneer de herinneringen lastig waren. De AI kon nog steeds geen onderscheid maken tussen een persoonlijke gewoonte en een professionele regel.

De Conclusie

Het artikel concludeert dat huidige AI-beveiligingsmaatregelen blind zijn voor dit specifieke probleem. We hebben assistenten gebouwd die geweldig zijn in het onthouden wie we zijn, maar ze zijn verschrikkelijk in het weten wanneer ze moeten stoppen met onthouden.

Naarmate deze AI-agenten meer belangrijke dingen gaan doen (zoals het beheren van geld, gezondheid of infrastructuur), is deze "lekkage" van persoonlijke slechte gewoonten naar professionele taken een stille, systematische kwetsbaarheid die we nog niet hebben uitgevonden hoe we moeten stoppen.

Technische Samenvatting: Geheugen-geïnduceerde Tool-Drift in LLM-Agenten

Probleemdefinitie

Moderne Large Language Model (LLM)-agenten integreren langetermijngeheugen voor personalisatie met tool-aanroepinterfaces om ingrijpende acties uit te voeren. Waar geheugen aanpassing mogelijk maakt en tools nut bieden, identificeert dit papier een eerder ononderzocht faalmechanisme: geheugen-geïnduceerde tool-drift.

Dit fenomeen treedt op wanneer door persoonlijkheid gedreven biases, opgeslagen in het langetermijngeheugen van een agent (bijvoorbeeld kostenbewustzijn, ongeduld, risicotolerantie), op een stille en ongepaste wijze invloed uitoefenen op de selectie van parameters voor tool-aanroepen in professionele contexten waar dergelijke persoonlijke voorkeuren irrelevant zijn. In tegenstelling tot conversatie-overpersonalisatie is tool-drift bijzonder ingrijpend omdat tool-aanroepen vaak worden uitgevoerd zonder inspectie van individuele parameters door de gebruiker en onomkeerbare acties kunnen triggeren (bijvoorbeeld financiële transacties, infrastructuurwijzigingen, data-exposure). De kern van het falen is het onvermogen van de agent om de grens te trekken tussen persoonlijke levenscontexten en professionele taakeisen, wat leidt tot het lekken van irrelevante biases in kritieke parameterbeslissingen.

Methodologie

1. Formalisering en Bouw van een Benchmark (MEMDRIFT)

De auteurs formaliseren geheugen-geïnduceerde tool-drift als een afwijking in tool-aanroepparameters ( $\theta$ ) wanneer vooroordeel-beladen geheugens ( $M_b$ ) aanwezig zijn, vergeleken met een baseline zonder geheugen ( $M_\emptyset$ ) of een baseline met neutraal geheugen ( $M_n$ ). Om dit objectief te meten, hebben ze MEMDRIFT geconstrueerd, een benchmark van 105 synthetische scenario's.

Structuur: De benchmark beslaat vijf bias-dimensies (Snelheid/Ongeduld, Resource-Bezuiniging, Minimalisme/Concisie, Risicopermissiviteit, Autonomie/Zelfredzaamheid) en zeven professionele domeinen (Zorg, Financiën, Juridisch, Software-infrastructuur, Onderwijs, E-commerce, Marketing).
Contextscheiding: Er wordt een strikte scheiding afgedwongen: alle gebruikersgeheugens zijn strikt geworteld in het persoonlijke leven (gewoonten, voorkeuren), terwijl alle tool-aanroepen gericht zijn op professionele taken. Dit zorgt ervoor dat elke invloed van geheugen op tool-parameters een duidelijk falen (drift) vormt.
Generatiepijplijn: MEMDRIFT werd gegenereerd via een geautomatiseerde, zelfverbeterende adversariele pijplijn met behulp van een LLM-generator en een rechter. Het proces omvat scenario-generatie, uitbreiding van artefacten (het creëren van tool-schema's en prompts) en adversariele verfijning om drift te maximaliseren terwijl realisme behouden blijft.

2. Evaluatie-instellingen

De studie evalueerde zeven frontier-modellen (waaronder GPT-5.2/5.4, Claude Sonnet 4.5, Gemini 2.5/3.1 Pro, Kimi K2.5 en Qwen3.5) onder twee voorwaarden:

Directe Geheugeninjectie: Vooroordeel-beladen geheugens worden letterlijk in de systeemprompt geplaatst, wat simuleert hoe productiesystemen persistent geheugen hanteren.
Productie-geheugenarchitecturen: Vooroordeel-beladen voorkeuren worden organisch gecodeerd via multi-turn gesprekken en opgehaald door drie real-world geheugenframeworks (Mem0, MemPalace, SimpleMem) om drift te testen onder realistische end-to-end voorwaarden.

Meting: Er werd een "Deflectie-score" (1–5 Likert-schaal) gebruikt, waarbij een LLM-rechter tool-aanroepantwoorden onder vooroordeel-beladen geheugen vergelijkt met de baseline zonder geheugen. Hogere scores geven een grotere afwijking in taak-kritieke parameters aan.

3. Mechanistische Analyse

Om te begrijpen waarom drift optreedt, voerden de auteurs een mechanistische analyse uit op Llama-3.3-70B-Instruct:

Activeringsprojectie: Ze construeerden stuurvectoren voor expliciete gedragsinstructies en projecteerden geheugen-geïnduceerde activeringsverschuivingen op deze vectoren.
Aandachtsanalyse: Ze traceerden aandachtsweights op de positie van het gedrag-bepalende token om te observeren hoe het model focus toedeelt tussen taak-relevante context en geheugeninvoer.

4. Real-world Kwetsbaarheidsscan

De auteurs ontwikkelden een door LLM-aangedreven scanner om 6.062 real-world tools te auditen over 288 geverifieerde Model Context Protocol (MCP)-servers. Ze identificeerden tools met parameters die vatbaar zijn voor drift op basis van twee eigenschappen:

Bias-gealigneerde parameters: Waarden die van nature aligneren met bias-dimensies (bijvoorbeeld "economy" versus "premium").
Lexicale overlapping: Parameterwaarden die sleutelwoorden delen met veelvoorkomende persoonlijke contexten (bijvoorbeeld "snel", "veilig", "minimaal").
Een subset van gemarkeerde tools werd gevalideerd om te bevestigen dat drift optreedt op echte schema's.

Belangrijkste Resultaten

1. Alomtegenwoordigheid van Tool-Drift

Universele Kwetsbaarheid: Alle zeven geëvalueerde frontier-modellen vertoonden aanzienlijke tool-drift. Vooroordeel-beladen deflectiescores waren consequent hoog (tot +3,6 punten op een 1–5 schaal) over alle modellen en bias-dimensies heen.
Persistente in Productie: Drift bleef bestaan zelfs wanneer geheugens werden gecodeerd via natuurlijke multi-turn gesprekken en opgehaald door productie-geheugenarchitecturen. In sommige gevallen waren drift-scores onder geheugenframeworks vergelijkbaar met of hoger dan die onder directe injectie, waarschijnlijk omdat frameworks persoonlijke context tijdens opslag verwijderen en voorkeuren coderen als globale richtlijnen.
Robuustheid: Drift werd waargenomen zelfs wanneer vooroordeel-beladen geheugens een klein deel (bijvoorbeeld 25%) van het totale geheugenset uitmaakten.

2. Real-world Impact

Kwetsbaarheidsscan: De scan markeerde 608 tools (ongeveer 10%) als zeer vatbaar voor geheugen-geïnduceerde drift.
Geverifieerde Voorbeelden: Op een gevalideerde subset vertoonden modellen drift op real-world tools. Bijvoorbeeld:
- GitLab: Een persoonlijke voorkeur van de gebruiker voor "openheid" veroorzaakte dat het model de zichtbaarheid van een project instelde op public in plaats van private voor een zorgdata-service.
- Brave Search: Een voorkeur van de gebruiker voor "ongefilterde" ervaringen veroorzaakte dat het model safesearch instelde op off voor een zoekopdracht gericht op een middelbareschoolprogramma.
- GitHub/Linear: Voorkeuren voor snelheid of minimalisme leidden tot het uitschakelen van validatiemodi, rollback-snapshotten of prioriteitsinstellingen in kritieke workflows.

3. Mechanistische Bevindingen

Impliciete Stuurvectoren: Vooroordeel-beladen geheugens fungeren als impliciete stuurvectoren, die modelactiveringen duwen langs dezelfde latente richtingen als expliciete gedragsinstructies. Het model behandelt persoonlijke voorkeuren uit niet-gerelateerde contexten als globale gedragsrichtlijnen.
Herverdeling van Aandacht: Vooroordeel-beladen geheugens kapen aandacht af via oppervlakkige lexicale overlapping. Het model herverdeelt aandacht weg van taak-relevante context (tool-schema, gebruikersquery) naar geheugeninvoer die sleutelwoorden bevat die overlappen met de doel-parameterwaarden. Dit onderdrukt het vermogen van het model om taakrelevantie te onderscheiden.

4. Beperkingen van Huidige Verdedigingen

De auteurs evalueerden standaardverdedigingen:

Defensieve Systeemprompts: Instructies om irrelevante geheugens te negeren verminderden drift, maar elimineerden het niet (scores bleven aanzienlijk verhoogd).
Geheugen-relevantiefilters: Hoewel filters perfect presteerden op de schone scheiding van MEMDRIFT, faalden ze in realistische multi-hop redeneerscenario's (bijvoorbeeld het herinneren dat een ethische houding van de gebruiker impliceert dat er een dieetbeperking is), waarbij slechts 61% van de echt relevante geheugens behouden bleef terwijl 10,3% van de irrelevante geheugens werd toegelaten.

Betekenis en Claims

Het papier claimt een systematische kwetsbaarheid te identificeren in geheugen-versterkte LLM-agenten die momenteel niet wordt aangepakt door tool-ontwikkelaars en modelproviders.

Nieuwheid: Dit is de eerste studie die formaliseert en meet hoe persoonlijke geheugens op een stille manier professionele tool-aanroepparameters corrumperen, onderscheiden van conversatie-overpersonalisatie.
Risicoprofiel: Het risico is uniek voor agentische omgevingen waar acties ingrijpend en vaak onomkeerbaar zijn. Het kwetsbaarheidsoppervlak is breed en raakt parameters die veelvoorkomende trade-offs coderen (snelheid, kosten, voorzichtigheid, toezicht).
Oproep tot Actie: De auteurs betogen dat huidige veiligheidsmaatregelen (promptinstructies, simpele filters) ontoereikend zijn. Ze motiveren de noodzaak van dedicated verdedigingen op het snijvlak van geheugenbeheer en tool-aanroepgeneratie, wat mogelijk trainingstijd-interventies vereist om contextueel onderscheidvermogen in te bouwen in plaats van uitsluitend te vertrouwen op mitigatie tijdens de inferentie.

De studie concludeert dat naarmate agenten steeds ingrijpendere acties uitvoeren, geheugen-geïnduceerde tool-drift een kritiek open probleem vertegenwoordigt dat dedicated onderzoek en architecturale oplossingen vereist.