💬 NLP

MeMo: Towards Language Models with Associative Memory Mechanisms

Dit artikel introduceert MeMo, een nieuwe taalmodelleringsarchitectuur die tokensequenties expliciet opslaat in gelaagde associatieve geheugens om transparantie, modelbewerking en de mogelijkheid om specifieke teksten te vergeten mogelijk te maken.

Oorspronkelijke auteurs: Fabio Massimo Zanzotto, Elena Sofia Ruzzetti, Giancarlo A. Xompero, Leonardo Ranaldi, Davide Venditti, Federico Ranaldi, Cristina Giannone, Andrea Favalli, Raniero Romagnoli

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Fabio Massimo Zanzotto, Elena Sofia Ruzzetti, Giancarlo A. Xompero, Leonardo Ranaldi, Davide Venditti, Federico Ranaldi, Cristina Giannone, Andrea Favalli, Raniero Romagnoli

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren praten. De huidige manier waarop we dit doen (met behulp van "Transformers") is alsof je de robot dwingt om een bibliotheek vol boeken te lezen en vervolgens te proberen het volgende woord te raden op basis van een vaag, wazig gevoel van wat hij misschien eerder heeft gezien. Het leert door onzichtbare knoppen in zijn brein aan te passen totdat hij het juiste antwoord krijgt. Dit is krachtig, maar het is een "black box" — we weten niet echt waar de robot een specifieke feit opslaat, en als we willen dat hij iets vergeet, moeten we het hele brein opnieuw trainen.

Het paper "MeMo" stelt een compleet andere aanpak voor. In plaats van te raden op basis van vage gevoelens, bouwt MeMo een letterlijke, georganiseerde archiefkast voor het geheugen van de robot.

Hier is hoe MeMo werkt, onderverdeeld in eenvoudige concepten:

1. Het kernidee: "Eerst onthouden, later leren"

Huidige modellen proberen patronen te leren terwijl ze onthouden. MeMo draait dit om. Het zegt: "Laten we eerst gewoon de feiten in een lade leggen."

Denk aan het verschil tussen een Bibliotheek versus een Gevoel.

Huidige Modellen: Als een persoon die zoveel boeken heeft gelezen dat hij de afloop van een verhaal kan raden omdat het "goed voelt". Hij kan het fout hebben, of hij kan een detail uit een ander boek erdoorheen mengen.
MeMo: Als een bibliothecaris die een specifieke kaart heeft voor elke zin. Als je vraagt: "Wat komt er na 'De kat zat op de...'", dan raadt de bibliothecaris niet; hij pakt de exacte kaart waarop "mat" staat, omdat hij het daar heeft opgeschreven.

2. Het magische hulpmiddel: "Correlation Matrix Memories" (Het Post-it systeem)

Om deze archiefkast te laten werken, gebruikt MeMo een wiskundige truc genaamd Correlation Matrix Memories (CMM).

Stel je voor dat je een gigantisch whiteboard hebt.

De Input (De Sleutel): Je neemt een zin (zoals "De kat zat op de") en zet deze om in een uniek, willekeurig patroon van stippen (een vector).
De Output (De Waarde): Je neemt het volgende woord (zoals "mat") en zet dit om in een ander patroon van stippen.
De Opslag: Je tekent een lijn die de "Zinspatroon" verbindt met het "Woordpatroon" op het whiteboard.

Als je een miljoen zinnen hebt, teken je gewoon een miljoen lijnen op hetzelfde whiteboard. Omdat de patronen zo zijn ontworongen dat ze uniek zijn, raken de lijnen niet in de knoop. Wanneer je wilt onthouden, wijs je simpelweg naar het "Zinspatroon" en licht het verbonden "Woordpatroon" op het whiteboard op.

Waarom is dit cool?

Transparantie: Je kunt naar het whiteboard kijken en precies zien welke zin met welk woord verbonden is. Er zijn geen verborgen geheimen.
Bewerken: Als je wilt dat de robot een specifieke zin vergeet, hoef je niet het hele brein opnieuw te trainen. Je pakt gewoon een gum en veegt die ene lijn van het whiteboard af.

3. Het probleem met korte geheugens (De Single-Layer Limit)

In het eerste experiment bouwden de onderzoekers een enkel whiteboard. Het werkte geweldig voor korte zinnen (zoals 4 woorden lang). Maar als je probeerde een lange paragraaf in te voeren, raakten de lijnen te druk en begon de robot in de war te raken. Het was alsof je een hele roman op een enkel briefje probeerde te schrijven.

4. De oplossing: De Multi-Layer Tower (De MeMo Architectuur)

Om lange teksten aan te kunnen, stapelt MeMo deze whiteboards op elkaar, als een bibliotheek met meerdere verdiepingen.

Verdieping 1: Onthoudt paren van woorden (bijv. "kat" + "zat").
Verdieping 2: Onthoudt groepen van vier woorden (bijv. "De kat zat op").
Verdieping 3: Onthoudt zelfs nog langere stukken.

Wanneer je een vraag stelt, controleert de robot de onderste verdieping, dan de volgende verdieping omhoog, enzovoort, en combineert de aanwijzingen van elk niveau om het antwoord te vinden. Dit stelt hem in staat om veel langere sequenties te onthouden zonder in de war te raken, net zoals een mens het kortetermijngeheugen gebruikt om op te bouwen naar een volledige zin.

5. Wat de experimenten lieten zien

De onderzoekers testten dit systeem met willekeurige zinnen en woorden:

Capaciteit: Ze ontdekten dat hoe meer "ruimte" (parameters) ze de whiteboards gaven, hoe meer zinnen het kon bevatten. Het is een directe, lineaire relatie: een groter bord = meer geheugen.
Complexiteit: Wanneer ze de zinnen moeilijker maakten (door "decoys" of verwarrende, vergelijkbare woorden toe te voegen), ontdekten ze dat meer verdiepingen (layers) noodzakelijk waren. Een bibliotheek met één verdieping kon de verwarring niet aan, maar een bibliotheek met drie verdiepingen wel.
Nauwkeurigheid: Met voldoende lagen en ruimte kon het systeem meer dan 250.000 sequenties onthouden met een zeer hoge nauwkeurigheid, zelfs wanneer de zinnen lastig waren.

Samenvatting

MeMo is een nieuwe manier om taalmodellen te bouwen die geheugen behandelt als een transparant, bewerkbaar archiefsysteem in plaats van een black-box raadspel.

Het slaat tekst direct op via wiskundige verbindingen.
Het haalt tekst op door die verbindingen op te zoeken.
Het vergeet tekst door simpelweg de verbinding te wissen.

Het paper beweert dat dit taalmodellen eerlijker maakt (je kunt zien wat ze weten), makkelijker te repareren (je kunt specifieke slechte herinneringen verwijderen) en in staat is om lange teksten te verwerken door deze geheugenlagen op te stapelen. De auteurs merken op dat omdat dit een nieuwe architectuur is, het nog niet perfect past in de bestaande softwaretools die door de meeste AI-ontwikkelaars worden gebruikt, maar de geheugencapaciteiten zelf werken zeer goed.

Technische Samenvatting: MeMo – Naar Taalmodellen met Associatieve Geheugenmechanismen

Probleemstelling

Huidige Transformer-gebaseerde Large Language Models (LLMs) bereiken een hoge prestatie door complexe sequentiële afhankelijkheden te leren via uitgebreide training, waarbij memorisatie een emergent bijproduct is van gewichtoptimalisatie. Hoewel deze aanpak uitblinkt in generalisatie, ontbreken het vaak aan transparantie en expliciete controle over opgeslagen informatie. De auteurs stellen dat het heersende paradigma leren als het primaire mechanisme beschouwt, met memorisatie als een secundair resultaat. Echter, voor taken die een exacte feitelijke herinnering, vraagbeantwoording en informatieextractie vereisen, is het vermogen van een model om gegevens expliciet te onthouden cruciaal. Bestaande methoden om LLM's te bewerken of te controleren vertrouwen vaak op post-hoc interventies, terwijl de auteurs een fundamentele verschuiving voorstellen: het ontwerpen van architecturen waarbij memorisatie voorafgaat aan leren. Het doel is om een taalmodel te creëren dat tokensequenties expliciet opslaat op een transparante, bewerkbare wijze, wat gecontroleerd vergeten en directe manipulatie van opgeslagen kennis mogelijk maakt.

Methodologie

Het artikel introduceert MeMo, een nieuwe architectuur voor taalmodellering die de standaard gewichtsgebaseerde leerprocessen van Transformers vervangt door gelaagde Correlation Matrix Memories (CMMs). De architectuur is gebouwd op drie kern theoretische pijlers:

Multivariate Gaussische Willekeurige Vectoren: Tokens en sequenties worden gerepresenteerd als willekeurige vectoren in een hoogdimensionale ruimte. Door gebruik te maken van de Johnson-Lindenstrauss Lemma, worden deze vectoren naar een lagerdimensionale ruimte ( $R^d$ ) gemapt terwijl hun afstanden behouden blijven. Dit zorgt ervoor dat onderscheidende tokens bijna orthogonaal zijn ( $a^T b \approx 0$ als $a \neq b$ ) en identieke tokens sterk gecorreleerd zijn ( $a^T b \approx 1$ als $a = b$ ).
Correlation Matrix Memories (CMMs): In plaats van gewichten te leren, slaat MeMo associaties op als de som van buitenste producten van sleutel-waarde paren. Een CMM $C$ wordt gedefinieerd als $C = \sum k_i v_i^T$ , waarbij $k_i$ een sequentie (sleutel) vertegenwoordigt en $v_i$ het volgende token (waarde). Retrieval wordt uitgevoerd door de input-sequentievector te vermenigvuldigen met de CMM-matrix.
Johnson-Lindenstrauss Transform (JLT): Deze transformatie wordt gebruikt om sequenties van tokens in de doelruimte $R^d$ in te bedden, wat ervoor zorgt dat zowel de input-sequenties als de output-vectoren in dezelfde dimensieruimte verblijven, wat het associatieve retrievalproces vergemakkelijkt.

Architectuurvarianten

Het artikel beschrijft twee configuraties:

Single-Layer MeMo: Gebruikt een enkele CMM om vaste vensters van tokens ( $h$ ) te onthouden en het volgende token te voorspellen. Het demonstreert dat een enkele matrix kan generaliseren over gedeeltelijke sequenties op basis van de overlap van tokens.
Multi-Layer MeMo: Om langere sequenties te verwerken, stapelt de architectuur meerdere CMM-lagen op elkaar.
- Memorizatie Fase: Lagere lagen coderen sequenties van elementen in unieke representaties. Deze representaties worden opgeslagen als sleutels in de CMM, waarbij de waarden de gecodeerde sequentie als geheel zijn. De laatste laag slaat de relatie tussen lange sequenties en het volgende token op.
- Retrieval Fase: Tussenliggende lagen halen encodings van groeiende sequentielengtes op, die worden opgeteld om de laatste laag te bevragen voor de voorspelling van het volgende token.
- Vergeten: Een uniek kenmerk van MeMo is het vermogen om opgeslagen teksten expliciet te "vergeten". Dit wordt bereikt door het buitenste product van de sequentie en het token van de CMM-matrix af te trekken, waardoor de specifieke associatie effectief wordt gewist zonder hertraining.

Belangrijkste Bijdragen

Paradigmaverschuiving: Het artikel stelt een verschuiving voor van "leren om te memoriseren" naar "memoriseren om te leren", waarbij een architectuur wordt ontworpen waarin geheugen expliciet en structureel is in plaats van impliciet in gewichten.
MeMo Architectuur: De introductie van een taalmodel gebaseerd op gelaagde CMMs en willekeurige vectorrepresentaties, wat een wiskundig transparant mechanisme biedt voor sequentievoorspelling.
Bewerkbaarheid en Transparantie: Het ontwerp ondersteunt inherent modelbewerking, inclus\nbij de specifieke capaciteit om teksten te vergeten, wat een mechanisme biedt om datalekken en sociale vooroordelen te mitigeren door specifieke opgeslagen associaties te verwijderen.
Expliciete Kennismodellering: De architectuur opent de mogelijkheid om expliciete kennismodellering (bijv. kennisgrafen, linguïstische ontologieën) direct in neurale taalmodellen te integreren, wat potentieel de behoefte aan data kan verminderen.

Experimentele Resultaten

De auteurs voerden experimenten uit om de memorisatiecapaciteit van zowel single-layer als multi-layer configuraties te evalueren:

Single-Layer Capaciteit: Experimenten met willekeurige symbolensequenties toonden een lineaire relatie aan tussen het totaal aantal parameters in de CMM en het aantal sequenties dat met hoge nauwkeurigheid kan worden opgeslagen (gedefinieerd als gemiddelde nauwkeurigheid > 0,9). Dit komt overeen met de lineaire schaalwetten waargenomen bij traditionele Transformers, maar past toe op expliciete memorisatie.
Multi-Layer Capaciteit:
- Dimensionaliteit: Het vergroten van de innerlijke dimensie $d$ verbeterde de memorisatieprestaties aanzienlijk. Een dimensie van $d=4096$ was vereist om een hoge nauwkeurigheid (>0,97) te behouden op eenvoudige sequenties, terwijl $d=8192$ noodzakelijk was voor complexe sequenties met een hoge "decoy"-ratio (herhaalde tokens die verschillende contexten vereisen).
- Laagdiepte: Het vergroten van het aantal lagen ( $l$ ) verbeterde het vermogen om langere sequenties te onthouden en complexe contexten aan te pakken. Bijvoorbeeld, met 40 decoys waren ten minste drie lagen vereist om een opslagcapaciteit boven de 0,88 te bereiken voor 250.000 sequenties.
- Generalisatie: De multi-layer aanpak slaagde erin de memorisatiecapaciteit uit te breiden voorbij wat een single layer kon bereiken, wat de gestapelde CMM-aanpak voor langere contexten valideert.

Betekenis en Claims

Het artikel beweert dat MeMo een belangrijke stap is richting transparante en bewerkbare taalmodellen. Door memorisatie te ontkoppelen van de ondoorzichtige gewichtupdates van standaard Transformers, biedt MeMo:

Controle: Directe controle over wat wordt onthouden, hoe het wordt opgeslagen en hoe het wordt geraadpleegd.
Veiligheid: Het vermogen om datalekken en sociale vooroordelen te mitigeren via expliciete vergeetmechanismen.
Integratie: De potentie om traditionele linguïstische studies en expliciete kennisstructuren te benutten binnen het tijdperk van large language models.

De auteurs erkennen beperkingen, zoals het feit dat de huidige implementatie compatibiliteitsproblemen heeft met het bestaande Hugging Face ecosysteem, wat directe vergelijking met state-of-the-art Transformers via standaard evaluatiesets verhindert. Ze stellen echter dat dit de gedemonstreerde memorisatiecapaciteiten van de architectuur niet vermindert. Het werk beoogt de controle terug te geven aan kennisexperts en linguïsten, en biedt een pad om de datahonger van LLM's te verminderen door geheugenmechanismen expliciet en beheersbaar te maken.