🤖 machine learning

Memory as a Markov Matrix: Sample Efficient Knowledge Expansion via Token-to-Dictionary Mapping

Dit artikel stelt een steekproef-efficiënt kader voor voor continue kennisuitbreiding in grote taalmodellen door geheugen te representeren als een Markov-overgangsmatrix en gebruik te maken van een strategie voor token-woordenboekmapping met minimale updates van de embedding om nul catastrofaal vergeten te bereiken.

Oorspronkelijke auteurs: Kaustubh Pethkar, Ziyang Xiong, Zuofeng Shang, Yingcong Li

Gepubliceerd 2026-05-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kaustubh Pethkar, Ziyang Xiong, Zuofeng Shang, Yingcong Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) voor als een gigantische, uiterst georganiseerde bibliotheek van verhalen. Elke keer dat het model een zin leest, is het alsof een bibliothecaris naar het laatste woord kijkt en raadt welk woord erop volgt.

Meestal, als je deze bibliothecaris een gloednieuw woord wilt leren (zoals een nieuwe wetenschappelijke term of een slangwoord), moet je de hele bibliotheek opnieuw trainen. Maar hier zit het probleem: wanneer je de hele bibliotheek opnieuw traint om het nieuwe woord te leren, vergeet de bibliothecaris vaak hoe hij de oude verhalen correct moet vertellen. Dit wordt "catastrofale vergetelheid" genoemd.

Dit paper stelt een slimme, weinig inspanning vereisende manier voor om nieuwe woorden toe te voegen zonder de oude te beschadigen. Hier is de uiteenzetting met behulp van eenvoudige analogieën:

1. De Bibliotheek als een "Verkeerskaart" (Het Markov-idee)

De auteurs bekijken het taalmodel niet als een complex brein, maar als een verkeerskaart.

De Knopen: Elk woord in het woordenboek is een stad op de kaart.
De Wegen: De verbindingen tussen woorden zijn wegen. Als je in de stad "De" bent, zijn er specifieke wegen die leiden naar "kat", "hond" of "zon".
Het Geheugen: Het "geheugen" van het model is gewoon de kaart van deze wegen. Het weet dat "De" meestal met een bepaalde waarschijnlijkheid leidt naar "kat".

2. Het Probleem: Een Nieuwe Stad Toevoegen

Wanneer je het model een nieuw woord wilt leren (laten we het "Zorp" noemen), voeg je in wezen een nieuwe stad toe aan de kaart.

De Oude Manier (Volledige Fine-tuning): Je probeert de hele kaart opnieuw te tekenen om "Zorp" op te nemen. Hierbij wis je per ongeluk de wegen tussen de oude steden of verander je ze. De bibliothecaris vergeet dat "De" leidt naar "kat" en begint te zeggen dat "De" leidt naar "Zorp" in plaats daarvan.
De Manier van het Paper: In plaats van de hele kaart opnieuw te tekenen, voeg je gewoon een wegwijzer toe voor "Zorp". Je zegt: "Hé, als je 'Zorp' ziet, behandel het precies zoals je 'De' of 'Kat' behandelt."

3. De Oplossing: De "Token-naar-woordenboek"-kaart

Het paper stelt een strategie voor die Token-naar-woordenboek Mapping heet.

Stel je hebt een nieuw, raar woord "Zorp". In plaats van het model de betekenis van "Zorp" vanaf nul te leren, zeg je tegen het model: "Wanneer je 'Zorp' ziet, doe net alsof het het woord 'Ster' is."
Het model hoeft geen nieuwe wegen te leren voor "Zorp". Het hoeft alleen maar te weten dat "Zorp" naar hetzelfde bestemming wijst als "Ster".
Omdat het model de bestaande wegen (de overgangswaarschijnlijkheden tussen oude woorden) niet hoeft te veranderen, vergeet het nooit de oude verhalen.

4. De "Stalings-efficiëntie" (Waarom het snel is)

De auteurs bewijzen wiskundig dat dit ongelooflijk efficiënt is.

De Analogie: Als je een nieuw woord wilt leren, hoef je niet de hele bibliotheek opnieuw te lezen. Je hoeft alleen maar een paar voorbeelden te lezen van hoe dat nieuwe woord in zinnen wordt gebruikt.
De Wiskunde: Het aantal voorbeelden dat je nodig hebt, hangt af van hoeveel bestaande woorden je het nieuwe woord aan koppelt. Als je "Zorp" koppelt aan slechts 5 veelvoorkomende woorden, heb je slechts een klein beetje data nodig om het te leren. Je hoeft je geen zorgen te maken over de grootte van de hele bibliotheek (die misschien 100.000 woorden heeft).

5. Het Experiment: Wiskunde en Verzonnen Woorden Leren

De onderzoekers testten dit met twee scenario's:

De Magische Operator: Ze leerden een model een speciaal symbool (zoals ⟨spec⟩) dat "vermenigvuldigen" betekende.
- Resultaat: Het model leerde zeer snel vermenigvuldigen met het nieuwe symbool.
- De Win: Cruciaal was dat het model nog steeds wist hoe het getallen moest optellen. Bij andere methoden maakte het leren van het nieuwe symbool dat het model vergeten was hoe het moest optellen. Deze methode hield de optelskills perfect.
Verzonnen Woorden: Ze bedachten 100 nonsenswoorden (zoals "glor" en "zorp") en plaatsten ze in zinnen.
- Resultaat: Het model leerde deze verzonnen woorden correct te gebruiken zonder te vergeten hoe het Engels te spreken.
- Vergelijking: Andere methoden (zoals standaard fine-tuning of LoRA) zorgden ervoor dat het model Engels vergat terwijl het de verzonnen woorden leerde. De nieuwe methode veroorzaakte nul vergetelheid.

Samenvatting

Beschouw deze methode als het toevoegen van een nieuwe kamer aan een huis zonder de muren van de bestaande kamers af te breken.

Oude Manier: Om een nieuwe kamer toe te voegen, bouw je de hele fundering opnieuw. De oude kamers barsten en vallen uit elkaar.
Nieuwe Manier: Je bouwt de nieuwe kamer en plaatst een deur die direct leidt naar een bestaande hal. De oude hal blijft precies hetzelfde, en de nieuwe kamer past perfect.

Het paper beweert dat dit een wiskundig bewezen manier is om de woordenschat van een taalmodel uit te breiden met zeer weinig data en absoluut geen verlies van zijn eerdere kennis.

Technische Samenvatting: Geheugen als Markov-matrix

Probleemstelling

Grote Taalmodellen (LLMs) staan voor een kritieke uitdaging in continue leer: het opnemen van nieuwe kennis (bijv. nieuw vocabulaire, entiteiten of domeinen) zonder te lijden onder catastrofaal vergeten. Bestaande benaderingen, zoals volledige fine-tuning, regularisatie of replay-gebaseerde methoden, degraderen vaak eerder aangeleerd gedrag terwijl nieuwe kennis wordt ingebracht. Bovendien vertrouwen deze methoden doorgaans op grootschalige gewichtsupdates die vaak onomkeerbaar en rekenkundig duur zijn. De kernvraag die dit werk adresseert is: Hoe kunnen LLMs een kleine hoeveelheid nieuwe kennis opnemen zonder catastrofaal vergeten?

Methodologie

1. Markoviaanse Formulering van Taalgeneratie

De auteurs stellen een principieel kader voor dat autoregressieve taalgeneratie modelleert als een Markov-proces over tokens.

Toestandsruimte: Tokens corresponderen met de toestanden van de Markov-keten.
Overgangsmatrix: Het geheugen van het model wordt weergegeven door een Markov-overgangsmatrix, waarbij de waarschijnlijkheid van het volgende token $p_\theta(v | u)$ de overgangsdynamiek definieert van token $u$ naar $v$ .
Kennisuitbreiding als Toestandsuitbreiding: Het opnemen van nieuwe tokens ( $U$ ) wordt geformaliseerd als het uitbreiden van de toestandsruimte van $V$ naar $V \cup U$ .
Voorwaarde voor Nul-Vergeten: Om vergeten te voorkomen, moeten de overgangswaarschijnlijkheden tussen bestaande tokens ( $V \times V$ ) invariant blijven. Nieuwe tokens worden geïntegreerd door hun overgangsverdelingen ( $q(u)$ ) over het bestaande vocabulaire $V$ te definiëren, zonder de originele $V \to V$ -overgangen te wijzigen.

2. Token-naar-woordenboek Mapping

Om deze uitbreiding te realiseren zonder de originele overgangsstructuur te wijzigen, introduceren de auteurs een token-naar-woordenboek-mappingstrategie:

Concept: Nieuwe tokens worden niet aangeleerd als onafhankelijke entiteiten met unieke overgangsdynamiek. In plaats daarvan wordt elke nieuwe token $u \in U$ gemapt naar een schaarse combinatie van bestaande tokens in $V$ .
Embedding Tuning: Deze mapping wordt geïmplementeerd via een embedding-tuning-algoritme. Alleen de embeddingvectoren die corresponderen met de nieuw geïntroduceerde tokens worden bijgewerkt (of uitgebreid). De originele token-embeddings en de berekeningstaf van het model blijven bevroren.
Mechanisme: Door alleen de embedding van de nieuwe token bij te werken, leert het model de nieuwe token te representeren als een lineaire combinatie van bestaande semantische structuren (embeddings), waardoor de aangeleerde overgangsdynamiek van het basisvocabulaire effectief wordt hergebruikt.

3. Theoretische Analyse

Het artikel stelt steekproefcomplexiteitsgrenzen vast voor het leren van deze nieuwe tokens onder de mappingstrategie:

Een-op-één Mapping: Als een nieuwe token zich identiek gedraagt aan een enkel bestaand token, schaalt de steekproefcomplexiteit met de KL-scheidingsmarge ( $\gamma$ ) tussen tokenverdelingen, onafhankelijk van de totale vocabulairegrootte $T$ .
Schaarse Combinatie: In het meer algemene geval waarin een nieuwe token een schaarse combinatie is van $s$ bestaande tokens, schaalt het vereiste aantal steekproeven als $\tilde{O}(s)$ . Cruciaal is dat deze complexiteit afhangt van de schaarsheid van de representatie ( $s$ ) en niet van de totale vocabulairegrootte ( $T$ ) of modeldimensionaliteit.
Hogere-orde Ketens: Het kader breidt zich uit naar hogere-orde Markov-ketens (contextafhankelijke generatie) door de toestandsruimte te reconstrueren, waarbij de steekproefcomplexiteit afhangt van de effectieve vertakkingsfactor van natuurlijke taal in plaats van de exponentiële groei van het vocabulaire.

Belangrijkste Bijdragen

Markoviaanse Formulering: Het artikel formaliseert taalgeneratie als een Markov-proces en interpreteert modelgeheugen als een overgangsmatrix. Het presenteert vocabulaire-uitbreiding als een toestandsruimte-uitbreidingsprobleem waarbij vergeten wordt geëlimineerd door de originele overgangsdynamiek te behouden.
Theoretische Garanties: Het biedt steekproefcomplexiteitsgaranties die aantonen dat het leren van nieuw vocabulaire efficiënt is als nieuwe tokens schaars kunnen worden gemapt naar bestaande tokens. De kosten schalen lineair met het aantal gemapte tokens ( $s$ ), niet met de totale vocabulairegrootte.
Embedding Tuning Algoritme: De auteurs stellen een praktisch algoritme voor dat alleen de embeddings van nieuwe tokens bijwerkt. Deze methode induceert nul vergeten door constructie, aangezien de originele token-naar-token overgangswaarschijnlijkheden onaangeroerd blijven.
Empirische Validatie: Uitgebreide experimenten valideren de theorie in drie scenario's:
- Rekenkundige Operatoren: Het leren van een nieuwe token voor vermenigvuldiging toonde aan dat embedding tuning hoge nauwkeurigheid bereikte met minimale data terwijl de optelfunctie behouden bleef (nul vergeten), terwijl volledige fine-tuning catastrofaal vergeten van optellen veroorzaakte.
- Synthetisch Vocabulaire: Op synthetische nonsenswoorden bereikte embedding tuning sterke prestaties met nul vergeten op de WikiText-benchmark, terwijl LoRA en volledige fine-tuning aanzienlijk vergeten veroorzaakten.
- Cross-linguale Uitbreiding: Bij het uitbreiden van het vocabulaire voor Spaans, Duits en Arabisch behield embedding tuning bijna nul vergeten in het Engels terwijl de beste aanpassing aan de doeltaal werd bereikt.

Resultaten en Betekenis

Het artikel demonstreert dat grootschalige gewichtsupdates onnodig zijn voor het verwerven van kleine hoeveelheden nieuwe kennis. Door nieuwe tokens te behandelen als schaarse uitbreidingen van het bestaande embedding-woordenboek, bereikt de voorgestelde methode:

Steekproefefficiëntie: Hoge prestaties met aanzienlijk minder trainingssteekproeven in vergelijking met volledige fine-tuning.
Nul Vergeten: Theoretisch en empirisch bewijs bevestigt dat het alleen bijwerken van nieuwe token-embeddings de originele capaciteiten van het model volledig behoudt.
Schaalbaarheid: De aanpak is rekenkundig efficiënt en vereist updates van slechts een klein fractie van de parameters (de nieuwe token-embeddings).

De auteurs beweren dat dit werk de kloof overbrugt tussen theoretische steekproefcomplexiteit en praktische continue leer. Door LLM's te modelleren als Markov-processen, bieden ze een formele rechtvaardiging voor waarom embedding tuning vergeten voorkomt, en bieden ze een principieel alternatief voor heuristische, parameter-efficiënte fine-tuning-methoden. Het kader suggereert dat de "kosten" van het leren van nieuwe kennis worden bepaald door de semantische schaarsheid van de nieuwe concepten ten opzichte van het bestaande vocabulaire, in plaats van de pure grootte van het model.