🤖 machine learning

Mixture of Chapters: Scaling Learnt Memory in Transformers

Dit paper introduceert 'Mixture of Chapters', een architectuur voor transformatoren die schaalbare, leerbare geheugentokens gebruikt via een routeringsmechanisme om de opslagcapaciteit voor kennis te vergroten en vergeten tijdens training te verminderen, wat resulteert in betere prestaties dan traditionele modellen met een vergelijkbaar rekenvermogen.

Oorspronkelijke auteurs: Tasmay Pankaj Tibrewal, Pritish Saha, Ankit Meda, Kunal Singh, Pradeep Moturi

Gepubliceerd 2026-03-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Tasmay Pankaj Tibrewal, Pritish Saha, Ankit Meda, Kunal Singh, Pradeep Moturi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De "Boekverstandige" AI: Hoe een nieuwe methode Transformers slimmer en minder vergeetachtig maakt

Stel je een kunstmatige intelligentie (een Transformer) voor als een briljante student die alles uit zijn hoofd leert. Het probleem? Deze student heeft een enorme hersenkracht, maar geen fysieke notitieboekje. Als hij iets nieuws moet leren, moet hij de oude kennis in zijn hoofd "overschrijven". Dit zorgt ervoor dat hij de oude feiten vergeet (een fenomeen dat we "catastrophic forgetting" noemen) en dat hij moeite heeft om specifieke feiten snel op te halen zonder de hele "hersenen" te hoeven doorzoeken.

De auteurs van dit paper, Tasmay Tibrewal en zijn team, hebben een oplossing bedacht die ze "Mixture of Chapters" (MoC) noemen. Laten we dit uitleggen met een paar creatieve analogieën.

1. Het Probleem: Een bibliotheek zonder index

Normaal gesproken slaat een AI kennis op in zijn "gewichten" (de parameters). Dit is alsof de student alle boeken van de bibliotheek in zijn hoofd heeft opgeslagen, maar zonder een index. Om een antwoord te vinden, moet hij door alle boeken in zijn hoofd bladeren. Als de bibliotheek groeit (meer kennis), wordt dit zoeken extreem traag en duur.

2. De Oplossing: Een "Geheugenbank" met Hoofdstukken

De auteurs voegen een leerbaar geheugen toe. Denk hierbij niet aan een computergeheugen, maar aan een fysieke bibliotheek die de AI zelf bouwt tijdens het leren.

De Latente Tokens: In plaats van tekst op te slaan, slaat de AI kennis op als "geheime codes" (latente tokens). Het is alsof de student in plaats van de hele tekst van een boek, alleen de kernpunten op schuifkaarten zet.
De "Hoofdstukken" (Chapters): De bibliotheek is enorm groot (262.000 kaarten!). Als je elke kaart voor elke vraag zou moeten bekijken, zou het te lang duren. Daarom hebben de auteurs de bibliotheek opgedeeld in hoofdstukken (chapters).
- Analogie: Stel je een encyclopedie voor. Als je zoekt naar "Aardappelen", wil je niet door de hele encyclopedie bladeren. Je wilt direct naar het hoofdstuk "Landbouw" of "Voeding" gaan.
De Router (De Bibliothecaris): Voor elke vraag die de AI krijgt, heeft er een slimme "bibliothecaris" (de router) die kijkt: "Welke hoofdstukken zijn hier relevant?" Hij kiest slechts een klein aantal hoofdstukken (bijvoorbeeld 64 van de 4000) en negeert de rest.
- Dit maakt het zoeken supersnel en goedkoop, omdat de AI niet de hele bibliotheek hoeft te doorzoeken, maar alleen de relevante secties.

3. Waarom is dit zo cool? (De Voordelen)

A. Het "Vergeetachtige" Probleem Oplossen
Wanneer je een AI verder traint (bijvoorbeeld van "algemeen weten" naar "specifiek instructies volgen"), vergeet de normale AI vaak de oude feiten.

Met de nieuwe methode: De "bibliotheek" (het geheugen) fungeert als een anker. De feiten staan veilig opgeslagen in de kaarten. Als de AI nieuwe instructies leert, verandert hij de kaarten in de bibliotheek niet zomaar. Hij gebruikt ze als een stabiele bron van waarheid.
Resultaat: De AI vergeet minder snel wat hij eerder heeft geleerd, zelfs als hij nieuwe dingen leert.

B. Efficiëntie (Meer kennis, minder rekenkracht)
Omdat de AI alleen naar de juiste "hoofdstukken" kijkt, kan hij een enorme hoeveelheid kennis opslaan zonder dat het berekenen van antwoorden trager wordt. Het is alsof je een bibliotheek van 100.000 boeken hebt, maar je hoeft er maar 3 te openen om het antwoord te vinden.

4. Wat hebben ze bewezen?

De auteurs hebben hun model getest tegen standaard modellen:

Beter leren: Het model met de "bibliotheek" leerde sneller en beter dan modellen die evenveel rekenkracht gebruikten, maar geen extra geheugen hadden.
Minder vergeten: Na het trainen op nieuwe instructies (zoals het beantwoorden van vragen in een gesprek), bleef het model met de bibliotheek veel beter feiten onthouden (zoals in de tests MMLU en BoolQ) dan de standaard modellen, die veel meer vergaten.
Inzetbaar: Ze ontdekten zelfs dat ze de bibliotheek konden "bevriezen" tijdens het trainen van nieuwe instructies. De AI kon dan nieuwe dingen leren zonder de oude kennis in de bibliotheek te beschadigen.

Samenvatting in één zin

De auteurs hebben een slimme manier bedacht om AI's een extern, opvraagbaar notitieboekje te geven dat in hoofdstukken is verdeeld; hierdoor kunnen ze enorme hoeveelheden kennis opslaan, snel vinden wat ze nodig hebben, en minder snel vergeten wat ze al wisten.

Het is een stap in de richting van AI's die niet alleen "rekenen", maar echt "onthouden" op een manier die voor mensen logisch aanvoelt.

Titel: Mixture of Chapters: Scaling Learnt Memory in Transformers

Auteurs: Tasmay Pankaj Tibrewal, Pritish Saha, Ankit Meda, Kunal Singh, Pradeep Moturi (IIT Kharagpur & Fractal AI)
Datum: 24 maart 2026

1. Het Probleem

Transformers zijn krachtige modellen voor sequentiemodeling, maar ze missen een expliciet architecturaal mechanisme voor het opslaan en organiseren van kennis die tijdens het trainen is verworven.

Implicitie: Kennis is momenteel verspreid over de dichte modelparameters, wat het moeilijk maakt om deze kennis te inspecteren, te bewerken of onafhankelijk te schalen.
Bestaande oplossingen: Systemen vertrouwen vaak op inferentie-mechanismen zoals KV-cache, herhaling van vorige hidden states, of externe retrieval-augmented generation (RAG). Deze methoden hergebruiken context of halen externe informatie op, maar bieden geen geleerde interne geheugenopslag voor feitelijke kennis.
Schalingsprobleem: Het toevoegen van een groot, dichte geheugenbank aan een transformer leidt tot onbetaalbare rekentkosten (dichte cross-attention over een enorme bank is $O(L \cdot N_m)$ ).

2. Methodologie: Mixture of Chapters (MoC)

De auteurs introduceren een nieuwe architectuur die een transformer uitbreidt met een leerbaar, schaars geheugen dat via een "Mixture of Chapters" (MoC) strategie wordt benaderd.

A. Leerbaar Geheugenbank

Het geheugen bestaat uit een set van latent tokens (een bank $M$ van grootte $N_m \times d$ ), die willekeurig worden geïnitieerd en end-to-end worden getraind.
De transformerlaag leest dit geheugen via cross-attention: de tokenstroom genereert queries ( $Q$ ), terwijl het geheugen de keys ( $K$ ) en values ( $V$ ) levert.
Dit zorgt voor een compacte, interne opslag van feitelijke kennis in plaats van het ophalen van tekst.

B. Mixture of Chapters (MoC) Routing

Om de rekentkosten van het doorzoeken van een enorme geheugenbank beheersbaar te houden, wordt de bank opgesplitst in hoofdstukken (chapters):

Partitionering: De geheugenbank $M$ wordt verdeeld in $C$ hoofdstukken, elk met $T$ tokens ( $N_m = C \times T$ ).
Routering: Voor elke inputsequentie wordt een lichtgewicht router gebruikt. Deze router poolt de hidden states van de sequentie om een representatie te krijgen, berekent scores voor alle hoofdstukken en selecteert de top-k meest relevante hoofdstukken.
Schaalbaarheid: In plaats van te attenderen op alle $N_m$ $N_{m}$ tokens, attenteert het model alleen op de geselecteerde subset ( $k \times T$ $k \times T$ ). Dit verlaagt de complexiteit van $O(L \cdot N_m)$ $O (L \cdot N_{m})$ naar $O(L \cdot k \cdot T)$ $O (L \cdot k \cdot T)$ .
- Voorbeeld in het paper: Een bank van 262.208 tokens wordt opgesplitst in 4.097 hoofdstukken. Per input worden slechts 64 hoofdstukken geselecteerd.

3. Belangrijkste Bijdragen

Leerbaar associatief geheugen: Een persistent geheugen van latent tokens dat via cross-attention wordt benaderd, wat interne ophaaloperaties mogelijk maakt in een latente ruimte.
MoC voor schaarse toegang: Een nieuwe methode om geheugen te schalen door het op te delen in hoofdstukken en een router te gebruiken, geïnspireerd door Mixture-of-Experts (MoE). Dit maakt het mogelijk om geheugencapaciteit te vergroten zonder de rekentkosten exponentieel te laten stijgen.
Schalingsgedrag onder vaste compute: Evaluatie tegenover standaard transformers in iso-FLOP settings (gelijke rekentkosten), wat aantoont dat geheugen een nieuwe schalingsas biedt naast het vergroten van modelgrootte.
Behoud bij doorlopende training: Bewijs dat expliciet geheugen helpt bij het behouden van kennis tijdens zware post-training (zoals instruction fine-tuning) en "catastrophic forgetting" (vergeten) vermindert.

4. Resultaten

De modellen zijn getraind op 9,6 miljard tokens (pre-training) en vervolgens onderworpen aan zware instruction fine-tuning (IFT) op 230 miljoen tokens.

Pre-training Loss: Het MoC-model bereikte een lagere validatie-loss (2.79) dan zowel de "backbone-only" variant (2.92) als de iso-FLOP dichte baseline (2.86).
Behoud van kennis (Forgetting):
- Na de IFT-fase vertoonde de dichte baseline (Vanilla) aanzienlijk verlies in prestaties op kennisintensive taken (bijv. ARC-Challenge daalde met 6.69 punten, BoolQ met 6.24 punten).
- Het MoC-model bleef stabiel: BoolQ bleef bijna onveranderd (+0.24 punten) en ARC-Challenge daalde slechts met 2.68 punten (minder dan de helft van de daling bij de baseline).
Invriezen van het geheugen: Interessant genoeg presteerde het model even goed wanneer het geheugenbank tijdens de IFT-fase bevroren werd (niet bijgewerkt), vergeleken met wanneer het wel werd bijgewerkt. Dit suggereert dat het vooraf getrainde geheugen al voldoende kennis bevat om de feitelijke basis te behouden.
Compute-efficiëntie: Het MoC-model heeft meer parameters dan de dichte baseline (door het geheugen), maar door de schaarse routing is de rekentijd (FLOPs) vergelijkbaar met een dichter model van een bepaalde grootte.

5. Betekenis en Conclusie

Dit paper introduceert een nieuwe schalingsas voor Large Language Models (LLMs): expliciete, leerbare geheugencapaciteit.

Complementaire schaling: Het toont aan dat het toevoegen van een geheugenbank complementair is aan het simpelweg vergroten van modelparameters. Het biedt een manier om feitelijke kennis te "ankeren" zonder de rekentkosten van een volledig dichte attention-mechanisme.
Oplossing voor vergeten: De resultaten suggereren dat een expliciet geheugen het probleem van "catastrophic forgetting" tijdens doorlopende training (continual learning) kan mitigeren, omdat de feitelijke kennis gescheiden blijft van de adaptieve parameters van de backbone.
Toekomstperspectief: De methode biedt een pad naar modellen met enorme geheugencapaciteit (honderdduizenden tokens) die toch efficiënt blijven, en opent de deur voor meer interpreteerbare geheugens waar specifieke kennis in specifieke "hoofdstukken" kan worden gelokaliseerd en bewerkt.

Kortom, Mixture of Chapters bewijst dat het integreren van een schaars, leerbaar geheugen in transformers een effectieve manier is om de prestaties, kennisretentie en schaalbaarheid van AI-modellen te verbeteren zonder de rekenkosten onbeheersbaar te maken.