🤖 machine learning

Toeplitz MLP Mixers are Low Complexity, Information-Rich Sequence Models

Het artikel introduceert de Toeplitz MLP Mixer (TMM), een transformer-achtige architectuur die attention vervangt door driehoekig gemaskerde Toeplitz-matrixvermenigvuldiging om sub-kwadratische complexiteit te bereiken, terwijl deze tegelijkertijd superieure trainings-efficiëntie, informatiebehoud en prestaties bij contextueel leren demonstreert in vergelijking met andere sub-kwadratische modellen.

Oorspronkelijke auteurs: Benjamin L. Badger, Ethan Roland

Gepubliceerd 2026-05-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Benjamin L. Badger, Ethan Roland

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Bibliotheek van Babel"-Flesnek

Stel je voor dat je een verhaal probeert te schrijven, maar elke keer als je een nieuwe zin wilt toevoegen, moet je je hele verhaal vanaf het allereerste woord opnieuw lezen. Als je verhaal kort is, is dit makkelijk. Maar als je verhaal een hele roman is, duurt het eeuwen om het telkens opnieuw te lezen voor elk nieuw woord.

Dit is precies het probleem met huidige top-AI-modellen (zogenaamde Transformers). Ze gebruiken een mechanisme genaamd "attention" (aandacht) dat hen in staat stelt om naar elk vorig woord te kijken om het volgende te bepalen. Hoewel dit krachtig is, wordt het ongelooflijk traag en geheugenhongerig naarmate de tekst langer wordt. Het is alsof je probeert een specifiek boek te vinden in een bibliotheek waar je elk boek op elke plank moet controleren voordat je er een kunt oppakken.

De Nieuwe Oplossing: De "Toeplitz Mixer"

De auteurs introduceren een nieuw model genaamd de Toeplitz MLP Mixer (TMM). Denk hierbij aan een nieuwe manier om die bibliotheek te organiseren.

In plaats van elk boek individueel te controleren, gebruikt de TMM een speciaal, herhalend patroon (wiskundig een Toeplitz-matrix genoemd) om de informatie te organiseren.

De Analogie: Stel je een transportband in een fabriek voor. In een standaardmodel moet een arbeider de hele lijn aflopen om een specifiek onderdeel te pakken. Bij de TMM zijn de onderdelen gerangschikt in een herhalend, voorspelbaar patroon. De arbeider kan een kortere weg nemen (een wiskundige truc genaamd de Fast Fourier Transform) om precies wat ze nodig hebben direct te grijpen, ongeacht hoe lang de lijn is.
Het Resultaat: Dit maakt het model veel sneller en verbruikt minder geheugen, vooral wanneer het voor het eerst een lange prompt leest (zoals het vooraf invullen van een document).

De Verrassing: Snelheid Betekent Niet "Dom"

Meestal wordt een computermodel "dommer" als je het sneller maakt door te vereenvoudigen hoe het data bekijkt. Het begint dingen te vergeten.

De "State Space"-Modellen: Andere snelle modellen (zoals Mamba) proberen efficiënt te zijn door een enkele "samenvatting" van alles wat ze tot nu toe hebben gelezen bij te houden. Het is alsof je probeert een boek van 500 pagina's te onthouden door alleen de laatste zin te onthouden. Dit is snel, maar het model vergeet vaak details.
Het TMM-voordeel: De TMM vertrouwt niet op één samenvatting. Het houdt het "patroon" van de hele tekst toegankelijk.
- De Kopieer-test: De auteurs testten dit door modellen te vragen een lange lijst met nummers of woorden te kopiëren.
- Het Resultaat: Terwijl de "samenvatting"-modellen (Mamba) moeite hadden om de lijst te onthouden, kon de TMM deze bijna perfect kopiëren, net als de trage, zware Transformers. Het behield de informatie veel beter dan andere snelle modellen.

Waarom Werkt Dit? (De "Geen Bias"-Theorie)

Het artikel suggereert dat andere snelle modellen ingebouwde "biases" of gewoonten hebben. Bijvoorbeeld, ze zijn misschien geprogrammeerd om extra aandacht te schenken aan de meest recente woorden en de oudere te negeren.

De Analogie: Stel je een student voor die alleen het laatste hoofdstuk van een leerboek bestudeert omdat ze denken dat dit het belangrijkste is. Ze kunnen misschien een toets over het laatste hoofdstuk halen, maar zakken als ze worden gevraagd over het begin.
De TMM: De TMM heeft deze bias niet. Het behandelt het patroon van de tekst gelijkmatig. Omdat het zichzelf niet dwingt om oude informatie te vergeten, houdt het van nature meer details vast, wat leidt tot betere prestaties bij taken zoals het vinden van specifieke feiten in een lang document of het volgen van complexe instructies.

De "Magie" van Inverteerbaarheid

De auteurs deden diepgaande wiskundige analyses (met behulp van zoiets als "operator index theorie") en vonden een tegenintuïtief feit:

Hoewel de TMM is ontworpen om informatie op een manier te verwerken die zou moeten leiden tot verlies van details (omdat het een "causaal" model is dat alleen vooruit kijkt), toont de wiskunde aan dat de interne lagen eigenlijk zeer dicht bij omkeerbaar liggen.
De Analogie: Stel je een machine voor die papier verscheurt. Meestal kun je het papier niet terugkrijgen. Maar de TMM is als een versnipperaar die het papier in stroken snijdt die nog steeds perfect uitgelijnd zijn. Als je het juiste gereedschap hebt, kun je ze bijna perfect weer aan elkaar plakken. Dit suggereert dat het model de "vorm" van de originele informatie zeer goed vasthoudt, zelfs terwijl het deze verwerkt.

De Haken en Ogen (Beperkingen)

Het artikel is eerlijk over wat de TMM nog niet kan:

Schalen: Ze testten modellen die relatief klein zijn (20 tot 300 miljoen parameters). We weten nog niet of dit werkt voor de enorme modellen die vandaag de dag door grote techbedrijven worden gebruikt.
Eén Woord per Tijd Genereren: Hoewel de TMM supersnel is in het lezen van een lange prompt (de "prefill"-fase), vertraagt het zodra het begint met het genereren van tekst, één woord per keer, tot dezelfde snelheid als de oude Transformers. Het is snel aan het begin, maar niet noodzakelijk snel op de finish.

Samenvatting

De Toeplitz MLP Mixer is een nieuw type AI-architectuur die een slimme wiskundige kortweg gebruikt om lange teksten snel te lezen zonder details te vergeten. Het bewijst dat je geen "geheugen" hoeft op te offeren om "snelheid" te krijgen. Het werkt als een bibliothecaris die een slim bestandssysteem gebruikt om boeken direct te vinden, in plaats van een bibliothecaris die probeert de hele bibliotheek in zijn hoofd te onthouden.

Technische Samenvatting: Toeplitz MLP Mixers als Sequentiële Modellen met Lage Complexiteit en Rijke Informatie

1. Probleemstelling

Op transformatoren gebaseerde Large Language Models (LLM's) zijn fundamenteel beperkt door de kwadratische tijds- ( $O(n^2)$ ) en ruimtelijke complexiteit van zelf-aandachtsmechanismen. Hoewel er diverse pogingen zijn gedaan om deze complexiteit te reduceren naar sub-kwadratische of lineaire niveaus (bijvoorbeeld door het lineariseren van aandacht, of staatsruimtemodellen zoals Mamba), introduceren deze benaderingen vaak aanzienlijke afwegingen. Specifiek lijden modellen met lineaire complexiteit vaak aan verminderde trainings-efficiëntie, numerieke instabiliteit en een opvallend onvermogen om invoerinformatie te behouden. Dit tekort aan informatiebehoud manifesteert zich als slechte prestaties in taken die nauwkeurig kopiëren, leren in context en ophalen uit lange context vereisen; dit zijn kenmerken van moderne LLM-capaciteiten. De kernuitdaging is om de rekencomplexiteit te verminderen zonder zware restricties op de toegang tot tokeninformatie op te leggen die deze emergente capaciteiten aantasten.

2. Methodologie: De Toeplitz MLP Mixer (TMM)

De auteurs introduceren de Toeplitz MLP Mixer (TMM), een architectuur die lijkt op een transformer, maar zelf-aandacht vervangt door driehoekig gemaskerde Toeplitz-matrixvermenigvuldiging over de sequentiedimensie.

Kernarchitectuur

Toeplitz-parametrisatie: In tegenstelling tot standaard MLP Mixers, waarbij tokenmixing-weights arbitrële matrices zijn, parametriseren TMM's deze weights als Toeplitz-matrices. In een Toeplitz-matrix zijn alle waarden op een gegeven diagonaal identiek, waardoor de volledige matrix kan worden weergegeven door een enkel vector (de eerste rij en kolom).
Causale Maskering: Om causaliteit af te dwingen voor voorspelling van het volgende token, wordt de gematerialiseerde weightmatrix driehoekig gemaskerd. In de implementatie worden activaties links vermenigvuldigd met deze gemaskerde Toeplitz-matrix ( $T'$ ), die bovenste-driehoekig is.
Berekening via FFT: Door de Toeplitz-matrix in te bedden in een circulaire matrix, maken de auteurs gebruik van de Fast Fourier Transform (FFT) om het matrix-vectorproduct te berekenen. Dit reduceert de rekencomplexiteit van $O(n^2)$ naar $O(dn \log n)$ tijdens training en het invullen (prefill) van inferentie, met een ruimtelijke complexiteit van $O(dn)$.
Multi-Head en Multi-Kernel Varianten: De architectuur ondersteunt multi-headed configuraties waarbij onafhankelijke Toeplitz-matrices worden toegepast op geprojecteerde head-dimensies. Daarnaast staan "kernel"-varianten toe om te mixen langs een beperkt aantal elementen van de verborgen dimensie, analoog aan 1D-convoluties.

Theoretische Grondslagen

Het artikel analyseert TMM's door de lens van de operatorindextheorie. Specifiek wordt de Fredholm-index van de getrainde Toeplitz-lagen onderzocht. De auteurs merken op dat TMM's niet strikt omkeerbaar zijn over alle mogelijke invoeren, maar dat getrainde causale TMM-lagen vaak indices vertonen (specifiek -1) die verschuifoperatoren doen denken, wat wijst op een mechanisme voor sequentiële informatieverplaatsing dat verschilt van de biases die in andere architecturen worden gevonden.

3. Belangrijkste Bijdragen en Claims

Het artikel doet drie primaire claims over de effectiviteit van TMM's in vergelijking met andere sub-kwadratische architecturen (zoals Hyena, Mamba en Transformers met vensteraandacht):

Trainings-efficiëntie: Onder constante rekenvoorwaarden bereiken TMM's vergelijkbare of lagere evaluatieverliezen dan andere sub-kwadratische modellen. Ze vertonen superieure convergentiesnelheden ten opzichte van lineaire-complexiteit baselines zoals Hyena en Mamba.
Informatiebehoud: TMM's behouden aanzienlijk meer invoerinformatie dan vergelijkbare sub-kwadratische modellen. Dit wordt onderbouwd door:
- Informatie-extractie: Hogere fideliteit bij het regenereren van invoersequenties vanuit de laatste verborgen staat.
- Kopieervermogen: TMM's benaderen of overtreffen de trainings-efficiëntie van kwadratische-complexiteit Transformers voor kopieertaken, een taak waarbij Mamba- en Hyena-modellen doorgaans worstelen.
- Informatiecapaciteit: Wanneer expliciet getraind om informatiebehoud te maximaliseren, vertonen TMM's een hogere informatieve capaciteit dan Hyena- of Mamba-modellen, zelfs wanneer ze aanzienlijk minder rekenkracht vereisen (1/2 tot 1/8e) om te trainen.
Benchmarks: Door superieur informatiebehoud presteren TMM's beter dan andere modellen met lage complexiteit op benchmarks die een nauwkeurige invoerrepresentatie vereisen, zoals Informatieopslag (IR) en Leren in Context (ICL), terwijl ze gelijkwaardig presteren op algemene taalbegrijptaken.

4. Experimentele Resultaten

De auteurs trainden modellen op een subset van 10 miljard tokens van FineWeb-edu en evalueerden deze tegenover Transformers, Mamba 2 en Hyena-modellen.

Trainings-efficiëntie: TMM's convergeerden sneller dan Hyena- en Mamba-modellen wanneer deze werden afgestemd op rekenkracht en geheugen. De auteurs merken op dat implementaties van lineaire aandacht leden onder numerieke instabiliteit en trage convergentie, wat hen ertoe bracht zich te richten op TMM's.
Kopieertaak: In een taak waarbij modellen 512 tokens van invoer naar uitvoer moesten kopiëren, bereikten TMM's een trainings-efficiëntie die vergelijkbaar was met die van Transformers. Opmerkelijk is dat een TMM met 1/32e van de modeldimensie ( $d_m$ ) van een Hyena-model bijna identieke kopieer-efficiëntie bereikte. De studie vond dat trainbare Toeplitz-parameters cruciaal waren; het bevriezen van deze matrices resulteerde in een volledig falen om te kopiëren, terwijl alleen trainbare head-projecties onvoldoende waren.
Benchmarks:
- IR/ICL: TMM's presteerden beter dan Hyena op SQuAD, SQuAD v2, LongBench en IFEval.
- Algemene Taken: TMM's presteerden gelijkwaardig aan Hyena en Transformers op taken zoals ARC-Easy, GLUE en HellaSwag.
Ablatiestudies: De auteurs vonden dat het gebruik van twee opeenvolgende Toeplitz-lagen gescheiden door een niet-lineariteit (standaard MLP mixer-stijl) minder efficiënt was dan een enkele laag. Bovendien verbeterde het verhogen van het aantal heads de asymptotische convergentie, terwijl het vergroten van de kernelgrootte boven een bepaald punt de efficiëntie verminderde.

5. Betekenis en Beperkingen

Betekenis

Het artikel stelt dat de TMM een "eenvoudig, aandachtsvrij pad" biedt naar concurrerende trainings-efficiëntie en snelle decoding. De primaire betekenis ligt in het aantonen dat modellen met lage complexiteit niet inherent zware architecturale biases vereisen (zoals recency-bias of selectiviteit van staatsruimte) die informatiebehoud aantasten. Door expliciete Toeplitz-parametrisatie te gebruiken, vermijdt het model de "kopieergap" die bij Mamba en Hyena wordt waargenomen, wat suggereert dat gestructureerde toegangspatronen (Toeplitz) de informatie-rijke capaciteiten van Transformers kunnen behouden zonder de kwadratische kosten tijdens de prefill-fase.

De auteurs benadrukken ook een tegenintuïtieve theoretische bevinding: getrainde causale TMM-lagen, die niet omkeerbaar zijn over hun volledige invoerruimte, bezitten vaak Fredholm-indices die dichter bij nul liggen (of specifiek -1, optredend als verschuifoperatoren) dan modellen die expliciet zijn getraind op omkeerbaarheid (zoals auto-encoders). Dit suggereert dat de "omkeerbaarheid" van een laag in een causaal model minder gaat over wiskundige reversibiliteit en meer over het behoud van informatiestroom door verschuiving.

Beperkingen

De auteurs erkennen expliciet verschillende beperkingen:

Schaal: Experimenten werden uitgevoerd op modellen variërend van 20 miljoen tot 300 miljoen parameters, getraind op ~13-26 miljard tokens. Er is geen garantie dat deze bevindingen schalen naar modellen die zijn getraind op rekenkracht die enkele ordes van grootte groter is.
Autoregressieve Inferentie: Hoewel TMM's $O(dn \log n)$ zijn tijdens prefill, keren ze terug naar $O(n^2)$ complexiteit voor autoregressieve generatie zodra het eerste token is berekend (aangezien rijen van de invoermatrix moeten worden gecached en sequentieel moeten worden verwerkt). TMM's bieden dus een snellere tijd tot het eerste token voor lange prompts, maar versnellen niet de generatie van daaropvolgende tokens in vergelijking met Transformers.
Configuratieruimte: De studie testte een beperkt aantal architecturale configuraties vanwege het exponentiële aantal mogelijke hyperparametercombinaties.

Kortom, de TMM vertegenwoordigt een veelbelovende richting voor sequentiemodeling die rekenkundige efficiëntie in evenwicht brengt met het hoge informatiebehoud dat nodig is voor complexe redenerings- en ophaaltaken, mits de inferentieknelpunt van autoregressieve generatie wordt beheerd.