💬 NLP

Beyond N-gram: Data-Aware X-GRAM Extraction for Efficient Embedding Parameter Scaling

Dit paper introduceert X-GRAM, een frequentiebewust dynamisch token-injectieframework dat de efficiëntie van lookup-tabelgebaseerde embeddings verbetert door het 'slot collapse'-probleem aan te pakken en modelcapaciteit te ontkoppelen van rekkracht, wat resulteert in aanzienlijke nauwkeurigheidsverbeteringen bij kleinere geheugentabellen.

Oorspronkelijke auteurs: Yilong Chen, Yanxi Xie, Zitian Gao, He Xin, Yihao Xiao, Renbiao Liu, Haoming Luo, Yifan Luo, Zhengmao Ye, Tingwen Liu, Xin Zhao, Ran Tao, Bryan Dai

Gepubliceerd 2026-04-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yilong Chen, Yanxi Xie, Zitian Gao, He Xin, Yihao Xiao, Renbiao Liu, Haoming Luo, Yifan Luo, Zhengmao Ye, Tingwen Liu, Xin Zhao, Ran Tao, Bryan Dai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

X-GRAM: De Slimme Bibliotheek voor AI

Stel je voor dat een grote taalmodel (zoals een slimme chatbot) een enorme bibliotheek is. Om vragen te beantwoorden, moet deze bibliotheek snel informatie vinden.

Traditionele methoden proberen de bibliotheek groter te maken door simpelweg meer boekenplanken toe te voegen. Maar dit heeft twee grote problemen:

De "Zeldzame Boeken" Probleem: De meeste boekenplanken staan vol met zeldzame boeken die bijna nooit worden geleend. Ze worden nooit goed "geleerd" door de bibliothecaris, waardoor ze nutteloos blijven.
De "Kopie" Probleem: Als je meer planken toevoegt, blijken ze vaak exact hetzelfde boek te bevatten. Je hebt dan drie keer zo veel ruimte nodig, maar geen nieuwe informatie.

De auteurs van dit paper, X-GRAM, hebben een slimme oplossing bedacht om deze bibliotheek veel efficiënter te maken. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Slimme Indeling (Geen "Grootte" meer, maar "Belang")

In plaats van elke woordsoort in de taal evenveel ruimte te geven, kijkt X-GRAM naar hoe vaak woorden worden gebruikt (de frequentie).

De VIP-Plank: Woorden die iedereen elke dag gebruikt (zoals "de", "is", "en"), krijgen hun eigen, speciale, grote planken. Deze worden perfect onderhouden.
De Gedeelde Schuur: Voor de duizenden zeldzame woorden (de "staart" van de frequentie), maken ze geen aparte planken. In plaats daarvan gooien ze deze woorden in een slimme, gedeelde schuur. Ze gebruiken een slim systeem (hashing) om te zorgen dat deze zeldzame woorden toch op de juiste plek terechtkomen, zonder dat er duizenden lege planken staan.
Het resultaat: Je gebruikt minder ruimte, maar de informatie die je wel hebt, is veel beter getraind en bruikbaar.

2. De "Context-Magneet" (Geen statische boeken, maar levende verhalen)

Bij oude methoden werd een woord opgehaald als een statisch plaatje. Als je het woord "bank" opvroeg, kreeg je altijd hetzelfde plaatje, of het nu ging om een bank om op te zitten of een geldbank.
X-GRAM doet iets anders. Zodra het woord is opgehaald, pakt het een kleine, slimme lens (de ShortConv).

Deze lens kijkt naar de omgeving van het woord.
Als het woord "bank" staat naast "geld", verandert de lens het plaatje in een geldbank.
Als het naast "zitten" staat, verandert het het plaatje in een zitbank.
Dit zorgt ervoor dat de AI niet alleen het woord kent, maar ook begrijpt hoe het gebruikt wordt in de zin. Het haalt meer informatie uit dezelfde hoeveelheid ruimte.

3. De Slimme Bezorger (Waar moet de informatie naartoe?)

Niet alle delen van de AI-bibliotheek hebben evenveel hulp nodig.

Soms moet de informatie direct naar het "geheugen" (de waarde-stream) gaan, zodat de AI kan beslissen wat belangrijk is.
Soms moet het als een extra laag over de hele zin worden gelegd.
X-GRAM gebruikt een slimme bezorger (de gating) die beslist: "Op dit moment, in deze laag van de bibliotheek, heb ik deze extra informatie hard nodig." Hierdoor wordt er geen energie verspild aan het sturen van informatie waar niemand naar kijkt.

Waarom is dit een doorbraak?

Stel je voor dat je een auto wilt maken die sneller kan rijden.

De oude manier: Je bouwt een grotere motor (meer rekenkracht). Dit is duur, zwaar en verbruikt veel brandstof.
De X-GRAM manier: Je houdt de motor hetzelfde, maar je verbetert de aerodynamica en de brandstofinjectie. Je maakt de auto lichter en slimmer.

De resultaten:

De AI wordt slimmer (hoger score op testen) zonder dat hij zwaarder wordt.
Hij gebruikt minder geheugen (kleinere bibliotheek).
Hij is sneller omdat hij minder tijd kwijt is aan het zoeken naar de juiste informatie.

Kortom: X-GRAM is als het overstappen van een rommelige, overvolle bibliotheek naar een super-efficiënt, digitaal archief waar elke plank perfect is ingericht, elk boek op zijn juiste plek staat, en de bibliothecaris precies weet welk boek je nodig hebt op basis van wat je net hebt gezegd. Het is een manier om AI slimmer te maken zonder hem zwaarder te maken.

1. Het Probleem: Beperkingen van Bestaande Lookup-mechanismen

Grote Taalmodellen (LLMs) proberen vaak hun capaciteit te vergroten door token-geïndexeerde lookup-tabellen (externe geheugens) toe te voegen. Bestaande methoden (zoals MoLE, Retoken, Engram) lopen echter tegen fundamentele beperkingen aan:

Zipfiaanse Ondertroening (Under-training): Taaldata volgt een Zipf-verdeling (een paar veelvoorkomende tokens, een zeer lange staart van zeldzame tokens). In traditionele lookup-tabellen krijgen de zeldzame tokens (de "long tail") zelden updates tijdens het trainen, waardoor hun embeddings ondergeoptimaliseerd blijven.
Slot Collapse (Redundantie): Wanneer men simpelweg meer parallelle lookup-sleuven (slots) toevoegt om de capaciteit te vergroten, worden deze slots vaak getraind op bijna identieke token-reeksen. Dit leidt tot een "collapse" waarbij de embeddings in verschillende slots zeer vergelijkbaar worden (hoge cosinus-similariteit), waardoor de extra parameters geen nieuwe informatie toevoegen maar slechts redundantie creëren.
Inefficiënt Geheugengebruik: De noodzaak voor enorme tabellen (vaak terabytes) en de bijbehorende geheugenbandbreedte maken deze methoden onpraktisch voor efficiënte inferentie, vooral tijdens het decoderen.

2. Methodologie: Het X-GRAM Framework

X-GRAM (X-gram) is een data-bewust framework dat de lookup-mechaniek herontwerpt om de capaciteit te ontkoppelen van de rekkracht (FLOPs) door gebruik te maken van een "memory-centric" schaalas. Het framework bestaat uit drie kernfasen:

A. Frequentie-bewuste Hash Mapping (Frequency-Aware Hash Mapping)

Om het probleem van de lange staart en de Zipf-verdeling aan te pakken, introduceert X-GRAM een hybride routing-strategie:

VIP-Reservering: De meest frequente tokens (het "head" gedeelte) krijgen toegewijde, exclusieve fysieke rijen in een gereserveerde VIP-regio. Dit voorkomt dat deze kritieke tokens in congestie-veroorzakende buckets terechtkomen.
Hybride Hashing voor de Staart: De overige tokens (de "tail") worden niet uniform verdeeld, maar via een gladde massa-functie ( $p(\omega)^\alpha$ ) in logische buckets gegroepeerd. Binnen deze dichte buckets wordt multi-path local hashing gebruikt.
Alias Mixing: Als botsingen (collisions) onvermijdelijk zijn, worden meerdere retrieval-paden gebruikt en geaggregeerd met aflopende gewichten. Dit zorgt voor een gebalanceerde verdeling van trainingsupdates over de gehele tabel, zelfs onder een strakke geheugenbegroting.

B. X-gram Extractie met Gated ShortConv

Om de redundantie van vaste slots te doorbreken en contextuele informatie te benutten, wordt een lichte ShortConv-module (SwiGLU ShortConv) toegepast op de opgehaalde vectoren:

Multi-scale Extractie: In plaats van alleen het token-id te gebruiken, extraheren convoluties met verschillende kernelgroottes (bijv. $k=2, 3, 5, 7$ ) lokale $n$ -gram patronen uit de opeenvolging van opgehaalde vectoren.
Gating Mechanisme: Een genormaliseerde gate (SiLU) filtert ruis en selecteert relevante features afhankelijk van de context. Dit zorgt ervoor dat zelfs als de onderliggende tabel redundant zou zijn, de geëxtraheerde features divers en informatief blijven.
Resultaat: Dit transformeert statische 1-gram lookup naar dynamische, context-afhankelijke $x$ -gram features.

C. Contextuele Injectie met Diepte-bewuste Gating

De geëxtraheerde signalen worden op strategische plekken in de Transformer geïntegreerd:

Injectieplek: De voorkeur gaat uit naar injectie in de Attention Value-stream (in plaats van Q of K). Dit is efficiënter omdat de value-dimensie ( $d_{kv}$ ) kleiner is dan de volledige hidden width, wat de activatie- en rekoverhead minimaliseert.
Diepte-bewuste Gating: De sterkte van de injectie wordt geregeld door een gate die afhankelijk is van de laagdiepte ( $\ell$ ) en de trainingsstap. Dit voorkomt dat de injectie in de vroege stadia van het trainen of in diepe lagen destabiliserend werkt.
Residuale Injectie: Optioneel wordt ook een inter-layer residual pad gebruikt als stabiele anker, vooral nuttig bij sterke compressie van de lange staart.

3. Belangrijkste Bijdragen

Data-Aware Scaling: X-GRAM is de eerste methode die systematisch de Zipf-verdeling van tokens gebruikt om de fysieke capaciteit van lookup-tabellen te optimaliseren, in plaats van uniforme schaling.
Diversiteitsbehoud: Door ShortConv en multi-scale kernels in te zetten, wordt "slot collapse" voorkomen. De methode haalt diverse lokale patronen uit statische geheugens, wat leidt tot een hogere informatie-dichtheid per byte.
Efficiëntie en Schaalbaarheid: Het framework introduceert een schaalas die modelcapaciteit ontkoppelt van FLOPs. Het gebruikt aanzienlijk kleinere tabellen (tot 50% compressie) dan concurrenten, terwijl het toch betere prestaties levert.
Stabiel Trainingsproces: Door normalisatie, warmup-schedules en sparse-aware learning rate schedules wordt het trainen van token-geïndexeerde parameters stabiel gemaakt, zelfs bij extreme compressie.

4. Resultaten

X-GRAM werd geëvalueerd op modelgroottes van 0.73B en 1.15B parameters, vergeleken met sterke baselines zoals Retoken, MoRT en Engram.

Prestatieverbetering: X-GRAM verbeterde de gemiddelde nauwkeurigheid op downstream taken met 4.4 punten ten opzichte van de standaard backbone en 3.2 punten ten opzichte van de beste retrieval-baselines.
Efficiëntie: In de configuratie met 50% tabelgrootte (gecomprimeerd) behaalde X-GRAM-50% een score van 48.5 (bij 0.73B), wat hoger is dan concurrenten die 2x tot 4x meer parameters gebruiken (bijv. MoRT scoorde 45.8).
Schaalbaarheid: In tegenstelling tot baselines die vaak verzadigen (plateau) naarmate de tabel groter wordt, blijft X-GRAM prestaties verbeteren bij het vergroten van de capaciteit. Dit bewijst dat extra geheugen wordt omgezet in bruikbare, unieke features in plaats van redundantie.
Trainingsstabiliteit: X-GRAM bereikte baseline-kwaliteit met slechts 57.25% van de trainingsdata, wat wijst op superieure data-efficiëntie.

5. Betekenis en Conclusie

Dit paper biedt een paradigmaverschuiving in het vergroten van LLM-capaciteit. In plaats van te vertrouwen op brute kracht (meer parameters of grotere tabellen), demonstreert X-GRAM dat intelligente, data-bewuste geheugenbeheer de sleutel is tot schaalbaarheid.

De kernboodschap is dat lookup-based scaling pas praktisch en schaalbaar wordt wanneer:

De capaciteit wordt toegewezen op basis van frequentie (om de lange staart te trainen).
De extracted features diversiteit behouden (om redundantie te voorkomen).
De injectie dynamisch wordt afgestemd op de context en diepte van het model.

X-GRAM biedt hiermee een robuust, schaalbaar en praktisch pad voor toekomstige architecturen die geheugen-verrijkt (memory-augmented) zijn, zonder de rekkracht (compute) disproportioneel te laten toenemen.