💬 NLP

MultiHashFormer: Hash-based Generative Language Models

MultiHashFormer introduceert een nieuw op hashing gebaseerd autoregressief framework dat tokens representeert als unieke sequenties van hash-ID's om efficiënt taalmodellering met een constante vocabulaire-voetafdruk mogelijk te maken, waarbij superieure prestaties worden aangetoond ten opzichte van standaard Transformers over meerdere schalen en meertalige scenario's.

Oorspronkelijke auteurs: Huiyin Xue, Atsuki Yamaguchi, Nikolaos Aletras

Gepubliceerd 2026-06-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Huiyin Xue, Atsuki Yamaguchi, Nikolaos Aletras

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren een nieuwe taal te spreken. Het grootste probleem met huidige robots (Taalmodellen) is hun "woordenboek".

Het Probleem: Het Zware Woordenboek

In standaard AI-modellen krijgt elk woord of elk deel van een woord (zoals "kat", "kaart" of "natuurkunde") zijn eigen unieke, zware rugzak. Als je wilt dat de robot 100.000 woorden leert, heb je 100.000 zware rugzakken nodig. Dit maakt de robot enorm groot, duur in gebruik en moeilijk bij te werken. Als je later een nieuwe taal of zeldzame woorden wilt toevoegen, moet je een compleet nieuw pakket aan rugzakken bouwen, wat lijkt op het proberen toe te voegen van een nieuwe vleugel aan een huis zonder het fundament te veranderen.

Eerdere pogingen om dit op te lossen gebruikten een "hashing"-truc: in plaats van elk woord zijn eigen rugzak te geven, stopten ze veel woorden in dezelfde rugzak.

De Fout: Stel je voor dat je "kat", "kaart" en "natuurkunde" allemaal in Rugzak #40 stopt. Als de robot "Rugzak #40" voorspelt, heeft hij geen idee welk woord hij eigenlijk bedoelde. Het is een gokspelletje. Dit werkte voor lezen (encoders), maar faalde voor schrijven (generators) omdat de robot niet kon beslissen welk woord hij als volgende moest uitspreken.

De Oplossing: MultiHashFormer (Het ID-kaart Systeem)

De auteurs van dit paper stellen een nieuw systeem voor genaamd MultiHashFormer. In plaats van één rugzak, geven ze elk woord een unieke ID-kaart bestaande uit een korte reeks getallen.

Denk aan een beveiligingssysteem bij een concert:

De Oude Manier: Je hebt één ticket. Als 100 mensen hetzelfde ticketnummer hebben, kan de bewaker niet zien wie wie is.
De MultiHashFormer Manier: Iedereen krijgt een unieke ID-kaart met vier verschillende getallen erop (bijv. [12, 40, 56, 99]). Zelfs als twee mensen het getal "40" delen, zullen ze niet de gehele reeks delen.
- "Kat" kan zijn: [12, 40, 56, 99]
- "Kaart" kan zijn: [99, 40, 3, 12]
- "Natuurkunde" kan zijn: [5, 40, 88, 2]

Omdat de combinatie van getallen uniek is, kan de robot altijd precies achterhalen welk woord wordt bedoeld, zelfs als de getallen overlappen.

Hoe het Werkt (De Lopende Band)

Het paper beschrijft een proces van drie stappen:

De Encoder (De Vertaler): Wanneer de robot een woord ziet, zoekt hij niet naar een zware rugzak. In plaats daarvan stuurt hij het woord door vier verschillende "hash-machines" om zijn unieke 4-getallen ID-kaart te genereren. Vervolgens comprimeert hij deze ID-kaart tot een efficiënte enkele "gedachtevector" om door te geven aan het brein.
Het Brein (De Transformer): De hersenen van de robot verwerken deze gedachten net zoals een normale AI dat doet, waarbij de context van de zin wordt begrepen.
De Decoder (De Voorspeller): Wanneer de robot moet raden wat het volgende woord is, raadt hij niet direct het woord, maar raadt hij de vier getallen van de ID-kaart van het volgende woord, één voor één.
- Eerst raadt hij het eerste getal.
- Daarna gebruikt hij dat getal als aanwijzing om het tweede getal te raden.
- Hij gaat door totdat hij de volledige 4-getallen reeks heeft.
- Ten slotte zoekt hij welk woord bij die exacte reeks hoort en spreekt het uit.

Waarom Dit een Groot Ding Is

Het paper beweert drie overwinningen:

Het Schrijft Beter: Door dit ID-kaart systeem te gebruiken, schrijft de robot daadwerkelijk beter dan standaard robots van dezelfde grootte. Ze testten modellen met 100 miljoen, 1 miljard en 3 miljard "parameters" (hersencellen) en vonden dat MultiHashFormer consequent hoger scoorde op logica, leesvaardigheid en taaltaken.
Het Kent Zeldzame Woorden Beter: Omdat dit systeem zeldzame woorden dwingt om op een slimme manier "opslagruimte" te delen (zoals een overvolle bibliotheek waar boeken door meerdere labels worden georganiseerd), begrijpt de robot obscure of zeldzame woorden beter dan standaard modellen.
De "Magische" Expansie: Dit is het coolste deel. Als je de robot een nieuwe taal wilt leren of 15.000 nieuwe woorden wilt toevoegen, hoef je geen nieuw geheugen toe te voegen of de robot groter te maken.
- Bij een normale robot maakt het toevoegen van woorden hem zwaarder.
- Bij MultiHashFormer registreer je gewoon nieuwe ID-kaart combinaties in het systeem. De grootte van de robot blijft exact hetzelfde, maar de woordenschat groeit onmiddellijk. Het paper toonde aan dat ze de woordenschat konden uitbreiden van 32.000 naar 48.000 woorden zonder één nieuwe parameter toe te voegen, en de robot bleef even goed presteren.

De Kernboodschap

MultiHashFormer is als het upgraden van het woordenboek van een robot van een stapel zware, eenmalig bruikbare boeken naar een lichtgewicht, digitaal ID-kaart systeem. Het stelt de robot in staat om meer talen te spreken en meer woorden te kennen zonder zwaarder te worden, terwijl hij tegelijkertijd ook slimmer wordt.

Technische Samenvatting: MultiHashFormer

Probleemstelling

Standaard taalmodellen (LM's) vertrouwen op geleerde embedding-matrices die lineair schalen met de vocabulairegrootte, wat een "vocabulaire-bottleneck" creëert. Deze lineaire schaling legt modellen vast op een vaste tokencapaciteit, wat hun vermogen belemmert om zich aan te passen aan nieuwe domeinen of talen zonder significante toename van het aantal parameters. Hoewel eerder onderzoek naar token-hashing onderzocht hoe de parameter-voetafdruk beperkt kan worden, maken bestaande hash-gebaseerde modellen (bijv. Proformer, HashFormer) gebruik van vele-op-één-mappings. In deze systemen delen meerdere tokens een enkele hash-index. Hoewel dit parameterefficiënt is, veroorzaakt deze aanpak token-botsingen die deterministische token-reconstructie tijdens autoregressieve generatie verhinderen. Bijgevolg zijn eerdere hash-gebaseerde methoden beperkt gebleven tot encoder-only architecturen en discriminatieve training, waardoor ze ongeschikt zijn voor causale (decoder-only) generatieve taalmodellen.

Methodologie

De auteurs stellen MultiHashFormer voor, een framework ontworpen om hash-gebaseerde autoregressie mogelijk te maken door token-botsingen te elimineren via een multi-identifier signature aanpak. De architectuur bestaat uit drie primaire modules:

Hash Encoder:
- Multi-Hash Indexing: In plaats van een token naar een enkele hash-ID te mappen, wordt elk token omgezet in een unieke "hash signature" bestaande uit een korte sequentie van discrete hash-ID's gegenereerd door $H$ onafhankelijke hashfuncties (met behulp van het MurmurHash3-algoritme). Bijvoorbeeld, een token kan worden gerepresenteerd als $[12, 40, 56]$ . Deze multi-ID mapping ondersteunt theoretisch een enorme vocabulairecapaciteit (bijv. $B^H$ unieke signatures) met een strikt sublineaire parameter-voetafdruk.
- Gated Compositional Embedding: Om om te gaan met het feit dat hash-buckets globaal worden gedeeld (wat potentieel botsingen kan veroorzaken tussen semantisch ongerelateerde tokens), gebruikt het model een context-bewuste compositionele gate. Deze module comprimeert de individuele hash-embeddings tot een verenigde, dichte latente vector. Het maakt gebruik van een feed-forward bottleneck netwerk met softmax-normalisatie om de bijdrage van elke bucket te bepalen, gevolgd door een lineaire adapter om de gecombineerde representatie naar de latente ruimte van de backbone te projecteren.
Sequence Processing Backbone:
- De gecomprimeerde latente vectoren passeren een standaard stapel Transformer-decoderlagen (gebaseerd op de Qwen3-architectuur) om gecontextualiseerde representaties te genereren.
Hash Decoder:
- Cascaded Predictor: Om de volgende token te reconstrueren, voorspelt het model niet één enkele token-ID. In plaats daarvan reconstrueert het autoregressief de multi-ID signature van de volgende token. Dit wordt bereikt via een gestructureerd, iteratief foutcorrigerend systeem.
- De decoder initialiseert een voorspellingslus met de finale verborgen toestand van de backbone. Vervolgens voorspelt het iteratief elke coördinaat van de hash signature ( $H_1, H_2, \dots, H_H$ ) sequentieel.
- Soft Embedding Retrieval: Om differentieerbaarheid tijdens de cascade te behouden, berekent het model een "soft bucket embedding" (de verwachte waarde van de embedding-matrix gewogen door logit-waarschijnlijkheden) in plaats van harde discrete indices voor tussenstappen.
- State Update: Een recursieve cascade mixer werkt de interne toestand bij door de huidige toestand samen te voegen met de opgehaalde soft embedding, waarbij de gezamenlijke representatie door een bottleneck-laag wordt gerouteerd om de voorspelling van de daaropvolgende hash-coördinaat te informeren.
Waarschijnlijkheidsmodellering:
- Training: Het model optimaliseert het product van onafhankelijke coördinaat-waarschijnlijkheden ( $\prod P(H_i(w) | \cdot)$ ), waardoor voorspellingen over combinaties van coördinaten die mogelijk niet naar werkelijke vocabulaire-items mappen, de optimalisatie vereenvoudigen.
- Inference: Om geldige generatie te garanderen, sluit het model tijdens de inference expliciet niet-toegewezen signatures uit, waarbij de waarschijnlijkheidsverdeling strikt wordt hergenormaliseerd over de ware vocabulaire ( $V_{actl}$ ).

Belangrijkste Bijdragen

Eerste Hash-gebaseerde Causale LM: MultiHashFormer is het eerste framework dat causale taalmodellering met hashing ondersteunt door token-botsingen te voorkomen via multi-ID signature generatie.
Parameterefficiëntie en Prestaties: Het model presteert consistent beter dan standaard Transformer LM's over 10 benchmarks op 100M, 1B en 3B parameter schalen. Het demonstreert dat het ontkoppelen van de vocabulaire van de parameter-matrix effectiever is dan simpelweg lagen toevoegen aan standaard modellen.
Vocabulaire Expansie zonder Parameters: Het framework maakt naadloze vocabulaire-expansie mogelijk (bijv. van 32K naar 48K tokens) zonder het aantal parameters te verhogen of structurele wijzigingen te vereisen. Het model handelt meertalige expansie af door nieuwe unieke virtuele signatures te registreren.
Verbeterde Representaties van Zeldzame Woorden: Het gedeelde bucket-mechanisme verbetert de representatie van zeldzame woorden, zoals blijkt uit hogere correlaties met menselijke annotaties op de Card-660 dataset vergeleken met standaard baselines.

Resultaten

Kerncapaciteiten: Op de 1B en 3B schalen presteert MultiHashFormer (specifiek de H4B16K configuratie) beter dan standaard baselines op 9 van de 11 taken, inclusief significante winsten in LAMBADA (taalmodellering) en HellaSwag (narratieve logica).
Parameter Matching: Wanneer het wordt vergeleken met baselines met een gelijkwaardig aantal parameters (of zelfs baselines met toegevoegde lagen om het totale aantal parameters te matchen), bereiken MultiHashFormer varianten een superieure prestatie op de meerderheid van de taken.
Vocabulaire Expansie: In experimenten voor continue pre-training waarbij de vocabulaire werd uitgebreid van 32K naar 48K (toevoeging van Arabische, Chinese en Hindi tokens), behield MultiHashFormer de prestaties of verbeterde het de prestaties op meertalige taken zonder de ~31 miljoen extra parameters die standaard baselines nodig hebben om de nieuwe tokens te accommoderen.
Zeldzame Woorden: MultiHashFormer vertoonde hogere Pearson en Spearman correlaties met menselijke gelijkenisscores voor zeldzame woordparen vergeleken met standaard modellen, met name bij de analyse van verborgen toestanden uit de voorlaatste decoderlaag.

Betekenis en Claims

Het artikel claimt dat MultiHashFormer er succesvol in slaagt de traditionele vocabulaire-bottleneck voor decoder-gebaseerde LM's te omzeilen. Door de lineaire embedding-matrix te vervangen door een modulaire hashing-interface, bereikt het model een strikt sublineaire parameter-voetafdruk terwijl de vocabulairecapaciteit naar theoretische limieten wordt opgeschaald (bijv. quadrillioenen signatures). De auteurs stellen dat deze aanpak de ambiguïteit van token-botsingen in generatieve settings oplost, een beperking die hashing voorheen beperkte tot encoder-only modellen. Bovendien biedt het framework een praktische oplossing voor meertalige adaptatie, waardoor modellen nieuwe talen en tokens kunnen integreren zonder de computationele en geheugen kosten die gepaard gaan met het uitbreiden van embedding-matrices. De resultaten suggereren dat de inductieve bias die door de hash encoder en decoder wordt geboden robuust is en voortkomt uit de architectuur zelf, in plaats van uit willekeurige steekproefvariantie.