💬 NLP

HRM-Text: Efficient Pretraining Beyond Scaling

Het artikel introduceert HRM-Text, een model met 1 miljard parameters dat concurrerende prestaties behaalt ten opzichte van aanzienlijk grotere modellen door een hiërarchisch recurrente architectuur, gespecialiseerde trainingsmethoden en voortraining uitsluitend op instructies te combineren, waardoor de reken- en data-eisen voor fundamenteel onderzoek naar taalmodellen drastisch worden gereduceerd.

Oorspronkelijke auteurs: Guan Wang, Changling Liu, Chenyu Wang, Cai Zhou, Yuhao Sun, Yifei Wu, Shuai Zhen, Luca Scimeca, Yasin Abbasi Yadkori

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Guan Wang, Changling Liu, Chenyu Wang, Cai Zhou, Yuhao Sun, Yifei Wu, Shuai Zhen, Luca Scimeca, Yasin Abbasi Yadkori

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de huidige staat van kunstmatige intelligentie voor als een enorme, supersnelle fabriek. Om een "slimme" machine te bouwen, gooien deze fabrieken biljoenen ruwe tekstpagina's (zoals het hele internet) in een blender, waarbij ze miljarden dollars aan elektriciteit verbruiken om alles te verwerken. Het resultaat is een slim model, maar het proces is zo duur en energieverslindend dat slechts een paar reuzenbedrijven zich de fabriek kunnen veroorloven.

Het artikel dat je deelde, HRM-Text, stelt een volledig andere manier voor om deze machines te bouwen. In plaats van een enorme, brute-krachtfabriek, bouwden ze een kleine, uiterst efficiënte werkplaats die leert zoals een menselijk brein.

Hier is de uitleg van hoe ze dit deden, met behulp van eenvoudige analogieën:

1. De Brein-analogie: De "Trage Denker" en de "Snelle Doener"

De meeste AI-modellen van vandaag zijn als één persoon die probeert alles tegelijk te doen: lezen, denken en schrijven, allemaal in één grote, chaotische haast.

De auteurs keken naar hoe menselijke breinen werken. Ze merkten op dat onze hersenen een frontopariëtale lus hebben: een systeem dat trage, strategische denkprocessen (het plannen van het grote geheel) scheidt van snelle, uitvoerende denkprocessen (het doen van het feitelijke werk).

De Oude Manier: Een standaard AI is als een sprinter die probeert een marathon te lopen zonder te stoppen. Hij raakt vermoeid en in de war.
De HRM-Text Manier: Ze bouwden een model met twee lagen:
- De "H"-module (De Generaal): Dit is de trage, strategische laag. Hij neemt even de tijd om het grote geheel te begrijpen en de richting te bepalen.
- De "L"-module (De Specialist): Dit is de snelle, uitvoerende laag. Hij behandelt snel de details en verfijnt het antwoord op basis van het plan van de Generaal.
- Het Resultaat: Door "plannen" te scheiden van "doen", raakt het model niet verloren in de details. Het leert sneller en efficiënter.

2. De Trainingsmethode: Stop met het Vraagstuk Lezen, Begin met het Beantwoorden

Huidige AI-modellen worden getraind door een boek te lezen en te proberen het volgende woord te voorspellen voor elk enkel woord in het boek, inclusief de vragen zelf. Het is alsof een student zich voorbereidt op een toets door te proberen de vragen van de leraar woord voor woord uit het hoofd te leren, in plaats van te leren hoe hij de problemen moet oplossen.

HRM-Text verandert de regels:

Het "Taakvoltooiings"-doel: In plaats van te proberen de hele zin te voorspellen, wordt het model alleen gestraft als het het antwoord fout heeft. Het negeert het vraaggedeelte tijdens de training.
De "PrefixLM"-truc: Stel je een student voor die een vraag leest. Bij standaard AI mag de student alleen kijken naar de woorden die hij al heeft geschreven. Bij HRM-Text mag de student eerst de hele vraag lezen (terug en vooruit kijkend) voordat hij het antwoord schrijft. Dit helpt hen de context veel beter te begrijpen zonder dat ze de vraagtekst zelf hoeven uit het hoofd te leren.

3. De "Magische" Stabilisatoren

Het trainen van een model dat in lussen "denkt" (recurrentie) is berucht moeilijk; het is als proberen een stapel borden in evenwicht te houden terwijl de vloer trilt. Het artikel introduceert twee "stabilisatoren" om te voorkomen dat de stapel omvalt:

MagicNorm: Denk hierbij aan een schokdemper. Het zorgt ervoor dat de getallen in de computer niet te groot of te klein worden terwijl het model door veel stappen "denkt", wat normaal gesproken leidt tot het crashen van het leerproces.
Warmup Deep Credit Assignment: Stel je voor dat je een kind leert lopen. Je vraagt ze niet op dag één een marathon te lopen. Je begint met korte passen, en naarmate ze sterker worden, laat je ze langere passen zetten. HRM-Text begint door slechts een paar stappen terug te kijken om uit fouten te leren, en kijkt naarmate het slimmer wordt geleidelijk verder terug. Dit voorkomt dat het model te vroeg in de war raakt door zijn eigen geschiedenis.

Het Resultaat: Een "David tegen Goliath"-Overwinning

Het artikel beweert dat ze met deze trucs een model met 1 miljard parameters (een relatief kleine AI) hebben gebouwd dat is getraind op slechts 40 miljard tokens (een piepkleine hoeveelheid data vergeleken met de biljoenen die door reuzen zoals Google of Meta worden gebruikt).

De Kosten: Ze besteedden ongeveer 1.500 dollar en gebruikten minder dan twee dagen lang 16 grafische kaarten.
De Vergelijking: Ondanks dat het klein en goedkoop is, presteerde dit model net zo goed als (en soms beter dan) enorme modellen die honderdduizenden dollars kosten en maanden nodig hebben om te trainen.
De Efficiëntie: Om dezelfde resultaten te behalen, hadden standaardmodellen 100 tot 900 keer meer data en 96 tot 432 keer meer rekenkracht nodig.

Het Grote Geheel

De auteurs zeggen niet dat dit de ultieme perfecte AI is. Ze zeggen: "We hebben bewezen dat het mogelijk is."

Ze hebben aangetoond dat je geen budget van een miljard dollar nodig hebt om een slimme AI te bouwen. Door de architectuur te ontwerpen om te denken zoals een brein (trage planning + snelle uitvoering) en het te trainen om zich alleen te richten op het oplossen van problemen (het negeren van de vraagtekst), kun je AI-onderzoek democratiseren. Dit betekent dat kleine laboratoria, universiteiten en zelfs individuen nu hun eigen fundamentele modellen vanaf nul kunnen trainen, waardoor het monopolie wordt doorbroken dat momenteel alleen door de rijkste bedrijven wordt gehouden.

Technische Samenvatting: HRM-Text - Efficiënt Pretraining voorbij Schaling

1. Probleemstelling

Het huidige paradigma voor het ontwikkelen van Large Language Models (LLM's) vertrouwt op "brute-force" schaling: massieve, meerfasige pijplijnen die internet-schaal ruwe tekst-pretraining omvatten, gevolgd door mid-training en instructie-tuning. Deze aanpak creëert een onbetaalbare instapdrempel voor fundamenteel onderzoek, omdat het enorme rekenkracht en biljoenen tokens vereist. De auteurs betogen dat deze data-hongerige aanpak inefficiënt is, met name in data-beperkte regimes, omdat het aanzienlijke rekenkracht besteedt aan het voorspellen van prompt-achtige of taak-irrelevante tekst, louter om gegeneraliseerde representaties op te bouwen. In tegenstelling hieraan demonstreren biologische systemen een uiterst steekproef-efficiënt leren door middel van verwerking op meerdere tijdschalen (bijvoorbeeld de frontopariëtale lus), wat suggereert dat architecturale priors en gerichte doelen de verhouding tussen rekenkracht en prestaties radicaal kunnen verbeteren.

2. Methodologie

Het artikel introduceert HRM-Text, een model dat standaard Transformers vervangt door een Hiërarchisch Recurrent Model (HRM) en een nieuw trainingsdoel adopteert. De methodologie is gebaseerd op twee synergetische richtingen:

A. Architecturale Verkenning: Hiërarchische Recurrentie

HRM-Text maakt gebruik van een architectuur met dubbele tijdschaal, geïnspireerd op biologische functionele organisatie:

Recurrentie met Dubbele Tijdschaal: Het model ontkoppelt de berekening in een langzaam evoluerende strategische laag (H-module) en een snel evoluerende uitvoeringslaag (L-module). De forward pass bestaat uit hoog-niveau cycli waarbij elke cyclus drie snelle L-module-updates uitvoert, gevolgd door één enkele langzame H-module-update.
MagicNorm: Om diepe recurrentie voor taalmodelling te stabiliseren, introduceren de auteurs MagicNorm. Deze techniek exploiteert de asymmetrie tussen voorwaartse en achterwaartse rekenhorizons die wordt veroorzaakt door Truncated Backpropagation Through Time (TBPTT). Het combineert interne PreNorm-blokken (voor gradiëntstroom) met een laatste normalisatielaag bij de module-uitgang (om de variantie van activaties tijdens de forward pass te begrenzen). Dit voorkomt de onbegrensde variantiegroei van pure PreNorm, terwijl de stabiliteit van PostNorm behouden blijft.
Warmup voor Diepe Credit Assignment: Om gradiëntinstabiliteit aan te pakken, hanteert het model een curriculum-gebaseerde gradiëntstrategie. Initieel worden gradiënten alleen teruggepropageerd via de laatste twee recurrente stappen ( $K=2$ ). Naarmate de training vordert, wordt de horizon lineair opgewarmd naar de laatste vijf stappen ( $K=5$ ). Dit vermindert de blootstelling aan optimalisatiepathologieën die geassocieerd zijn met lange gradiëntpaden bij initialisatie.
Componenten: De architectuur maakt gebruik van parameterloze RMSNorm, SwiGLU-activaties, Rotary Position Embeddings (RoPE) en een met een sigmoid afgesloten self-attention-mechanisme.

B. Doelverkenning: Taakvoltooiing en PrefixLM

Het artikel daagt het dogma van autoregressieve pretraining op ruwe tekst uit:

Doel voor Taakvoltooiing: In plaats van alle tokens in een sequentie te voorspellen, wordt HRM-Text uitsluitend getraind op instructie-responsparen vanaf nul. Het verlies wordt uitsluitend berekend over de respons-tokens ( $-\log P(x_a | x_q)$ ), waardoor parameterupdates worden geconcentreerd op het genereren van accurate responsen in plaats van het reconstrueren van de prompt.
PrefixLM Maskering: Dit doel wordt gekoppeld aan een PrefixLM-attentiemasker. Dit staat volledige bidirectionele (encoder-achtige) attentie over de instructietokens toe, terwijl standaard causale generatie voor de respons behouden blijft. Dit creëert een encoder-decoder-achtige scheiding binnen een decoder-achtige implementatie.

3. Belangrijkste Bijdragen

HRM-Text Architectuur: Een schaalbare implementatie van het Hiërarchisch Recurrent Model dat met succes de open-ended complexiteiten van taalmodelling aankan door middel van stabilisatietechnieken (MagicNorm, warmup credit assignment).
Efficiënt Pretraining-protocol: Een demonstratie dat training uitsluitend op instructie-responsparen met een doel voor taakvoltooiing en PrefixLM-maskering de steekproef-efficiëntie aanzienlijk verbetert in vergelijking met standaard pretraining op ruwe tekst.
Empirisch Bestaansbewijs: Het artikel levert empirisch bewijs dat een model dat vanaf nul wordt getraind met een klein budget (40 miljard unieke tokens, ~$1.500 rekenkosten) prestaties kan behalen die concurrerend zijn met veel grotere foundation-modellen (2B–7B parameters) die zijn getraind op aanzienlijk grotere datasets (tot 36 biljoen tokens).

4. Resultaten

Een HRM-Text-model met 1 miljard parameters werd vanaf nul getraind op 16 GPU's gedurende 1,9 dagen met gebruik van 40 miljard unieke tokens. De resultaten tonen aan:

Benchmarkprestaties: Het model behaalde 60,7% op MMLU, 81,9% op ARC-C, 82,2% op DROP, 84,5% op GSM8K en 56,2% op MATH.
Efficiëntiewinst: In vergelijking met standaard baselines (bijvoorbeeld Llama3.2 3B, Gemma3 4B, Qwen3.5 2B, Olmo3 7B) gebruikte HRM-Text ongeveer 100–900x minder trainingstokens en 96–432x minder geschatte rekenkracht, terwijl het concurrerende of superieure prestaties behaalde op benchmarks voor redeneren en taakuitvoering.
Ablatiestudies:
- Architectuur: HRM presteerde beter dan FLOPs-gelijkgestelde standaard Transformers, Looped Transformers en RINS. Het toonde ook superieure stabiliteit in vergelijking met de TRM (een variant van HRM met parameterdeling) op de schaal van 1 miljard parameters.
- Doel: De combinatie van het doel voor taakvoltooiing en PrefixLM-maskering bood aanzienlijke winsten ten opzichte van standaard causale maskering en doelen voor ruwe tekst.
Effectieve Diepte: Analyse via logit lens en laag-voor-laag representatiegelijkenis toonde aan dat HRM actieve representatieve veranderingen in diepere lagen handhaaft, wat wijst op een grotere effectieve diepte in vergelijking met standaard en geloopte Transformers, die de neiging hebben om in vroege lagen te convergeren naar stabiele distributies.
Contaminatiecontrole: Statistische analyse suggereerde dat de prestaties van het model niet significant worden opgeblazen door datacontaminatie, hoewel een marginaal effect werd waargenomen op de DROP-benchmark voor specifieke n-gram-instellingen.

5. Betekenis en Claims

De auteurs positioneren HRM-Text niet als het definitieve of optimale taalmodel, maar als een empirisch bestaansbewijs dat specifieke structurele priors (hiërarchische recurrentie) en gerichte trainingsdoelen (taakvoltooiing) de verhouding tussen rekenkracht en prestaties radicaal kunnen veranderen.

Het artikel beweert dat deze methodologie fundamenteel AI-onderzoek democratiseert. Door de instapprijs voor pretraining vanaf nul drastisch te verlagen, maakt het het verkennen van nieuwe architecturen en het trainen vanaf nul toegankelijk voor de bredere onderzoeksgemeenschap, kleine laboratoria en individuen, in plaats van vast te zitten achter de rekenkrachtdrempels van schaling met biljoenen tokens. Het werk suggereert een toekomstige richting waarin compacte recurrente modellen zich specialiseren in redeneren en taakuitvoering, mogelijk losgekoppeld van de massale feitelijke memorisatie die doorgaans wordt geassocieerd met huidige schalingswetten.