💬 NLP

HRM-Text: Efficient Pretraining Beyond Scaling

Das Papier stellt HRM-Text vor, ein Modell mit 1 Milliarde Parametern, das durch die Kombination einer hierarchisch rekurrenten Architektur, spezialisierter Trainingstechniken und einer ausschließlich instruktionsbasierten Vorab-Training den Rechen- und Datenbedarf für die Forschung an grundlegenden Sprachmodellen drastisch reduziert und dabei eine wettbewerbsfähige Leistung im Vergleich zu deutlich größeren Modellen erzielt.

Ursprüngliche Autoren: Guan Wang, Changling Liu, Chenyu Wang, Cai Zhou, Yuhao Sun, Yifei Wu, Shuai Zhen, Luca Scimeca, Yasin Abbasi Yadkori

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Guan Wang, Changling Liu, Chenyu Wang, Cai Zhou, Yuhao Sun, Yifei Wu, Shuai Zhen, Luca Scimeca, Yasin Abbasi Yadkori

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich den aktuellen Zustand der Künstlichen Intelligenz wie eine massive, hochgeschwindigkeitsfähige Fabrik vor. Um eine „intelligente" Maschine zu bauen, werfen diese Fabriken Billionen von Roh-Textseiten (wie das gesamte Internet) in einen Mixer und verbrauchen Milliarden von Dollar an Strom, um alles zu verarbeiten. Das Ergebnis ist ein intelligentes Modell, doch der Prozess ist so teuer und energieintensiv, dass nur wenige Riesenunternehmen es sich leisten können, die Fabrik zu betreiben.

Das von Ihnen geteilte Papier, HRM-Text, schlägt einen völlig anderen Weg vor, um diese Maschinen zu bauen. Anstelle einer massiven, rohen Fabrik haben sie eine kleine, hocheffiziente Werkstatt errichtet, die wie ein menschliches Gehirn lernt.

Hier ist die Aufschlüsselung, wie sie es geschafft haben, unter Verwendung einfacher Analogien:

1. Die Gehirn-Analogie: Der „langsame Denker" und der „schnelle Macher"

Die meisten heutigen KI-Modelle sind wie eine einzelne Person, die versucht, alles gleichzeitig zu tun: Lesen, Denken und Schreiben, alles in einem einzigen, chaotischen Rausch.

Die Autoren untersuchten, wie menschliche Gehirne funktionieren. Sie stellten fest, dass unser Gehirn eine frontoparietale Schleife besitzt: ein System, das langes, strategisches Denken (Planen des großen Ganzen) von schnellem, ausführendem Denken (Durchführen der eigentlichen Arbeit) trennt.

Der alte Weg: Eine Standard-KI ist wie ein Sprinter, der versucht, einen Marathon ohne Pause zu laufen. Er wird müde und verwirrt.
Der HRM-Text-Weg: Sie bauten ein Modell mit zwei Schichten:
- Das „H"-Modul (Der General): Dies ist die langsame, strategische Schicht. Sie nimmt sich einen Moment Zeit, um das große Ganze zu verstehen und die Richtung vorzugeben.
- Das „L"-Modul (Der Spezialist): Dies ist die schnelle, ausführende Schicht. Sie bearbeitet schnell die Details und verfeinert die Antwort basierend auf dem Plan des Generals.
- Das Ergebnis: Durch die Trennung von „Planen" und „Tun" verirrt sich das Modell nicht in den Details. Es lernt schneller und effizienter.

2. Die Trainingsmethode: Hören Sie auf, die Frage zu lesen, und fangen Sie an, sie zu beantworten

Aktuelle KI-Modelle werden trainiert, indem sie ein Buch lesen und versuchen, das nächste Wort für jedes einzelne Wort im Buch vorherzusagen, einschließlich der Fragen selbst. Es ist wie ein Schüler, der für eine Prüfung lernt, indem er versucht, die Fragen des Lehrers wortwörtlich auswendig zu lernen, anstatt zu lernen, wie man die Probleme löst.

HRM-Text ändert die Regeln:

Das „Aufgabenabschluss"-Ziel: Anstatt den ganzen Satz vorherzusagen, wird das Modell nur dann bestraft, wenn es die Antwort falsch hat. Es ignoriert den Frageteil während des Trainings.
Der „PrefixLM"-Trick: Stellen Sie sich einen Schüler vor, der eine Frage liest. Bei einer Standard-KI darf der Schüler nur auf die Wörter schauen, die er bereits geschrieben hat. Bei HRM-Text darf der Schüler die gesamte Frage zuerst lesen (hin und her blickend), bevor er die Antwort schreibt. Dies hilft ihm, den Kontext viel besser zu verstehen, ohne den Fragetext selbst auswendig lernen zu müssen.

3. Die „magischen" Stabilisatoren

Das Trainieren eines Modells, das in Schleifen „denkt" (Rekurrenz), ist notorisch schwierig; es ist wie der Versuch, einen Stapel Teller zu balancieren, während der Boden wackelt. Das Papier führt zwei „Stabilisatoren" ein, um zu verhindern, dass der Stapel umfällt:

MagicNorm: Denken Sie daran wie an einen Stoßdämpfer. Es stellt sicher, dass die Zahlen im Computer, während das Modell viele Schritte „denkt", nicht zu groß oder zu klein werden, was normalerweise dazu führt, dass das Lernen abstürzt.
Warmup Deep Credit Assignment: Stellen Sie sich vor, Sie bringen einem Kind das Laufen bei. Sie bitten es nicht am ersten Tag, einen Marathon zu laufen. Sie beginnen mit kurzen Schritten, und wenn es stärker wird, lassen Sie es längere Schritte machen. HRM-Text beginnt damit, nur wenige Schritte zurückzublicken, um aus Fehlern zu lernen, und blickt dann allmählich weiter zurück, während es klüger wird. Dies verhindert, dass das Modell zu früh durch seine eigene Geschichte verwirrt wird.

Das Ergebnis: Ein „David-gegen-Goliath"-Sieg

Das Papier behauptet, dass sie mit diesen Tricks ein 1-Milliarden-Parameter-Modell (ein relativ kleines KI-Modell) gebaut haben, das nur mit 40 Milliarden Tokens trainiert wurde (eine winzige Datenmenge im Vergleich zu den Billionen, die von Riesen wie Google oder Meta verwendet werden).

Die Kosten: Sie gaben etwa 1.500 Dollar aus und verwendeten 16 Grafikkarten für weniger als zwei Tage.
Der Vergleich: Trotz seiner winzigen Größe und des geringen Kostenfaktors schnitt dieses Modell genauso gut ab (und manchmal besser) als massive Modelle, die Hunderttausende von Dollar kosteten und Monate zum Trainieren benötigten.
Die Effizienz: Um die gleichen Ergebnisse zu erzielen, benötigten Standardmodelle 100- bis 900-mal mehr Daten und 96- bis 432-mal mehr Rechenleistung.

Das große Ganze

Die Autoren sagen nicht, dass dies die endgültige perfekte KI ist. Sie sagen: „Wir haben bewiesen, dass es möglich ist."

Sie haben gezeigt, dass Sie kein Budget von einer Milliarde Dollar benötigen, um eine intelligente KI zu bauen. Indem Sie die Architektur so gestalten, dass sie wie ein Gehirn denkt (langsame Planung + schnelles Handeln), und sie so trainieren, dass sie sich nur auf das Lösen von Problemen konzentriert (unter Ignorierung des Fragetextes), können Sie die KI-Forschung demokratisieren. Das bedeutet, dass kleine Labore, Universitäten und sogar Einzelpersonen nun ihre eigenen grundlegenden Modelle von Grund auf trainieren können und das Monopol brechen, das derzeit nur die reichsten Unternehmen halten.

Technische Zusammenfassung: HRM-Text – Effizientes Pretraining jenseits des Skalierens

1. Problemstellung

Das aktuelle Paradigma zur Entwicklung von Large Language Models (LLMs) stützt sich auf eine „Brute-Force"-Skalierung: massive, mehrstufige Pipelines, die ein Pretraining mit Rohdaten im Internetmaßstab gefolgt von Mid-Training und Instruction Tuning beinhalten. Dieser Ansatz schafft eine prohibitiv hohe Eintrittsbarriere für die Grundlagenforschung, da er immense Rechenressourcen und Billionen von Tokens erfordert. Die Autoren argumentieren, dass dieser datenhungrige Ansatz ineffizient ist, insbesondere in datenlimitierten Regimen, da er erhebliche Rechenleistung dafür aufwendet, prompt-ähnliche oder aufgabenirrelevante Texte vorherzusagen, lediglich um generalisierte Repräsentationen aufzubauen. Im Gegensatz dazu zeigen biologische Systeme ein hochgradig stichproben-effizientes Lernen durch die Verarbeitung auf mehreren Zeitskalen (z. B. der frontoparietale Schleifenmechanismus), was darauf hindeutet, dass architektonische Priors und gezielte Ziele das Verhältnis von Rechenleistung zu Leistung radikal verbessern könnten.

2. Methodik

Die Arbeit stellt HRM-Text vor, ein Modell, das Standard-Transformer durch ein Hierarchisches Rekurrentes Modell (HRM) ersetzt und ein neuartiges Trainingsziel verfolgt. Die Methodik basiert auf zwei synergistischen Richtungen:

A. Architektonische Exploration: Hierarchische Rekurrenz

HRM-Text nutzt eine Dual-Zeitskala-Architektur, die von der biologischen Funktionsorganisation inspiriert ist:

Dual-Zeitskala-Rekurrenz: Das Modell entkoppelt die Berechnung in eine langsam evolvierende strategische Schicht (H-Modul) und eine schnell evolvierende Ausführungsschicht (L-Modul). Der Vorwärtsdurchlauf besteht aus hochrangigen Zyklen, wobei jeder Zyklus drei schnelle L-Modul-Aktualisierungen gefolgt von einer einzelnen langsamen H-Modul-Aktualisierung ausführt.
MagicNorm: Um die tiefe Rekurrenz für die Sprachmodellierung zu stabilisieren, führen die Autoren MagicNorm ein. Diese Technik nutzt die Asymmetrie zwischen den durch Truncated Backpropagation Through Time (TBPTT) induzierten Vorwärts- und Rückwärtsberechnungshorizonten aus. Sie kombiniert interne PreNorm-Blöcke (für den Gradientenfluss) mit einer finalen Normalisierungsschicht am Modulaustritt (zur Begrenzung der Aktivierungsvarianz während des Vorwärtsdurchlaufs). Dies verhindert das unbegrenzte Wachstum der Varianz bei reinem PreNorm, während die Stabilität von PostNorm erhalten bleibt.
Warmup für tiefes Credit Assignment: Um Gradienteninstabilität zu adressieren, verwendet das Modell eine curriculumbasierte Gradientenstrategie. Anfangs werden Gradienten nur durch die letzten beiden rekurrenten Schritte zurückgeführt ( $K=2$ ). Mit fortschreitendem Training wird der Horizont linear auf die letzten fünf Schritte hochgefahren ( $K=5$ ). Dies reduziert die Exposition gegenüber Optimierungspathologien, die mit langen Gradientenpfaden bei der Initialisierung verbunden sind.
Komponenten: Die Architektur verwendet parameterlose RMSNorm, SwiGLU-Aktivierungen, Rotatorische Positions-Embeddings (RoPE) und einen sigmoid-gesteuerten Selbst-Aufmerksamkeitsmechanismus.

B. Zielsetzungsexploration: Task-Completion und PrefixLM

Die Arbeit stellt das Dogma des autoregressiven Pretrainings auf Rohdaten in Frage:

Task-Completion-Ziel: Anstatt alle Tokens in einer Sequenz vorherzusagen, wird HRM-Text ausschließlich an Instruction-Response-Paaren von Grund auf trainiert. Der Verlust wird nur über die Response-Tokens berechnet ( $-\log P(x_a | x_q)$ ), wodurch Parameteraktualisierungen auf die Generierung genauer Antworten konzentriert werden, anstatt den Prompt zu rekonstruieren.
PrefixLM-Maskierung: Dieses Ziel wird mit einer PrefixLM-Aufmerksamkeitsmaske gepaart. Dies ermöglicht eine vollständige bidirektionale (encoder-ähnliche) Aufmerksamkeit über die Instruction-Tokens hinweg, während die standardmäßige kausale Generierung für die Response erhalten bleibt. Dies erzeugt eine encoder-decoder-ähnliche Trennung innerhalb einer decoder-artigen Implementierung.

3. Hauptbeiträge

HRM-Text-Architektur: Eine skalierbare Implementierung des Hierarchischen Rekurrenten Modells, die die offenen Komplexitäten der Sprachmodellierung durch Stabilisierungstechniken (MagicNorm, Warmup-Credit-Assignment) erfolgreich bewältigt.
Effizientes Pretraining-Protokoll: Der Nachweis, dass das ausschließliche Training an Instruction-Response-Paaren mit einem Task-Completion-Ziel und PrefixLM-Maskierung die Stichprobeneffizienz im Vergleich zum Standard-Pretraining auf Rohdaten signifikant verbessert.
Empirischer Existenznachweis: Die Arbeit liefert empirische Belege dafür, dass ein von Grund auf trainiertes Modell mit einem kleinen Budget (40 Milliarden eindeutige Tokens, ~1.500 $ Rechenkosten) eine Leistung erzielen kann, die mit viel größeren Foundation-Modellen (2B–7B Parameter) konkurriert, die auf weitaus größeren Datensätzen (bis zu 36 Billionen Tokens) trainiert wurden.

4. Ergebnisse

Ein HRM-Text-Modell mit 1 Milliarde Parametern wurde von Grund auf auf 16 GPUs über 1,9 Tage unter Verwendung von 40 Milliarden eindeutigen Tokens trainiert. Die Ergebnisse zeigen:

Benchmark-Leistung: Das Modell erreichte 60,7 % auf MMLU, 81,9 % auf ARC-C, 82,2 % auf DROP, 84,5 % auf GSM8K und 56,2 % auf MATH.
Effizienzgewinne: Im Vergleich zu Standard-Baselines (z. B. Llama3.2 3B, Gemma3 4B, Qwen3.5 2B, Olmo3 7B) nutzte HRM-Text ungefähr 100–900-mal weniger Trainings-Tokens und 96–432-mal weniger geschätzte Rechenleistung, während es auf Benchmarks für Schlussfolgerungen und Aufgabenausführung eine konkurrenzfähige oder überlegene Leistung erzielte.
Ablationsstudien:
- Architektur: HRM schnitt besser ab als FLOPs-angepasste Standard-Transformer, Looped Transformer und RINS. Es zeigte zudem eine überlegene Stabilität im Vergleich zum TRM (eine Variante des HRM mit Parameter-Sharing) im 1B-Maßstab.
- Zielsetzung: Die Kombination aus dem Task-Completion-Ziel und der PrefixLM-Maskierung erbrachte signifikante Gewinne gegenüber standardmäßiger kausaler Maskierung und Zielen auf Rohdaten.
Effektive Tiefe: Analysen mittels Logit-Lens und schichtweiser Repräsentationsähnlichkeit zeigten, dass HRM in tieferen Schichten aktive repräsentationale Veränderungen aufrechterhält, was auf eine größere effektive Tiefe im Vergleich zu Standard- und Looped-Transformern hindeutet, die dazu neigen, in frühen Schichten zu stabilen Verteilungen zu konvergieren.
Kontaminationsprüfung: Statistische Analysen deuten darauf hin, dass die Leistung des Modells nicht signifikant durch Datenkontamination aufgebläht ist, obwohl ein marginaler Effekt auf dem DROP-Benchmark für spezifische n-Gramm-Einstellungen beobachtet wurde.

5. Bedeutung und Behauptungen

Die Autoren positionieren HRM-Text nicht als das endgültige oder optimale Sprachmodell, sondern als einen empirischen Existenznachweis, dass spezifische strukturelle Priors (hierarchische Rekurrenz) und gezielte Trainingsziele (Task-Completion) das Verhältnis von Rechenleistung zu Leistung radikal verändern können.

Die Arbeit behauptet, dass diese Methodik die Grundlagenforschung in der KI demokratisiert. Durch die drastische Senkung des Eintrittspreises für das Pretraining von Grund auf wird die Erforschung neuer Architekturen und des Trainings von Grund auf der breiteren Forschungscommunity, kleinen Laboren und Einzelpersonen zugänglich gemacht, anstatt hinter den Rechenbarrieren des Skalierens auf Billionen von Tokens verschlossen zu bleiben. Die Arbeit schlägt eine zukünftige Richtung vor, in der kompakte rekurrente Modelle sich auf Schlussfolgerungen und Aufgabenausführung spezialisieren, potenziell entkoppelt von der massiven faktischen Memorierung, die typischerweise mit aktuellen Skalierungsgesetzen verbunden ist.