💬 NLP

Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models

Dieses Paper führt Engram ein, ein skalierbares konditionales Speichermodul, das N-Gramm-Embeddings für den O(1)-Lookup modernisiert und ein u-förmiges Sparsity-Allokationsgesetz offenbart, welches den Kompromiss zwischen neuronaler Berechnung und statischem Speicher optimiert, um die Leistungsfähigkeit von Large Language Models in den Bereichen Reasoning, Code und Long-Context-Retrieval signifikant zu steigern.

Ursprüngliche Autoren: Xin Cheng, Rui Tian, Wangding Zeng, Damai Dai, Qinyu Chen, Bingxuan Wang, Zhenda Xie, Kezhao Huang, Xingkai Yu, Chengqi Deng, Shangyan Zhou, Chenggang Zhao, Zhewen Hao, Yukun Li, Han Zhang, Zhengyan Z

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xin Cheng, Rui Tian, Wangding Zeng, Damai Dai, Qinyu Chen, Bingxuan Wang, Zhenda Xie, Kezhao Huang, Xingkai Yu, Chengqi Deng, Shangyan Zhou, Chenggang Zhao, Zhewen Hao, Yukun Li, Han Zhang, Zhengyan Zhang, Yixu Wei, M. Y Xu, Huishuai Zhang, Dongyan Zhao, Wenfeng Liang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein riesiges, komplexes Puzzle zu lösen. Lange Zeit wurden die klügsten Puzzle-Löser (KI-Modelle) wie massive Fabriken gebaut. Sie haben tausende spezialisierte Arbeiter (genannt „Mixture-of-Experts“ oder MoE), die nur dann einspringen, wenn es nötig ist, um schwierige Logik oder neue Ideen zu durchdringen. Das ist großartig für das Denken, aber ein wenig unbeholfen, wenn es darum geht, sich einfache, langweilige Fakten zu merken.

Stellen Sie sich das so vor: Wenn Sie einen brillanten Mathematiker fragen würden: „Was ist die Hauptstadt von Frankreich?“, würde er nicht einfach nur „Paris“ sagen. Er müsste eine vollständige mentale Simulation durchlaufen und die Antwort jedes Mal aufs Neue aus dem Stegreif herleiten, was viel Gehirnleistung kostet. Es ist, als würde man einen Supercomputer benutzen, um eine Telefonnummer im eigenen Kopf nachzuschlagen.

Die große Entdeckung: Ein „Spickzettel“ für das Gehirn
Die Forscher bei DeepSeek-AI und der Peking University fragten sich: Was wäre, wenn wir diesen Modellen einen dedizierten „Spickzettel“ für die Dinge gaben, die sie einfach nur wissen müssen?

Sie führten ein neues Werkzeug namens Engram ein. Anstatt die KI zu zwingen, sich durch jedes einzelne Wort „durchzudenken“, fungiert Engram wie eine superschnelle O(1)-Lookup-Tabelle (das bedeutet, es benötigt die gleiche winzige Menge an Zeit, egal ob man ein Wort oder eine Million Wörter nachschlägt). Es basiert auf einer altmodischen Idee namens N-Gramme (das Betrachten von Wortgruppen zusammen), aber sie haben es mit moderner Technologie aufgerüstet, damit es perfekt innerhalb einer riesigen KI funktioniert.

Das „U-förmige“ Geheimnis
Das Team entdeckte eine faszinierende Regel darüber, wie man diese Modelle baut, die sie als U-förmiges Skalierungsgesetz bezeichnen.

Stellen Sie sich vor, Sie haben ein festes Budget an „Gehirnleistung“ (Rechenschritten). Sie können das gesamte Budget für die „Denkarbeiter“ (MoE) ausgeben, oder Sie können es komplett für den „Gedächtnis-Spickzettel“ (Engram) verwenden.

Wenn Sie 100 % auf die Denkarbeiter verwenden, ist das Modell gut in Logik, aber schlecht darin, Fakten zu behalten.
Wenn Sie 100 % auf den Spickzettel verwenden, erinnert sich das Modell an Fakten, kann aber nicht gut schlussfolgern.
Der Sweet Spot: Das Team fand heraus, dass die beste Leistung erzielt wird, wenn man das Budget aufteilt. Man braucht beides. Konkret fanden sie heraus, dass das System insgesamt intelligenter wird, wenn man etwa 20–25 % des „überschüssigen“ Speicherbudgets von den Denkarbeitern abzieht und es dem Engram-Speichermodul gibt. Es ist wie die Erkenntnis, dass ein Genie eine gute Bibliothek braucht, nicht nur ein schnelles Gehirn.

Was ist eigentlich passiert? (Der Beweis)
Sie bauten ein Modell namens Engram-27B und verglichen es mit einem standardmäßigen „Nur-Denken“-Modell derselben Größe und Geschwindigkeit. Die Ergebnisse waren überraschend stark:

Wissen: Es wurde besser bei Trivia und Fakten (wie etwa einem Score von +3,4 höher bei MMLU und +4,0 bei CMMLU).
Schlussfolgerung: Überraschenderweise wurde es auch bei allgemeiner Logik und Rätseln viel besser (ein Score von +5,0 höher bei BBH und +3,7 bei ARC-Challenge).
Mathe & Code: Es verbesserte sich auch bei Coding und Mathematik (wie +3,0 bei HumanEval).

Der Artikel legt nahe, dass dies geschieht, weil das Engram-Modul die „langweiligen“ Dinge übernimmt (wie das Merken, dass „Alexander der Große“ ein spezifischer Name ist), sodass das Hauptgehirn keine Zeit damit verschwendet, ihn neu zu rekonstruieren. Dies setzt die tiefen Schichten der KI frei, damit sie sich auf komplexes, tiefes Denken konzentrieren können. Es ist wie eine Sekretärin, die alle Termine verwaltet, damit der CEO sich auf die Strategie konzentrieren kann.

Der „Langzeitgedächtnis“-Trick
Einer der coolsten Nebeneffekte ist, wie gut diese Modelle lange Geschichten handhaben. Da das Engram-Modul lokale Details sofort erfasst, hat die Haupt-KI mehr „Aufmerksamkeit“ übrig, um die gesamte Geschichte von Anfang bis Ende im Gedächtnis zu behalten. In Tests konnte das Engram-Modell eine spezifische Nadel im Heuhaufen von Text zu 97,0 % der Zeit finden, während das Standardmodell nur 84,2 % erreichte.

Die Hardware-Magie
Schließlich argumentiert das Paper, dass dies nicht nur ein Software-Trick ist, sondern auch hardwarefreundlich ist. Da der „Spickzettel“ feste Adressen (deterministische IDs) verwendet, kann der Computer beginnen, das nächste Stück Speicher abzurufen, während er noch die Mathematik für das aktuelle Stück berechnet. Das bedeutet, dass sie eine massive Tabelle mit 100 Milliarden Parametern auf dem normalen Arbeitsspeicher eines Computers (Host-Memory) speichern können und dennoch fast so schnell Ergebnisse erzielen wie auf einem superschnellen GPU. Der Geschwindigkeitsverlust war vernachlässigbar gering, weniger als 3 %.

Was sie explizit NICHT ist
Das Paper stellt sehr klar, was dies nicht ist:

Es ist nicht einfach nur ein größeres Vokabular. Sie haben versucht, das Vokabular größer zu machen (OverEncoding), aber das funktionierte nicht so gut wie Engram.
Es ist kein Ersatz für den „Denkteil“. Wenn man die Denkarbeiter (MoE) komplett entfernt, versagt das Modell beim logischen Schlussfolgern. Das Gedächtnis ist ein Helfer, kein Ersatz.
Es ist keine magische Lösung für alles. Das Paper merkt an, dass es zwar bei Fakten und Schlussfolgerungen hilft, das „Backbone“ (die Haupt-KI) aber immer noch die schwere Arbeit bei Dingen wie dem Leseverständnis leistet, was stärker auf dem Kontext als auf statischem Gedächtnis beruht.

Wie sicher sind sie sich?
Die Autoren sind sehr zuversichtlich in ihren Messungen. Sie haben dies nicht nur simuliert; sie haben echte Modelle mit 262 Milliarden Token an Daten trainiert und sie an realen Benchmarks getestet. Sie haben gezeigt, dass die „U-förmige“ Regel über verschiedene Größen hinweg Bestand hat und dass die Leistungssteigerungen real, messbar und reproduzierbar sind. Sie haben sogar die „Gates“ innerhalb des Modells visualisiert, um zu zeigen, dass es das Gedächtnis tatsächlich gezielt für Dinge wie Namen und Phrasen aktiviert, genau wie sie es entworfen haben.

Kurz gesagt deutet das Paper darauf an, dass die Zukunft der KI nicht nur darin besteht, größere Gehirne zu bauen; sondern darin, diesen Ge brains eine bessere, schnellere und intelligentere Art zu geben, Dinge nachzuschlagen.

Technisches Resümee: Konditionelles Gedächtnis via skalierbarer Abfrage (Engram)

1. Problemstellung

Aktuelle Large Language Models (LLMs), insbesondere solche, die Mixture-of-Experts (MoE)-Architekturen nutzen, verlassen sich auf konditionale Berechnung, um die Kapazität zu skalieren. Dennoch fehlt Standard-Transformern ein natives Primitiv für den Wissensabruf (Knowledge Lookup). Infolgedessen müssen Modelle den Abruf ineffizient durch dynamische Berechnung simulieren.

Die Autoren argumentieren, dass linguistische Signale eine intrinsische Heterogenität aufweisen:

Kompositionelle Argumentation: Erfordert tiefe, dynamische Berechnung.
Wissensabruf: Ein erheblicher Teil des Textes (z. B. benannte Entitäten, formelhafte Muster) ist lokal, statisch und hochgradig stereotyp.

Standard-Transformer zwingen das Modell dazu, mehrere frühe Schichten von Attention und Feed-Forward-Netzwerken (FFNs) zu konsumieren, um statische Abfragen (z. B. die Auflösung von „Diana, Princess of Wales“) zu rekonstruieren, die theoretisch über einen einfachen Tabellenabruf abgerufen werden könnten. Dies verschwendet wertvolle sequentielle Tiefe auf triviale Operationen und verhindert, dass das Modell Ressourcen für höherwertige Argumentationen bereitstellt.

2. Methodik: Das Engram-Modul

Um dies zu adressieren, führt das Paper Konditionelles Gedächtnis als komplementäre Sparsity-Achse zur konditionalen Berechnung ein. Dies wird durch Engram realisiert, ein Modul, das klassische $N$ -Gramm-Embeddings modernisiert, um $O(1)$ -Konstante-Zeit-Abfragen zu ermöglichen.

2.1. Architektur

Engram erweitert das Transformer-Backbone, indem es die Speicherung statischer Muster strukturell von der dynamischen Berechnung trennt. Es operiert in zwei Phasen:

Sparse Retrieval via gehashten $N$ -Grammen:
- Tokenizer-Kompression: Eine surjektive Funktion bildet rohe Token-IDs auf kanonische Identifikatoren ab (Normalisierung von Groß-/Kleinschreibung, Interpunktion etc.), um die semantische Dichte zu maximieren und die Vokabulargröße zu reduzieren.
- Multi-Head Hashing: Um den kombinatorischen Raum der $N$ -Gramme zu handhaben, nutzt das Modul $K$ distinkte Hash-Heads pro $N$ -Gramm-Ordnung. Diese bilden komprimierte Kontexte über deterministische Funktionen auf Indizes in Embedding-Tabellen ab, wodurch statische Vektoren abgerufen werden.
- Konkatenation: Die abgerufenen Embeddings aus verschiedenen $N$ -Gramm-Ordnungen und Hash-Heads werden konkateniert, um den Gedächtnisvektor zu bilden.
Kontextsensitive Gate-Steuerung & Fusion:
- Da statische Gedächtnisinhalte keinen Kontext besitzen, moduliert ein Gating-Mechanismus das abgerufene Gedächtnis unter Verwendung des aktuellen Hidden State (aggregierter globaler Kontext) als Query.
- Ein Skalar-Gate $\alpha_t$ wird mittels eines Skalarprodukts zwischen dem normalisierten Hidden State und dem Gedächtnis-Key berechnet. Wenn das Gedächtnis dem Kontext widerspricht, unterdrückt das Gate das Gedächtnis (Rauschreduktion).
- Eine leichtgewichtige, kausale Depthwise-Convolution erweitert das rezeptive Feld, bevor das gegatete Gedächtnis via Residualverbindung in das Backbone fusioniert wird.

2.2. Systemeffizienz & Infrastruktur-Co-Design

Im Gegensatz zu MoE, das dynamisches Routing und Kommunikation des Hidden State erfordert, nutzt Engram deterministische Adressierung, die ausschließlich auf den Eingabe-Token-IDs basiert.

Prefetching: Die Indizes sind bereits vor dem Forward-Pass bekannt, was das asynchrone Prefetching von Embeddings aus dem Host-Speicher (CPU/DRAM) über PCIe ermöglicht.
Überlappung: Dies ermöglicht es, die Kommunikation mit der Berechnung der vorangehenden Transformer-Blöcke zu überlappen, wodurch vernachlässigbare Overheads entstehen.
Offloading: Massive Embedding-Tabellen (z. B. 100B Parameter) können in den Host-Speicher ausgelagert werden, wodurch die Beschränkungen des GPU-Speichers umgangen werden.

2.3. Sparsity-Allokation

Die Autoren formulieren das Sparsity-Allokationsproblem: Wie sollte bei einem festen Parameterbudget die Kapazität zwischen MoE-Experten (dynamische Berechnung) und Engram-Gedächtnis (statischer Abruf) aufgeteilt werden?

Sie definieren ein Allokationsverhältnis $\rho$ , das den Anteil der inaktiven Parameter darstellt, die MoE zugewiesen werden.
Experimente zeigen ein U-förmiges Scaling-Gesetz: Reines MoE ( $\rho=100\%$ ) und reines Engram ( $\rho=0\%$ ) sind suboptimal. Die beste Leistung wird mit einer hybriden Allokation erreicht (z. B. $\rho \approx 75\%–80\%$ ), wobei etwa 20–25 % des sparsen Budgets an Engram umverteilt werden.

3. Kernergebnisse

3.1. Pre-training Performance

Die Autoren trainierten vier Modelle auf 262B Tokens, wobei die aktivierten Parameter (3.8B) und die Trainings-FLOPs strikt angeglichen wurden:

Dense-4B: Baseline.
MoE-27B: Standard MoE-Baseline.
Engram-27B: Iso-Parameter zu MoE-27B, wobei 5.7B Parameter an Engram umverteilt wurden (Reduktion der Experten von 72 auf 55).
Engram-40B: Skaliert das Engram-Gedächtnis auf 18.5B Parameter (Gesamt 39.5B).

Erkenntnisse:

Überlegenheit gegenüber MoE: Engram-27B übertraf die iso-parametrische MoE-27B-Baseline in diversen Domänen.
Gewinne bei der Argumentation: Entgegen der Intuition, dass Gedächtnis nur beim Wissensabruf hilft, zeigte Engram signifikante Gewinne bei der allgemeinen Argumentation (BBH +5.0, ARC-Challenge +3.7) sowie bei Code/Mathe (HumanEval +3.0, MATH +2.4).
Gewinne beim Wissen: Verbesserte Leistung bei wissensintensiven Aufgaben (MMLU +3.0, CMMLU +4.0).
Skalierung: Engram-40B reduzierte den Loss weiter, was darauf hindeutet, dass die Gedächtnis-Achse effektiv skaliert, ohne zusätzliche Rechenleistung zu benötigen.

3.2. Long-Context-Fähigkeiten

Durch die Auslagerung lokaler Abhängigkeiten in Lookups setzt Engram die Attention-Kapazität für den globalen Kontext frei.

RULER Benchmark: Engram-27B erreichte 97.0 % Genauigkeit beim Multi-Query Needle-in-a-Haystack (NIAH) im Vergleich zu 84.2 % der MoE-Baseline.
Effizienz: Engram-27B erreichte die LongPPL-Performance der Baseline mit nur 82 % der Pre-training-FLOPs.

3.3. Mechanistische Analyse

Effektive Tiefe: Unter Verwendung von LogitLens und CKA (Centered Kernel Alignment) fanden die Autoren, dass die frühen Schichten von Engram Repräsentationen erzeugen, die semantisch äquivalent zu viel tieferen Schichten der MoE-Baseline sind. Dies deut dem, dass Engram das Netzwerk „vertieft“, indem es die Notwendigkeit umgeht, dass frühe Schichten statische Merkmale rekonstruieren müssen.
Funktionale Dichotomie: Ablationsstudien zeigten, dass Benchmarks für faktisches Wissen kollabierten (nur 29–44 % Leistung verbleibend), wenn Engram deaktiviert wurde, während das Leseverständnis robust blieb (81–93 %). Dies bestätigt, dass Engram als primäres Repository für parametrisches Wissen fungiert.

3.4. Systemeffizienz

Durchsatz: Das Offloading einer 100B-Parameter Engram-Tabelle in den Host-Speicher führte zu einem vernachlässigbaren Durchsatzverlust von <3 % (2.8 % bei einem 8B Backbone), was die Strategie von Prefetch-and-Overlap validiert.

4. Bedeutung und Ansprüche

Das Paper behauptet, dass Konditionelles Gedächtnis ein unverzichtbares Modellierungsprimitiv für die nächste Generation sparser Modelle ist. Die Bedeutung liegt in drei Hauptbereichen:

Strukturelle Komplementarität: Es etabliert, dass statischer Abruf und dynamische Berechnung nicht exklusiv, sondern strukturell komplementär sind. Die Optimierung der Allokation zwischen beiden ergibt ein U-förmiges Scaling-Gesetz, das reines MoE übertrifft.
Effizienz durch Entkopplung: Durch die Trennung von Parameter-Speicherung und Berechnung mittels deterministischer Adressierung ermöglicht Engram es Modellen, auf massive Parameterzahlen (z. B. 40B+) zu skalieren, ohne durch GPU-Speicher oder Rechenkosten begrenzt zu sein, und umgeht so effektiv Hardware-Engpässe.
Vertiefung des Netzwerks: Die Mechanismus-Analyse legt nahe, dass die Bereitstellung eines expliziten Wissensabrufs die frühen Schichten des Backbones von der Aufgabe der statischen Rekonstruktion entlastet. Dies erhöht effektiv die verfügbare Tiefe des Netzwerks für komplexe Argumentationen, was die unerwarteten Gewinne bei Argumentations- und Code-Aufgaben erklärt.

Die Autoren positionieren Engram nicht bloß als Erweiterung des Retrieval-Augmentation, sondern als einen fundamentalen architektonischen Wandel, der $N$ -Gramm-Konzepte für die Ära großskaliger sparser Modelle modernisiert und eine neue Sparsity-Achse bietet, die das vorherrschende MoE-Paradigma ergänzt.