🤖 AI

$\delta$ -mem: Efficient Online Memory for Large Language Models

Das Papier stellt $\delta$ -mem vor, einen leichten Mechanismus, der eingefrorene große Sprachmodelle mit einem kompakten, auf Delta-Regeln basierenden Online-Speicherzustand erweitert, um historische Informationen effizient zu komprimieren und wiederzuverwenden, was die Leistung bei speicherintensiven Aufgaben erheblich verbessert, ohne eine vollständige Feinabstimmung oder eine Erweiterung des Kontextfensters zu erfordern.

Ursprüngliche Autoren: Jingdi Lei, Di Zhang, Junxian Li, Weida Wang, Kaixuan Fan, Xiang Liu, Qihan Liu, Xiaoteng Ma, Baian Chen, Soujanya Poria

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jingdi Lei, Di Zhang, Junxian Li, Weida Wang, Kaixuan Fan, Xiang Liu, Qihan Liu, Xiaoteng Ma, Baian Chen, Soujanya Poria

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sprechen mit einem sehr klugen Freund (der KI), der ein fantastisches Gedächtnis für Fakten hat, aber überfordert ist, wenn Sie versuchen, ihm Ihre gesamte Lebensgeschichte in einem Atemzug zu erzählen.

Das Problem: Der Flaschenhals „zu viele Informationen"
Aktuell besteht der übliche Trick, damit eine KI ein langes Gespräch im Gedächtnis behält, darin, einfach den gesamten Chatverlauf erneut in den Prompt einzufügen.

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein 1.000-seitiges Buch zu lesen, um einen bestimmten Satz zu finden. Das dauert ewig (es ist rechnerisch sehr teuer), und bis Sie am Ende angekommen sind, haben Sie möglicherweise den Anfang vergessen (dies wird als „Kontext-Rot" bezeichnet).
Die Sichtweise des Papers: Einfach das „Buch" größer zu machen, löst das Problem nicht. Die KI hat immer noch Schwierigkeiten, die richtige Nadel im Heuhaufen zu finden.

Die Lösung: $\delta$ -mem (Delta-Mem)
Die Autoren schlagen eine neue Methode zur Handhabung von Gedächtnis vor, die $\delta$ -mem genannt wird. Anstatt dem Mund der KI Seiten voller vergangenen Textes zu stopfen, geben sie ihr ein winziges, super-effizientes „Haftnotiz"-System, das sich in Echtzeit aktualisiert.

Hier ist die Funktionsweise, aufgeschlüsselt mit einfachen Metaphern:

1. Das gefrorene Gehirn und die Haftnotiz

Stellen Sie sich das Hauptgehirn der KI (das „Fundament") als gefrorene Statue vor. Es ist unglaublich klug, aber Sie können seine interne Verkabelung nicht ändern oder es neu trainieren.

Die Innovation: $\delta$ -mem fügt dieser Statue ein winziges 8x8-Raster hinzu (stellen Sie sich ein sehr kleines, hochtechnisches Haftnotizblock-Set vor).
Wie es aktualisiert wird: Jedes Mal, wenn Sie etwas Neues sagen, schreibt das System keinen ganzen neuen Absatz. Stattdessen berechnet es die Differenz (das „Delta") zwischen dem, was es erwartet hatte, dass Sie sagen, und dem, was Sie tatsächlich sagten, und aktualisiert die Haftnotiz nur mit dieser winzigen Korrektur.
Die Analogie: Es ist wie ein GPS, das nicht die ganze Welt neu kartiert, wenn Sie eine Ecke umdrehen. Es aktualisiert lediglich Ihre aktuelle Position relativ zu der Stelle, an der Sie eine Sekunde zuvor waren.

2. Das „Lenkrad" (Niedrigrang-Korrekturen)

Wenn die KI im Begriff ist, Ihnen zu antworten, schaut sie nicht einfach auf die Haftnotiz, um eine Geschichte zu „lesen". Stattdessen fungiert die Haftnotiz wie ein Lenkrad.

Der Mechanismus: Die KI betrachtet die Haftnotiz und sagt: „Oh, basierend auf unserer Geschichte sollte ich meine Aufmerksamkeit leicht nach links justieren." Sie nimmt eine winzige, niedrigrangige Anpassung daran vor, wie sie Ihre aktuelle Frage verarbeitet.
Das Ergebnis: Die KI muss den gesamten Verlauf nicht erneut lesen. Das „Lenken" geschieht sofort und führt das gefrorene Gehirn dazu, den richtigen Kontext zu behalten, ohne verwirrt zu werden.

3. Drei Arten, die Notiz zu schreiben

Das Paper testete drei verschiedene Methoden, um diese Haftnotiz zu aktualisieren:

Token-State (TSW): Aktualisierung der Notiz nach jedem einzelnen Wort, das Sie tippen. (Sehr detailliert, kann aber verrauscht werden).
Sequence-State (SSW): Aktualisierung der Notiz nach jedem Satz oder jeder Nachricht. (Glatter, wie das Zusammenfassen eines Absatzes, bevor man ihn aufschreibt).
Multi-State (MSW): Verwendung von drei separaten Haftnotizen gleichzeitig. Eine für Fakten, eine für Ihre Präferenzen und eine für die aktuelle Aufgabe. Dies verhindert, dass die Notizen durcheinandergeraten.

Was haben sie herausgefunden?

Die Forscher testeten dies an verschiedenen KI-Modellen und stellten einige beeindruckende Ergebnisse fest:

Klein aber mächtig: Selbst mit einem winzigen 8x8-Raster (was in computerischen Begriffen unglaublich klein ist) schnitt die KI bei gedächtnisintensiven Aufgaben deutlich besser ab.
Die „magische" Wiederherstellung: In einem Test entfernten sie den gesamten Chatverlauf und gaben der KI nur die winzige Haftnotiz. Die KI konnte sich dennoch genug merken, um Fragen korrekt zu beantworten, was bewies, dass die Notiz das Wesentliche des Gesprächs einfing und nicht nur die Wörter.
Die Konkurrenz schlagen: Sie schnitt besser ab als andere Methoden, die versuchten, mehr Text in den Prompt zu stopfen oder externe Datenbanken zu nutzen. Sie war schneller, günstiger und genauer.

Das Fazit

$\delta$ -mem ist wie das Geben eines dynamischen, sich selbst aktualisierenden Spickzettels an einen superklugen, aber vergesslichen Roboter. Anstatt den Roboter zu zwingen, eine Bibliothek voller Bücher zu lesen, um sich an ein Gespräch zu erinnern, wirft er nur einen Blick auf eine winzige, sich ständig aktualisierende Notiz, die ihm genau sagt, wie er seine Aufmerksamkeit lenken soll. Dies ermöglicht es der KI, langfristige Interaktionen effizient zu behalten, ohne neu trainiert werden zu müssen oder eine massive Menge an Rechenleistung zu benötigen.

Technischer Überblick zu $\delta$ -mem: Effizientes Online-Gedächtnis für Large Language Models

1. Problemstellung

Da Large Language Models (LLMs) in Langzeit-Assistenten und Agentensystemen eingesetzt werden, sehen sie sich einer kritischen Herausforderung gegenüber: der Notwendigkeit, historische Informationen über längere Interaktionen hinweg zu akkumulieren, zu aktualisieren und wiederzuverwenden. Aktuelle Strategien verlassen sich oft darauf, einfach das Eingabe-Kontextfenster zu erweitern. Dieser Ansatz ist jedoch aufgrund der quadratischen Kosten der Standard-Aufmerksamkeit in Bezug auf die Kontextlänge rechnerisch teuer. Darüber hinaus garantiert eine reine Vergrößerung des Fensters keine effektive Nutzung; Modelle leiden beim Umgang mit sehr langen Sequenzen oft unter „Kontextdegradation" oder „Kontextverrottung", was darauf hindeutet, dass Millionen-Token-Fenster das Speicherproblem nicht grundlegend lösen.

Bestehende Speichermechanismen lassen sich in drei Paradigmen einteilen, die jeweils Einschränkungen aufweisen:

Textuelle Speichermechanismen (TMMs): Speichern den Speicher als Text, der in den Eingabekontext injiziert wird. Obwohl flexibel, leiden sie unter Kontextfenstergrenzen, Retrieval-Rauschen und Kompressionsverlusten.
Speichermechanismen außerhalb des Kanals (OMMs): Halten den Speicher in externen Modulen, die über Retrieval abgerufen werden. Dies führt zu Overhead, Integrationskomplexität und potenzieller Fehlausrichtung mit dem Backbone.
Parametrische Speichermechanismen (PMMs): Kodieren den Speicher in Präfixe oder Adapter. Obwohl sie für eingefrorene Backbones effizient sind, begrenzt ihr statischer Charakter die Anpassung an sich dynamisch entwickelnde Informationen.

Es besteht ein Bedarf an einem Mechanismus, der einen kompakten, sich dynamisch entwickelnden Speicherzustand aufrechterhält und den Backbone über einen Pfad steuert, der eng mit seiner internen Aufmerksamkeitsberechnung abgestimmt ist, ohne vollständiges Fine-Tuning oder eine explizite Kontexterweiterung zu erfordern.

2. Methodik: $\delta$ -mem

Die Autoren schlagen $\delta$ -mem vor, einen leichten Speichermechanismus, der einen eingefrorenen Full-Attention-Backbone mit einem kompakten Online-Zustand assoziativen Speichers (OSAM) erweitert. Das Kernkonzept folgt in jeder Position einem „Lese-Steuer-Schreib"-Zyklus und lässt die Backbone-Parameter eingefroren.

A. Online-Zustand assoziativen Speichers (OSAM)
Anstatt alle historischen Token zu speichern, komprimiert $\delta$ -mem vergangene Informationen in eine Zustandsmatrix fester Größe $S \in \mathbb{R}^{r \times r}$ (speziell eine $8 \times 8$ -Matrix in den Experimenten). Dieser Zustand speichert Schlüssel-Wert-Assoziationen ( $k \to v$ ) aus dem historischen Kontext.

Aktualisierungsregel: Der Zustand wird sequenziell unter Verwendung eines Delta-Regel-Lernansatzes aktualisiert, der von Online-Regression inspiriert ist. Gegeben ein Speicherschlüssel $k_t$ und ein Wert $v_t$ sagt der Zustand $\hat{v}_t = S_{t-1}k_t$ voraus. Die Aktualisierung minimiert den Residualfehler:
$S_t = \lambda_t S_{t-1} + \beta_t (v_t - S_{t-1}k_t)k_t^\top$
Hier kontrolliert $\lambda_t$ (Vergessensgate) die Beibehaltung des vorherigen Speichers, und $\beta_t$ (Schreibgate) kontrolliert die Stärke der Residualaktualisierung. Dies ermöglicht dem Zustand, prädiktive Diskrepanzen dynamisch zu korrigieren und gleichzeitig stabile historische Informationen zu bewahren.

B. Speicherprojektionen
Der verborgene Zustand $x_t$ des eingefrorenen Backbones wird in einen niedrigdimensionalen Speicherraum ( $r$ Dimensionen) projiziert, um Query- ( $q^m_t$ ), Key- ( $k^m_t$ ) und Value-Vektoren ( $v^m_t$ ) für den Speicherzustand zu generieren. Eine Normalisierung wird auf $q^m_t$ und $k^m_t$ angewendet, um Instabilität während der Rekursion langer Sequenzen zu reduzieren.

C. Steuerung durch Low-Rank-Korrekturen
Während der Generierung liest $\delta$ -mem aus dem vorherigen Zustand $S_{t-1}$ unter Verwendung der aktuellen Query $q^m_t$ , um einen Lesvektor $r_t = S_{t-1}q^m_t$ zu erzeugen. Dieser Vektor liefert kontextrelevante Signale, die die Aufmerksamkeit des Backbones steuern, ohne Text-Token abzurufen.

Das Lesesignal wird in Low-Rank-Korrekturen für die Query- ( $\Delta q_t$ ) und Output- ( $\Delta o_t$ ) Seite des Aufmerksamkeitsmechanismus transformiert:
$\tilde{q}_t = q^0_t + \alpha \Delta q_t, \quad \tilde{y}_t = a_t + \alpha \Delta o_t$
wobei $q^0_t$ die ursprüngliche Query und $a_t$ der Standard-Aufmerksamkeitsoutput ist. Diese Korrekturen ermöglichen es dem assoziativen Speicher, direkt an der Vorwärtsberechnung teilzunehmen.

D. Strategien für die Schreibgranularität
Die Arbeit untersucht drei Strategien zur Aktualisierung des Zustands:

Token-Zustand-Schreiben (TSW): Aktualisiert den Zustand bei jedem Token. Erhält feinkörnige Details, ist jedoch empfindlich gegenüber Rauschen.
Sequenz-Zustand-Schreiben (SSW): Mittelt verborgene Zustände innerhalb einer Nachricht/eines Segments vor der Aktualisierung. Reduziert Redundanz und glättet die Entwicklung.
Multi-Zustand-Schreiben (MSW): Pflegt mehrere parallele Teilzustände (z. B. für Fakten, Präferenzen, Aufgabenfortschritt), um Interferenzen zu reduzieren, und aggregiert deren Auslesungen.

E. Training
$\delta$ -mem wird unter Verwendung des Standard-Supervised-Fine-Tuning (SFT)-Verlusts trainiert. Die Kontext-Token werden in den Online-Zustand geschrieben, aber der Zustand selbst (nicht die rohen Kontext-Token) steuert den eingefrorenen Backbone während der Vorhersage der Antwort.

3. Hauptbeiträge

Neuer Mechanismus: Vorschlag von $\delta$ -mem, das einen kompakten, dynamisch aktualisierten Online-Zustand direkt mit der Aufmerksamkeitsberechnung eines eingefrorenen Backbones koppelt und dabei vollständiges Fine-Tuning oder den Austausch des Backbones vermeidet.
Kompakte Effizienz: Demonstration, dass ein extrem kleiner Speicherzustand ( $8 \times 8$ -Matrix) ausreicht, um nützliche historische Signale zu bewahren und kontextrelevante Informationen wiederherzustellen, selbst wenn der explizite Verlauf entfernt wird.
Leistungssteigerungen: Zeigt signifikante Verbesserungen bei speicherintensiven Benchmarks bei gleichzeitiger Bewahrung allgemeiner Fähigkeiten, ohne sich auf die Erweiterung des expliziten Kontexts oder schwere externe Retrieval-Module zu verlassen.

4. Experimentelle Ergebnisse

Die Methode wurde an allgemeinen Fähigkeits-Benchmarks (IFEval, GPQA-Diamond, HotpotQA) und speicherintensiven Benchmarks (LoCoMo, MemoryAgentBench) unter Verwendung der Backbones Qwen3-4B-Instruct, Qwen3-8B und SmolLM3-3B evaluiert.

Gesamtleistung: $\delta$ -mem verbesserte den Durchschnittswert um 1,10 $\times$ gegenüber dem eingefrorenen Backbone und um 1,15 $\times$ gegenüber dem stärksten Nicht- $\delta$ -mem-Speicher-Baseline (Context2LoRA).
Speicherintensive Aufgaben:
- MemoryAgentBench: Erzielte eine Verbesserung um 1,31 $\times$ (von 29,54 % auf 38,85 % im Durchschnitt).
- LoCoMo: Erzielte eine Verbesserung um 1,20 $\times$ (von 40,79 % auf 49,12 % im Durchschnitt).
- TTL-Teilaufgabe: Der Wert verdoppelte sich nahezu von 26,14 auf 50,50.
Backbone-Variationen:
- Bei Qwen3-4B erreichte die TSW-Variante den besten Durchschnitt (51,66 %).
- Bei Qwen3-8B schnitt SSW am besten ab (50,86 %), was darauf hindeutet, dass das Schreiben auf Segmentebene Rauschen für stärkere Modelle mindert.
- Bei SmolLM3-3B führte MSW zu einem erheblichen Sprung (von 26,08 % auf 36,96 %), was zeigt, dass kleinere Modelle von der Trennung von Speichertypen profitieren, um Interferenzen zu minimieren.
Kontextwiederherstellung: In „Kein Kontext"-Einstellungen (wo der explizite Verlauf entfernt wird) erholte $\delta$ -mem signifikante Leistung, erhöhte HotpotQA-EM von 0,08 % auf 6,48 % und den LoCoMo-Durchschnitt von 3,49 % auf 8,05 %, was beweist, dass der Zustand wiederverwendbare Signale speichert.
Ablationsstudien:
- Köpfe: Das Einspeisen von Korrekturen in sowohl Query- als auch Output-Zweige ($qo$) bot den besten Kompromiss zwischen Leistung und Parametern.
- Tiefe: Die Anwendung von Korrekturen über alle Schichten hinweg ergab die besten Ergebnisse, was darauf hindeutet, dass Speichersignale der gesamten Repräsentationshierarchie zugutekommen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass effektiver Speicher für LLMs durch einen kompakten Online-Zustand, der direkt mit der Aufmerksamkeitsberechnung gekoppelt ist, realisiert werden kann. Die Bedeutung von $\delta$ -mem liegt in seiner Fähigkeit:

Speicherwartung von der Prompt-Wiedereinfügung zu entkoppeln: Im Gegensatz zu textuellem Speicher leitet es komprimierte Historie nicht wieder durch den Token-Raum, wodurch Kontextfenstergrenzen und Retrieval-Rauschen vermieden werden.
Dynamische Evolution zu ermöglichen: Im Gegensatz zu parametrischem Speicher entwickelt sich der Zustand durch Delta-Regel-Lernen kontinuierlich mit der Sequenz weiter und passt sich neuen Interaktionen ohne diskrete Bearbeitungsschritte an.
Effizienz zu bewahren: Es erzielt diese Gewinne mit einer festen, winzigen Zustandsgröße ( $8 \times 8$ ) und ohne Modifikation der Backbone-Architektur und bietet eine skalierbare Schnittstelle für Testzeit-Speicher in eingefrorenen Transformern.

Die Autoren schließen, dass dieser Ansatz eine robuste Alternative zur Kontexterweiterung bietet und es Modellen ermöglicht, historische Informationen effektiv zu nutzen, ohne die rechnerische Last der Langkontextverarbeitung oder die Komplexität externer Retrieval-Systeme.