🤖 AI

Learning to Remember, Learn, and Forget in Attention-Based Models

Das Papier stellt Palimpsa vor, ein Self-Attention-Modell, das In-Context-Learning als ein Problem des kontinuierlichen Lernens unter Verwendung von bayesianischer Metaplastizität rahmt, um Stabilität und Plastizität dynamisch auszubalancieren, wodurch die festen Kapazitäts- und Interferenzbeschränkungen von Gated-Linear-Attention-Modellen überwunden und die Leistung bei Langsequenz-Recall- und Reasoning-Aufgaben signifikant verbessert werden.

Ursprüngliche Autoren: Djohan Bonnet, Jamie Lohoff, Jan Finkbeiner, Elidona Shiqerukaj, Emre Neftci

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Djohan Bonnet, Jamie Lohoff, Jan Finkbeiner, Elidona Shiqerukaj, Emre Neftci

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen eine neue Sprache zu lernen, indem Sie eine lange Geschichte lesen. Während Sie lesen, müssen Sie sich die Namen der Charaktere und die Handlungspunkte merken, um zu verstehen, was als Nächstes passiert.

Das Problem: Der „Aktenschrank“, der voll wird
Aktuelle KI-Modelle (wie die, die Chatbots antreiben) sind sehr gut darin, aber sie haben einen Makel. Um sich an die Geschichte zu erinnern, behalten sie normalerweise einen riesigen „Aktenschrank“ mit jedem einzelnen Wort, das sie bisher gelesen haben. Je länger die Geschichte ist, desto größer wird dieser Schrank. Irgendwann wird er zu schwer und zu langsam zu tragen, besonders auf kleineren Geräten.

Um dies zu beheben, haben Wissenschaftler „lineare“ Modelle entwickelt. Diese Modelle nutzen ein Notizbuch mit fester Größe anstelle eines riesigen Aktenschranks. Sie schreiben neue Notizen in das Notizbuch, aber wenn das Notizbuch voll ist, müssen sie die alten Notizen überschreiben, um Platz zu schaffen. Dies verursacht ein Problem, das man katastrophales Vergessen nennt: Das Modell löscht versehentlich wichtige frühe Details (wie den Namen des Hauptcharakters), nur um den neuesten Satz aufzuschreiben.

Die Lösung: Ein intelligentes Notizbuch namens „Palimpsa“
Die Autoren dieses Papers schlagen ein neues Modell namens Palimpsa vor. Sie behandeln das Gedächtnis des Modells wie ein Palimpsest – ein antikes Pergament, bei dem Schreiber die alte Schrift abschabten, um das Papier wiederzuverwenden. Aber anstatt einfach alles abzuschaben, ist Palimpsa klug darin, was es abschabt.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das „Wichtigkeits-Tag“-System

Stellen Sie sich vor, Ihr Notizbuch hat auf jeder Seite ein spezielles Etikett, auf dem steht: „Wie wichtig ist das?“

Alte lineare Modelle: Sie behandeln jede Seite gleich. Wenn sie Platz brauchen, löschen sie einfach die älteste Seite, selbst wenn diese den entscheidendsten Wendepunkt der Handlung enthält.
Palimpsa: Es verwendet ein System namens Metaplastizität. Dies ist wie eine „Lernrate“ für jede einzelne Information.
- Wenn eine Tatsache wichtig ist (wie der Name des Bösewichts), klebt das Modell einen „Nicht löschen“-Aufkleber darauf. Es wird sehr schwierig, diese zu ändern oder zu überschreiben.
- Wenn eine Tatsache veraltet oder unwichtig ist (wie eine zufällige Beschreibung eines Baumes, die vor 1.000 Wörtern vorkam), entscheidet das Modell, dass es in Ordnung ist, diese Information verblassen zu lassen.

2. Lernen, Erinnern und Vergessen

Das Paper beschreibt Palimpsa als ein Modell, das drei unterscheidbare Fähigkeiten erlernt hat:

Lernen: Es kann neue Informationen schnell aufsaugen, wenn sie eintreffen.
Erinnern: Es schützt die „wichtigen“ Informationen, damit sie nicht durch neue, weniger relevante Daten überschrieben werden.
Vergessen: Es verwirft aktiv „veraltete“ Informationen. Dies ist entscheidend. Wenn das Modell niemals vergessen würde, wäre es irgendwann so voll mit alten, nutzlosen Daten, dass es nichts Neues mehr lernen könnte. Dies nennt man „katastrophales Erinnern“. Palimpsa vermeidet dies, indem es das Alte loslässt, um Platz für das Neue zu schaffen.

3. Die „Mamba“-Verbindung

Das Paper macht eine faszinierende Entdeckung über ein populäres Modell namens Mamba2.

Betrachten Sie Mamba2 als einen sehr schnellen, effizienten Läufer, der bei kurzen Sprints großartig ist, aber dazu neigt, Dinge fallen zu lassen, wenn das Rennen zu lang wird.
Die Autoren zeigen, dass Mamba2 tatsächlich ein „Spezialfall“ von Palimpsa ist, bei dem der „Vergessen“-Schalter voll aufgedreht ist. Es vergisst so aggressiv, dass es gar nicht erst lernt, wichtige Erinnerungen zu schützen.
Das Upgrade: Die Autoren haben herausgefunden, wie man ein vortrainiertes Mamba2-Modell nimmt und dessen Gehirnteile „chirurgisch“ durch Palimpsa-Teile ersetzt. Dies verwandelt den schnellen Sprinter in einen Marathonläufer, der sich auch nach 32.000 Schritten noch an den Anfang des Rennens erinnern kann.

Was haben sie bewiesen?

Die Forscher haben dies auf drei Arten getestet:

Das „Gedächtnisspiel“ (MQAR): Sie gaben dem Modell Listen von Paaren (wie „Schlüssel A = Wert 1“) und baten es, diese später abzurufen. Palimpsa war viel besser darin, die richtigen Antworten zu erinnern, insbesondere wenn die Liste sehr lang wurde, da es nicht versehentlich die wichtigen Schlüssel überschrieb.
Gesunder Menschenverstand: Sie testeten das Modell bei Aufgaben, die Logik und Allgemeinwissen erfordern (wie „Wenn ich eine Tasse auf einen Tisch stelle, wo ist die Tasse?“). Die Palimpsa-Versionen des Modells schnitten besser ab als die Standardversionen, was zeigt, dass sie den notwendigen Kontext halten können, um korrekt zu antworten.
Lange Geschichten: Beim Lesen sehr langer Texte verlor Palimpsa seine Fähigkeit, die Geschichte zu verstehen, nicht so schnell wie die anderen Modelle. Es konnte „weiter zurückreichen“, um im Text die richtige Antwort zu finden.

Das Fazbeitrag (The Bottom Line)

Palimpsa ist eine neue Art für KI, ihr Gedächtnis zu verwalten. Anstatt einfach einen Eimer zu füllen, bis er überläuft, agiert Palimpsa wie ein kluger Bibliothekar. Es weiß, welche Bücher es für immer im Regal behalten muss, welche es für eine Weile behalten sollte und welche es wegwerfen muss, um Platz für Neuankömmlinge zu schaffen. Dies ermöglicht es der KI, längere, komplexere Aufgaben zu bewältigen, ohne verwirrt zu werden oder den Anfang der Geschichte zu vergessen.

Technische Zusammenfassung: Lernen zu Erinnern, Lernen und Vergessen in aufmerksamkeitsbasierten Modellen

Problemstellung
In-Context Learning (ICL) in Transformern fungiert als ein Online-assoziatives Gedächtnis, das eine hohe Leistungsfähigkeit bei komplexen Sequenzaufgaben ermöglicht. Gated Linear Attention Modelle und State Space Models (SSMs) verlassen sich jedoch typischerweise auf fest dimensionierte Gedächtniszustände, um die rechnerischen und speicherbedingten Engpässe von Standard-Transformern (die eine lineare und quadratische Skalierung für KV-Caches erfordern) zu adressieren. Diese feste Kapazität erzeugt ein „Stabilitäts-Plastizitäts-Dilemma“: Das Modell muss neue Informationen lernen, ohne kritisches Vorwissen zu überschreiben (katastrophales Vergessen), oder umgekehrt, es darf nicht unfähig werden, neue Informationen zu integrieren, aufgrund eines übermäßigen Zurückhaltens veralteter Daten (katastrophales Erinnern). Bestehende Metaplastizitäts-Methoden aus den Neurowissenschaften sind für Transformer oft ungeeignet, da sie auf distinkten Aufgaben-Grenzen, wachsendem Gedächtnis oder mangelnder Differenzierbarkeit beruhen. Zudem leiden aktuelle lineare Attention-Modelle oft unter begrenzter Gedächtniskapazität und Interferenzen, wenn die Sequenzlängen zunehmen.

Methodik: Palimpsa
Die Autoren schlagen Palimpsa vor, ein Self-Attention-Modell, das ICL als ein kontinuierliches Lernproblem umformuliert, das durch Bayesianische Metaplastizität lösbar ist. Die zentrale Erkenntnis ist, dass die Plastizität jedes Attention-Zustands dynamisch basierend auf einem „Wichtigkeitszustand“ angepasst werden sollte, der auf einer Prior-Verteilung basiert, welche das akkumulierte Wissen erfasst.

Bayesianische Formulierung: Der Attention-Head wird als ein Bayesianisches Inferenzproblem modelliert, bei dem das Ziel darin besteht, ein variatorisches Free-Energy-Ziel zu minimieren. Die Posterior-Verteilung über den Gedächtniszustand $S$ wird rekursiv aktualisiert. Um katastrophales Erinnern (bei dem der Prior zu stark konzentriert wird) zu verhindern, führen die Autoren einen gewichteten Posterior ein, der das Speicherfenster effektiv beschneidet. Dies wird erreicht, indem ein Bruchteil des akkumulierten Prior-Gewichts in jedem Schritt verworfen wird, gesteuert durch ein Vergessens-Gate $\alpha_t = \exp(-A d_t)$ .
Metaplastische Update-Regel: Durch Anwendung von Variational Inference (VI) mit einer diagonalen Approximation der Kovarianzmatrix leiten die Autoren eine geschlossene Form der Update-Regel ab. Der Gedächtniszustand $\mu_t$ $μ_{t}$ und eine Wichtigkeitsmatrix $I_t$ $I_{t}$ (die die inverse Varianz oder Präzision jedes Zustands darstellt) werden gleichzeitig aktualisiert:
- $I_t = \alpha_t I_{t-1} + (1 - \alpha_t)I_{prior} + \beta_t \otimes k_t^2$
- $\mu_t = \alpha_t \frac{I_{t-1}}{I_t} \odot \mu_{t-1} + \frac{1}{I_t} \odot [(\beta_t \odot v_t) \otimes k_t]$
  Hier fungiert $\beta_t$ als ein eingangsabhängiger Wichtigkeitsfaktor, und $I_t$ skaliert die Lernrate für jeden Zustand dynamisch. Hohe Wichtigkeit (geringe Varianz) führt zu Stabilität (geringe Plastizität), während geringe Wichtigkeit schnelleres Lernen ermöglicht.
Architektonische Varianten: Die Autoren implementieren zwei Varianten:
- Palimpsa-D: Ein Austauschmodell für Gated Delta Rule Modelle (Deltanets), das eine Projektion für $\beta_t$ und einen Residuen-Term hinzufügt.
- Palimpsa-M: Basierend auf Mamba2, wobei das Input-Gate $d_t$ eine Doppelfunktion als sowohl Vergessens-Gate als auch Input-Gate übernimmt.
Theoretische Vereinheitlichung: Die Arbeit zeigt, dass verschiedene Gated Linear Attention Modelle (Longhorn, Deltanets, Mesanet) als spezifische architektonische Entscheidungen oder Posterior-Approximationen innerhalb dieses gemeinsamen Bayesianischen Rahmens hervorgehen. Bemerkenswerterweise wird gezeigt, dass Mamba2 ein Spezialfall von Palimpsa ist, bei dem die Vergessensrate so hoch ist, dass die Wichtigkeitsmatrix konstant bleibt ( $I_t \approx I_{prior}$ ), was die Metaplastizität effektiv deaktiviert.

Wesentliche Beiträge

Metaplastizität in ICL: Die Einführung von Bayesianischer Metaplastizität zur Milderung von in-context katastrophalem Vergessen und Erinnern durch dynamische Anpassung der Zustandsplastizität basierend auf Unsicherheit.
Palimpsa-Modell: Ein skalierbarer Attention-Block, der katastrophales Erinnern verhindert, indem er veraltetes Wissen schrittweise freigibt, implementiert mit benutzerdefinierten Kernels für effizientes GPU-Training.
Vereinheitlichter Rahmen: Eine mathematische Herleitung, die zeigt, dass bestehende Gated Linear Attention und State Space Modelle Spezialfälle eines gemeinsamen Bayesianischen Rahmens sind und Mamba2 als einen Grenzwert von Palimpsa identifiziert.
Transformations-Pipeline: Eine Methode, um nicht-metaplastische Modelle (wie vortrainiertes Mamba2) mittels Fine-Tuning in metaplastische Modelle zu transformieren, indem die Geschwindigkeit nicht-metaplastischer Kernels für das Pre-Training und die Gedächtniskapazität der Metaplastizität für das Fine-Tuning genutzt wird.

Experimentelle Ergebnisse
Die Autoren evaluieren Palimpsa auf synthetischen, Common-Sense-Reasoning- und Long-Context-Benchmarks mit 170M, 760M und 2.7B Parametern.

Synthetisch (MQAR): Im Multi-Query Associative Recall Benchmark übertrifft Palimpsa konsistent nicht-metaplastische Baselines (einschließlich Gated Deltanet und Mamba2). Die Leistungsdifferenz vergrößert sich mit zunehmender Sequenzlänge, was zeigt, dass Metaplastizität das Überschreiben in komplexen Memorierungsaufgaben effektiv mildert.
Sprachmodellierung & Common-Sense-Reasoning: Auf dem FineWeb-Edu Datensatz erreichen die metaplastischen Varianten (Palimpsa-D und Palimpsa-M) eine überlegene Perplexität und Genauigkeit bei Aufgaben wie LAMBADA, PIQA und WinoGrande im Vergleich zu ihren nicht-metaplastischen Gegenstücken und Standard-Transformern. Speziell auf der 760M Skala übertrifft das feinjustierte Palimpsa-D die Gated Deltanet Baseline um ca. 0,8 Punkte in der durchschnittlichen Genauigkeit.
Long-Context-Leistung: In Experimenten mit einem 2.7B Parameter Modell, bei denen 8 Mamba2-Layer chirurgisch durch Palimpsa-Blöcke mit dem schwächsten Vergessen (größtes effektives Gedächtnisfenster) ersetzt wurden, resultierte dies in einer Verbesserung um +0,84 Punkte beim Common-Sense-Reasoning und um +1,1 Punkte auf dem LongBench Benchmark. Während das metaplastische Modell bei Short-Context-Retrieval-Aufgaben leicht unterperformte, zeigte es eine signifikant langsamere Degradation bei zunehmender Kontextlänge und übertraf die Baseline bei 32k Tokens.
Lern-Dynamik: Die Analyse zeigt, dass das Metaplastizitäts-Verhältnis (Differenzierung zwischen plastischen und konsolidierten Synapsen) während des Trainings zunimmt, was es dem Modell ermöglicht, wichtige Informationen zu stabilisieren und gleichzeitig gegenüber neuen Daten plastisch zu bleiben.

Bedeutung und Ansprüche
Das Paper behauptet, dass Palimpsa eine fundierte Lösung für das Stabilitäts-Plastizitäts-Dilemma in Modellen mit fester Speichergröße bietet, indem es Konzepte aus den Neurowissenschaften (Metaplastizität) und der Bayesianischen Inferenz integriert. Die Bedeutung liegt in:

Theoretischer Einsicht: Die Vereinigung disparater Linear-Attention-Architekturen unter einem einzigen Bayesianischen Rahmen und die Identifizierung von Mamba2 als ein spezifischer, vergessensdominierter Grenzwert.
Praktischer Skalierbarkeit: Ermöglicht den Einsatz von metaplastischen Modellen in großem Maßstab durch die Entkopplung von Pre-Training (unter Verwendung schneller, nicht-metaplastischer Kernels) und Fine-Tuning (unter Verwendung von metaplastischen Kernels zur Erweiterung der Gedächtniskapazität).
Leistungsfähigkeit: Demonstration, dass Metaplastizität die Gedächtnisretention und die Reasoning-Fähigkeiten in Long-Context-Szenarien konsistent verbessert, ohne die quadratischen Speicherkosten von Standard-Transformern zu erfordern.

Die Autoren kommen zu dem Schluss, dass dieser Ansatz die Bereitstellung leistungsfähiger Sequenzmodellierung auf ressourcenbeschränkten Systemen (Edge-Geräten) unterstützt, indem er optimiert, wie Informationen innerhalb strenger Speichergrenzen gelernt, erinnert und vergessen werden.