💬 NLP

Continual Knowledge Updating in LLM Systems: Learning Through Multi-Timescale Memory Dynamics

Das Papier stellt Memini vor, ein System, das die kontinuierliche Aktualisierung von Wissen in LLMs verbessert, indem es externes Gedächtnis als einen assoziativen gerichteten Graphen mit gekoppelten schnellen und langsamen internen Variablen modelliert und dadurch episodische Sensitivität, schrittweise Konsolidierung und selektives Vergessen durch biologisch inspirierte Mehrzeitskalendynamiken ermöglicht.

Ursprüngliche Autoren: Andreas Pattichis, Constantine Dovrolis

Veröffentlicht 2026-05-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Andreas Pattichis, Constantine Dovrolis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „eingefrorene" Gehirn

Stellen Sie sich vor, Sie stellen eine brillante Bibliothekarin (ein Large Language Model, oder LLM) ein, um Ihre Fragen zu beantworten. Sie schulen sie einmal, und sie weiß viel. Aber dann verändert sich die Welt weiter. Neue Fakten kommen heraus, alte Fakten werden falsch, und Verbindungen zwischen Ideen verschieben sich.

Das Problem ist, dass diese Bibliothekarin in der Zeit eingefroren ist. Sie kann ihr eigenes Gehirn nicht aktualisieren.

Option A (Aktuelle Lösung 1): Sie versuchen, ihr ganzes Gehirn jedes Mal neu zu trainieren, wenn sich etwas ändert. Das ist teuer, langsam und birgt das Risiko, dass sie alles vergisst, was sie bereits wusste.
Option B (Aktuelle Lösung 2): Sie geben ihr ein Notizbuch (externes Gedächtnis), um neue Fakten nachzuschlagen. Aber die Bibliothekarin schreibt die Dinge nur ins Notizbuch und organisiert es nie. Wenn sie einen Fakt zehn Mal sieht, erkennt sie nicht, dass er wichtig ist. Wenn sie einen Fakt nicht mehr sieht, erkennt sie nicht, dass er veraltet ist. Das Notizbuch wird einfach unordentlich und voller veralteter Informationen.

Die Lösung: Memini (Das „lebendige" Notizbuch)

Die Autoren schlagen ein neues System namens Memini vor. Anstelle eines statischen Notizbuchs ist Memini wie ein lebendiger, atmender Garten oder ein neuronales Netzwerk, das sich basierend auf dem, was es sieht, von selbst verändert.

Die Kernidee ist von der Funktionsweise menschlicher Gehirne übernommen: Synaptische Konsolidierung.

1. Das Zwei-Geschwindigkeits-Gedächtnissystem

In Memini hat jede Verbindung zwischen zwei Ideen (wie „Impfstoff" und „mRNA") zwei interne Regler (Variablen), die zusammenarbeiten:

Der schnelle Regler (Der „Blitz"): Dieser reagiert sofort. Wenn Sie „Impfstoff" und „mRNA" zusammen in einem Dokument sehen, springt dieser Regler hoch. Aber wenn Sie sie nicht bald wieder zusammen sehen, sinkt dieser Regler schnell ab. Es ist wie ein heller Lichtblitz, der verblasst, wenn Sie ihn nicht weiterhin leuchten lassen.
Der langsame Regler (Die „Wurzel"): Dieser bewegt sich sehr langsam. Er wächst nur, wenn der schnelle Regler wiederholt über die Zeit hinweg hochspringt. Sobald der langsame Regler hoch ist, wirkt er wie ein Wurzelsystem, das den schnellen Regler stützt, selbst wenn Sie diese Wörter gerade nicht betrachten.

Die Analogie:
Stellen Sie sich vor, Sie gehen durch einen Wald.

Schneller Regler: Ein einziger Schritt, den Sie tun, erzeugt einen schwachen, vorübergehenden Pfad im Gras. Wenn Sie ihn nicht erneut betreten, wächst das Gras innerhalb eines Tages wieder darüber.
Langsamer Regler: Wenn Sie diesen gleichen Pfad einen Monat lang jeden Tag gehen, wird das Gras abgetreten, und ein Erdpfad entsteht. Selbst wenn Sie eine Weile nicht mehr gehen, bleibt der Erdpfad sichtbar, weil die „Wurzeln" des Pfades tief sind.

2. Wie es lernt (ohne Anweisung)

In alten Systemen muss ein Computermanager entscheiden: „Okay, ich habe diesen Fakt 5 Mal gesehen, ich speichere ihn für immer. Ich habe diesen Fakt seit einem Jahr nicht gesehen, ich lösche ihn."

In Memini sagt ihm niemand, was zu tun ist. Das Lernen geschieht automatisch durch die Interaktion der beiden Regler:

Episodische Sensitivität: Wenn Sie einen Fakt einmal sehen (z. B. „Das Virus stammte von Fledermäusen"), springt der schnelle Regler hoch. Sie können ihn sofort merken. Aber wenn er nie wieder vorkommt, verblasst der schnelle Regler, und der langsame Regler wächst nicht. Das Gedächtnis verschwindet natürlich.
Konsolidierung: Wenn Sie „Impfstoff" und „mRNA" über Monate hinweg in vielen Artikeln zusammen sehen, wächst der langsame Regler stark. Er hält das Gedächtnis dauerhaft aufrecht.
Selektives Vergessen: Wenn ein Fakt einmal wichtig war, aber nicht mehr erscheint (z. B. „Hydroxychloroquin" als Heilmittel), erhält der schnelle Regler keine Boosts mehr. Der langsame Regler fließt schließlich ab, und die Verbindung verblasst. Das System „vergisst", was nicht mehr durch Beweise gestützt wird.

3. Wie es Antworten abruft

Wenn Sie eine Frage stellen, sucht Memini nicht einfach nur in einer Datenbank. Es sendet eine „Welle der Aktivierung" durch seinen Garten von Verbindungen.

Starke, tief verwurzelte Pfade (konsolidierte Fakten) tragen die Welle leicht.
Schwache, überwucherte Pfade (vergessene Fakten) stoppen die Welle.
Da sich der Garten jedes Mal verändert, wenn neue Dokumente eintreffen, kann die Antwort, die Sie heute erhalten, anders sein als die Antwort, die Sie gestern erhalten haben, selbst wenn Sie dieselbe Frage gestellt haben. Das System hat buchstäblich „gelernt" und sich neu organisiert.

Der Beweis (Das COVID-19-Experiment)

Die Autoren testeten dies an einem Strom von Wikipedia-Artikeln über die COVID-19-Pandemie, die verschiedene Phasen durchlief (Ursprung, Lockdowns, Impfstoffe, Varianten).

Was passierte:
- Der Zusammenhang zwischen „Fledermaus" und „Virus" tauchte früh auf und verschwand dann. Memini erinnerte sich kurz daran, ließ es dann aber natürlich verblasen.
- Der Zusammenhang zwischen „mRNA" und „Impfstoff" tauchte während der Impfkampagne wiederholt auf. Der „langsame Regler" von Memini wurde stark und hielt diese Verbindung am Leben, selbst nachdem die Artikel nicht mehr davon sprachen.
- Der Zusammenhang zwischen „Delta-Variante" und „Impfstoff" tauchte spät auf. Da er neu war, war der „schnelle Regler" noch hoch und hielt ihn zugänglich.
Das Ergebnis: Memini hielt erfolgreich wichtige, wiederholte Fakten, während es veraltete oder einmalige Fakten losließ, alles ohne dass ein Mensch ihm sagte, etwas zu löschen. Ein einfacheres System (mit nur einem Regler) schaffte es nicht, die wichtigen alten Fakten zu behalten, und ein System, das nie vergaß (alles einfach hinzufügte), wurde mit nutzlosen Daten verstopft.

Zusammenfassung

Memini argumentiert, dass für KI, um in einer sich verändernden Welt wirklich zu lernen, ihr Gedächtnis kein statisches Lagerhaus sein sollte. Es sollte ein dynamisches System sein, in dem:

Wiederholung Stärke aufbaut (langsamer Regler).
Abwesenheit zum Verblasen führt (Abklingen des schnellen Reglers).
Vergessen ein Feature und kein Fehler ist, weil es das System mit der aktuellen Realität in Einklang hält.

Es ist ein System, das Informationen nicht nur „speichert"; es verdaut sie, behält das Wichtige und lässt den Rest los, genau wie ein menschliches Gehirn.

Technisches Fazit: Kontinuierliche Wissensaktualisierung in LLM-Systemen durch Multi-Zeitskalen-Memodynamik

1. Problemstellung

Large Language Models (LLMs) werden typischerweise einmalig trainiert und in einer dynamischen Welt eingesetzt, in der faktisches Wissen nicht statisch ist. Neue Fakten entstehen, alte werden obsolet, und konzeptionelle Assoziationen stärken oder schwächen sich im Laufe der Zeit. Ein bei der Bereitstellung eingefrorenes Modell kann sich diesen Veränderungen nicht anpassen.

Bestehende Ansätze für kontinuierliches Lernen stoßen auf erhebliche Grenzen:

Parametrisches kontinuierliches Lernen: Das Aktualisieren von Modellgewichten, um neue Informationen aufzunehmen, birgt das Risiko katastrophalen Vergessens, ist rechenintensiv und für Entwickler, die Modelle als Dienstleistung nutzen, oft unzugänglich. Darüber hinaus kann ein einzelner Aktualisierungsmechanismus nicht zwischen Wissen unterscheiden, das sich mit unterschiedlichen Raten verändert.
Externe Speichererweiterung: Aktuelle Retrieval-Augmented Generation (RAG)-Systeme und speichererweiterte Systeme halten den Backbone eingefroren, verlassen sich jedoch auf externe Speicherspeicher. Diese Systeme verwalten den Speicher jedoch typischerweise explizit über feste Regeln (z. B. Anhängen, Beschneiden oder zeitbasiertes Abklingen). Sie lernen nicht durch Umgestaltung ihrer internen Assoziationsstruktur; Assoziationen werden durch Wiederholung nicht gestärkt, noch schwächen sie sich in Abwesenheit von Beweisen auf natürliche Weise ab.

Die Kernherausforderung besteht darin, ein System zu schaffen, das eine selektive Anpassung vornimmt: Assoziationen, die durch laufende Evidenz bestätigt werden, stärken, nicht unterstützte loslassen und dies kontinuierlich tun, ohne den zugrunde liegenden LLM-Backbone zu modifizieren.

2. Methodik: Das Memini-System

Die Autoren schlagen Memini vor, ein Paradigma, bei dem kontinuierliches Lernen durch die Neuorganisation des assoziativen Gedächtnisses erfolgt, angetrieben durch Multi-Zeitskalen-Dynamik, anstatt durch externes Management oder Parameteraktualisierungen.

2.1. Speicherarchitektur

Memini nutzt einen persistenten gerichteten Graphen $G = (V, E)$ , wobei:

Knoten ( $V$ ): Entitäten oder Konzepte repräsentieren, die aus einem eingehenden Dokumentenstrom extrahiert wurden.
Kanten ( $E$ ): Gerichtete Assoziationen ( $A \to B$ ) repräsentieren. Im Gegensatz zu früheren graphbasierten Systemen sind die Kanten unbeschriftet (die Bedeutung wird in Verbindungsmustern kodiert) und tragen persistente, sich entwickelnde Gewichte.

2.2. Multi-Zeitskalen-Kantendynamik

Die Kerninnovation liegt im internen Zustand jeder Kante. Nach dem Benna-Fusi-Modell der synaptischen Konsolidierung führt jede gerichtete Kante $(A, B)$ zwei gekoppelte interne Variablen:

$w_{fast}$ (Schnelle Variable): Die zugängliche Komponente. Sie reagiert direkt auf Ko-Okkurrenz-Ereignisse (Eingabe $I(t)$ ), klingt schnell ab ( $\tau_{fast}$ ) und ist die einzige Variable, die während des Abrufs gelesen wird.
$w_{slow}$ (Langsame Variable): Die verborgene Konsolidierungskomponente. Sie erhält keine direkte externe Eingabe. Sie ändert sich nur durch bidirektionale Kopplung mit $w_{fast}$ und klingt viel langsamer ab ( $\tau_{slow} \gg \tau_{fast}$ ).

Die Dynamik wird durch die folgenden Differentialgleichungen gesteuert:
$\frac{dw_{fast}}{dt} = -\frac{w_{fast}}{\tau_{fast}} + C(w_{slow} - w_{fast}) + I(t)$
$\frac{dw_{slow}}{dt} = -\frac{w_{slow}}{\tau_{slow}} + C(w_{fast} - w_{slow})$

Wobei $C$ die Kopplungsstärke und $I(t)$ der Ko-Okkurrenz-Eingabe ist.

2.3. Emergente Verhaltensweisen

Diese Kopplung erzeugt drei Schlüsselverhalten ohne explizite Regeln oder Gate-Module:

Episodische Sensitivität: Eine einzelne Ko-Okkurrenz verursacht einen steilen Anstieg von $w_{fast}$ , wodurch eine vorübergehende Spur entsteht, die schnell abklingt, wenn sie nicht verstärkt wird.
Allmähliche Konsolidierung: Wiederholte Ko-Okkurrenzen heben $w_{fast}$ wiederholt an, was $w_{slow}$ über die Kopplung allmählich nach oben zieht. Sobald $w_{slow}$ akkumuliert, hält es $w_{fast}$ auch aufrecht, wenn die direkte Eingabe aufhört, und wandelt die Assoziation von episodisch zu stabil.
Selektives Vergessen: Assoziationen, die keine Verstärkung mehr erhalten, klingen ab. Da $w_{slow}$ langsam abklingt, hält es $w_{fast}$ eine Zeit lang aufrecht, aber ein längeres Fehlen von Evidenz führt zum endgültigen Verschwinden der Assoziation. Dies stellt Vergessen nicht als Versagen, sondern als funktionales Mechanismus um, um das Gedächtnis mit dem aktuellen Zustand der Welt in Einklang zu bringen.

2.4. Abruf durch Ausbreitungsaktivierung

Der Abruf erfolgt über Ausbreitungsaktivierung im Graphen. Abfrage-Entitäten aktivieren Startknoten, und die Aktivierung breitet sich entlang von Kanten aus, die durch den aktuellen Wert von $w_{fast}$ gewichtet sind.

Das System liest den aktuellen Speicherzustand, verändert ihn jedoch während des Abrufs nicht.
Da $w_{fast}$ sowohl Aktualität (neueste Eingabe) als auch Konsolidierung (aufrechterhalten durch $w_{slow}$ ) widerspiegelt, durchläuft dieselbe Abfrage, die zu verschiedenen Zeitpunkten gestellt wird, unterschiedliche Pfade und ruft unterschiedliche Kontexte basierend auf der Geschichte der Evidenz ab.

3. Hauptbeiträge

Ein neues Paradigma für kontinuierliches Lernen: Die Arbeit argumentiert für eine Unterscheidung zwischen „akkumulierendem" Gedächtnis (Wachstum eines Speichers) und „lernendem" Gedächtnis (Neuorganisation der Struktur durch Dynamik). Memini implementiert Lernen als autonome Neuorganisation assoziativer Gewichte.
Biologisch inspirierte Dynamik: Es adaptiert das Benna-Fusi-Modell der synaptischen Konsolidierung für externe LLM-Speicher und nutzt gekoppelte schnelle/langsame Variablen, um den Kompromiss zwischen Plastizität und Stabilität zu lösen.
Emergente Selektivität: Das System erreicht selektive Beibehaltung und Vergessen als emergente Eigenschaften der Dynamik, wodurch die Notwendigkeit für explizite Löschregeln, Schwellenwerte oder externe Manager entfällt.
Trennung von Substraten: Das Design trennt das Sprachverarbeitungs-Substrat (den eingefrorenen LLM) vom Lernsubstrat (dem dynamischen Speicher), sodass der Speicher kontinuierlich weiterentwickeln kann, ohne die Modellgewichte zu ändern.

4. Experimentelle Ergebnisse

Die Autoren führten eine initiale Validierung mit einem Strom von 13 zeitlich geordneten Wikipedia-Artikeln zur COVID-19-Pandemie durch (umfassend vier Phasen: Ursprung, Eindämmung, Impfstoffe, Varianten).

Aufbau: 20 Entitäten wurden über den Strom hinweg verfolgt. Das System verwendete eine Zwei-Variable-Benna-Fusi-Instanziierung ( $\tau_{fast}=2, \tau_{slow}=10, C=0.2$ ).
Qualitative Validierung: Das System demonstrierte erfolgreich die drei vorhergesagten Regime:
- Episodisch: „Fledermaus - SARS-CoV-2" (einzelne Erwähnung) zeigte einen vorübergehenden Spike in $w_{fast}$ , der schnell abklingt.
- Konsolidierung: „mRNA - Impfstoff" (wiederholte Erwähnungen in Phase 3) zeigte, wie $w_{slow}$ anstieg und $w_{fast}$ lange nach dem Ende der direkten Eingabe aufrechterhielt.
- Aktualitätssensitivität: „Delta - Impfstoff" (neueste wiederholte Erwähnungen) behielt höhere Gewichte als ältere konsolidierte Paare aufgrund geringerer Abklingzeit.
Ablationsstudie: Memini wurde mit einer Ein-Zeitskalen-Ablation (Entfernung von $w_{slow}$ $w_{s l o w}$ ) und einer gleichmäßigen Beibehaltungs-Baseline (kein Abklingen) verglichen.
- Ergebnis: Für Assoziationen, die „wiederholt, aber nicht mehr erwähnt" wurden, behielt Memini ein mittleres Gewicht, das etwa 30-mal größer war als bei der Ein-Zeitskalen-Ablation.
- Bedeutung: Diese Lücke isoliert den Beitrag der langsamen Variable und beweist, dass sie notwendig ist, um alte, aber zuvor bestätigte Kenntnisse zu bewahren.
- Kontrolle: Für Paare mit „wenigen Erwähnungen, nicht mehr erwähnt" klangen beide Systeme auf nahezu Null ab, während die gleichmäßige Baseline sie beibehielt (was die Kosten des Nicht-Vergessens demonstriert).

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass Memini eine Verschiebung darstellt, wie externer Speicher konzeptualisiert wird: von einem statischen Speicher, der durch externe Regeln verwaltet wird, zu einem Lernsubstrat, das sich durch seine eigene Dynamik neu organisiert.

Theoretischer Beitrag: Es wird gezeigt, dass episodische Sensitivität, allmähliche Konsolidierung und selektives Vergessen aus einem einzigen Mechanismus (gekoppelte Multi-Zeitskalen-Dynamik) entstehen können, anstatt separate Speicher oder Module zu erfordern.
Praktische Implikation: Durch die Entkopplung des Lernens vom LLM-Backbone bietet Memini einen Weg für kontinuierliche Wissensaktualisierung, der katastrophales Vergessen und die mit Parameteraktualisierungen verbundenen Rechenkosten vermeidet.
Bescheidener Umfang: Die Autoren geben ausdrücklich an, dass die aktuelle Arbeit ein theoretisches Design mit initialer Validierung an einem kleinen, kontrollierten Datensatz (13 Dokumente) ist. Sie erkennen an, dass die Skalierung auf eine vollständige empirische Validierung, einschließlich Abruf-Benchmarks und größerer Dokumentenströme, der unmittelbare nächste Schritt bleibt. Die Arbeit behauptet nicht, alle Probleme des kontinuierlichen Lernens zu lösen, sondern schlägt einen spezifischen Mechanismus zur Verwaltung der zeitlichen Dynamik assoziativen Wissens vor.