🤖 machine learning

Continual Self-Improvement with Lightweight Experiential Latent Memories

Dieses Paper schlägt eine effiziente Online-Methode vor, die transiente Reasoning-Spuren durch leichtgewichtiges selbstüberwachtes Training in kompakte, modulare latente Speicher umwandelt und es großen Sprachmodellen ermöglicht, kontinuierliche Selbstverbesserung und überlegene Reasoning-Leistung ohne katastrophales Vergessen zu erreichen.

Ursprüngliche Autoren: Vaggelis Dorovatas, Nancy Kalaj, Rahaf Aljundi

Veröffentlicht 2026-06-17

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Vaggelis Dorovatas, Nancy Kalaj, Rahaf Aljundi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten, hochintelligenten Schüler (ein Large Language Model), der unglaublich gut darin ist, mathematische Probleme zu lösen. Dieser Schüler hat jedoch eine seltsame Eigenart: Er hat kein Gedächtnis dafür, was er gerade gelernt hat.

Jedes Mal, wenn Sie ihm eine neue Aufgabe geben, fängt er wieder bei Null an. Selbst wenn er Stunden damit verbringt, nachzudenken, Fehler macht, sich selbst korrigiert und schließlich die richtige Antwort findet – sobald er die Lösung abgibt, verschwindet der gesamte „Denkprozess“. Er wird für die nächste Aufgabe nicht schlauer. Er ist wie ein Genie, das sein eigenes Hausaufgabenheft in dem Moment vergisst, in dem es die Hausaufgaben abgibt.

Dieses Paper stellt ein System namens ELM (Experiential Latent Memory) vor, um dies zu beheben. Es ist eine Methode, mit der die KI eine Art „Spickzettel“ ihres eigenen Denkens führen kann, um im Laufe der Zeit besser zu werden, ohne dass ein Lehrer ihre Arbeit bewerten muss.

So funktioniert es, unterteilt in einfache Konzepte:

1. Das Problem: Warum „Notizen lesen“ nicht funktioniert

Die Forscher versuchten zuerst einen einfachen Ansatz: In-Context Learning (ICL).

Die Analogie: Stellen Sie sich vor, der Schüler versucht zu lernen, indem er das Transkript seiner eigenen vorherigen Gedanken liest. „Letztes Mal, als ich ein Geometrieproblem gelöst habe, schrieb ich: Schritt 1: Finde den Winkel. Schritt 2: Nutze die Formel.“
Das Ergebnis: Dies funktionierte nicht gut. Das Paper stellte fest, dass das bloße Lesen des Textes der Lösung so ist, als würde man ein Rezept lesen, ohne jemals selbst gekocht zu haben. Es fehlt der „Geschmack“ des eigentlichen Denkprozesses – die Sackgassen, das Vertrauensniveau und die verborgene Logik, die im Gehirn des Modells stattfanden, aber nie in den Text gelangten. Es ist zu oberflächlich, um bei neuen, schwierigen Problemen zu helfen.

2. Die Lösung: Das „Flashcard“-System

Anstatt die ganze Geschichte aufzuschreiben, entwickelten die Forscher ein System, bei dem die KI für jedes gelöste Problem winzige, unsichtbare „Flashcards“ (Lernkarten) erstellt.

Der Prozess:
1. Der Test: Die KI versucht, ein mathematisches Problem zu lösen.
2. Die Selbstkontrolle: Da es keinen Lehrer gibt, generiert die KI viele verschiedene Antworten auf dasselbe Problem. Dann schaut sie sich diese an und sagt: „Okay, 7 von 10 sagen, die Antwort ist 42. Also ist 42 wahrscheinlich richtig.“ Dies nennt man Majority Voting (Mehrheitsentscheidung). Es fungiert als ein System zur Selbstbewertung.
3. Die Lektion: Die KI nimmt dieses spezifische Problem und seine selbst bewertete Antwort und trainiert eine winzige, leichtgewichtige „Flashcard“ (einen sogenannten Soft Prompt).
4. Die Speicherung: Diese Flashcard wird in einem „Memory Pool“ gespeichert. Sie ist unglaublich klein (nur 0,001 % der Modellgröße), sodass sie den Prozess nicht verlangsamt.

3. Die Verwendung der Flashcards: Der „Bibliothekar“

Wenn ein neues mathematisches Problem eintrifft, agiert das System wie ein Bibliothekar:

Suche: Es betrachtet das neue Problem und fragt: „Haben wir eine Flashcard in unserem Pool, die diesem ähnlich ist?“
Abruf: Wenn es eine Übereinstimmung findet, zieht es diese winzige Flashcard heraus und hängt sie an das neue Problem an.
Die Doppelprüfung: Die KI löst das Problem zweimal: einmal ohne die Flashcard (Zero-Shot) und einmal mit der Flashcard.
Das Urteil: Ein „Verifier“ (eine Sicherheitsinstanz) vergleicht die beiden Antworten. Wenn die Version mit der Flashcard besser ist, verwendet das System diese. Wenn die Flashcard die Sache verschlechtert (da die Selbstbewertung manchmal falsch sein kann), entscheidet das Urteil sich für die ursprüngliche Antwort.

4. Warum das eine große Sache ist

Kein Vergessen: Da die KI nicht ihr gesamtes Gehirn umschreibt (was dazu führen würde, dass sie alte Fähigkeiten vergisst), fügt sie einfach diese winzigen, isolierten Flashcards hinzu. Es ist, als würde man ein neues Kapitel zu einem Buch hinzufügen, ohne die alten zu löschen.
Effizienz: Es benötigt keinen Supercomputer zum Lernen. Es lernt „on the fly“, ein Problem nach dem anderen, mit sehr wenigen Schritten.
Besser als Offline-Training: Überraschenderweise fand das Paper, dass das Lernen von nur einem Problem zur Zeit mit dieser Methode oft besser funktioniert, als das gesamte Modell gleichzeitig auf einem riesigen Datensatz von tausenden Problemen zu trainieren. Es scheint, dass die KI die „Essenz“ des logischen Schlussfolgerns besser lernt, wenn sie sich auf eine spezifische Erfahrung nach der anderen konzentriert.

Zusammenfassung

Betrachten Sie ELM als ein personalisiertes, sich selbst aktualisierendes Notizbuch für ein vergessliches Genie.

Anstatt die ganze Geschichte eines Problems aufzuschreiben, schreibt es einen winzigen, unsichtbaren „Hinweis“ basierend auf dem, was es gelernt hat.
Es überprüft seine eigene Arbeit, um sicherzustellen, dass der Hinweis gut ist.
Wenn ein neues Problem auftaucht, sucht es in seinem Notizbuch nach einem ähnlichen Hinweis.
Wenn der Hinweis hilft, nutzt es ihn; wenn er schadet, ignoriert es ihn.

Das Ergebnis ist ein System, das klüger wird, jedes Mal, wenn es ein Problem löst, und seine eigene „Denkzeit“ in dauerhaftes, wiederverwendbares Wissen verwandelt – und das alles, ohne einen menschlichen Lehrer zu benötigen.

Technisches Resümee: Kontinuierliche Selbstverbesserung mit leichtgewichtigen experienziellen latenten Gedächtnissen

Problemstellung

Große Sprachmodelle (LLMs) erreichen derzeit starke Argumentationsfähigkeiten durch die Skalierung des Inferenz-Rechenaufwands (z. B. Chain-of-Thought, erweitertes Denken). Diese Modelle bleiben jedoch nach der Bereitstellung fundamental zustandslos. Sie verwerfen die reichhaltigen, selbst erzeugten Argumentationsspuren, die während der Inferenz generiert wurden, und versäumen es, Erfahrung zu sammeln oder Rechenaufwand in wiederverwendbares Wissen für zukünftige Probleme umzuwandeln.

Bestehende Ansätze zur Adressierung dieses Problems stehen vor erheblichen Einschränkungen:

Trainingsfreies In-Context Learning (ICL): Methoden, die rohe textuelle Argumentationsspuren speichern, leiden unter einem „textuellen Flaschenhals“. Sie speichern oberflächliche Ausgaben statt der zugrunde liegenden Argumentationsstruktur oder der internen Zustände, was zu einer flachen Generalisierung führt und eine effektive Übertragung erschwert.
Offline Reinforcement Learning (RL): Während unüberwachte RL-Methoden mit internen Belohnungen (z. B. Mehrheitsentscheid/Majority Voting) vielversprechend sind, operieren sie typischerweise in einem Offline-Regime, das Zugriff auf den vollständigen Testdatensatz im Voraus erfordert. Zudem verlassen sie sich auf Full-Model-Updates, was das Risiko von katastrophalem Vergessen, Optimierungsinstabilität birgt und nicht gut skaliert, wenn der Testzeit-Datenstrom aufgrund interferierender selbst-supervisiver Signale zunimmt.

Die Kernherausforderung besteht darin, eine echte, kontinuierliche Selbstverbesserung (online) zu ermöglichen, bei der ein LLM aus einem Strom von Problemen nacheinander lernt – ohne externe Supervision, ohne vorherigen Zugriff auf zukünftige Daten und ohne seine ursprünglichen Fähigkeiten zu vergessen.

Methodik: Experienzielle latente Gedächtnisse (Experiential Latent Memory, ELM)

Die Autoren schlagen ELM vor, eine Online-Methode, die Inferenz-Rechenaufwand in kompakte, modulare latente Gedächtnisse destilliert. Der Ansatz besteht aus drei Hauptkomponenten:

1. Gedächtniserstellung (Per-Sample Learning)

Anstatt das Hauptmodell zu aktualisieren, lernt das System ein leichtgewichtiges, instanzspezifisches Gedächtnis für jedes auftretende Problem.

Internes Belohnungssignal: In Abwesenheit von Ground-Truth-Labels generiert das Modell mehrere Kandidaten-Antworten ( $N$ ) für einen gegebenen Input. Eine Konsensantwort wird mittels Mehrheitsentscheid (Majority Voting) abgeleitet, der als Proxy-Label dient.
Trainingsziel: Das Modell wird mittels Group Relative Policy Optimization (GRPO) trainiert. Der Vorteil (Advantage) wird berechnet, indem die Belohnungen innerhalb der Gruppe der gesampelten Ausgaben relativ zum Konsens normalisiert werden.
Parametrisierung: Das Gedächtnis wird als Soft Prompt parametrisiert (eine Sequenz aus trainierbaren kontinuierlichen Vektoren, die dem Input vorangestellt werden).
- Effizienz: Diese Soft Prompts machen nur etwa $\sim 0,001\%$ der gesamten Modellparameter aus.
- Isolation: Das Basismodell bleibt eingefroren. Jedes Gedächtnis wird unabhängig für einige Gradientenschritte (z. B. 10 Schritte) unter Verwendung des internen Belohnungssignals trainiert. Dieses modulare Design verhindert Interferenzen zwischen den Samples und vermeidet katastrophales Vergessen.

2. Gedächtnisabruf (Retrieval)

Wenn ein neuer Test-Sample eintrifft, ruft das System das relevanteste Gedächtnis aus dem Pool ab.

Key-Konstruktion: Keys werden entweder aus den Soft-Prompt-Embeddings (Input Retrieval) oder durch Pooling der Aktivierungen der internen Key-Value (KV)-Projektionen des Modells (KV Retrieval) abgeleitet.
Matching: Der Abruf erfolgt durch Berechnung der Kosinus-Ähnlichkeit zwischen dem Query-Vektor des neuen Inputs und den gespeicherten Gedächtnis-Keys.

3. Antwort-Routing (Verifizierung)

Da Gedächtnisse durch Selbstüberwachung gelernt werden, können sie verrauscht sein und gelegentlich die Leistung verschlechtern (eine korrekte Zero-Shot-Antwort in eine falsche verwandeln).

Duale Generierung: Für einen gegebenen Input generiert das System sowohl eine Zero-Shot-Antwort als auch eine gedächtnis-augmentierte Antwort.
Verifizierung: Wenn die Antworten übereinstimmen, wird die Antwort zurückgegeben. Wenn sie divergieren, wählt ein Verifier (ein Process Reward Model) die höher bewertete Antwort aus. Dieser Routing-Mechanismus gewährleistet Zuverlässigkeit und mildert gedächtnisbedingte Regressionen ab.

Zentrale Beiträge

Latente experienzielle Gedächtnisse: Einführung einer Methode zum Lernen modularer, instanzbasierter latenter Repräsentationen (Soft Prompts) direkt aus dem Testzeit-Rechenaufwand, die abstrakte Argumentationsstrukturen statt oberflächlichem Text erfassen.
Kontinuierliches Online-Protokoll: Ein striktes Online-Framework, in dem Modelle sich kontinuierlich verbessern, während sie Erfahrungen sammeln, ohne vorherigen Zugriff auf den vollständigen Datensatz oder externe Labels zu benötigen.
Effizienz und Modularität: Ein Design, das Erfahrungen in leichtgewichtigen Einheiten isoliert ( $\sim 0,001\%$ Parameter), was ein stabiles Lernen ohne Full-Model-Updates oder katastrophales Vergessen ermöglicht.
Empirische Validierung: Demonstration, dass das Lernen aus einzelnen Samples mit internen Belohnungen Generalisierungsgewinne erzielen kann, die den Ergebnissen eines Offline-Trainings auf dem vollen Datensatz ebenbürtig sind oder diesen sogar übertreffen.

Experimentelle Ergebnisse

Die Autoren evaluierten ELM auf anspruchsvollen mathematischen Argumentations-Benchmarks (MATH500, AMC23, AIME24) unter Verwendung von Llama-3.1-8B-Instruct und Qwen2.5-Math-7B.

Leistung vs. Baselines:
- ELM übertrifft die Zero-Shot- und Raw-Data ICL-Baselines signifikant.
- Auf MATH500 übertraf ELM (vollständig online trainiert ohne vorherigen Datensatzzugriff) sowohl das Offline-GRPO auf dem vollen Datensatz als auch die TTRL-Baselines.
- Auf AMC23 und AIME24 verbesserte ELM die Basisleistung erheblich (z. B. +12,5 Punkte bei Qwen für AMC23) und erreichte oft Ergebnisse, die mit dem Offline-Training auf dem vollständigen Datensatz vergleichbar oder sogar besser waren.
Generalisierung: Es wurde gezeigt, dass einzelne latente Gedächtnisse effektiv über den gesamten Testdatensatz hinweg generalisieren, wobei Soft Prompts die LoRA-basierten Parametrisierungen in ihrer Generalisierungsfähigkeit übertrafen.
Datensatzübergreifender Transfer: Mit einem Datensatz trainierte Gedächtnisse (z. B. AIME24) transferierten effektiv auf einen anderen (z. B. AMC23), was zeigt, dass die gelernten Repräsentationen generalisierbare Argumentationsstrukturen erfassen.
Vergleich zu Offline-Training: Überraschenderweise lieferte das Training auf einzelnen Samples mit internen Belohnungen oft bessere Generalisierungsergebnisse als das Training des gesamten Modells auf dem gesamten Datensatz, was darauf hindeutet, dass Full-Model-Updates in Low-Data-Regimen unter Kapazitätsmismatch oder Interferenzen leiden können.

Bedeutung und Ansprüche

Das Paper positioniert ELM als einen grundlegenden Schritt hin zu Modellen, die zur kontinuierlichen Selbstverbesserung fähig sind. Die Bedeutung liegt in:

Überbrückung der Lücke: Es gelingt, den transienten, teuren Inferenz-Rechenaufwand erfolgreich in persistentes, wiederverwendbares Wissen ohne externe Supervision umzuwandeln.
Skalierbarkeit: Durch die Verwendung modularer, leichtgewichtiger Gedächtnisse skaliert die Methode mit der angesammelten Erfahrung, ohne den Rechenaufwand oder die Stabilitätsprobleme, die mit einem Full-Model-Fine-Tuning verbunden sind.
Überwindung von Limitationen: Es adressiert den „textuellen Flaschenhals“ von ICL durch die Arbeit im latenten Raum und löst das „Offline-Constraint“ von RL durch Funktionieren in einem echten Streaming-Szenario.

Die Autoren räumen Einschränkungen ein und merken an, dass die Qualität der Gedächtnisse variiert (einige sind verrauscht) und die aktuelle Abhängigkeit von einem Verifier eine notwendige Abschwächung darstellt. Sie lassen Raum für zukünftige Arbeiten zur Untersuchung der Kompositionalität von Gedächtnissen, Eviktionsstrategien (Löschstrategien) und Methoden zur Identifizierung hochwertiger Samples für die Gedächtniserstellung. Sie behaupten jedoch, dass ELM einen lebensfähigen, effizienten Weg bietet, damit LLMs ihre Argumentationsprozesse zu internalisieren und sich stetig zu verbessern.