💬 NLP

Language Models Need Sleep

Dieser Artikel schlägt einen schlafähnlichen Konsolidierungsmechanismus für große Sprachmodelle vor, der während offline rekurrenter Durchläufe periodisch den jüngsten Kontext in persistente schnelle Gewichte umwandelt, wodurch die Skalierungsgrenzen der Aufmerksamkeit überwunden und die Leistung bei Aufgaben mit langem Horizont und tiefem Schlussfolgern erheblich verbessert wird, während die Inferenzlatenz erhalten bleibt.

Ursprüngliche Autoren: Sangyun Lee, Sean McLeish, Tom Goldstein, Giulia Fanti

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Sangyun Lee, Sean McLeish, Tom Goldstein, Giulia Fanti

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen brillanten Schüler vor, der eine sehr lange, komplexe Prüfung schreibt. Dieser Schüler verfügt über eine Superkraft: Er kann eine enorme Menge an Informationen lesen. Allerdings gilt eine strikte Regel: Er kann zu jedem Zeitpunkt nur eine kleine Anzahl von Fakten in seinem „aktiven" Arbeitsgedächtnis (wie auf einem Haftnotizblock) halten. Sobald der Haftnotizblock voll ist, muss er ihn leeren, um Platz für neue Fakten zu schaffen.

Das Problem besteht darin, dass ein normaler Schüler (oder eine Standard-KI), sobald die Fakten vom Haftnotizblock gewischt sind, sie sofort vergisst. Wenn die Prüfung eine Frage stellt, die einen Fakt vom Anfang des Tests mit einem Fakt vom Ende verknüpft, scheitert der Schüler, weil der erste Fakt verschwunden ist.

Dieser Artikel schlägt eine Lösung namens „LLM Sleep" vor.

So funktioniert es, unter Verwendung einfacher Analogien:

Das Problem: Der „leer-wischbare" Haftnotizblock

Aktuelle KI-Modelle (Transformer) sind hervorragend darin, auf kürzlich gelesenen Text zurückzugreifen, aber je länger der Text wird, desto mehr müssen sie alte Informationen verwerfen, um Platz zu sparen. Denken Sie dabei an einen Bibliothekar, der nur 50 Bücher auf seinem Schreibtisch halten kann. Sobald das 51. Buch eintrifft, muss er das erste Buch in den Müll werfen, um Platz zu schaffen.

Wenn der Bibliothekar gefragt wird: „Was war das erste Wort im ersten Buch?", kann er nicht antworten, weil es weg ist. Selbst wenn er ein „schnelles Gedächtnis" hat (wie eine mentale Notiz), kann er oft nicht das tiefgründige Denken leisten, das erforderlich ist, um komplexe Rätsel auf Basis dieser verworfenen Informationen zu lösen.

Die Lösung: Die „Nacht-Studien"-Sitzung

Die Autoren schlagen vor, dass der Bibliothekar, wenn sein Schreibtisch voll wird, anstelle des bloßen Wegwerfens der Bücher eine „Schlaf"-Phase (eine Pause der Aktion) einlegen sollte.

Während dieses „Schlafs":

Keine neuen Bücher treffen ein: Der Bibliothekar hört auf, neue Eingaben zu lesen.
Tiefgehende Überprüfung: Der Bibliothekar nimmt die Bücher, die sich derzeit auf dem Schreibtisch befinden, und durchdenkt sie mental immer wieder (rekursiv).
Umschreiben des Gehirns: Anstatt nur die Bücher anzusehen, nutzt der Bibliothekar diese Zeit, um sein eigenes „internes Lexikon" (die Gewichte des Modells) umzuschreiben. Er destilliert die wichtigsten Lehren aus diesen Büchern in sein Langzeitgedächtnis.
Räumen des Schreibtisches: Sobald das interne Lexikon mit dem neuen Wissen aktualisiert ist, wischt der Bibliothekar den Schreibtisch sauber und ist bereit für die nächste Buchladung.

Wenn später die Prüfung kommt, muss der Bibliothekar nicht auf die alten Bücher auf dem Schreibtisch schauen (da sie weg sind). Stattdessen öffnet er einfach sein internes Lexikon, das nun die destillierte Weisheit dieser alten Bücher enthält, und beantwortet die Frage sofort.

Warum „Schlaf" hilft

Der Artikel zeigt, dass je mehr Zeit das Modell mit „Schlafen" (Überprüfen und Umschreiben seines internen Lexikons) verbringt, desto besser wird es darin, schwierige Rätsel zu lösen.

Einfache Aufgaben: Wenn die Frage einfach ist (wie „Was ist das erste Wort?"), reicht ein kurzer Blick.
Schwere Aufgaben: Wenn die Frage schwierig ist (wie „Wenn Sie diesen logischen Pfad 10 Schritte zurückverfolgen, wo landen Sie?"), muss das Modell tiefe mentale Mathematik betreiben. Ein Standardmodell versucht, dies alles auf einmal zu tun, und scheitert. Ein Modell, das „schläft", gewinnt zusätzliche Zeit, um die Mathematik bevor die Prüfung beginnt zu erledigen, sodass es die schwierige Frage sofort beantworten kann, wenn es soweit ist.

Die Ergebnisse

Die Forscher testeten dies an drei Arten von Herausforderungen:

Zelluläre Automaten (Das „Spiel des Lebens"): Ein Rätsel, bei dem Sie vorhersagen müssen, wie sich ein Muster über viele Schritte hinweg verändert. Die „schlafenden" Modelle wurden viel besser darin, die zukünftigen Schritte von Mustern vorherzusagen, die sie bereits „vergessen" hatten.
Graphen-Rückgewinnung (Die „Karte"): Eine Aufgabe, bei der Sie einen Pfad durch ein Labyrinth von Verbindungen finden müssen. Die schlafenden Modelle konnten tiefer in das Labyrinth navigieren als nicht-schlafende Modelle.
Mathe-Probleme: Bei realistischen Mathe-Wortaufgaben waren die Modelle, die länger schliefen, deutlich besser darin, Probleme zu lösen, die viele Rechenschritte erforderten, selbst wenn der Problemtext zu lang war, um in ihr aktives Gedächtnis zu passen.

Der Kompromiss

Der Artikel stellt fest, dass dieser „Schlaf" das Modell während der Prüfung (Inferenz) nicht langsamer macht. Das Modell beantwortet Fragen weiterhin sofort. Die „Kosten" werden während der Trainingsphase (wenn das Modell lernt) bezahlt. Das Modell muss zusätzliche Zeit mit „Schlafen" und Lernen verbringen, um dieses starke interne Lexikon aufzubauen. Doch der Gewinn ist ein Modell, das viel tiefer über Informationen nachdenken kann, die es nicht mehr direkt sehen kann.

Kurz gesagt: Der Artikel lehrt KI-Modelle, aufzuhören zu versuchen, alles auf einem Haftnotizblock zu behalten. Stattdessen, wenn der Block voll wird, machen sie ein Nickerchen, um die wichtigen Informationen in ihr Gehirn zu übertragen, was es ihnen ermöglicht, später schwierige Probleme zu lösen, ohne die ursprünglichen Notizen erneut sehen zu müssen.

Technische Zusammenfassung: "Sprachmodelle brauchen Schlaf"

Problemstellung
Transformer-basierte Large Language Models (LLMs) haben Schwierigkeiten mit Aufgaben mit langem Horizont, da ihr Aufmerksamkeitsmechanismus quadratisch mit der Kontextlänge skaliert und ihr Key-Value (KV) Cache-Speicher linear wächst. Während neuere effiziente hybride Modelle (die Aufmerksamkeit mit State-Space-Modellen, oder SSMs, kombinieren) die Speicherkosten durch feste „schnelle Gewichte" (fast weights) reduzieren, sehen sie sich einem kritischen Engpass in der Tiefe des Schlussfolgerns (reasoning depth) gegenüber.

Die Autoren zeigen, dass reine SSM-Aufmerksamkeits-Hybridmodelle versagen, wenn es darum geht, tiefe sequenzielle Berechnungen über Tokens hinweg durchzuführen, die aus dem KV-Cache entfernt wurden. Selbst wenn die Speicherkapazität ausreicht, um die Informationen zu speichern, verschlechtert sich die Leistung der Modelle, sobald die erforderliche Tiefe des Schlussfolgerns zunimmt (z. B. die Simulation von zellulären Automaten über viele Schritte hinweg oder die Durchführung einer Multi-Hop-Graph-Durchquerung). Der Engpass liegt nicht nur in der Speicherkapazität, sondern im Mangel an ausreichender Rechenleistung, um den entfernten Kontext innerhalb eines einzigen Vorwärtsdurchlaufs in einen nützlichen internen Zustand zu transformieren.

Methodik: LLM-Schlaf
Inspiriert von der biologischen Gedächtniskonsolidierung (hippocampale Replay während des Schlafs) schlägt die Arbeit einen „schlafähnlichen" Mechanismus für LLMs vor. Dieser Ansatz verlagert zusätzliche Berechnungen in eine Offline-Phase, wodurch die Latenz der Online-Vorhersagephase erhalten bleibt.

Architektur: Das Modell nutzt eine hybride Architektur, die Aufmerksamkeitsblöcke ( $B^{attn}$ ) und SSM-Blöcke ( $B^{ssm}$ ) mit schnellen Gewichts-Speichern ( $S_t$ ) abwechselnd anordnet.
Die Schlafphase: Wenn das Kontextfenster voll ist (z. B. alle $L$ $L$ Tokens), tritt das Modell in eine „Schlafphase" ein. Während dieser Phase:
- Erhält das Modell keine externen Eingabetokens.
- Es führt $N$ Offline-Rekursionsdurchläufe über den angesammelten Kontext durch.
- In jedem Durchlauf aktualisiert das Modell rekursiv die schnellen Gewichte innerhalb der SSM-Blöcke unter Verwendung einer gelernten lokalen Regel (z. B. eine gated delta-rule-Aktualisierung).
- Dieser Prozess ermöglicht es dem Modell, die komprimierte Darstellung des entfernten Kontexts iterativ zu verfeinern.
Entfernung und Vorhersage: Nach $N$ Durchläufen wird der KV-Cache gelöscht (oder bei Varianten mit gleitendem Fenster teilweise gelöscht), und das Modell setzt seinen Betrieb mit den aktualisierten schnellen Gewichten fort.
Einschränkung bei der Inferenz: Entscheidend ist, dass während der eigentlichen Vorhersagephase (Beantwortung von Anfragen) das Modell nur einen einzelnen Vorwärtsdurchlauf durchführt. Alle tiefgehenden Schlussfolgerungen und die Kontextkonsolidierung müssen während der vorhergehenden „Schlafphase" stattgefunden haben.
Training: Das Modell wird End-to-End durch Backpropagation durch den gesamten Berechnungsgraphen trainiert, einschließlich der rekursiven Schlafdurchläufe, um den Vorhersagefehler zu minimieren, nachdem der Kontext entfernt wurde.

Hauptbeiträge

Identifizierung des Schlussfolgerungs-Engpasses: Die Autoren zeigen, dass in kontrollierten Umgebungen reine SSM-Aufmerksamkeits-Hybride bei Aufgaben versagen, die tiefes Schlussfolgern erfordern (hohes $t$ bei zellulären Automaten, hohes $k$ bei Graphen-Recherche), selbst wenn die Speicherkapazität festgelegt und ausreichend ist. Dies isoliert die Tiefe der Berechnung als den limitierenden Faktor, nicht nur den Speicher.
Schlaf-Architektur: Sie schlagen eine Architektur vor, die rekursive Berechnungen speziell für die Gedächtniskonsolidierung integriert. Durch Erhöhung der Anzahl der Schlafdurchläufe ( $N$ ) kann das Modell seine Rechenleistung skalieren, um tiefere Schlussfolgerungsaufgaben zu bewältigen, ohne die Inferenz-Latenz zu erhöhen.
Empirische Validierung: Die Methode wird validiert an:
- Rule 110 (Zellulärer Automat): Eine Aufgabe, die eine tiefe sequenzielle Simulation erfordert.
- Depo: Eine Multi-Hop-Wissensrecherche-Aufgabe, die eine Graph-Durchquerung über fragmentierten Kontext erfordert.
- GSM-Infinite: Ein realistischer Benchmark für mathematisches Schlussfolgern mit langen Kontexten und ablenkenden Tokens, evaluiert an vortrainierten LLMs (Jet-Nemotron 2B und Ouro 1.4B).

Ergebnisse

Synthetische Aufgaben: Die Erhöhung der Schlafdauer ( $N$ ) verbessert die Leistung erheblich. Bei der Rule-110-Aufgabe mit $t=32$ führte ein nicht-rekursives Modell ( $N=1$ ) zu Ergebnissen nahe dem zufälligen Raten (~10 % Genauigkeit), während Modelle mit 3–4 Schlafdurchläufen eine Genauigkeit von über 30 % erreichten. Ebenso beschleunigte die Erhöhung von $N$ beim Depo-Aufgaben das Lernen und verbesserte die Genauigkeit, insbesondere bei Multi-Hop-Anfragen (z. B. 16-Hop), bei denen Modelle mit einem einzigen Durchlauf stecken blieben.
Realistisches Schlussfolgern (GSM-Infinite): Bei vortrainierten Modellen erzielte die Erhöhung von $N$ erhebliche Gewinne bei schwierigeren Problemen (die 6–8 arithmetische Operationen erfordern). Beispielsweise verbesserte sich beim Ouro-1.4B-Modell die Genauigkeit bei Problemen mit 6 Operationen durch Erhöhung der Schlafdurchläufe von 1 auf 4 von 41,9 % auf 61,5 %.
Gleitendes Fenster: Die Vorteile blieben auch bei Strategien zum Entfernen mit gleitendem Fenster erhalten, bei denen das Modell jüngere Tokens behält, aber dennoch auf den Schlaf angewiesen ist, um älteren Kontext zu komprimieren.
Trainingsdurchsatz: Während der Trainingsdurchsatz aufgrund des sequenziellen Charakters der Schlafdurchläufe mit $N$ ungefähr linear abnimmt, stellen die Autoren fest, dass dieser Overhead bei großen Kontextfenstern die Trainingszeit in Echtzeit im Vergleich zu vollständig parallelen Basismodellen nicht signifikant behindert, da GPUs weiterhin ausgelastet bleiben.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass Offline-Rekurrenz ein tragfähiger Mechanismus zur Organisation entfernten Kontexts in schnelle Gewichte ist, der es Modellen ermöglicht, tiefgründig über Informationen zu schlussfolgern, auf die sie nicht mehr direkt zugreifen können.

Bescheidener Umfang: Die Autoren betonen, dass ihre Erkenntnisse auf kontrollierten synthetischen Aufgaben und vortrainierten Modellen bescheidener Größe basieren. Sie behaupten nicht, alle Probleme des Schlussfolgerns in langen Kontexten zu lösen, sondern zeigen einen spezifischen architektonischen Pfad auf, bei dem „Schlaf" (Offline-Konsolidierung) die Lücke zwischen Speicherkapazität und Schlussfolgerungstiefe überbrückt.
Biologische Inspiration: Die Arbeit validiert die Hypothese, dass die Übertragung von Kurzzeitkontext in Langzeitgewichte iterative Berechnungen (Replay) erfordert, die von den strengen Latenzbeschränkungen der Echtzeitvorhersage entkoppelt werden können.
Zukünftige Richtung: Die Arbeit positioniert dies als methodischen Beitrag zum Aufbau leistungsfähigerer Systeme für lange Kontexte und legt nahe, dass der Kompromiss aus Sequenzialität während des Trainings für die Tiefe des Schlussfolgerns während der Inferenz ein vielversprechender Weg für zukünftige Forschung ist.