🤖 AI

Unlocking the Working Memory of Large Language Models for Latent Reasoning

Das Papier stellt Reasoning in Memory (RiM) vor, eine rechen-effiziente latente Reasoning-Methode, die die autoregressive Generierung von Gedanken durch feste Speicherblöcke ersetzt und es großen Sprachmodellen ermöglicht, ein Arbeitsgedächtnis für internes Reasoning zu nutzen, ohne Zwischenschritte zu externalisieren.

Ursprüngliche Autoren: Lukas Aichberger, Sepp Hochreiter

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lukas Aichberger, Sepp Hochreiter

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Kernproblem: "Laut denken" ist langsam

Stellen Sie sich vor, Sie versuchen, ein komplexes Matheproblem zu lösen. Derzeit sind die meisten KI-Modelle (Large Language Models) gezwungen, "laut zu denken". Um ein Problem zu lösen, müssen sie jeden einzelnen Schritt ihres Denkprozesses in vollständigen Sätzen aufschreiben, bevor sie Ihnen die endgültige Antwort geben können.

Die Analogie: Es ist wie ein Schüler, der eine Prüfung schreibt und verpflichtet ist, einen ganzen Aufsatz zu verfassen, in dem er jeden einzelnen Rechenschritt erklärt, bevor er die letzte Zahl hinschreiben darf.
Das Problem: Dies ist ineffizient. Die KI verbringt viel Zeit und Rechenleistung damit, Wörter zu generieren (Grammatik, Zeichensetzung, Verbindungswörter), nur um zur Logik zu gelangen. Es ist wie Autofahren, bei dem man bei jeder roten Ampel anhalten muss, um ein Gedicht über die Farbe Rot zu schreiben, bevor man wieder weiterfahren darf.

Die menschliche Lösung: Der "interne Kladde"

Menschen tun dies normalerweise nicht. Wenn wir schwierige Probleme lösen, nutzen wir das Arbeitsgedächtnis. Wir halten Zahlen und Logik in unserem Kopf, manipulieren sie intern und sprechen nur das Endergebnis aus. Wir müssen nicht jeden Schritt laut aussprechen, um die Mathematik zu erledigen.

Das Paper argumentiert, dass KI dasselbe tun können sollte: einen internen Arbeitsbereich haben, in dem sie die schwere Arbeit verrichten kann, ohne die Gedanken "auszusprechen".

Die neue Methode: Reasoning in Memory (RiM)

Die Autoren stellen eine Methode namens Reasoning in Memory (RiM) vor. Anstatt die KI dazu zu bringen, Text für ihre Gedanken zu generieren, geben sie ihr eine Reihe von festen "Speicherblöcken".

Die Analogie: Stellen Sie sich vor, die KI erhält eine Reihe leerer, magischer Haftnotizen (die Speicherblöcke), die direkt neben der Frage platziert sind.
- Der alte Weg: Die KI schreibt eine lange Geschichte auf ein Blatt Papier, um das Problem zu lösen.
- Der RiM-Weg: Die KI schreibt ihre Gedanken direkt auf die Haftnotizen. Diese Notizen sind besonders; sie sind keine Wörter, die man liest, aber sie tragen die Bedeutung der Gedanken in sich.
- Die Magie: Da diese Notizen vorab platziert und feststehend sind, kann die KI alle auf einmal betrachten und die Informationen gleichzeitig verarbeiten (in einem einzigen "Vorwärtsdurchlauf"), anstatt sie nacheinander zu schreiben.

Wie sie der KI das Benutzen beigebracht haben (Das zweistufige Training)

Man kann einer KI nicht einfach ein leeres Notizbuch geben und erwarten, dass sie weiß, wie man es benutzt. Die Autoren verwendeten ein zweistufiges Trainingscurriculum, ähnlich wie man einem Kind das Fahrradfahren mit Stützrädern beibringt und diese dann entfernt.

Stufe 1: Die "Stützräder"-Phase

Ziel: Der KI beibringen, dass die Speicherblöcke zum Denken da sind.
Funktionsweise: Der KI wird eine Frage und die Speicherblöcke gezeigt. Nach jedem Block fragt der Lehrer: "Was ist der nächste Schritt der Argumentation?" Die KI muss die Informationen in den Speicherblöcken nutzen, um den nächsten geschriebenen Schritt vorherzusagen.
Das Ergebnis: Die KI lernt, die "Gedanken" innerhalb der Speicherblöcke zu speichern, da sie weiß, dass sie sofort daran geprüft wird. Sie lernt, die Blöcke in einen funktionierenden Arbeitsbereich zu verwandeln.

Stufe 2: Die "Realwelt"-Phase

Ziel: Der KI beibringen, das gesamte Problem nur mit den Blöcken zu lösen.
Funktionsweise: Der Lehrer hört auf, nach den Zwischenschritten zu fragen. Jetzt wird die KI nach jedem Speicherblock gefragt: "Was ist die endgültige Antwort?"
Das Ergebnis: Die KI lernt, ihre Antwort zu verfeinern, während sie mehr Speicherblöcke füllt. Sie hört auf, "laut zu denken", und beginnt, "im Gedächtnis zu denken", wobei sie die Blöcke nutzt, um mit jedem Schritt näher an die richtige Antwort heranzukommen.

Die Ergebnisse: Schneller und intelligenter

Das Paper testete dies an Matheproblemen (GSM8K und GSM-Hard) unter Verwendung verschiedener Größen von KI-Modellen.

Geschwindigkeit: Da die KI keine Wörter für ihre Gedanken generieren muss, ist sie viel schneller. Sie verarbeitet die Speicherblöcke auf einmal. Das Paper stellt fest, dass RiM etwa 7-mal schneller ist als die bisherigen besten Methoden des "stillen Denkens" und 27-mal schneller als Methoden, die vollständige Argumentationsketten ausschreiben.
Genauigkeit: Trotz der höheren Geschwindigkeit erzielte die KI bessere oder gleichwertige Ergebnisse im Vergleich zu Methoden, die ihre Gedanken ausschreiben. Es wurde bewiesen, dass die KI erfolgreich gelernt hat, die Speicherblöcke als echten Arbeitsbereich zu nutzen.
Effizienz: Sie verbraucht weniger Rechenleistung, da sie den "Tippteil" des Denkens überspringt.

Zusammenfassung

Das Paper stellt eine Methode vor, um KI zum "stillen Denken" zu bringen, indem sie feste Speicherblöcke erhält, anstatt gezwungen zu werden, ihre Gedanken auszuschreiben. Indem sie die KI in zwei Stufen trainierten (zuerst zur Nutzung der Blöcke für Schritte, dann zur Nutzung für die endgültige Antwort), schufen sie ein System, das so intelligent wie aktuelle Modelle ist, aber deutlich schneller und effizienter, und das nachahmt, wie Menschen das Arbeitsgedächtnis nutzen, um Probleme zu lösen, ohne jeden Gedanken laut aussprechen zu müssen.

Technische Zusammenfassung: Reasoning in Memory (RiM)

Problemstellung

Aktuelle Methoden zur Verbesserung der reasoning-Fähigkeiten von Large Language Models (LLMs) stützen sich stark auf die Skalierung der Rechenleistung zur Laufzeit durch die Generierung von Zwischentokens vor der endgültigen Antwort, wie beispielsweise beim Chain-of-Thought (CoT)-Reasoning. Dieser Ansatz koppelt jedoch die interne Berechnung direkt an die autoregressive Textgenerierung. Folglich wird das Modell gezwungen, „laut zu denken" und einen erheblichen Teil seines Rechenbudgets auf die Generierung grammatikalisch fließender natürlicher Sprache zu verwenden, anstatt rein interne Reasoning-Prozesse durchzuführen.

Während neuere Ansätze für „latentes Reasoning" versuchen, die Einschränkungen der natürlichen Sprache zu umgehen, indem sie kontinuierliche Repräsentationen verwenden, bewahren sie weitgehend das Paradigma der schrittweisen autoregressiven Generierung. Bei diesen Methoden werden Zwischenergebnisse dennoch sequenziell externalisiert, bevor der nächste Schritt darauf aufbauen kann. Dieser Artikel argumentiert, dass die menschliche Kognition ein überlegenes Gestaltungsprinzip bietet: das Arbeitsgedächtnis. Menschen können aufgabenrelevante Informationen intern halten und manipulieren, ohne jeden Zwischenschritt zu externalisieren. Die Autoren gehen davon aus, dass LLMs so trainiert werden können, dass sie einen ähnlichen internen Arbeitsraum nutzen und das Reasoning vom sequenziellen Flaschenhals der Token-Generierung entkoppeln.

Methodik: Reasoning in Memory (RiM)

Die Autoren stellen Reasoning in Memory (RiM) vor, eine Methode für latentes Reasoning, die die autoregressive Generierung von Reasoning-Schritten durch feste Speicherblöcke ersetzt.

Kernmechanismus

Anstatt eine Sequenz von Reasoning-Tokens zu generieren, erhält das Modell $K$ feste Speicherblöcke $m_{1:K}$ . Jeder Block besteht aus einer vordefinierten Sequenz spezieller Tokens:
$m_k = [<b>, <m>, \dots, <m>, </b>]$
wobei $<b>$ und $</b>$ die Blockgrenzen abgrenzen und $<m>$ -Tokens den latenten Arbeitsraum bilden.

Feste Eingabe: Diese Blöcke werden als feste Tokens an die Eingabefrage angehängt.
Einzelner Vorwärtsdurchlauf: Da die Blöcke feste Eingaben und keine generierten Ausgaben sind, wird die gesamte erweiterte Sequenz (Frage + Speicherblöcke) in einem einzigen Vorwärtsdurchlauf verarbeitet. Dies eliminiert den sequenziellen Decodier-Flaschenhals, der mit der autoregressiven Generierung verbunden ist.
Gelernte Repräsentationen: Während Token-Identitäten und Positionen festgelegt sind, werden ihre kontextuellen Repräsentationen so gelernt, dass sie aufgabenabhängig sind und Zwischenschritte des Reasonings kodieren.

Zwei-Stufen-Lehrplan

Um das Modell zu lehren, diese festen Blöcke als Arbeitsgedächtnis zu nutzen, setzt RiM einen zweistufigen Trainingslehrplan ein:

Stufe 1: Reasoning-Schritt-Supervision

Ziel: Die Speicherblöcke zu verankern, indem ihnen eine rechnerische Rolle zugewiesen wird.
Mechanismus: Für eine Reasoning-Spur mit $T$ Schritten wird das Modell mit $T$ Speicherblöcken trainiert. Nach jedem Block $m_t$ muss das Modell den nächsten expliziten Reasoning-Schritt $r_{t+1}$ vorhersagen.
Einschränkung: Eine benutzerdefinierte Attention-Maske stellt sicher, dass die Auslesung für Schritt $t+1$ auf die Frage und die vorherigen Speicherblöcke zugreifen kann, aber nicht auf vorherige explizite Reasoning-Schritte. Dies zwingt das Modell, die notwendigen Zwischenergebnisse innerhalb des latenten Arbeitsraums der Speicherblöcke zu kodieren.
Supervision: Verwendung eines gewichteten negativen Log-Likelihood-Ziels mit einem Annealing-Schedule, um die Supervisionsstärke schrittweise zu reduzieren.

Stufe 2: Verfeinerung der Endantwort

Ziel: Die verankerten Speicherblöcke in einen latenten Arbeitsraum für die Vorhersage der Endantwort umzuwandeln.
Mechanismus: Die explizite Reasoning-Spur wird verworfen. Das Modell verwendet eine feste Anzahl von $K$ Speicherblöcken. Nach jedem Block wird das Modell trainiert, die Endantwort direkt vorherzusagen.
Zielsetzung: Dies verlagert die Supervision von der Vorhersage von Zwischenschritten hin zur schrittweisen Verfeinerung der Endantwort, sobald mehr Speicherblöcke (latente Berechnung) verfügbar werden.
Inferenz: Zum Testzeitpunkt verarbeitet das Modell die Frage und die Speicherblöcke in einem Durchlauf, und die Auslesung des letzten Blocks liefert die Antwort.

Attention-Maskierung

Eine benutzerdefinierte kausale Attention-Maske (Abbildung 2 in der Arbeit) ist für die Methode entscheidend. Sie verhindert Informationsleckagen, indem sie sicherstellt, dass:

Speicherblöcke auf die Frage und vorherige Speicherblöcke zugreifen.
Ziel-Auslesungen (Reasoning-Schritte in Stufe 1, Endantwort in Stufe 2) auf die Frage und verfügbare Speicherblöcke zugreifen, aber nicht auf andere Ziel-Auslesungen.
Dies ermöglicht die Vorhersage aller Ziele in einem einzigen Vorwärtsdurchlauf, ohne dass das Modell durch das Lesen zukünftiger Ground-Truth-Daten „cheaten" kann.

Hauptbeiträge

Reasoning in Memory (RiM): Eine neuartige Methode für latentes Reasoning, die die Kapazität des Arbeitsgedächtnisses von LLMs freisetzt, indem sie einen dedizierten, festen latenten Arbeitsraum für Zwischenergebnisse bereitstellt und diese von der autoregressiven Generierung entkoppelt.
Zwei-Stufen-Lehrplan: Ein strukturierter Trainingsansatz, der zunächst Speicherblöcke durch explizite Schritt-Supervision verankert und sie dann für die Vorhersage der Endantwort verfeinert, wodurch die effektive Nutzung des latenten Raums ohne komplexe zusätzliche Zielsetzungen ermöglicht wird.
Effizienz und Leistung: Empirische Belege zeigen, dass RiM bestehende Baselines für explizites und latentes Reasoning einholt oder übertrifft, während die Inferenzgeschwindigkeit von Direct-Answer-Modellen beibehalten wird (kein Overhead durch sequenzielle Generierung).

Experimentelle Ergebnisse

Die Autoren evaluierten RiM auf den mathematischen Reasoning-Benchmarks GSM8K (in-Verteilung) und GSM-Hard (out-of-Verteilung) unter Verwendung der Modelle GPT-2 und Llama-3.2 (1B und 3B Parameter).

Leistung: RiM übertraf konsistent die stärkste latente Reasoning-Baseline (Coconut) sowie das direkte Antwort-Supervised Fine-Tuning (SFT).
- Auf GSM8K (Llama-3.2-1B) erreichte RiM eine Greedy-Genauigkeit von 42,1 %, verglichen mit 36,9 % für Coconut und 23,9 % für SFT ohne CoT.
- Auf GSM-Hard erreichte RiM 10,5 % und übertraf damit Coconut (8,5 %) sowie SFT ohne CoT (5,3 %).
- RiM zeigte zudem überlegene Pass@8-Werte, was darauf hindeutet, dass korrekte Lösungen mit hoher Wahrscheinlichkeit über die latente Spur verteilt sind.
Latenz: RiM erreichte Inferenzgeschwindigkeiten, die mit SFT ohne CoT vergleichbar waren (Time to First Token ~16 ms für Llama-3.2-1B), während Coconut ~7-mal langsamer und SFT mit CoT ~27-mal langsamer war, bedingt durch die autoregressive Generierung.
Repräsentationsanalyse: PCA-Projektionen der Speicherblock-Repräsentationen zeigten, dass das Modell lernt, distinkte, stichprobenabhängige latente Arbeitsräume zu erstellen. Die Repräsentationen entwickeln sich während des Trainings systematisch, was bestätigt, dass die Blöcke nicht lediglich feste Platzhalter, sondern aktive Berechnungszustände sind.
Robustheit: Die Leistung blieb über verschiedene Speicherbudgets zur Laufzeit (Anzahl der Blöcke) hinweg stabil, was darauf hindeutet, dass die Methode gegenüber Bereitstellungsbeschränkungen robust ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass LLMs so trainiert werden können, dass sie das Arbeitsgedächtnis als effektiven Mechanismus für latentes Reasoning nutzen.

Die primäre Bedeutung liegt in der Entkopplung von Berechnung und Kommunikation. Durch den Ersatz der Generierung von Zwischengedanken durch feste Speicherblöcke ermöglicht RiM Modellen, dichte, parallelisierbare interne Berechnungen ohne den Overhead der Generierung natürlicher Sprache oder sequenzieller kontinuierlicher Repräsentationen durchzuführen. Dies führt zu einer Methode, die:

Rechnerisch effizient ist: Sie vermeidet den sequenziellen Flaschenhals der autoregressiven Generierung und ermöglicht Inferenz in einem Durchlauf.
Effektiv ist: Sie erzielt State-of-the-Art-Leistung unter latenten Reasoning-Methoden auf mathematischen Benchmarks.
Skalierbar ist: Sie funktioniert über verschiedene Modellfamilien und -größen hinweg, ohne komplexe rekurrente Architekturen oder Multi-Pfad-Trainingsziele zu erfordern.

Die Autoren schließen, dass dieser Ansatz einen gangbaren Weg zu effizienteren Reasoning-Systemen zeigt, die die kognitive Effizienz des Menschen nachahmen, indem sie den Reasoning-Prozess internalisieren, anstatt ihn als Text zu externalisieren.