💬 NLP

MemSearcher: Training LLMs to Reason, Search and Manage Memory via End-to-End Reinforcement Learning

MemSearcher ist ein auf LLMs basierender Agenten-Rahmenwerk, das einen kompakten Speichermechanismus und einen neuartigen Multi-Kontext-GRPO-Trainingsalgorithmus nutzt, um effizientes, durchgängiges Reinforcement Learning für Mehrdreh-Suchaufgaben zu erreichen, wobei es traditionelle Baselines mit Historienverkettung übertrifft und gleichzeitig stabile Kontextlängen beibehält.

Ursprüngliche Autoren: Qianhao Yuan, Jie Lou, Zichao Li, Jiawei Chen, Yaojie Lu, Hongyu Lin, Le Sun, Debing Zhang, Xianpei Han

Veröffentlicht 2026-05-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Qianhao Yuan, Jie Lou, Zichao Li, Jiawei Chen, Yaojie Lu, Hongyu Lin, Le Sun, Debing Zhang, Xianpei Han

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der Agent „Zu viel Unordnung"

Stellen Sie sich vor, Sie stellen einen sehr klugen, aber leicht vergesslichen Forschungsassistenten (die KI) ein, um eine komplexe Frage zu beantworten.

Bei der aktuellen Standardmethode (genannt ReAct) schreibt dieser Assistent jedes Mal, wenn er nachdenkt, handelt oder ein neues Informationsteil liest, alles in ein einziges, riesiges Notizbuch.

Zug 1: Er schreibt die Frage und das erste Suchergebnis auf.
Zug 2: Er schreibt seinen neuen Gedanken und das zweite Suchergebnis unter das erste.
Zug 10: Das Notizbuch ist nun 50 Seiten lang.

Das Problem: Je länger das Notizbuch wird, desto mehr gerät der Assistent in Panik. Er muss durch 50 Seiten alter Notizen blättern, nur um den einen Satz zu finden, der wichtig ist. Das ist langsam, teuer (wie das Bezahlen einer riesigen Bibliothek) und führt oft zu Fehlern, weil der Assistent durch all das „Rauschen" (irrelevante Details) in der Mitte des Buches verwirrt wird.

Die Lösung: Der „Intelligente Zusammenfasser" (MemSearcher)

Die Autoren haben MemSearcher entwickelt, eine neue Arbeitsweise für die KI. Anstatt ein riesiges, wachsendes Notizbuch zu führen, verwendet MemSearcher eine einzelne, wiederverwendbare Karteikarte.

So funktioniert es:

Die Frage: Sie stellen der KI eine Frage.
Die Suche: Die KI sucht nach einer Antwort.
Das Update: Anstatt die neuen Informationen in eine lange Liste zu schreiben, agiert die KI wie ein Kurator. Sie prüft die neuen Informationen, entscheidet, was tatsächlich nützlich ist, und schreibt die Karteikarte um, sodass sie nur die wichtigsten Fakten enthält.
Der nächste Zug: Für den nächsten Schritt betrachtet die KI nur die aktuelle Karteikarte und die ursprüngliche Frage. Sie muss nicht die Geschichte der letzten 10 Suchen lesen.

Das Ergebnis: Das „Notizbuch" wird nie größer als die Karteikarte (etwa 4.000 Zeichen). Dies hält die KI schnell, kostengünstig und fokussiert, selbst nach vielen Gesprächsrunden.

Die Trainingsherausforderung: Die Kuratierungs-Fähigkeit lehren

Man könnte denken: „Können wir der KI nicht einfach sagen, sie soll das tun?" Das Papier sagt nein. Aktuelle KI-Modelle sind darauf trainiert, lange Geschichten zu schreiben, nicht zu zusammenzufassen und zu vergessen. Wenn man sie einfach auffordert, ein kleines Gedächtnis zu nutzen, geraten sie in Verwirrung und versagen.

Um dies zu beheben, verwendeten die Autoren eine Trainingsmethode namens Reinforcement Learning (RL).

Die Analogie: Stellen Sie sich vor, Sie bringen einem Hund das Apportieren bei. Sie schreiben kein Handbuch für den Hund. Stattdessen werfen Sie einen Ball. Wenn der Hund ihn zurückbringt, gibt es einen Leckerbissen (Belohnung). Wenn er ihn fallen lässt, gibt es keinen Leckerbissen.
Die Innovation: Das Papier stellt eine spezielle Trainingstechnik namens Multi-Context GRPO vor.
- Normalerweise ist das Trainieren einer KI an einem langen Gespräch wie das Benoten eines ganzen Aufsatzes auf einmal.
- Die Methode von MemSearcher ist wie das Benoten jedes Satzes dieses Aufsatzes einzeln, wobei jedoch die Endnote des gesamten Aufsatzes verwendet wird, um zu entscheiden, wie gut jeder einzelne Satz war.
- Dies lehrt der KI genau, welche Teile des Gesprächs auf der Karteikarte behalten und welche verworfen werden sollen, und zwar durch den gesamten Prozess hindurch.

Warum das wichtig ist (Die Ergebnisse)

Die Autoren testeten MemSearcher gegen die alte „riesiges Notizbuch"-Methode an sieben verschiedenen schwierigen Quiz- und Suchdatensätzen.

Intelligenter: MemSearcher erzielte bessere Ergebnisse als die älteren Methoden, selbst bei der Verwendung kleinerer, günstigerer KI-Modelle.
Schneller & Günstiger: Da das „Notizbuch" klein bleibt, muss der Computer nicht so hart arbeiten. Es wird weniger Speicher benötigt und die Ausführung kostet weniger.
Weniger Verwirrung: In einem in dem Papier gezeigten Beispiel geriet die alte Methode in Verwirrung, weil sie zwei verschiedene Personen vermischte, die in verschiedenen Teilen des langen Gesprächs erwähnt wurden. MemSearcher identifizierte dank einer sauberen Zusammenfassung korrekt die richtige Person.

Zusammenfassung

MemSearcher ist wie die Aufrüstung eines Forschers von jemandem, der jeden Papierfetzen, den er je berührt hat, hortet, zu einem professionellen Bibliothekar, der eine perfekt organisierte, aktuelle Zusammenfassung der wichtigsten Fakten führt. Dies wird erreicht, indem die KI trainiert wird, ihre eigene Gedächtnisverwaltung zu sein, wodurch sie scharf und effizient bleibt, egal wie lang das Gespräch wird.

Technische Zusammenfassung: MemSearcher

Problemstellung

Suchagenten auf Basis von Large Language Models (LLM), insbesondere solche, die dem ReAct-Paradigma folgen, fügen typischerweise die gesamte Interaktionshistorie (Gedanken, Aktionen und Beobachtungen) für jeden Durchgang in den Kontextfenster des Modells ein. Dieses Design erzeugt eine fundamentale Engpass: Mit zunehmender Anzahl der Interaktionsdurchgänge wächst die Kontextlänge linear. In Suchszenarien führt dies zu langen, verrauschten Eingaben, die von abgerufenen Passagen dominiert werden, von denen viele für die Benutzeranfrage irrelevant sind. Diese Vermehrung von Tokens belastet nicht nur die Fähigkeit des LLM, relevante Informationen zu nutzen, sondern verursacht auch erhebliche Rechen- und GPU-Speicher-Overheads, was die Skalierbarkeit und den Einsatz von Suchagenten in ressourcenbeschränkten Umgebungen einschränkt.

Methodik

Die Autoren schlagen MemSearcher vor, einen Agenten-Framework, der darauf ausgelegt ist, während multi-turn Interaktionen einen kompakten, iterativ aktualisierten Speicher zu führen, anstatt die gesamte Historie anzuhängen.

1. Das MemSearcher-Framework

Im Gegensatz zu ReAct, bei dem die Eingabe im Durchgang $i$ die kumulative Historie $(q, t_1, a_1, o_1, \dots, t_{i-1}, a_{i-1}, o_{i-1})$ ist, versieht MemSearcher das Backbone-LLM mit nur zwei prägnanten Eingaben:

Die Frage des Benutzers $q$ .
Ein kompakter Speicher $m_{i-1}$ , der wesentliche Informationen aus vorherigen Durchgängen enthält.

In jedem Durchgang generiert das LLM basierend auf diesem kompakten Kontext einen Denkverlauf (thought) und eine Aktion. Nach Erhalt einer Beobachtung (z. B. Suchergebnisse) aus der Umgebung fungiert das LLM als Speichermanager. Es integriert neue relevante Informationen aus der aktuellen Beobachtung in den bestehenden Speicher, bewahrt dabei notwendige Details aus dem vorherigen Speicher und generiert einen aktualisierten Speicher $m_i$ . Dieser Prozess stellt sicher, dass die Kontextlänge stabil bleibt und durch ein vordefiniertes maximales Token-Limit (z. B. 1.024 Tokens) begrenzt ist, unabhängig von der Anzahl der Durchgänge.

2. Multi-Context GRPO

Das Training von MemSearcher ist herausfordernd, da eine einzelne Trajektorie mehrere Durchgänge umfasst, die jeweils unter unterschiedlichen Kontexten stattfinden (aufgrund des sich ändernden Speicherzustands). Standard-Group Relative Policy Optimization (GRPO) behandelt eine Trajektorie als eine einzige Einheit, was unzureichend ist, wenn jeder Durchgang ein unabhängiges Optimierungsziel darstellt.

Um dies zu adressieren, führen die Autoren Multi-Context GRPO ein:

Trajektorien-Sampling: Für eine gegebene Anfrage wird eine Gruppe von Trajektorien gesampelt. Jede Trajektorie besteht aus mehreren Durchgängen unter variierenden Kontexten.
Vorteils-Propagation: Belohnungen werden auf Trajektorien-Ebene berechnet. Der resultierende Vorteil wird einheitlich auf jeden Durchgang innerhalb dieser Trajektorie propagiert.
Unabhängige Optimierung: Jeder Durchgang wird als unabhängiges Optimierungsziel behandelt. Die Policy wird aktualisiert, indem das Ziel über alle Durchgänge aller gesampelten Trajektorien maximiert wird, was ein End-to-End-Reinforcement-Learning (RL)-Training ermöglicht.

3. Reward-Modellierung

Das Training nutzt eine Reward-Funktion, die aus zwei Komponenten besteht:

Format-Reward: Stellt sicher, dass das Modell das vordefinierte Ausgabeformat einhält (korrekte Tag-Nutzung und das Vorhandensein von \boxed{}).
Antwort-Reward: Eine regelbasierte Metrik, die den F1-Score zwischen der finalen Antwort innerhalb von \boxed{} und dem Ground Truth berechnet.

Hauptbeiträge

MemSearcher-Framework: Eine Agenten-Architektur, die das Backbone-LLM als intrinsischen Speichermanager nutzt, um iterativ einen kompakten Speicher zu erhalten, wodurch die Notwendigkeit entfällt, die gesamte Interaktionshistorie an den Kontext anzuhängen.
Multi-Context GRPO: Ein neuartiger RL-Trainingsalgorithmus, der eine End-to-End-Optimierung von MemSearcher-Trajektorien ermöglicht, indem Trajektorien-Level-Vorteile auf einzelne Durchgänge propagiert werden, was den variierenden Kontexten von multi-turn Interaktionen Rechnung trägt.
Effizienz und Leistung: Umfassende Experimente zeigen, dass MemSearcher eine überlegene Leistung im Vergleich zu ReAct-basierten Baselines erzielt, während es eine nahezu konstante Kontextlänge (unter 4K Tokens) über multi-turn Interaktionen hinweg beibehält.

Experimentelle Ergebnisse

Die Autoren evaluierten MemSearcher auf sieben öffentlichen Datensätzen zur Wissensakquisition (Natural Questions, TriviaQA, PopQA, HotpotQA, 2WikiMultiHopQA, Musique und Bamboogle) unter Verwendung von Qwen2.5-Modellen unterschiedlicher Größen (3B, 7B, 14B).

Leistung: MemSearcher schnitt bei starken Baselines, einschließlich Search-R1, ReSearch und AutoRefine, konsistent besser ab. Bemerkenswert ist, dass MemSearcher 3B einen Durchschnittswert von 43,8 erreichte und damit mehrere 7B-Parameter-Baselines übertraf. MemSearcher 7B (48,9 Durchschnitt) übertraf ReSearch 32B.
Effizienz: Während ReAct-basierte Agenten einen linearen Anstieg des Token-Verbrauchs mit den Interaktionsdurchgängen aufwiesen, hielt MemSearcher deutlich niedrigere und stabile Token-Zahlen aufrecht. Dies ermöglicht multi-turn Interaktionen innerhalb eines Kontextfensters, das kürzer als 4K Tokens ist.
Notwendigkeit des Trainings: Ablationsstudien bestätigten, dass RL-Training kritisch ist. Modelle, die das MemSearcher-Framework ohne RL-Training nutzten, zeigten im Vergleich zu solchen, die mit Multi-Context GRPO trainiert wurden, eine signifikante Leistungsverschlechterung. Darüber hinaus übertraf das RL-Training das Supervised Fine-Tuning (SFT) via Distillation, wahrscheinlich weil SFT für dieses spezifische Framework auf kostspielige Zwischenannotationen und suboptimale Lehrermodelle angewiesen ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass MemSearcher den Skalierbarkeits-Engpass aktueller Suchagenten adressiert, indem es die Kontextlänge von der Anzahl der Interaktionsdurchgänge entkoppelt. Durch die Aufrechterhaltung eines kompakten Speichers und die Nutzung von Multi-Context GRPO für das Training ermöglicht das Framework den Einsatz effektiver Suchagenten in ressourcenbeschränkten Umgebungen. Die Autoren betonen, dass ihr Ansatz es kleineren Modellen (z. B. 3B oder 7B) erlaubt, größere Modelle, die auf traditionellen ReAct-Paradigmen basieren, zu übertreffen, was darauf hindeutet, dass ein effizientes Kontextmanagement für komplexe Reasoning-Aufgaben ebenso kritisch ist wie die Modellgröße.

Die Autoren erkennen Einschränkungen an und stellen fest, dass, obwohl ihr Speicherdesign effektiv ist, ausgefeiltere Mechanismen (wie RAG-artige oder strukturierte Speicher) für RL-basierte Agenten weiterer Untersuchung bedürfen. Sie schlagen zudem vor, dass, obwohl Multi-Context GRPO eine effektive Erweiterung ist, weitere Techniken erforderlich sind, um potenzielle Längen-Bias zu mindern und das volle Potenzial des RL-Trainings auszuschöpfen.