💬 NLP

Thought-Retriever: Don't Just Retrieve Raw Data, Retrieve Thoughts for Memory-Augmented Agentic Systems

Die Arbeit stellt Thought-Retriever vor, einen modellunabhängigen Algorithmus, der LLM-basierte Agenten durch die Speicherung und den Abruf relevanter vorheriger Denkprozesse („Thoughts") statt roher Daten mit einer selbstentwickelnden Langzeitgedächtnisfunktion ausstattet, um Kontextbeschränkungen zu überwinden und die Leistung bei komplexen Abfragen signifikant zu steigern.

Ursprüngliche Autoren: Tao Feng, Pengrui Han, Guanyu Lin, Ge Liu, Jiaxuan You

Veröffentlicht 2026-04-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tao Feng, Pengrui Han, Guanyu Lin, Ge Liu, Jiaxuan You

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen extrem klugen, aber vergesslichen Assistenten. Dieser Assistent (ein KI-Modell) kann alles Mögliche beantworten, aber er hat ein riesiges Problem: Er kann sich nur an sehr wenige Dinge gleichzeitig erinnern. Wenn Sie ihm einen ganzen Bibliotheksbestand an Büchern geben, um eine Frage zu beantworten, "erstickt" er in den Informationen. Er weiß nicht, wo er suchen soll, und verliert den Faden.

Das ist das Problem, das die Forscher in diesem Papier mit Thought-Retriever lösen wollen.

Hier ist die Erklärung, wie es funktioniert, ohne Fachchinesisch:

1. Das Problem: Der "Flaschenhals" im Gedächtnis

Stellen Sie sich vor, Sie versuchen, ein riesiges Puzzle zu lösen, aber Ihr Tisch ist winzig klein. Sie können nur 10 Puzzleteile gleichzeitig darauf haben. Wenn Sie aber 10.000 Teile haben, müssen Sie ständig Teile weglegen und neue holen.

Die alten Methoden: Sie suchten einfach nach den 10 Teilen, die am ähnlichsten aussehen (z. B. alle Teile mit "Blau"). Das Problem: Oft sind die richtigen Teile gar nicht dabei, oder sie sind so unzusammenhängend, dass Sie das Bild nicht verstehen.
Das neue Problem: Die KI kann den ganzen Tisch nicht füllen. Sie muss sich also auf das beschränken, was gerade auf dem Tisch liegt.

2. Die Lösung: Nicht die Bücher, sondern die "Gedanken" speichern

Statt die KI zu zwingen, ganze Bücher (Rohdaten) zu lesen und zu speichern, macht Thought-Retriever etwas Cleveres:

Stellen Sie sich vor, Sie haben einen sehr klugen Bibliothekar.

Der alte Weg: Wenn Sie nach einem Thema fragen, holt der Bibliothekar 10 ganze Bücher aus dem Regal und legt sie vor Sie. Sie müssen selbst lesen, was wichtig ist.
Der Thought-Retriever-Weg: Der Bibliothekar hat ein geheimes Notizbuch. Jedes Mal, wenn er eine Frage beantwortet, schreibt er nicht das ganze Buch ab. Stattdessen schreibt er einen einen, klugen Satz (einen "Gedanken") auf, der das Wichtigste zusammenfasst.
- Beispiel: Statt das ganze Buch über "Klimawandel" zu speichern, schreibt er auf: "Der Klimawandel betrifft die Landwirtschaft durch veränderte Niederschläge."

3. Wie das System "wächst" (Selbst-Entwicklung)

Das ist der magische Teil. Jedes Mal, wenn der Assistent eine neue Frage bekommt:

Suchen: Er schaut nicht nur in die Bücher, sondern zuerst in sein Notizbuch der Gedanken.
Antworten: Er nutzt diese Gedanken, um die Antwort zu formulieren.
Lernen: Nach der Antwort denkt er: "War das eine gute Antwort? War der Gedanke, den ich gerade hatte, wirklich nützlich?"
- Wenn ja, schreibt er den Gedanken in sein Notizbuch.
- Wenn der Gedanke nur Unsinn war oder sich wiederholt, wirft er ihn weg.

Die Metapher: Stellen Sie sich vor, Sie lernen eine Sprache.

Ohne Thought-Retriever: Sie versuchen, jedes neue Wort aus einem riesigen Wörterbuch zu finden, aber das Buch ist zu dick.
Mit Thought-Retriever: Sie führen ein Tagebuch. Jedes Mal, wenn Sie einen neuen Satz bilden, schreiben Sie die Regel, die Sie dabei angewendet haben, in Ihr Tagebuch. Nach 100 Gesprächen haben Sie kein riesiges Wörterbuch mehr, sondern ein kleines, perfekt organisiertes Handbuch mit den besten Regeln. Je mehr Sie sprechen, desto besser wird Ihr Handbuch, und desto schneller finden Sie die richtige Antwort.

4. Warum ist das so gut?

Es ist schlank: Statt Millionen von Buchseiten zu speichern, speichert es nur die "Kerngedanken". Das passt immer auf den kleinen Tisch (den Arbeitsspeicher der KI).
Es wird klüger: Je mehr Fragen gestellt werden, desto mehr "Gedanken" sammelt sich an. Das System entwickelt sich weiter, ohne dass man es neu programmieren muss. Es lernt aus seiner eigenen Erfahrung.
Es findet den Witz: Wenn Sie eine sehr abstrakte Frage stellen (z. B. "Was bedeutet das für die Zukunft?"), sucht das System nicht nach konkreten Fakten, sondern nach den höheren Gedanken, die es in der Vergangenheit gesammelt hat. Es verbindet Punkte, die ein normaler Suchalgorithmus nie finden würde.

Zusammenfassung in einem Satz

Thought-Retriever verwandelt eine KI von einem vergesslichen Leser, der in einem riesigen Berg Papier erstickt, in einen weisen Mentor, der aus jeder Interaktion eine kluge, zusammengefasste Lektion zieht und diese Lektionen nutzt, um in Zukunft noch besser zu antworten.

Es ist wie der Unterschied zwischen jemandem, der versucht, sich eine ganze Bibliothek auswendig zu merken, und jemandem, der ein perfektes, sich ständig aktualisierendes Notizbuch führt, das ihm sagt, was er wirklich wissen muss.

1. Problemstellung

Große Sprachmodelle (LLMs) verfügen zwar über beeindruckende interne Fähigkeiten, scheitern jedoch oft daran, externes Wissen effektiv in ihre Interaktionen mit der Welt zu integrieren. Bestehende Ansätze wie Retrieval-Augmented Language Models (RALMs) haben fundamentale Einschränkungen:

Kontextlängen-Begrenzung: RALMs können nur die Top-K Rohdaten-Chunks aus einer externen Wissensdatenbank (die oft Millionen von Chunks umfasst) abrufen, die in das begrenzte Kontextfenster des LLMs passen.
Ineffizienz bei Hierarchischen Ansätzen: Bisherige hierarchische RALMs (z. B. Baumstrukturen aus manuellen Zusammenfassungen) sind starr, rechenintensiv und passen sich nicht dynamisch an spezifische Benutzeranfragen an.
Rauschen in Agenten-Speichern: Agente-Systeme speichern oft rohe Beobachtungen oder unprozessierte Interaktionsprotokolle, die verrauscht und schwer effizient abzurufen sind.

Das Ziel ist es, LLMs und agentenbasierte Systeme mit einer selbstentwickelnden Langzeitgedächtnis-Fähigkeit auszustatten, die beliebig große externe Wissensmengen effizient nutzt, ohne durch die Kontextlänge limitiert zu werden.

2. Methodik: Thought-Retriever

Die Autoren schlagen Thought-Retriever vor, ein modellagnostischer Algorithmus, der nicht rohe Daten, sondern „Gedanken" (Thoughts) speichert und abruft. Ein „Gedanke" ist definiert als eine validierte, abstrahierte kognitive Einheit, die aus der Interaktion zwischen einer Anfrage und dem Kontext entsteht.

Der Framework-Prozess umfasst folgende Schritte (siehe Algorithmus 1 und Abbildung 2 im Paper):

Thought Retrieval (Gedanken-Abruf):
- Bei einer neuen Benutzeranfrage ( $Q_i$ ) wird nicht nur aus der externen Wissensdatenbank ( $K$ ), sondern auch aus dem gespeicherten Thought Memory ( $T$ ) abgerufen.
- Die Suche erfolgt basierend auf Embedding-Ähnlichkeit (z. B. mit Contriever).
Antwortgenerierung:
- Das LLM generiert eine Antwort ( $A_i$ ) basierend auf den abgerufenen Daten und Gedanken.
Thought & Confidence Generation (Gedanken- und Vertrauensgenerierung):
- Das LLM wird aufgefordert, basierend auf der Anfrage und der Antwort einen neuen „Gedanken" ( $T_i$ ) zu formulieren. Dieser fasst die Logik in einen kohärenten Wissenspunkt zusammen.
- Gleichzeitig wird ein Vertrauenswert ( $c_i$ ) generiert (binär: 1 = sinnvoll/validiert, 0 = Halluzination/unsinnig), um sicherzustellen, dass nur hochwertige Informationen gespeichert werden.
Thought Merge (Gedanken-Zusammenführung):
- Um Redundanz zu vermeiden, wird die Ähnlichkeit des neuen Gedankens zu bereits existierenden Gedanken und Datenchunks berechnet.
- Wenn die Ähnlichkeit einen Schwellenwert ( $\epsilon$ ) überschreitet, wird der Gedanke als redundant markiert und verworfen.
Thought Memory Update (Gedächtnis-Update):
- Der Thought Memory wird nur aktualisiert, wenn der Gedanke einen hohen Vertrauenswert hat ( $c_i=1$ ) und nicht redundant ist ( $s_i=0$ ).
- Dies ermöglicht ein selbstentwickelndes Gedächtnis, das durch kontinuierliche Interaktionen wächst und sich verfeinert.

Theoretische Grundlage: Das Konzept orientiert sich an psychologischen Studien, die zeigen, dass menschliches Gedächtnis hierarchisch organisiert ist und durch kontinuierliche Verarbeitung und Zusammenfassung von Interaktionen zu komplexen kognitiven Gedanken führt.

3. Neue Benchmark: AcademicEval

Um die Leistung von LLMs im Umgang mit ultra-langem Kontext und akademischem Wissen zu testen, stellen die Autoren AcademicEval vor.

Datenquelle: Tägliche Updates von arXiv-Papers (dynamisch, verhindert Overfitting auf statische Testsets).
Aufgaben:
- Abstract-Single/Multi: Zusammenfassung eines oder mehrerer Papers (ohne Abstract/Conclusion im Eingabetext).
- Related-Multi: Generierung eines „Related Work"-Abschnitts basierend auf Titeln/Abstracts und dem Abruf relevanter Zitate aus einem Pool von Papers.
Vorteil: Hohe Komplexität, multimodale Informationen (Tabellen, Formate) und echte akademische Anforderungen.

4. Ergebnisse

Die Experimente wurden auf AcademicEval sowie zwei öffentlichen Datensätzen (GovReport, WCEP) durchgeführt.

Überlegene Leistung: Thought-Retriever schlägt alle State-of-the-Art-Baselines (einschließlich BM25, DPR, Contriever, IRCoT, RECOMP und lange Kontext-LLMs wie Nous Hermes-32k).
- F1-Score: Durchschnittliche Steigerung von mindestens 7,6 % gegenüber den besten Baselines.
- Win Rate: Durchschnittliche Steigerung von 16 % in der Präferenzbewertung durch ein AI-Evaluator-Modell.
Selbstentwicklung (Self-Evolution): Es wurde gezeigt, dass die Leistung des Systems mit der Anzahl der gespeicherten Gedanken steigt. Das System lernt aus früheren Interaktionen und verbessert sich bei neuen, ähnlichen Aufgaben (nachgewiesen durch Causal Analysis auf getrennten Datensätzen).
Abstraktionsfähigkeit: Thought-Retriever lernt, tiefere Gedanken für abstraktere Benutzeranfragen zu nutzen. Es gibt eine positive Korrelation zwischen dem Abstraktionsgrad der Frage und dem Abstraktionsgrad der abgerufenen Informationen.
Präzision vs. Recall: Im Gegensatz zu traditionellen Methoden, die oft einen Kompromiss eingehen müssen, erreicht Thought-Retriever durch die Nutzung von Gedanken (die mehrere Datenchunks zusammenfassen) sowohl hohe Präzision als auch hohen Recall.

5. Wichtige Erkenntnisse & Beiträge

Paradigmenwechsel im Speichermanagement: Statt rohe Daten zu speichern, speichert Thought-Retriever validierte, deduplizierte Reasoning-Abstraktionen. Dies erhöht die Informationsdichte und reduziert Rauschen.
Modellagnostisch & Leichtgewichtig: Der Ansatz erfordert kein Fine-Tuning des LLMs und kann mit beliebigen LLMs (Open-Source oder Closed-Source APIs) sowie beliebigen Retrievern kombiniert werden.
Skalierungsgesetz für Agenten-Gedächtnis: Die Arbeit zeigt ein neues Skalierungsgesetz auf: Mehr Interaktionen führen zu mehr Gedanken, was direkt zu besseren Fähigkeiten des Agenten führt.
Praktische Anwendung: Die Autoren präsentieren einen Demo-Prototypen namens Arxiv Copilot, der auf Hugging Face verfügbar ist und zeigt, wie das System in realen Szenarien (z. B. akademische Recherche) funktioniert.

6. Signifikanz

Thought-Retriever adressiert eine der größten Herausforderungen im Bereich der LLM-Agenten: die effiziente Nutzung von unendlichem externem Wissen. Durch die Transformation von Interaktionen in strukturierte, abstrahierte Gedanken überwindet das System die Grenzen der Kontextlänge und die Ineffizienz roher Datenspeicherung. Dies ermöglicht die Entwicklung von Agenten, die nicht nur Informationen abrufen, sondern kontinuierlich lernen und ihr Wissen über die Zeit vertiefen, was einen entscheidenden Schritt in Richtung autonomer, lernfähiger KI-Systeme darstellt.