💬 NLP

Thought-Retriever: Don't Just Retrieve Raw Data, Retrieve Thoughts for Memory-Augmented Agentic Systems

Dit paper introduceert Thought-Retriever, een model-onafhankelijk algoritme dat LLM-agenten een zelfevoluerend langetermijngeheugen geeft door relevante 'gedachten' uit eerdere interacties te halen in plaats van ruwe data, waardoor ze effectiever kunnen werken met enorme hoeveelheden externe kennis zonder beperkingen door contextlengte.

Oorspronkelijke auteurs: Tao Feng, Pengrui Han, Guanyu Lin, Ge Liu, Jiaxuan You

Gepubliceerd 2026-04-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tao Feng, Pengrui Han, Guanyu Lin, Ge Liu, Jiaxuan You

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kernprobleem: De "Gouden Kooi" van het Geheugen

Stel je voor dat een Kunstmatige Intelligentie (een AI) een superintelligente bibliothecaris is. Deze bibliothecaris heeft een enorm geheugen, maar er is een groot probleem: hij zit vast in een gouden kooi.

De kooi is zijn "contextvenster" (het aantal woorden dat hij tegelijkertijd kan lezen).

Huidige situatie: Als je de bibliothecaris vraagt: "Vertel me alles over de geschiedenis van de ruimtevaart," kan hij alleen maar de eerste paar boeken van de plank pakken die in zijn kooi passen. Hij ziet de rest van de bibliotheek niet. Als het antwoord in boek 5000 staat, mist hij het.
Huidige oplossing (Retrieval-Augmented): Mensen hebben geprobeerd de kooi groter te maken (meer boeken tegelijk lezen) of slimme systemen te bouwen die de juiste boeken zoeken. Maar deze systemen halen vaak alleen de ruwe tekst van de boeken. Het is alsof je een hele stapel kranten op je bureau gooit en de AI moet proberen de ene zin te vinden die je nodig hebt, terwijl hij maar een klein stukje van de stapel tegelijk kan zien.

De Oplossing: Thought-Retriever (De "Denkende" Assistent)

De auteurs van dit paper, Tao Feng en zijn team, hebben een slimme oplossing bedacht: Thought-Retriever.

In plaats van dat de AI alleen ruwe tekst (krantenknipsels) opslaat, leert ze om gedachten op te slaan.

De Vergelijking: Het Dagboek vs. De Stapel Kranten

De Oude Methode (Ruwe Data):
Stel je voor dat je elke dag een stapel kranten krijgt. Als je iets wilt weten, moet je door die hele stapel bladeren. Veel informatie is verouderd, dubbelop of irrelevant. Het is rommelig en lastig te vinden.
De Nieuwe Methode (Thought-Retriever):
Nu stel je je voor dat de AI elke dag een dagboek schrijft.
- Als ze een vraag krijgt, leest ze de kranten.
- Maar in plaats van de kranten zelf op te slaan, schrijft ze in haar dagboek: "Vandaag heb ik geleerd dat ruimtevaart belangrijk is voor wetenschap, en dat dit te maken heeft met X en Y."
- Ze filtert de onzin eruit. Ze vat het samen. Ze maakt er een duidelijk idee van.

Wanneer je morgen een nieuwe vraag stelt, kijkt de AI niet meer naar de stapel kranten, maar naar haar dagboek. Ze zoekt naar de gedachte die bij jouw vraag past.

Hoe werkt het precies? (Stap voor Stapel)

Het proces werkt als een slimme leerling:

Vraag stellen: Jij vraagt iets aan de AI.
Zoeken: De AI zoekt in haar "gedachten-dagboek" én in de ruwe bronnen.
Antwoorden: Ze geeft een antwoord.
Reflecteren (Het Magische Moment): Na het antwoord vraagt de AI zichzelf: "Was dit antwoord goed? Wat heb ik hieruit geleerd?"
- Als het antwoord goed was, schrijft ze een nieuwe, korte gedachte in haar dagboek.
- Als het antwoord slecht was of niets toevoegde, gooit ze het eruit (geen rommel in het dagboek).
Samenvoegen: Als er al een gedachte in het dagboek staat die precies hetzelfde zegt als de nieuwe, dan voegt ze ze samen. Zo blijft het dagboek compact en rijk aan kennis, zonder herhaling.

Waarom is dit zo cool?

Het groeit met je mee: Hoe meer vragen de AI krijgt, hoe rijker haar dagboek wordt. Ze wordt niet alleen slimmer, maar leert ook hoe ze moet denken. Het is alsof de AI "groeit" naarmate ze meer ervaring opdoet.
Diepere antwoorden: Als je een heel abstracte vraag stelt (bijvoorbeeld: "Wat is de toekomst van AI?"), kan de AI niet alleen feiten ophalen, maar ook de gedachten over die feiten combineren. Ze kan een nieuw inzicht creëren dat ze niet in één enkel boek had gevonden.
Snelheid: Omdat ze naar samenvattingen (gedachten) kijkt in plaats van naar duizenden pagina's tekst, gaat het zoeken veel sneller.

De "AcademicEval" Test

Om te bewijzen dat dit werkt, hebben de auteurs een nieuwe test gemaakt genaamd AcademicEval.
Stel je voor dat je een student bent die een proefschrift moet schrijven over honderden andere wetenschappelijke artikelen.

De oude methoden (zoals gewoon zoeken in teksten) faalden vaak omdat ze de draad kwijtraakten in de enorme hoeveelheid tekst.
Thought-Retriever haalde veel betere resultaten. Het kon de "essentie" van honderden artikelen samenvatten in zijn dagboek en die gebruiken om perfecte antwoorden te geven.

Conclusie in één zin

Thought-Retriever verandert een AI van een robot die alleen tekst kan kopiëren en plakken, in een lerende denker die zijn eigen ervaringen opslaat als slimme samenvattingen, zodat hij in de toekomst slimmer, sneller en dieper kan antwoorden.

Het is het verschil tussen een bibliotheek waar je door stapels papier moet graven, en een slimme assistent die je vertelt: "Ik heb dit eerder geleerd, en hier is de kern van het verhaal."

1. Het Probleem

Grote Taalmodellen (LLMs) hebben de AI-research revolutionair veranderd, maar ze kampen met fundamentele beperkingen bij het integreren van externe kennis als langetermijngeheugen:

Context-limieten: Bestaande Retrieval-Augmented Language Models (RALMs) zijn beperkt door de contextlengte van het LLM. Ze kunnen slechts een beperkt aantal (top-K) ruwe data-chunks uit een externe kennisbank ophalen. Als de relevante kennis verspreid ligt over miljoenen documenten, missen deze systemen cruciale informatie.
Inefficiëntie van bestaande oplossingen:
- Lang-context LLMs: Vergroten van het contextvenster leidt tot kwadratische rekencomplexiteit en het "lost-in-the-middle"-probleem.
- Hiërarchische RALMs: Methoden die samenvattingen of boomstructuren gebruiken, zijn vaak statisch, rigide en vereisen veel handmatige arbeid. Ze passen zich niet dynamisch aan aan specifieke gebruikersvragen.
- Ruwe opslag: Agente systemen slaan vaak ruwe observaties of logs op, wat ruis bevat en moeilijk te doorzoeken is voor redenering.

Het kernprobleem is hoe LLM-agenten effectief en efficiënt kunnen leren van (willekeurig) rijke externe kennis en dit kunnen omzetten in een zelfevoluerend langetermijngeheugen zonder de contextlimieten te overschrijden.

2. Methodologie: Thought-Retriever

De auteurs stellen Thought-Retriever voor, een model-onafhankelijk algoritme dat LLMs in staat stelt om niet alleen ruwe data, maar ook "gedachten" (thoughts) op te halen. Een "gedachte" is gedefinieerd als een persistente, query-gedreven cognitieve eenheid die de redenering tussen een vraag en een antwoord abstracteert.

Het framework bestaat uit de volgende stappen (zie Figuur 2 in het paper):

Thought Retrieval: Bij een nieuwe gebruikersvraag ( $Q_i$ ) zoekt het systeem relevante informatie op uit een mengsel van de externe kennisbank ( $K$ ) en het bestaande "gedachtengeheugen" ( $T$ ), gebaseerd op inbeddingsimilariteit.
Antwoordgeneratie: Het LLM genereert een antwoord ( $A_i$ ) op basis van de opgehaalde informatie.
Gedachte- en Zekerheidsgeneratie: Het LLM genereert een nieuwe "gedachte" ( $T_i$ ) die de kern van het antwoord abstracteert. Cruciaal is dat het LLM ook een zekerheidsscore ( $c_i$ ) genereert (0 of 1) om te bepalen of het antwoord logisch en niet-hallucinerend is.
Gedachte-migratie (Merge): Er wordt gecontroleerd of de nieuwe gedachte redundant is ten opzichte van bestaande gedachten in het geheugen door middel van similariteitsmeting. Als de similariteit een drempelwaarde ( $\epsilon$ ) overschrijdt, wordt de gedachte als redundant beschouwd.
Gedachtengeheugen-update: Alleen gedachten met een hoge zekerheid ( $c_i=1$ ) en die niet redundant zijn ( $s_i=0$ ) worden toegevoegd aan het langetermijngeheugen.

Kerninzicht: In plaats van ruwe data op te slaan, slaat het systeem gereduceerde, geverifieerde redeneerpatronen op. Dit zorgt voor een geheugen dat groeit in kwaliteit en abstractieniveau naarmate het systeem meer interacties heeft.

3. Belangrijkste Bijdragen

Thought-Retriever Framework: Een nieuw paradigma voor agente geheugens dat dynamische, zelfevoluerende gedachten gebruikt in plaats van statische samenvattingen of ruwe logs. Dit stelt agenten in staat om kennis te "verdichten" en te hergebruiken.
AcademicEval Benchmark: De auteurs hebben een nieuwe, realistische benchmark ontwikkeld gebaseerd op dagelijkse updates van arXiv-papers. Deze benchmark test het vermogen van LLMs om ultra-lange contexten te begrijpen voor taken zoals het schrijven van abstracts (Abstract-single/multi) en gerelateerd werk (Related-multi).
Zelf-evolutie en Schaalwetten: Het paper demonstreert dat Thought-Retriever een nieuw type "scaling law" vertoont: de prestaties verbeteren naarmate het systeem meer gebruikersvragen oplost en meer gedachten accumuleert.
Diepere Redenering: Het systeem leert om diepere, meer abstracte gedachten op te halen voor abstracte vragen, wat een brug slaat tussen feitelijke kennis en hogere orde redenering.

4. Resultaten

Uitgebreide experimenten op AcademicEval en twee publieke datasets (GovReport en WCEP) tonen aan dat Thought-Retriever state-of-the-art baselines overtreft:

Prestatieverbetering: Er wordt een gemiddelde stijging van minimaal 7,6% in F1-score en 16% in win-rate (vergeleken met andere methoden) behaald.
Vergelijking met Baselines: Het systeem presteert aanzienlijk beter dan traditionele retrievers (BM25, Contriever), context-compressietechnieken (RECOMP) en zelfs lange-context LLMs (zoals Nous Hermes-32k).
Efficiëntie: Hoewel er een kleine overhead is door de generatie van gedachten, is Thought-Retriever aanzienlijk sneller dan iteratieve methoden (zoals IRCoT) en lange-context modellen, omdat het geen volledige documenten hoeft te verwerken.
Zelf-evolutie: Experimenten tonen aan dat een model dat is "opgeleid" met een verzameling gedachten van eerdere queries, significant betere resultaten behaalt op nieuwe, onbekende queries (causale bewijzen voor zelf-evolutie).

5. Betekenis en Impact

Thought-Retriever biedt een fundamentele verschuiving in hoe AI-agenten kennis opslaan en benutten:

Van Ruw naar Abstract: Het verplaatst de focus van het opslaan van ruwe observaties naar het opslaan van geverifieerde redeneerpatronen. Dit maakt het geheugen dichter, schoner en relevanter voor toekomstige taken.
Schaalbaarheid: Het lost het probleem van de contextlimiet op door kennis te comprimeren tot "gedachten", waardoor agenten kunnen werken met kennisbronnen die veel groter zijn dan hun contextvenster.
Toepassingsgebied: Het framework is model-onafhankelijk en kan worden geïntegreerd in bestaande LLM-systemen (zowel open-source als gesloten API's). De auteurs tonen dit aan met een demo genaamd "Arxiv Copilot", die personaliseerde academische diensten biedt.
Toekomstperspectief: Dit werk legt de basis voor agenten die continu leren en zich aanpassen aan nieuwe informatie zonder dat hun parameters hoeven te worden hergetraind, wat essentieel is voor dynamische, real-world toepassingen in sectoren zoals gezondheidszorg, juridisch advies en onderzoek.

Kortom, Thought-Retriever transformeert LLM-agenten van statische kennisopslag naar dynamische, lerende systemen die hun eigen "gedachten" gebruiken om complexere vragen in de toekomst beter te beantwoorden.