💬 NLP

ExpWeaver: LLM Agents Learn from Experience via Latent RAG

ExpWeaver is een end-to-end geoptimaliseerd framework dat LLM-agenten in staat stelt om te leren van ervaring via latente retrieval-augmented generatie, waarmee het een state-of-the-art prestatie bereikt over diverse taken terwijl het de token-overhead aanzienlijk vermindert en de cross-domein generalisatie verbetert vergeleken met traditionele tekstgebaseerde retrieval-methoden.

Oorspronkelijke auteurs: Tao Feng, Tianyang Luo, Jingjun Xu, Zhigang Hua, Yan Xie, Shuang Yang, Ge Liu, Jiaxuan You

Gepubliceerd 2026-06-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Tao Feng, Tianyang Luo, Jingjun Xu, Zhigang Hua, Yan Xie, Shuang Yang, Ge Liu, Jiaxuan You

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar vergeetachtige assistent hebt die probeert een puzzel op te lossen. Elke keer als de assistent vastloopt, vraagt hij om jouw hulp.

De Oude Manier (Huidige Methoden):
In het verleden zou je, om deze assistent te helpen, een gigantisch fysiek notitieboekboek uit de kast trekken, vol met aantekeningen van elke keer dat hij eerder een soortgelijke puzzel had opgelost. Je bladerde door de pagina's, zocht de meest relevante aantekening en las de hele aantekening hardop voor aan de assistent voordat hij het opnieuw probeerde.

Deze aanpak heeft twee grote problemen:

Het is traag en duur: Het voorlezen van een hele pagina tekst kost tijd en verbruikt veel "attention tokens" (zoals een beperkt budget aan mentale energie). Als het notitieboek enorm groot is, raakt de assistent overweldigd.
Het is star: De assistent hoort alleen de woorden. Hij voelt de connectie tussen de oude aantekening en het nieuwe probleem niet echt totdat hij de tekst zelf heeft verwerkt. Het is alsof iemand je een verhaal vertelt in plaats van dat de oplossing intuïtief op zijn plek valt.

De Nieuwe Manier (ExpWeaver):
Het artikel introduceert ExpWeaver, een slimmere manier om de assistent te helpen leren van ervaring. In plaats van een fysiek notitieboek, stel je je voor dat de assistent een geheime, onzichtbare bibliotheek in zijn eigen brein heeft.

Zo werkt ExpWeaver, met behulp van eenvoudige analogieën:

1. De Onzichtbare Bibliotheek (Latent Space)

In plaats van ervaringen als lange tekstparagrafen op te schrijven, comprimeert ExpWeaver elke eerdere succeservaring of mislukking tot een kleine, dichte "mentale vingerafdruk" (een wiskundige vector).

Analogie: Denk aan de "Shuffle"-knop van Spotify. In plaats van het hele liedje te spelen (de tekst) om je aan de sfeer te herinneren, speelt het slechts een 3-seconden durende neurie die direct de herinnering aan het liedje oproept. De assistent hoeft niet het hele verhaal te lezen; hij heeft alleen die "neurie" nodig om de les te onthouden.

2. De Directe Verbinding (Latent Retrieval)

Wanneer de assistent een nieuw probleem tegenkomt, zoekt hij niet in een bibliotheek. In plaats daarvan controleert hij direct zijn huidige gedachten tegenover zijn bibliotheek van "mentale vingerafdrukken".

Analogie: Het is alsof je een superintelligente bibliothecaris hebt die geen beschrijving van het boek van je nodig heeft. Je denkt simpelweg aan het probleem, en de bibliothecaris overhandigt je direct de exacte "mentale vingerafdruk" die bij je huidige stemming past. Dit gebeurt in een fractie van een seconde, binnen het brein van de assistent, zonder dat er hardop gelezen hoeft te worden.

3. De Slimme Mixer (Gated Integration)

Zodra de assistent de juiste "mentale vingerafdruk" heeft gevonden, plakt hij deze niet zomaar in zijn gedachten. Hij gebruikt een speciale mengkraan (een gated mechanisme).

Analogie: Stel je voor dat je een stoofpot kookt. Je hebt je huidige ingrediënten (het nieuwe probleem). Je hebt een geheim kruidenmengsel (de oude ervaring). Een slechte kok stort het hele potje kruiden erin en verpest het gerecht. ExpWeaver is een meesterkok die de stoofpot proeft en precies de juiste hoeveelheid van het kruidenmengsel toevoegt. Soms voegt hij een beetje toe, soms heel veel, afhankelijk van wat het gerecht op dat moment nodig heeft. Dit zorgt ervoor dat de oude ervaring helpt zonder de nieuwe logica te overheersen.

4. Het Resultaat: Sneller en Slimmer

Het artikel testte deze nieuwe methode op 13 verschillende soorten taken, van het oplossen van wiskundeproblemen en het schrijven van code tot het voorspellen van chemische reacties en het aanbevelen van films.

De Score: ExpWeaver versloeg de beste bestaande methoden in 12 van de 13 taken.
De Efficiëntie: Omdat het niet de noodzaak heeft om lange tekstnotities te "lezen", verbruikt het 30% tot 50% minder rekenkracht (tokens) dan de oude methoden. Het is alsoer dat je hetzelfde antwoord krijgt, maar met een veel kleinere batterij.
De Aanpassingsvermogen: Wanneer de assistent werd geconfronteerd met een compleet nieuw type probleem (zoals de overstap van algemene wiskunde naar chemie), leerde ExpWeaver dit veel sneller dan de anderen. Het begreep dat het patroon van het oplossen van het probleem vergelijkbaar was, zelfs als de woorden anders waren.

In het kort:
ExpWeaver is een systeem dat AI-agenten leert om te leren van hun fouten en successen uit het verleden, niet door een dagboek te lezen, maar door de herinnering te voelen. Het comprimeert ervaringen tot efficiënte signalen en mengt deze direct in het denkproces, waardoor de AI slimmer, sneller en aanpasbaarder wordt zonder energie te verspillen aan het lezen van lange teksten.

Technische Samenvatting: ExpWeaver: LLM-agenten leren van ervaring via Latente RAG

Probleemstelling
Het integreren van eerdere interacties als herbruikbare ervaringen is een cruciale aanpak voor het verbeteren van de planning en het redeneren van Large Language Model (LLM) agenten. De huidige methoden zijn echter grotendeels beperkt tot de expliciete tekstruimte. Huidige benaderingen slaan ervaringen doorga tops als tekstuele samenvattingen op en halen ze op via semantische gelijkenis, om ze vervolgens in het contextvenster van het model te concateneren. Dit paradigma introduceert aanzienlijke inefficiënties:

Token Overhead: Expliciete concatenatie verbruikt een aanzienlijke hoeveelheid ruimte in het contextvenster, wat het aantal ophaalbare ervaringen beperkt en de inferentiekosten verhoogt.
Architecturale Ontkoppeling: De meeste methoden maken gebruik van een aparte Retrieval-Augmented Generation (RAG) module (bijv. embedding-gebaseerde retrievers of zoekmachines) die onafhankelijk werkt van de interne representaties van het LLM. Deze scheiding verhindert gezamenlijke optimalisatie van retrieval en generatie gericht op het downstream-taakdoel.
Representatieve Bottlenecks: Retrieval op tekstniveau vertrouwt op oppervlakkige semantische gelijkenis, wat kan falen in het vastleggen van diepere structurele correspondenties in probleemoplossingsstrategieën die vereist zijn voor complexe redeneer- of programmeertaken.

Methodologie: ExpWeaver
Om deze beperkingen aan te pakken, stellen de auteurs ExpWeaver voor, een framework dat LLM-agenten in staat stelt om te leren van ervaring via latente retrieval-augmented generatie. In tegenstelling tot eerder werk, voert ExpWeaver retrieval direct uit binnen de latente ruimte van het LLM zonder dat een aparte RAG-module nodig is. Het framework bestaat uit drie kerncomponenten:

Experience Bank met On-Policy Alignment:
- Eerdere trajecten (query, redeneerproces, output, beloning) worden gecomprimeerd tot tekstuele samenvaties en gecodeerd naar dichte latente embeddings ( $z$ ) met behulp van hetzelfde LLM ( $p_\theta$ ) dat voor de generatie wordt gebruikt.
- Specifiek wordt de embedding afgeleid van de verborgen toestand (hidden state) van het laatste token op de laatste transformer-laag ( $z = h_\theta(s)$ ).
- Dit ontwerp zorgt voor on-policy alignment: naarmate het beleid (policy) evolueert tijdens de training, bevinden recente ervaringen zich van nature in een compatibele embedding-regio, wat een impliciete recentie-bias creëert die analoog is aan on-policy reinforcement learning.
Latente Retrieval-Augmented Generation:
- Latente Retrieval: Bij elke decoderingsstap $t$ dient de huidige verborgen toestand $h_t$ als query om een top- $K$ set van experience embeddings ( $Z_t$ ) op te halen uit de experience bank met behulp van cosine similarity. Er is geen externe retriever nodig.
- Cross-Attention Aggregatie: De opgehaalde embeddings worden geaggregeerd via een cross-attention mechanisme met behulp van een leerbaar query-token ( $u$ ). Dit stelt het model in staat om ervaringen dynamisch te wegen op basis van hun relevantie voor de huidige generatietoestand.
- Gated Integratie: Het geaggregeerde ervaring-signaal wordt geïntegreerd in de verborgen toestand via een gated residual mechanisme. Leerbare retentie- ( $r_t$ ) en input-gates ( $i_t$ ), samen met een mengcoëfficiënt ( $a_t$ ), controleren de balans tussen het behouden van de originele verborgen toestand en het incorporeren van externe kennis. Dit voorkomt dat een excessieve invloed van ervaringen de redeneestroom van het model verstoort.
End-to-End Training met Reinforcement Learning:
- De gehele pijplijn (policy $\theta$ en experience parameters $\psi_{exp}$ ) wordt gezamenlijk geoptimaliseerd met behulp van Group Relative Policy Optimization (GRPO).
- Het framework ondersteunt zowel generatieve taken (bijv. QA, coderen) door tekstuele outputs te produceren via experience-enhanced decoding, als ranking taken (bijv. aanbeveling) door relevantiescores te berekenen tussen de finale verborgen toestand en kandidaat-embeddings.

Belangrijkste Bijdragen

Unified Latent Space Framework: ExpWeaver verenigt retrieval en generatie binnen een gedeelde representatieruimte, waardoor de noodzaak voor een aparte retriever vervalt en de token overhead van tekstuele concatenatie wordt vermeden.
Adaptieve Retrieval: Door bij elke decoderingsstap retrieval uit te voeren op basis van de huidige verborgen toestand, leert het systeem query-afhankelijke ervaring-utilisatie die diepere structurele patronen vastlegt in plaats van oppervlakkige tekstuele overlap.
Taak-agnosticisme: De architectuur breidt zich van nature uit naar diverse taaltypen, waaronder vraagbeantwoording, wiskundig redeneren, codegeneratie, wetenschappelijke voorspelling en sequentiële aanbeveling.

Experimentele Resultaten
De auteurs hebben ExpWeaver geëvalueerd op ExpBench, een benchmark die 13 diverse taken beslaat over drie scenario's: Generiek (QA, Redeneren, Coderen), Wetenschappelijk (Farmaceutische Chemie) en Aanbeveling.

Prestaties: ExpWeaver behaalde state-of-the-art resultaten op 12 van de 13 taken en presteerde gemiddeld 6,8% beter dan de sterkste baseline (Search-R1).
Token Efficiëntie: Terwijl tekstgebaseerde retrieval-methoden zoals Search-R1 1,5–2× meer tokens vereisten door expliciete concatenatie, behield ExpWeaver een token-efficiëntie die vergelijkbaar is met non-retrieval baselines (bijv. HRPO), waarbij slechts ~10% meer tokens werden verbruikt terwijl de nauwkeurigheid aanzienlijk hoger was.
Generalisatie: ExpWeële demonstreerde superieure cross-domein generalisatie. In zero-shot transfer settings presteerde het de sterkste baseline met 16,32% beter, en met 15,21% in de few-shot transfer, wat aangeeft dat latente ervaring-representaties meer overdraagbare probleemoplossingspatronen vastleggen.
Ablatie-studies: Experimenten bevestigden de noodzaak van cross-attention aggregatie boven eenvoudige pooling en identificeerden een optimaal initialisatiebereik voor de mengcoëfficiënt om de balans tussen ervaring-integratie en het behoud van de verborgen toestand te bewaken.

Betekenis en Claims
Het artikel beweert dat ExpWeaver een significante verschuiving vertegenwoordigt in het leren van ervaringen voor LLM-agenten. Door over te stappen van expliciete tekstuele operaties naar integratie in de latente ruimte, overwint het framework de schaalbaarheids- en adaptatiebottlenecks van voorgaande methoden. De auteurs stellen dat deze aanpak agenten in staat stelt om efficiënter te leren van eerdere interacties, waarbij superieure prestaties worden behaald met lagere computationele kosten. Bovendien suggereert de gedemonstreerde cross-domein generalisatie dat latente ervaring-representaties robuust genoeg zijn om geleerde patronen over te dragen naar onbekende domeinen, wat de ontwikkeling in gespecialiseerde velden zoals wetenschappelijk onderzoek waar gelabelde data schaars is, potentieel kan versnellen. Het werk positioneert ExpWeaver als een stap naar een efficiëntere, verenigde en effectievere kennisbenutting in grote taalmodellen.

1. De Onzichtbare Bibliotheek (Latent Space)

2. De Directe Verbinding (Latent Retrieval)

3. De Slimme Mixer (Gated Integration)

4. Het Resultaat: Sneller en Slimmer

Meer zoals dit