Technische Samenvatting: ExpGraph

Probleemstelling

Large Language Model (LLM) agenten hebben sterke capaciteiten getoond in redeneren, het gebruik van tools en interactie met omgevingen met meerdere stappen. Echter, een kritieke bottleneck blijft bestaan: de meeste agenten opereren als "one-shot executors", waarbij ze elke taak vanaf nul oplossen zonder systematisch succesvolle strategieën of lessen uit fouten te hergebruiken. Hoewel het finetunen van een executor op basis van verzamelde ervaring een veelvoorkomende oplossing is, wordt dit steeds inflexibeler naarmate LLM's snel evolueren. Wanneer een sterkere of meer geschikte executor verschijnt, vereist het leerproces van de ervaring vaak het hertrainen van de specifieke modelinstantie, waardoor het systeem nauw gekoppeld is aan een bepaald model. Bovendien zijn veel capabele LLM's closed-source, te groot of te duur om bij te werken, wat parameter-niveau modificatie onpraktisch maakt.

De kernuitdaging die dit werk aanpakt is: Hoe kan een LLM-agent leren van geaccumuleerde ervaring terwijl de executor zelf bevroren en vervangbaar blijft? Bestaande methoden behandelen herbruikbare ervaring vaak als geïsoleerde records of vertrouwen op platte nearest-neighbor matching, waarbij ze er niet in slagen de relationele aard van strategieën, beperkingen en foutpatronen te vatten. Daarnaast is oppervlakkige semantische relevantie niet altijd gelijk aan downstream nut; een ogenschijnlijk vergelijkbare ervaring kan weinig voordeel bieden, terwijl een structureel gerelateerde ervaring een cruciale overdraagbare strategie kan bieden.

Methodologie: ExpGraph

De auteurs stellen ExpGraph voor, een model-agnostisch framework voor ervaring-leren dat bevroren LLM-executors verbetert door middel van een zelf evoluerend relationeel geheugen en een trainbare retrieval copilot. Het framework ontkoppelt uitvoering van ervaring-leren, waardoor hetzelfde externe systeem verschillende bevroren executors kan verbeteren zonder hun parameters te wijzigen.

Kerncomponenten

1. Constructie van de Experience Graph:

   • Historische trajecten ($\tau = (x, \xi, y, s)$) worden samengevat in compacte natuurlijke taal ervaringseenheden ($e$).
   • Hoog scorende trajecten worden gedestilleerd tot skills (succesvolle patronen, heuristieken), terwijl laag scorende trajecten worden gedestilleerd tot lessons (foutmodi, beperkingen).
   • Deze eenheden vormen knopen in een ijle, ongerichte graaf. Randen verbinden semantisch of strategisch gerelateerde ervaringen op basis van cosinus-gelijkenis drempelwaarden, wat een structuur creëert die verder gaat dan platte lijsten.

2. Utility-Guided Graph Retrieval:

   • Retrieval Copilot: Een lichtgewicht, trainbare policy ($\pi_{ret}$) voorspelt twee adaptieve controle variabelen voor elke taak:
     • $R$ (Diffusion Depth): Controleert de breedte van de graaf-exploratie.
     • $W$ (Utility-Utility Trade-off): Controleert de balans tussen semantische gelijkenis en historische bruikbaarheid (utility).
   • Semantic Seeding: Het systeem identificeert eerst top-$M$ seed-knopen via cosinus-gelijkenis met de taak-embedding.
   • Graph Diffusion: Gebruikmakend van Personalized PageRank, breidt het systeem zich vanuit de seed-set uit over de graaf. De restart-waarschijnlijkheid wordt gecontroleerd door $R$, waardoor de retrieval ofwel lokaal kan blijven of verder kan propageren om structureel gerelateerde ervaringen te vinden.
   • Utility-Aware Ranking: Kandidaten worden opnieuw gerankt met een Upper Confidence Bound (UCB) score die semantische relevantie combineert met een geschatte utility-score ($u_v$). Dit stimuleert het exploiteren van hoogwaardige ervaringen terwijl ondergeteste knopen worden verkend.

3. Leren van Utility Feedback:

   • Het systeem maakt gebruik van een utility-grounded reward mechanisme. Voor elke taak wordt de bevroren executor tweemaal geëvalueerd: één keer met opgehaalde ervaringen ($s_{with}$) en één keer zonder ($s_{without}$).
   • De beloning wordt berekend als $r = (s_{with} - s_{without}) + \eta s_{with}$, wat de marginale winst van retrieval meet terwijl de absolute taakkwaliteit gewaarborgd blijft.
   • Copilot Optimalisatie: De retrieval copilot wordt geoptimaliseerd met behulp van Proximal Policy Optimization (PPO) om deze beloning te maximaliseren, waardoor het leert om ervaringen op te halen die daadwerkelijk de uitvoering verbeteren in plaats van alleen maar semantiek te matchen.
   • Online Graph Evolutie: Opgehaalde knopen worden bijgewerkt met nieuwe utility-statistieken op basis van de beloning. Nieuwe trajecten worden samengevat en in de graaf ingevoegd, terwijl knopen met een lage utility worden verwijderd, waardoor het geheugen zichzelf kan evolueren.

Belangrijkste Bijdragen

• Model-Agnostisch Ontwerp: ExpGraph is het eerste framework dat gezamenlijk graaf-gestructureerde ervaring, graaf-diffusie, utility-bewuste ranking en adaptieve retrieval ondersteunt voor bevroren executors. Het vereist geen hertraining van de onderliggende LLM.
• Relationeel Geheugen: In tegenstelling tot platte geheugensystemen organiseert ExpGraph ervaringen als een graaf, wat de ontdekking van overdraagbare strategieën en foutpatronen mogelijk maakt die geen directe semantische buren zijn.
• Adaptief Retrieval Policy: De introductie van een retrieval copilot die dynamisch de diffusiediepte en de trade-off tussen relevantie en utility controleert, stelt het systeem in staat zich aan te passen aan zowel taakcomplexiteit als de capaciteiten van de executor.
• Utility-Grounded Learning: Door retrieval te optimaliseren op basis van werkelijke downstream prestatiewinsten (in plaats van alleen gelijkenis), leert het systeem onderscheid te maken tussen louter relevante en werkelijk nuttige ervaringen.

Experimentele Resultaten

De auteurs evalueerden ExpGraph op ExpSuite, dat single-turn statische taken (Vraagbeantwoording, Wiskundig Redeneren, Code Generatie) en multi-step agentic omgevingen (ALFWorld, AppWorld) omvat.

• Prestatiewinsten:
  • Statische Taken: ExpGraph verbeterde de gemiddelde score ten opzichte van de sterkste baseline met 12,2% met een kleinere executor (Llama-3.2-3B) en met 4,7% met een grotere executor (Llama-3.1-8B).
  • Agentic Omgevingen: De winsten waren prominenter, met een verbetering van de gewogen gemiddelde score met 21,4% (kleine executor) en 12,7% (grote executor) ten opzichte van de sterkste baseline.
  • Efficiëntie: ExpGraph verminderde het gemiddeld aantal interactiestappen met 12,7% en 21,6% vergeleken met de meest efficiënte concurrerende baselines in agentic settings.
• Generalisatie: Het framework demonstreerde sterke zero-shot transfer-capaciteiten. Ervaringscomponenten geleerd van kleinere executors werden effectief overgedragen naar grotere, en componenten van niet-redenerende executors generaliseerden goed naar modellen met redeneercapaciteiten.
• Ablatie Studies: Het verwijderen van een kerncomponent (graafstructuur, diffusie, utility ranking of similarity filtering) leidde consistent tot een verslechtering van de prestaties, wat bevestigt dat het gezamenlijke ontwerp essentieel is voor effectief hergebruik van ervaring.

Betekenis en Claims

Het artikel claimt dat ExpGraph een praktisch en executor-agnostisch pad biedt voor LLM-agenten om te leren van ervaring zonder de onderliggende executor te hertrainen. De auteurs benadrukken dat:

1. Ervaringshergebruik is Cruciaal voor Zwakkere Executors: De relatieve winsten zijn aanzienlijk hoger voor kleinere, minder capabele modellen, wat suggereert dat externe ervaring de zwakkere ingebouwde redeneer- of planningsvaardigheden kan compenseren.
2. Waarde in Long-Horizon Taken: De voordelen zijn het meest uitgesproken in agentic omgevingen die besluitvorming over een lange horizon vereisen, waar eerdere trajecten acties direct kunnen sturen en onnodige exploratie kunnen verminderen.
3. Ontkoppeling van Leren en Uitvoering: Door de executor te behandelen als een vervangbare taakoplosser en te leren hoe context via een extern systeem te verstrekken, adresseert ExpGraph de inflexibiliteit van op fine-tuning gebaseerde benaderingen in een snel evoluerend LLM-landschap.

De auteurs concluderen dat het modelleren van relaties tussen ervaringen en het leren van utility-bewuste adaptieve retrieval essentieel is om LLM-agenten in staat te stellen takenkennis effectief te accumuleren en over te dragen, vooral in situaties waarin de executor niet kan worden bijgewerkt.