Technische Samenvatting: Unified Context Evolution voor LLM-agenten

Probleemstelling

Large Language Model (LLM) agenten blinken uit in het oplossen van taken met meerdere stappen door redeneren af te wisselen met feedback uit de omgeving. Echter, een kritieke beperking blijft bestaan: elke taakepisode begint doorgaans met een vaste context (systeeminstructies, few-shot demonstraties), waardoor eventuele strategieën of inzichten die tijdens een specifieke episode zijn ontdekt, vluchtig zijn. Zodra de taak is voltooid, gaan deze ontdekkingen verloren.

Bestaande benaderingen voor dit "vergetelheidsprobleem" vallen uiteen in twee categorieën, die beide aanzienlijke nadelen hebben:

1. Reinforcement Learning (RL): Methoden die modelgewichten bijwerken via gradiëntafdaling. Hoewel effectief, vereisen ze toegang tot modelparameters en een substantiële computationele infrastructuur, wat ze onbruikbaar maakt voor closed-source LLM's.
2. Adaptatie binnen de taak: Methoden zoals verbale zelfkritiek (Reflexion) of iteratieve verfijning (Self-Refine) die de prestaties tijdens een enkele taak verbeteren, maar de verbeteringen weggooien zodra de taak eindigt.
3. Kennisbibliotheken voor kruistaken: Systemen die kennis accumuleren over verschillende taken, maar die vaak kennis opslaan in ongetypeerde pools (waarbij alle inzichten worden gemengd) of zich richten op slechts één vorm van kennis (bijv. alleen vaardigheden of alleen workflows). Bovendien vertrouwen deze systemen vaak op een-malige evaluatie om de kwaliteit van kennis te beoordelen, in plaats van de bruikbaarheid te volgen door herhaaldelijk gebruik.

De kernuitdaging die wordt aangepakt, is hoe men een persistente, evoluerende kennisbibliotheek kan onderhouden die onderscheid maakt tussen verschillende functionele typen kennis, de kwaliteit volgt via gebruik en de generatieresources dynamisch toewijst aan de zwakste gebieden van de bibliotheek, alles zonder de onderliggende LLM-gewichten bij te werken.

Methodologie: Unified Context Evolution (UCE)

De auteurs stellen Unified Context Evolution (UCE) voor, een gradiëntvrij framework waarbij de context van de agent zelf de plaats van het leren wordt. UCE externaliseert de ervaring van de agent naar een evoluerende bibliotheek van Evolvable Context Units (ECUs).

1. Evolvable Context Units (ECUs)

De bibliotheek ontleedt ervaring in vier functioneel complementaire, getypeerde kennisvermeldingen:

• Memory (Geheugen): Feitelijke beweringen over omgevingsmechanismen ontdekt via trial-and-error binnen een enkele taakinstantie (bijv. "Een gootsteen kan items schoonmaken zonder een kraan te draaien").
• Strategy (Strategie): Conditionele beslisregels (ALS-DAN) voor vertakkingspunten binnen een specifieke taaktype (bijv. "Als 'plaatsen' faalt, open dan het compartiment en probeer opnieuw").
• Workflow (Werkstroom): Canonieke executiesequenties gegeneraliseerd voor een specifiek taaktype (bijv. "Zoek doelwit $\to$ Transformeer $\to$ Plaats in compartiment").
• Skill (Vaardigheid): Herbruikbare meerstaps-suboperaties toepasbaar op verschillende taaktypen (bijv. "Zoek compartimenten, open containers, neem doelwit").

Elke ECU is een tuple $(z_e, \tau_e, w_e, c_e, f_e)$, waarbij $z_e$ de type is, $\tau_e$ het toepasbare taaktype, $w_e$ de ophaalconditie, $c_e$ de geïnjecteerde inhoud, en $f_e$ de fitnessscore.

2. Levenscyclus en Retrieval

Het framework werkt in evolutiecycli, die elk uit vijf fasen bestaan:

• Evaluate (Evalueren): De agent draait op een externe evaluatieset met de huidige bibliotheek. Succespercentages worden geregistreerd, maar er worden geen fitnessscores bijgewerkt om datalekage te voorkomen.
• Collect (Verzamelen): De agent draait op een disjuncte collectieset. Trajecten worden opgeslagen en fitnessscores worden bijgewerkt op basis van resultaten.
• Schedule (Plannen - Knowledge Yield Scheduling - KYS): Een module analyseert de staat van de bibliotheek (dekkingstekorten, fitnessdistributies) om een generatiebudget ($B$) over de vier ECU-typen te verdelen. Het geeft prioriteit aan typen waar de bibliotheek het zwakst is (bijv. niet-gedekte taaltypen of een lage gemiddelde fitness).
• Generate (Genereren): Type-specifieke generatoren distilleren kandidaat-ECU's uit de verzamelde trajecten. Cruciaal is dat generatoren een reshuffle test gebruiken om instantie-specifieke observaties (bijv. "Aardappel ligt op Aanrecht 1") te filteren ten gunste van generaliseerbare mechanismen (bijv. "Koelkast werkt wanneer gesloten"). Ze maken ook gebruik van kwaliteitsfeedback van hoog- en laag-fitness ECUs om de generatie te sturen.
• Cleanup (Opschonen): ECUs met een lage waarde of redundantie worden gepruned. Een Laplace-gesmoothde fitnessscore ($f_e = \frac{s_e + 1}{u_e + 2}$) volgt de empirische bijdrage, waarbij $s_e$ de cumulatieve resultaatcredit is en $u_e$ het aantal keren van gebruik.

Retrieval (Ophalen) vindt plaats op het moment van besluitvorming. Een retriever scoort ECUs op basis van semantische gelijkenis met de taakbeschrijving, een boost voor een match met het taaltype, en de fitnessscore van de ECU. Top-$K$ ECUs per type worden geïnjecteerd in specifieke secties van de systeemprompt van de agent.

Belangrijkste Bijdragen

1. Typed Knowledge Representation (Getypeerde Kennisrepresentatie): De introductie van ECUs, die de ervaring van de agent ontleden in vier functioneel complementaire typen (Memory, Strategy, Workflow, Skill), elk met onafhankelijke generatiecondities en retrievalgrenzen.
2. Unified Context Evolution Framework: Een volledig lifecycle-managementsysteem met Knowledge Yield Scheduling (KYS) om generatieresources dynamisch toe te wijzen en een gebruik-gebaseerde fitnessscore om kwaliteit te volgen door herhaalde toepassing in plaats van eenmalige extractie.
3. Empirische Validatie: Demonstratie dat UCE de prestaties van agenten op interactieve benchmarks aanzienlijk verbetert en dat de geaccumuleerde kennisbibliotheek overdraagbaar is naar verschillende reasoning backbones (bijv. ReAct, Plan-and-Act, NoThinking) zonder de modellen te hertrainen.

Experimentele Resultaten

Het framework werd geëvalueerd op twee tekstgebaseerde interactieve benchmarks: ALFWorld (huishoudelijke taken) en WebShop (online winkelen).

• Prestatiewinsten:
  • ALFWorld: UCE verhoogde het algemene succespercentage van 75,4% (ReAct baseline) naar 96,3% op zijn piek. Significante verbeteringen werden waargenomen in zwakkere taaktypen, zoals "Look" (50,0% $\to$ 100,0%).
  • WebShop: UCE verbeterde de gemiddelde taakscore van 45,1% naar 61,3% en het succespercentage van aankopen van 30,0% naar 42,0%.
• Transfereerbaarheid: De door UCE gegenereerde ECU-bibliotheek werd succesvol overgedragen naar alternatieve actor backbones. Bijvoorbeeld, het toepassen van de UCE-bibliotheek op de "Plan-and-Act" backbone verhoogde het succespercentage van 73,1% naar 97,8%.
• Ablatie-studies:
  • Op ALFWorld waren Workflow ECUs alleen al verantwoordelijk voor het merendeel van de winsten, wat suggereert dat procedurele skeletten zeer effectief zijn voor dit domein.
  • Op WebShop kwam geen enkel ECU-type overeen met de volledige bibliotheekprestaties. De winkeltaak vereiste een combinatie van Workflow (procedurele begeleiding), Strategy (herstel van navigatievallen) en Memory (feiten over paginamecanismen), wat het belang van de multi-type benadering benadrukt.
• Statistische Significantie: Verbeteringen ten opzichte van de ReAct baseline waren statistisch significant ($p < 0,05$) op beide benchmarks.

Betekenis en Claims

Het artikel claimt dat UCE een praktisch, gradiëntvrij alternatief biedt voor reinforcement learning voor het verbeteren van LLM-agenten, met name voor closed-source modellen waarbij gewichtupdates onmogelijk zijn. Door de context te behandelen als een leerbaar, evoluerend entiteit, overbrugt UCE de kloof tussen geïsoleerde taakuitvoering en persistent leren.

De auteurs benadrukken dat het vermogen van het framework om kennis-typen te onderscheiden en kwaliteit te volgen via gebruik, specifieke beperkingen van eerdere cross-task kennis-systemen aanpakt, die vaak alle inzichten als gelijk behandelen of niet in staat zijn om generatieresources aan te passen op basis van de volwassenheid van de bibliotheek. De resultaten suggereren dat voor interactieve taken het "wat te weten" (de opgehaalde context) even cruciaal is als het "hoe te handelen" (de reasoning backbone), en dat een gestructureerde, evoluerende bibliotheek effectief het "hoe te weten" kan vastleggen dat voortkomt uit ervaring.

Het artikel blijft bescheiden over toekomstige implicaties en merkt op dat de huidige ECU-typen handmatig zijn ontworpen en dat de schaalbaarheid van het framework naar grotere taaksets of continue actieruimtes (bijv. AndroidWorld) een open vraag blijft. Het erkent ook dat de huidige evaluatie afhankelijk is van specifieke modelparen en discrete actieruimtes, waardoor het ontwarren van framework-ontwerp versus generator-capaciteit een onderwerp is voor toekomstig onderzoek.