Beyond Experience Retrieval: Learning to Generate Utility-Optimized Structured Experience for Frozen LLMs

Technische Samenvatting: SEAM

1. Het Probleem: De beperkingen van statische LLM's en RAG

Huidige Large Language Models (LLM's) zijn grotendeels statisch. Wanneer ze geconfronteerd worden met nieuwe problemen, redeneren ze vaak vanaf nul, herhalen ze dezelfde fouten en maken ze gebruik van inefficiënte paden.

De huidige oplossing om "ervaring" te benutten is meestal Retrieval-Augmented Generation (RAG). Het paper identificeert drie cruciale tekortkomingen van deze aanpak:

• Similarity $\neq$ Utility: RAG zoekt naar ervaringen die oppervlakkig lijken op de huidige vraag (semantische gelijkenis), maar dit betekent niet dat die ervaringen nuttig zijn voor de oplossing. Verkeerd geselecteerde informatie kan de redenering van het model zelfs verstoren (ruis).
• Inference Overhead: Het onderhouden van een externe bibliotheek, het uitvoeren van zoekopdrachten en het samenvatten van resultaten zorgt voor extra latentie en rekenkosten.
• Gebrek aan adaptatie: RAG-systemen zijn vaak generiek en houden geen rekening met de specifieke sterktes of zwaktes van de specifieke "executor" (het model dat de taak uitvoert).

2. Methodologie: Het SEAM-raamwerk

De auteurs introduceren SEAM (Structured Experience Adapter Module). In plaats van een externe database te gebruiken, wordt de ervaring gecodeerd in de parameters van een lichtgewicht, trainbaar model dat fungeert als een plug-in voor een bevroren (frozen) LLM-executor.

Kernconcepten:

• Parametrische Ervaringsbibliotheek: De ervaring wordt niet opgeslagen in tekstbestanden, maar in de gewichten van de SEAM-module. Dit maakt toegang mogelijk via een enkele forward pass, wat extreem efficiënt is.
• Gestructureerde Schema's: SEAM genereert geen willekeurige tekst, maar een gestructureerd "ervaringsbericht" bestaande uit drie componenten:
  1. Problem Analysis: Een diagnose van de moeilijkheidsgraad en mogelijke valkuilen.
  2. Experience Highlights: Strategieën en heuristieken die specifiek werken voor deze executor.
  3. Reference Plan: Een procedurele stappenplan (zonder het uiteindelijke antwoord te verklappen).

Het Trainingsproces (Forward Learning):
SEAM wordt getraind via een proces dat de nuttigheid van de gegenereerde ervaring maximaliseert zonder de executor aan te passen:

1. Forward Exploration: SEAM genereert meerdere kandidaten voor een ervaring-bericht.
2. Rollout-based Evaluation: De bevroren executor probeert de taak op te lossen met elk van deze kandidaten. De score is gebaseerd op of de executor het juiste antwoord vindt.
3. Parametric Library Evolution (GRPO): Met behulp van het Group Relative Policy Optimization (GRPO) algoritme wordt SEAM geüpdatet. Het leert welke ervaringen de executor daadwerkelijk helpen om succesvol te zijn, in plaats van welke ervaringen er simpelweg "logisch" uitzien.

3. Belangrijkste Bijdragen

• Nieuw Paradigma: Verschuiving van experience retrieval (zoeken in een database) naar experience generation (het genereren van op maat gemaakte instructies).
• Utility-Optimization: Training is gericht op de daadwerkelijke prestatieverbetering van de executor, niet op semantische gelijkenis.
• Executor-Specificiteit: SEAM leert de specifieke "taal" en de specifieke fouten van een specifieke executor te begrijpen en te sturen.
• Efficiëntie: Een lichtgewicht oplossing die de latentie minimaliseert en de training van grote modellen overbodig maakt.

4. Resultaten

De experimenten op wiskundige benchmarks (zoals GSM8K, MATH, AIME) laten indrukwekkende resultaten zien:

• Superieure Prestaties: SEAM verslaat zowel de originele modellen als de bestaande RAG-gebaseerde methoden (zoals MEM-0 en Memento) op vrijwel alle benchmarks.
• Effectiviteit bij Moeilijke Taken: De grootste winst wordt geboekt bij zeer complexe problemen (zoals AIME), waar de noodzaak voor goede sturing het grootst is.
• Efficiëntie-winst: SEAM is sneller in het bereiken van een correct antwoord (Time-to-correct) dan RAG-methoden, omdat het de zoekfase overslaat.
• Generalisatie: Hoewel SEAM specifiek getraind is voor een bepaalde executor, vertoont het een verrassende mate van cross-domain generalisatie (werkt ook in code en QA) en cross-executor transfer (werkt ook op andere modellen).

5. Betekenis en Conclusie

Dit onderzoek is significant omdat het aantoont dat we LLM's niet per se groter of complexer hoeven te maken om hun vermogen tot leren en hergebruik van ervaring te verbeteren. Door een kleine, intelligente "adapter" toe te voegen die begrijpt hoe een groter model werkt, kunnen we de prestaties van statische modellen drastisch verhogen. Het biedt een schaalbaar en efficiënt alternatief voor de huidige RAG-architecturen en opent de deur naar systemen die continu kunnen evolueren door simpelweg hun eigen succesvolle interacties te loggen en te hergebruiken.