Technische Samenvatting: Continue Zelfverbetering met Lichtgewicht Ervaringsgerelateerde Latente Geheugens

Probleemstelling

Grote taalmodellen (LLM's) bereiken momenteel sterke redeneercapaciteiten door het schalen van de rekenkracht tijdens de inferentie (bijv. Chain-of-Thought, uitgebreid denken). Echter, deze modellen blijven fundamenteel staatloos na implementatie. Ze verwerpen de rijke, zelf gegenereerde redeneersporen die tijdens de inferentie zijn geproduceerd, waardoor ze er niet in slagen ervaring op te bouwen of computationele inspanning om te zetten in herbruikbare kennis voor toekomstige problemen.

Bestaande benaderingen om dit aan te pakken, kampen met aanzienlijke beperkingen:

1. Training-vrije In-Context Learning (ICL): Methoden die ruwe tekstuele redeneersporen opslaan, lijden aan een "textuele bottleneck". Ze slaan oppervlakkige outputs op in plaats van de onderliggende redeneerstructuur of intermediaire toestanden, wat leidt tot oppervlakkige generalisatie en een falen in effectieve transfer over taken heen.
2. Offline Reinforcement Learning (RL): Hoewel ongesuperviseerde RL-methoden met interne beloningen (bijv. meerderheidsstemmen) veelbelovend zijn, opereren zij doorgaans in een offline regime, waarbij vooraf toegang nodig is tot de volledige testdataset. Bovendien vertrouwen zij op volledige modelupdates, wat het risico op catastrofaal vergeten, optimalisatie-instabiliteit met zich meebrengt en niet goed schaalt naarmate de test-tijd data accumuleert door interfererende zelf-supervisiesignalen.

De kernuitdaging is het mogelijk maken van werkelijk online, continue zelfverbetering, waarbij een LLM leert van een stroom problemen één voor één, zonder externe supervisie, zonder voorafgaande toegang tot toekomstige data, en zonder zijn initiële capaciteiten te vergeten.

Methodologie: Experiential Latent Memory (ELM)

De auteurs stellen ELM voor, een online methode die inferentie-rekenkracht destilleert naar compacte, modulaire latente geheugens. De aanpak bestaat uit drie hoofdonderdelen:

1. Geheugencréatie (Per-Sample Learning)

In plaats van het hoofdmodel bij te werken, leert het systeem een lichtgewicht, instantie-specifiek geheugen voor elk aangetroffen probleem.

• Intern Beloningssignaal: Bij gebrek aan grondwaarheid-labels genereert het model meerdere kandidaat-responses ($N$) voor een gegeven input. Een consensusantwoord wordt afgeleid via meerderheidsstemmen (majority voting), wat dient als een proxy-label.
• Trainingsdoelstelling: Het model wordt getraind met behulp van Group Relative Policy Optimization (GRPO). De advantage wordt berekend door de beloningen binnen de groep gesamplede outputs te normaliseren ten opzichte van de consensus.
• Parametrisering: Het geheugen wordt geparametriseerd als een Soft Prompt (een reeks trainbare continue vectoren die aan de input worden toegevoegd).
  • Efficiëntie: Deze soft prompts beslaan slechts $\sim 0,001\%$ van de totale modelparameters.
  • Isolatie: Het basismodel blijft bevroren. Elk geheugen wordt onafhankelijk getraind voor enkele gradiëntstappen (bijv. 10 stappen) met behulp van het interne beloningssignaal. Dit modulaire ontwerp voorkomt interferentie tussen samples en vermijdt catastrofaal vergeten.

2. Geheugenretrieval

Wanneer een nieuwe test-sample arriveert, haalt het systeem het meest relevante geheugen op uit de pool.

• Key Constructie: Keys worden afgeleid van ofwel de soft prompt embeddings (Input Retrieval) of door het poolen van activaties uit de interne Key-Value (KV) projecties van het model (KV Retrieval).
• Matching: Retrieval wordt uitgevoerd door de cosinus-gelijkenis te berekenen tussen de query-vector van de nieuwe input en de opgeslagen geheugen-keys.

3. Response Routing (Verificatie)

Omdat geheugens via zelf-supervisie worden geleerd, kunnen ze ruis bevatten en af en toe de prestaties verslechteren (een correct zero-shot antwoord veranderen in een incorrect antwoord).

• Dual Generatie: Voor een gegeven input genereert het systeem zowel een zero-shot response als een geheugen-geaugmenteerde response.
• Verificatie: Als de responses overeenkomen, wordt het antwoord geretourneerd. Als ze verschillen, selecteert een Verifier (een Process Reward Model) de response met de hogere score. Dit routingmechanisme waarborgt de betrouwbaarheid en verzacht door het geheugen veroorzaakte regressies.

Belangrijkste Bijdragen

1. Latente Ervaringsgerelateerde Geheugens: Introductie van een methode om modulaire, instantie-niveau latente representaties (soft prompts) direct te leren van test-tijd rekenkracht, waarbij abstracte redeneerstructuren worden gevangen in plaats van oppervlakkige tekst.
2. Online Continu Protocol: Een strikt online framework waarbij modellen continu verbeteren naarmate de ervaring accumuleert, zonder voorafgaande toegang tot de volledige dataset of externe labels.
3. Efficiëntie en Modulariteit: Een ontwerp dat ervaring isoleert in lichtgewicht eenheden ($\sim 0,001\%$ parameters), wat stabiel leren mogelijk maakt zonder volledige modelupdates of catastrofaal vergeten.
4. Empirische Validatie: Demonstratie dat leren van individuele samples met interne beloningen generalisatievoordelen kan opleveren die wedijveren met of superieur zijn aan offline training op volledige datasets.

Experimentele Resultaten

De auteurs evalueerden ELM op uitdagende wiskundige redeneerbenchmarks (MATH500, AMC23, AIME24) met behulp van Llama-3.1-8B-Instruct en Qwen2.5-Math-7B.

• Prestaties vs. Baselines:
  • ELM presteert significant beter dan zero-shot en raw-data ICL baselines.
  • Op MATH500 presteerde ELM (volledig online getraind zonder voorafgaande toegang tot de dataset) beter dan zowel full-dataset offline GRPO als TTRL baselines.
  • Op AMC23 en AIME24 verbeterde ELM de basisprestaties aanzienlijk (bijv. +12,5 punten op Qwen voor AMC23), en evenaarde of overtrof vaak de resultaten van offline training op de volledige dataset.
• Generalisatie: Individuele latente geheugens bleken effectief te generaliseren over de volledige testset, waarbij soft prompts de LoRA-gebaseerde parametriseringen overtroffen in generalisatievermogen.
• Cross-Dataset Transfer: Geheugens getraind op één dataset (bijv. AIME24) werden effectief overgedragen naar een andere (bijv. AMC23), wat aantoont dat de geleerde representaties generaliseerbare redeneerstructuren bevatten.
• Vergelijking met Offline Training: Verrassend genoeg leverde training op individuele samples met interne beloningen vaak betere generalisatie op dan het trainen van het volledige model op de gehele dataset, wat suggereert dat volledige modelupdates kunnen lijden onder capaciteitsmismatch of interferentie in scenario's met weinig data.

Betekenis en Claims

Het artikel positioneert ELM als een fundamentele stap richting modellen die in staat zijn tot continue zelfverbetering. De betekenis ligt in:

• Het overbruggen van de kloof: Het slaagt erin vluchtige, dure inferentie-rekenkracht om te zetten in persistente, herbruikbare kennis zonder externe supervisie.
• Schaalbaarheid: Door gebruik te maken van modulaire, lichtgewicht geheugens, schaalt de methode mee met de geaccumuleerde ervaring zonder de computationele overhead of stabiliteitsproblemen die geassocieerd worden met volledige model fine-tuning.
• Beperkingen overwinnen: Het adresseert de "textuele bottleneck" van ICL door in de latente ruimte te opereren en lost de "offline beperking" van RL op door te functioneren in een echte streaming-omgeving.

De auteurs erkennen beperkingen, zoals het feit dat de kwaliteit van het geheugen varieert (sommige zijn ruisachtig) en dat de huidige afhankelijkheid van een verifier een noodzakelijke mitigatie is. Zij laten toekomstig werk open voor het verkennen van geheugen-compositionaliteit, verwijderingsstrategieën (eviction strategies) en methoden om hoogwaardige samples te identificeren voor geheugencreatie. Zij stellen echter dat ELM een levensvatbaar, efficiënt pad biedt voor LLM's om hun redeneeronderzoeken te internaliseren en gestaag te verbeteren.