Technische Samenvatting: Neural Procedural Memory (NPM)

Probleemstelling

Hoewel Large Language Models (LLM's) uitblinken als statische oplossers, blijft het transformeren van hen tot autonome agenten die in staat zijn te opereren in dynamische, open einden omgevingen een uitdaging. Een kritieke flessenhals in deze transitie is het gebrek aan persistente procedurele geheugen. Huidige agent-architecturen vertrouwen primair op Retrieval-Augmented Generation (RAG) om expliciete tekstuele richtlijnen (bijv. workflows, inzichten) in het contextvenster te injecteren.

De paper betoogt echter dat het uitsluitend vertrouwen op symbolische tekstuele instructies leidt tot een "text-action disconnect" (tekst-actie-ontkoppeling). Procedurele kennis is vaak impliciet en abstract; het comprimeren van complexe redeneerpatronen naar discrete natuurlijke taal-tokens leidt onvermijdelijk tot informatieverlies. Bijgevolg kunnen agenten de opgehaalde instructies wel begrijpen, maar er niet strikt naar handelen, waarbij ze kritieke tussenstappen overslaan of er niet in slagen de opgehaalde workflows af te stemmen op het executie-traject. Deze ontkoppeling is bijzonder uitgesproken bij taken met een lange horizon, waarbij het behouden van de status en het naleven van sequentiële logica via tekst alleen moeilijk is.

Methodologie: Neural Procedural Memory (NPM)

Om deze beperkingen aan te pakken, stellen de auteurs Neural Procedural Memory (NPM) voor, een training-vrij framework dat het geheugen van de agent representeert via impliciete activatie-sturing (activation steering) in plaats van expliciete tekstuele instructies. In plaats van tekst op te halen die de agent moet lezen, destilleert NPM procedurele vaardigheden uit historische contrastieve ervaringen naar sturingsvectoren binnen de activatieruimte van het model.

Het framework werkt in drie fasen:

1. Constructie van Contrastieve Ervaringen

NPM construeert een dataset van gepaarde redeneersegmenten $(x^+, x^-)$ door effectieve redeneerpatronen te isoleren van historische mislukkingen. Het maakt gebruik van een dual-granularity strategie (strategie met twee granulariteiten) om procedurele signalen te vangen:

• Inter-trajectory Contrast: Stemt succesvolle trajecten ($\tau^+$) af met mislukte pogingen ($\tau^-$) voor een specifieke taak om globale gedragsverschuivingen te vangen.
• Intra-trajectory Contrast: Maakt gebruik van stap-niveau verschillen binnen een enkel mislukt traject. Het identificeert "degeneratieve stappen" (bijv. redundante loops, ongeldige acties) en contrasteert deze met "effectieve stappen" binnen hetzelfde traject. Dit maakt leren van falen mogelijk, zelfs wanneer succesvolle trajecten schaars zijn.

2. Extractie van Procedurele Geheugen

Het framework brengt de tekstuele contrasten in kaart naar continue geometrische transformaties in de representatieruimte.

• Representatie: Voor inter-trajectory paren extraheert het de laatste token hidden state van het volledige traject. Voor intra-trajectory paren past het mean-pooling toe over de tokens om stap-representaties te verkrijgen.
• Vectorderivatie: Het systeem berekent het verschil tussen de representaties van succesvolle ($h^+$) en degeneratieve ($h^-$) staten. Met behulp van Principal Component Analysis (PCA) extraheert het de dominante richting van variatie om een sturingsvector $v$ te vormen die de verschuiving van falen naar succes vertegenwoordigt. Deze vectoren worden opgeslagen in een taakspecifieke repository.

3. Interventie tijdens Inferentie

Tijdens inferentie synthetiseert en injecteert NPM dynamisch sturingsvectoren zonder de modelgewichten aan te passen of het contextvenster uit te breiden:

1. Retrieval: Een dense retriever identificeert de top-$K$ meest vergelijkbare historische taken voor de huidige query.
2. Synthese: Het systeem haalt opgeslagen representaties op uit de opgehaalde taken om een collectieve geheugenpool te vormen. Een taakspecifieke consensusrichting $v_l(q)$ wordt afgeleid via een extractiefunctie.
3. Sturing: De gesynthetiseerde vector wordt in elke tijdstap $t$ geïnjecteerd in de residual stream voor doel-lagen $l$:
   $$\tilde{h}_{l,t} = h_{l,t} + \alpha \cdot v_l(q)$$
   waarbij $\alpha$ de sterkte van de interventie regelt. Dit moduleert direct het redeneerproces en de actie-selectie van de agent.

Belangrijkste Bijdragen

1. NPM Framework: Het voorstel van een training-vrij framework dat impliciete activatie-sturing integreert in het geheugen van de agent, wat effectieve intrinsieke gedragsmodulatie mogelijk maakt zonder parameter-updates.
2. Dual-Granularity Extraction: De introductie van een methode die zowel inter-trajectory als intra-trajectory contrasten gebruikt. Dit biedt een flexibel interventiemechanisme dat de afhankelijkheid van succesvolle demonstraties vermindert door leren van falen mogelijk te maken.
3. Empirische Validatie: Uitgebreide experimenten die aantonen dat activatie-sturing dient als een effectieve drager voor agentische vaardigheden, waarbij interpreteerbare vectoren worden opgeleverd die correleren met specifieke taakgedragingen.

Experimentele Resultaten

De auteurs evalueerden NPM over vier agent-benchmarks: ALFWorld, WebShop, ScienceWorld en BabyAI, met gebruik van de MiniCPM3-4B en Qwen3 (4B/8B) modellen.

• Prestaties vs. Baselines: NPM presteert beter dan statische impliciete baselines (CAA, Mass-Mean) en bereikt een prestatie die vergelijkbaar is met expliciete tekstuele geheugen-baselines (Insights, Workflows). In verschillende settings (bijv. WebShop met Qwen3-4B) presteerde NPM beter dan expliciete workflows.
• Hybride Synergie: Het combineren van impliciete sturing met expliciete workflows (Hybride configuratie) leverde de hoogste algehele prestaties op over alle modellen. Dit suggereert dat expliciete tekst hoge-niveau symbolische planning biedt, terwijl impliciete sturing de procedurele naleving direct binnen neurale representaties versterkt.
• Efficiëntie: In tegenstelling tot tekstueel geheugen, dat de prefill-latentie aanzienlijk verhoogt door expansie van het contextvenster, behoudt NPM een latentie die bijna identiek is aan de "No Memory" baseline, aangezien vector-injectie een eenvoudige element-gewijze optelling is.
• Interpreteerbaarheid: Representatie-analyses (PCA-projecties, linear separability tests) bevestigden dat succesvolle en mislukte modi verschillende regio's bezetten in de activatieruimte. Feature decompositie onthulde dat sturingsvectoren consistente taaklogica coderen, zoals het onderdrukken van "redundante observatie" of het versterken van "systematisch zoeken".

Betekenis en Claims

De paper claimt dat impliciete activatie-sturing een veelbelovende en praktische aanpak biedt voor het beheren van procedureel geheugen in LLM-agenten. Door te verschuiven van externe verbalisering naar interne activatie-modulatie, pakt NPM de text-action disconnect aan die inherent is aan RAG-gebaseerd procedureel geheugen.

De auteurs benadrukken dat hun aanpak een complementair voordeel biedt ten opzien van bestaande methoden: terwijl tekstueel geheugen symbolische begeleiding levert, zorgt impliciete sturing voor de naleving van deze plannen tijdens lange executie-horizons door direct het generatiepad te moduleren. Het framework biedt een fundament voor het beheren van procedureel geheugen zonder de computationele overhead van fine-tuning of de contextbeperkingen van tekstuele retrieval.

Erkende Beperkingen:
De paper merkt op dat NPM toegang vereist tot interne activatieruimtes (wat toepassing beperkt tot open architecturen), vertrouwt op heuristieken om degeneratieve stappen te identificeren (die subtiele logische fouten kunnen missen), en te maken heeft met een cold-start probleem in omgevingen waar agenten aanvankelijk zelden succesvolle trajecten genereren. Daarnaast mist de huidige statische modulatie de flexibiliteit om dynamisch te schakelen tussen gedragsprimitieven over verschillende executiefases heen.