💬 NLP

Neural Procedural Memory: Empowering LLM Agents with Implicit Activation Steering

Dieses Paper führt Neural Procedural Memory (NPM) ein, ein trainingsfreies Framework, das autonome LLM-Agenten verbessert, indem es explizite textuelle Instruktionen durch implizite Aktivierungssteuerungsvektoren ersetzt, die aus historischen Erfahrungen destilliert wurden, wodurch direkt aufgabenrelevante neuronale Mechanismen aktiviert werden, um eine robuste und konsistente Aufgabenausführung zu erreichen.

Ursprüngliche Autoren: Chengfeng Zhao, Yuqiao Tan, Shizhu He, Yequan Wang, Jun Zhao, Kang Liu

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chengfeng Zhao, Yuqiao Tan, Shizhu He, Yequan Wang, Jun Zhao, Kang Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die Lücke zwischen „Lehrbuch vs. Muskelgedächtnis“

Stellen Sie sich vor, Sie bringen einem Roboter bei, wie man eine komplexe Mahlzeit kocht.

Deklaratives Gedächtnis (Das Faktenbuch): Sie sagen dem Roboter: „Der Nutzer hat eine Erdnussallergie.“ Der Roboter liest dies, merkt es sich und vermeidet Erdnüsse perfekt. Das funktioniert hervorragend für Fakten.
Prozedurales Gedächtnis (Die Fertigkeit): Sie sagen dem Roboter: „Zuerst schneidest du die Zwiebeln. Dann erhitzt du die Pfanne. Dann gibst du das Öl hinzu.“

Die Autoren argumentieren, dass Roboter oft scheitern, wenn man ihnen diese Schritt-für-Schritt-Anweisungen in Textform gibt. Sie lesen den Text, nicken und vergessen dann, die Schritte in der richtigen Reihenfolge tatsächlich auszuführen. Sie schneiden vielleicht die Zwiebeln, vergessen aber, den Herd einzuschalten, oder sie bleiben in einer Endlosschleife stecken und schneiden immer wieder dieselbe Zwiebel.

Die Autoren nennen dies die „Text-Aktions-Diskrepanz“ (Text-Action Disconnect). Es ist wie das Lesen eines Handbuchs darüber, wie man Fahrrad fährt. Man kann die Worte perfekt verstehen, aber das bedeutet noch lange nicht, dass die Beine wissen, wie man tritt. Der Text ist zu ungeschickt, um dem Roboter das „Gefühl“ für das korrekte Ausführen der Aufgabe zu vermitteln.

Die Lösung: Neural Procedural Memory (NPM)

Anstatt dem Roboter jedes Mal ein langes Text-Handbuch zum Lesen zu geben, schlagen die Autoren Neural Procedural Memory (NPM) vor.

Betrachten Sie NPM nicht als ein Buch, sondern als eine Injektion von Muskelgedächtnis.

Das Training (Lernen aus Fehlern):
Das System betrachtet die vergangenen Versuche des Roboters. Es sucht nach Zeiten, in denen der Roboter gescheitert ist (z. B. in einer Schleife steckengeblieben ist) und Zeiten, in denen er erfolgreich war.
- Analogie: Stellen Sie sich einen Tanzlehrer vor, der einen Schüler beobachtet. Der Lehrer sagt nicht nur: „Bewege deinen linken Fuß.“ Stattdessen analysiert er den Unterschied zwischen dem tollpatschigen Stolpern des Schülers und seiner eleganten Drehung. Er identifiziert genau die winzige Veränderung im Gleichgewicht, die den entscheidenden Unterschied macht.
Die Extraktion (Erfahrung in einen Vektor verwandeln):
Das System nimmt diese Unterschiede zwischen „Misserfolg“ und „Erfolg“ und wandelt sie in einen mathematischen Pfeil um (einen sogenannten Steuerungsvektor bzw. Steering Vector).
- Analogie: Dieser Pfeil ist kein Satz; er ist ein spezifischer „Anstoß“. Es ist wie ein GPS-Signal, das nicht sagt: „Biegen Sie in 500 Metern links ab“, sondern das Lenkrad des Autos gerade jetzt sanft ein Stück nach links drückt, um den Wagen auf der Straße zu halten.
Die Anwendung (Der unsichtbare Anstoß):
Wenn der Roboter vor einer neuen Aufgabe steht, findet das System eine ähnliche vergangene Situation, greift den „Anstoß“ (den Vektor) auf und injiziert ihn direkt in das Gehirn des Roboters (seinen internen Aktivationsraum).
- Analogie: Anstatt dass der Roboter ein Schild liest, auf dem steht: „Nicht die Schüssel fallen lassen“, spürt der Roboter plötzlich einen starken inneren Drang, die Schüssel stabil zu halten. Er muss die Regel nicht lesen; die Regel ist nun Teil seines Instinkts.

Wie es funktioniert: Zwei Arten von „Anstößen“

Das Paper verwendet eine kluge Zwei-Schritte-Strategie, um diese Anstöße zu erzeugen:

Inter-Trajektorie (Das große Ganze): Der Vergleich einer kompletten erfolgreichen Reise gegen eine komplette gescheiterte Reise.
- Analogie: Der Vergleich eines kompletten Marathonlaufs, bei dem der Läufer das Ziel erreichte, gegen einen, bei dem er auf halbem Weg aufgab. Dieser „Anstoß“ hilft bei der Planung und dabei, das große Ziel im Auge zu behalten.
Intra-Trajektorie (Die kleinen Schritte): Der Blick auf einen einzelnen gescheiterten Versuch, um den exakten Moment zu finden, in dem etwas schiefgelaufen ist (z. B. der Roboter lief im Kreis).
- Analogie: Den Läufer genau in dem Moment abfangen, in dem er zu stolpern beginnt, und ihm einen kleinen Stoß geben, um das Gleichgewicht wiederzufinden. Dieser „Anstoß“ korrigiert lokale Fehler und stoppt Schleifen.

Die Ergebnisse: Lesen vs. Fühlen

Die Forscher testeten dies in vier verschiedenen „Welten“ (wie einem virtuellen Haus, einer Shopping-Website und einem Labor).

Textanweisungen: Der Roboter liest die Regeln. Er wird bei langen Aufgaben oft verwirrt oder vergisst Schritte.
NPM (Der Anstoß): Der Roboter liest keinen zusätzlichen Text. Er erhält lediglich den internen „Anstoß“.
- Ergebnis: Der Roboter war genauso erfolgreich wie derjenige, der den Text las, aber ohne den Ballast langer Anweisungen.
- Die beste Kombination: Wenn sie beides verwendeten (Text für den großen Plan + NPM für das Muskelgedächtnis), war der Roboter am erfolgreichsten von allen. Es ist wie ein Coach, der den Spielplan ruft (Text), während der Körper instinktiv weiß, wie die Spielzüge ausgeführt werden (NPM).

Warum das wichtig ist

Kein erneutes Training: Sie müssen den Roboter nicht von Grund auf neu lehren. Sie geben ihm diese „Anstöße“ einfach im laufenden Betrieb.
Schneller: Das Lesen langer Textanweisungen verlangsamt den Roboter. Das Injizieren eines mathematischen Anstoßes geschieht instantan.
Menschlicher: Es ahmt nach, wie Menschen Fähigkeiten erlernen. Wir rezitieren nicht jedes Mal ein Lehrbuch, wenn wir uns die Schuhe binden; wir „tun es“ einfach, weil unser Gehirn das richtige Muster aktiviert hat.

Kurz gesagt: Das Paper zeigt, dass wir KI-Agenten nicht nur mehr Text zum Lesen geben sollten, um sie besser im Handeln zu machen. Stattdessen sollten wir ihnen „Muskelgedächtnis“ in Form von unsichtbaren mathematischen Anstößen geben, die ihr Handeln direkt leiten.

Technisches Resümee: Neural Procedural Memory (NPM)

Problemstellung

Obwohl Large Language Models (LLMs) als statische Problemlöser exzellieren, bleibt die Transformation von ihnen in autonome Agenten, die in dynamischen, offen endenden Umgebungen operieren können, eine Herausforderung. Ein kritischer Engpass in diesem Übergang ist das Fehlen eines persistenten prozeduralen Gedächtnisses. Aktuelle Agenten-Architekturen verlassen sich primär auf Retrieval-Augmented Generation (RAG), um explizite textuelle Richtlinien (z. B. Arbeitsabläufe, Erkenntnisse) in das Kontextfenster zu injizieren.

Die vorliegende Arbeit argumentiert jedoch, dass das alleinige Vertrauen auf symbolische Textinstruktionen zu einer „Text-Aktions-Diskrepanz“ (text-action disconnect) führt. Prozedurales Wissen ist oft implizit und abstrakt; die Komprimierung komplexer Denkprozesse in diskrete natürliche Sprach-Token führt unweigerlich zu Informationsverlust. Folglich können Agenten zwar abgerufene Instruktionen verstehen, scheitern aber dennoch daran, strikt nach ihnen zu handeln, indem sie beispielsweise kritische Zwischenschritte auslassen oder die abgerufenen Arbeitsabläufe nicht mit dem Ausführungspfad in Einklang bringen. Diese Diskrepanz ist besonders ausgeprägt bei Aufgaben mit langem Zeithorizont (long-horizon tasks), bei denen die Aufrechterhaltung des Zustands und die Einhaltung sequenzieller Logik allein über Text schwierig ist.

Methodik: Neural Procedural Memory (NPM)

Um diese Einschränkungen zu adressieren, schlagen die Autoren Neural Procedural Memory (NPM) vor, ein trainingsfreies Framework, das das Gedächtnis des Agenten durch implizites Aktivierungs-Steering anstatt durch explizite Textinstruktionen repräsentiert. Anstatt Text für den Agenten zum Lesen abzurufen, destilliert NPM prozedurale Fähigkeiten aus historischen kontrastiven Erfahrungen in Steuerungsvektoren innerhalb des Aktivierungsraums des Modells.

Das Framework operiert in drei Phasen:

1. Konstruktion kontrastiver Erfahrungen

NPM konstruiert einen Datensatz aus gepaarten Denksegmenten $(x^+, x^-)$ , indem es effektive Denkprozesse aus historischen Fehlern isoliert. Es verwendet eine Dual-Granularitäts-Strategie, um prozedurale Signale zu erfassen:

Inter-Trajektorien-Kontrast: Gleicht erfolgreiche Trajektorien ( $\tau^+$ ) mit gescheiterten Versuchen ( $\tau^-$ ) für eine spezifische Aufgabe ab, um globale Verhaltensänderungen zu erfassen.
Intra-Trajektorien-Kontrast: Nutzt schrittweise Unterschiede innerhalb einer einzelnen gescheiterten Trajektorie aus. Es identifiziert „degenerierte Schritte“ (z. B. redundante Schleifen, ungültige Aktionen) und kontrastiert diese mit „effektiven Schritten“ innerhalb derselben Trajektorie. Dies ermöglicht das Lernen aus Fehlern selbst dann, wenn erfolgreiche Trajektorien spärlich gesät sind.

2. Extraktion des prozeduralen Gedächtnisses

Das Framework bildet die textuellen Kontraste auf kontinuierliche geometrische Transformationen im Repräsentationsraum ab.

Repräsentation: Für Inter-Trajektorien-Paare extrahiert es den Hidden State des letzten Tokens der vollständigen Trajektorie. Für Intra-Trajektorien-Paare wird Mean-Pooling über die Tokens angewendet, um Schritt-Repräsentationen zu erhalten.
Vektorderivation: Das System berechnet die Differenz zwischen den Repräsentationen der erfolgreichen ( $h^+$ ) und der degenerierten ( $h^-$ ) Zustände. Mittels Hauptkomponentenanalyse (PCA) extrahiert es die dominante Variationsrichtung, um einen Steuerungsvektor $v$ zu bilden, der den Übergang vom Scheitern zum Erfolg repräsentiert. Diese Vektoren werden in einem aufgaben-spezifischen Repository gespeichert.

3. Intervention zur Laufzeit (Inference-Time Intervention)

Während der Inferenz synthetisiert und injiziert NPM dynamisch Steuerungsvektoren, ohne die Modellgewichte zu verändern oder das Kontextfenster zu erweitern:

Retrieval: Ein dichter Retriever identifiziert die Top- $K$ ähnlichsten historischen Aufgaben für die aktuelle Abfrage.
Synthese: Das System ruft gespeicherte Repräsentationen aus den abgerufenen Aufgaben ab, um einen kollektiven Gedächtnispool zu bilden. Eine aufgabenspezifische Konsensrichtung $v_l(q)$ wird über eine Extraktionsfunktion abgeleitet.
Steering: Der synthetisierte Vektor wird in jedem Zeitschritt $t$ in den Residual Stream für die Zielschichten $l$ injiziert:
$\tilde{h}_{l,t} = h_{l,t} + \alpha \cdot v_l(q)$
wobei $\alpha$ die Stärke der Intervention steuert. Dies moduliert direkt den Denkprozess und die Aktionswahl des Agenten.

Zentrale Beiträge

NPM-Framework: Der Vorschlag eines trainingsfreien Frameworks, das implizites Aktivierungs-Steering in das Gedächtnis von Agenten integriert und so eine effektive intrinsische Verhaltensmodulation ohne Parameter-Updates ermöglicht.
Dual-Granularitäts-Extraktion: Die Einführung einer Methode unter Verwendung sowohl von Inter- als auch Intra-Trajektorien-Kontrasten. Dies bietet einen flexiblen Interventionsmechanismus, der die Abhängigkeit von erfolgreichen Demonstrationen mindert, indem es das Lernen aus Fehlern ermöglicht.
Empirische Validierung: Umfangreiche Experimente, die zeigen, dass Aktivierungs-Steering als effektiver Träger für agentische Fähigkeiten dient und interpretierbare Vektoren liefert, die mit spezifischen Aufgabenverhaltensweisen korrelieren.

Experimentelle Ergebnisse

Die Autoren evaluierten NPM über vier Agenten-Benchmarks hinweg: ALFWorld, WebShop, ScienceWorld und BabyAI, unter Verwendung von MiniCPM3-4B und Qwen3 (4B/8B) Modellen.

Performance vs. Baselines: NPM übertrifft statische implizite Baselines (CAA, Mass-Mean) und erreicht eine Performance, die mit expliziten textuellen Gedächtnis-Baselines (Insights, Workflows) vergleichbar ist. In mehreren Settings (z. B. WebShop mit Qwen3-4B) übertraf NPM sogar explizite Workflows.
Hybride Synergie: Die Kombination von implizitem Steering mit expliziten Workflows (Hybrid-Konfiguration) lieferte über alle Modelle hinweg die höchste Gesamtleistung. Dies deutet darauf hin, dass expliziter Text eine hochgradig symbolische Planung liefert, während implizites Steering die Einhaltung der Prozeduren direkt innerhalb der neuronalen Repräsentationen verstärkt.
Effizienz: Im Gegensatz zu textuellem Gedächtnis, das aufgrund der Erweiterung des Kontextfensters die Prefill-Latenz signifikant erhöht, hält NPM eine Latenz nahezu identisch mit der „No Memory“-Baseline auf, da die Vektor-Injektion eine einfache elementweise Addition ist.
Interpretierbarkeit: Repräsentationsanalysen (PCA-Projektionen, Tests zur linearen Separabilität) bestätigten, dass erfolgreiche und gescheiterte Modi unterschiedliche Regionen im Aktivierungsraum besetzen. Die Merkmalszerlegung zeigte, dass Steuerungsvektoren konsistente Aufgabenlogiken kodieren, wie etwa das Unterdrücken von „redundanten Beobachtungen“ oder das Verstärken von „systematischem Suchen“.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass implizites Aktivierungs-Steering einen vielversprechenden und praktischen Ansatz für die Verwaltung des prozeduralen Gedächtnisses in LLM-Agenten darstellt. Durch den Wechsel von externer Verbalisierung zu interner Aktivierungsmodulation adressiert NPM die in RAG-basiertem prozeduralem Gedächtnis inhärente Text-Aktions-Diskrepanz.

Die Autoren betonen, dass ihr Ansatz einen komplementären Vorteil gegenüber bestehenden Methoden bietet: Während das textuelle Gedächtnis symbolische Führung liefert, stellt das implizite Steering die Einhaltung dieser Pläne während langer Ausführungszeiträume sicher, indem es den Generierungspfad direkt moduliert. Das Framework bietet eine Grundlage für die Verwaltung des prozeduralen Gedächtnisses ohne den Rechenaufwand eines Fine-Tunings oder die Kontextbeschränkungen der textbasierten Abfrage.

Anerkannte Limitationen:
Die Arbeit stellt fest, dass NPM Zugriff auf interne Aktivierungsräume erfordert (was die Anwendung auf Open-Architecture-Modelle beschränkt), auf Heuristiken zur Identifizierung degenerierter Schritte basiert (die subtile logische Fehler übersehen könnten) und vor einem Cold-Start-Problem steht, wenn Agenten in Umgebungen anfangs selten erfolgreiche Trajektorien generieren. Zudem fehlt der aktuellen statischen Modulation die Flexibilität, dynamisch zwischen Verhaltensprimitiven über verschiedene Ausführungsstadien hinweg zu wechseln.