🤖 AI

PEAM: Parametric Embodied Agent Memory through Contrastive Internalization of Experience in Minecraft

PEAM ist ein neuartiges Framework für embodied agents in Minecraft, das Erinnerung durch die Nutzung einer Dual-System-Architektur aus langsamer, deliberativer Reasoning und schneller, reflexiver Ausführung von einer Inferenzzeit-Abfrage in parametrisierte Fähigkeiten transformiert, wobei Misserfolge als kritische Trainingssignale für kontrastives Lernen dienen und ein selbstgetriggertes Mechanismus autonom entscheidet, wann Erfahrungen internalisiert werden sollen, um kontinuierliches Lernen ohne katastrophales Vergessen zu ermöglichen.

Ursprüngliche Autoren: Yuchen Guo, Junli Gong, Hongmin Cai, Yiu-ming Cheung, Weifeng Su

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuchen Guo, Junli Gong, Hongmin Cai, Yiu-ming Cheung, Weifeng Su

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, Minecraft zu spielen. Derzeit lernen die meisten Roboter wie ein Schüler, der sich nichts merkt. Jedes Mal, wenn sie einem Zombie begegnen oder einen Ofen bauen müssen, müssen sie anhalten, ein massives Notizbuch vergangener Erfahrungen öffnen, nach einer ähnlichen Geschichte suchen, sie lesen und dann versuchen, herauszufinden, was zu tun ist. Dies ist langsam, verbraucht viel „Gehirnraum" (Computerspeicher), und wenn das Notizbuch zu groß wird, geraten sie in Verwirrung.

PEAM (Parametric Embodied Agent Memory) ist eine neue Art für Roboter zu lernen, die das Spiel verändert. Anstatt nur ein Notizbuch zu führen, hilft PEAM dem Roboter, seine Erfahrungen zu internalisieren. Es verwandelt „Ich erinnere mich, wie ich das gemacht habe" in „Ich weiß, wie man das macht."

So funktioniert es, aufgeschlüsselt in einfache Konzepte:

1. Das Zwei-Gehirn-System: Der Denker und der Macher

PEAM nutzt ein „langsames" und ein „schnelles" Gehirn, die zusammenarbeiten:

Der langsame Denker (Deliberative LLM): Dies ist der erfahrene Planer. Er denkt tief nach, schreibt Code, plant komplexe Schritte und versucht, schwierige Probleme zu lösen. Wenn er scheitert, findet er heraus, warum, und versucht es erneut.
Der schnelle Macher (Parametric Skills): Dies ist das reflexartige Muskelgedächtnis. Sobald der langsame Denker ein Problem gelöst hat (wie das Schmieden eines Schwertes), speichert er nicht nur die Geschichte. Er lehrt den schnellen Macher die Fähigkeit direkt. Beim nächsten Mal kann der schnelle Macher es sofort erledigen, ohne den langsamen Denker zu fragen.

2. Der „Internalisierungs"-Prozess: Vom Notizbuch zum Muskelgedächtnis

Denken Sie an das Lernen des Fahrradfahrens. Anfangs müssen Sie über das Balancieren, Treten und Lenken nachdenken (langsamer Denker). Irgendwann machen Sie es einfach, ohne nachzudenken (schneller Macher). PEAM automatisiert dies für einen Roboter.

Lernen aus dem Scheitern: Die meisten Roboter ignorieren Fehler oder notieren sie einfach als Textnotizen. PEAM behandelt das Scheitern als Trainingsignal. Es betrachtet einen „gescheiterten Versuch" und die „Korrektur", die ihn behoben hat. Es lehrt den Roboter: „Tu X nicht (das Scheitern); tu Y (die Korrektur)." Das ist wie ein Trainer, der sagt: „Du bist gefallen, weil du zu weit nach links gebeugt warst; beim nächsten Mal lehne dich nach rechts."
Der „Würdigkeits"-Score: Der Roboter lernt nicht alles. Er hat einen Filter (genannt Parameterization-Worthiness), der fragt: „Ist diese Fähigkeit nützlich genug, um sie auswendig zu lernen? Ist sie stabil? Ist es etwas, das wir oft tun?" Wenn die Antwort ja lautet, wird sie internalisiert. Wenn es sich um einen einmaligen Zufall handelt, bleibt sie im Notizbuch.

3. Der „Spezialisierte Turnsaal" (Isolierte Adapter)

Dies ist die größte Innovation des Papers, um „Vergessen" zu verhindern.
Stellen Sie sich einen Turnsaal mit verschiedenen Räumen vor: einen Handwerksraum, einen Kampfraum und einen Landwirtschaftsraum.

In alten Systemen könnte das Erlernen des Kampfes versehentlich überschreiben, wie der Roboter das Handwerken kennt (wie das Vermischen Ihrer Turnkleidung).
In PEAM hat der Roboter physisch isolierte Räume (genannt Adapter). Wenn er das Kämpfen lernt, aktualisiert er nur den „Kampfraum". Der „Handwerksraum" bleibt unberührt. Das bedeutet, der Roboter kann unendlich neue Fähigkeiten lernen, ohne die alten zu vergessen.

4. Der selbstgetriggerte Wecker

Wie weiß der Roboter, wann er aufhören soll zu üben und mit dem Auswendiglernen beginnen soll?

Alte Methode: „Lass uns 100 Versuche üben, dann auswendig lernen." (Dies ist starr und könnte zu früh oder zu spät auswendig gelernt werden.)
PEAM-Methode: Der Roboter hat einen selbstgetriggerten Wecker. Er beobachtet seine eigene Fehlerrate. Wenn er beginnt, eine bestimmte Aufgabe häufiger als üblich zu verfehlen, geht der Alarm los: „Hey, wir haben Schwierigkeiten damit. Lass uns aufhören und die Lösung sofort internalisieren." Dies funktioniert unabhängig von der Aufgabe, ohne dass ein Mensch eine bestimmte Zahl festlegen muss.

Warum ist das besser?

Das Paper testete dies in Minecraft und fand drei Hauptvorteile:

Geschwindigkeit: Da der Roboter nicht jedes Mal ein Notizbuch durchsuchen muss, agiert er viel schneller (in den Tests etwa 40 % schneller).
Effizienz: Er benötigt weit weniger Rechenleistung (etwa 85 % weniger „Text" zur Verarbeitung), da er alte Geschichten nicht erneut lesen muss.
Kein Vergessen: Wegen der „spezialisierten Räume" ließ das Erlernen einer neuen Kampfbewegung den Roboter nicht vergessen, wie man ein Haus baut.

Zusammenfassung

PEAM ist wie die Verwandlung eines Schülers, der für jede einzelne Frage auf ein Lehrbuch angewiesen ist, in einen Experten, der die Fähigkeiten tatsächlich auswendig gelernt hat. Es lernt durch Tun, lernt aus Fehlern, hält verschiedene Fähigkeiten getrennt, damit sie nicht durcheinandergeraten, und weiß genau, wann es aufhören soll zu üben und mit dem Merken beginnen soll. Das Ergebnis ist ein Roboter, der schneller, schlauer ist und nicht vergisst, was er gelernt hat.

Technische Zusammenfassung: PEAM - Parametrisches Gedächtnis für Embodied Agents

1. Problemstellung

Aktuelle, auf Large Language Models (LLM) basierende Embodied Agents, insbesondere in komplexen Umgebungen wie Minecraft, verlassen sich stark auf nicht-parametrisches Gedächtnis. In diesen Systemen werden vergangene Trajektorien, Reflexionen und Fähigkeiten extern gespeichert (z. B. in Vektordatenbanken oder Bibliotheken für Fähigkeiten) und zum Inferenzzeitpunkt wieder in den Prompt injiziert. Obwohl dies einen Abruf ermöglicht, bringt dies erhebliche Einschränkungen mit sich:

Latenz und Kosten: Jeder Entscheidungszyklus erfordert das Abrufen und Serialisieren vergangener Erfahrungen, was die Nutzung des Kontextfensters und die Inferenzlatenz erhöht.
Statische Policy: Die zugrunde liegende parametrische Policy des Agents (das Backbone-Modell oder trainierbare Modul) bleibt über verschiedene Aufgaben hinweg unverändert. Selbst wenn eine externe Bibliothek wächst, „lernt" der Agent nicht, Fähigkeiten effizienter auszuführen; er ruft sie lediglich ab.
Fehlende Konsolidierung: Bestehende Systeme handhaben die Erfassung von Erfahrung (durch Fähigkeitsbibliotheken), verfügen jedoch über keinen Mechanismus für die Konsolidierung – den Prozess der Umwandlung ausgewählter episodischer Spuren in dauerhafte, internalisierte parametrische Kompetenz.

Die Arbeit geht davon aus, dass dauerhafte Erinnerung in kognitiven Systemen aus zwei komplementären Systemen entsteht: einem schnellen episodischen Speicher und einem langsamen, verteilten parametrischen Speicher, die durch eine Offline-Konsolidierung gekoppelt sind. PEAM zielt darauf ab, dies für Embodied Agents zu operationalisieren, indem es einen Pfad schafft, über den Erfahrungen vom externen Abruf in die trainierbaren Parameter des Agents übergehen.

2. Methodik

PEAM (Parametric Embodied Agent Memory) ist ein zweistufiges Framework, das darauf ausgelegt ist, Erfahrungen in parametrische Fähigkeiten zu internalisieren.

Architektur

Langsame Stufe (Deliberativ): Ein großes LLM (z. B. GPT-4o) übernimmt offenes Schlussfolgern, Code-Synthese und Ergebnisverifikation. Es erkundet die Umgebung, erkennt Fehler und generiert korrigierte Trajektorien.
Schnelle Stufe (Parametrisch): Eine multimodale Mixture-of-Experts (MoE) LoRA-Architektur, die auf einem Qwen3-VL-8B-Instruct-Backbone aufbaut. Sie führt konsolidierte Fähigkeiten reflexartig mit niedriger Latenz aus.
Episodischer Speicher: Ein externer Speicher, der erfolgreiche Trajektorien und Fehler-Korrektur-Paare bereitstellt, die von der langsamen Stufe generiert wurden.

Kernmechanismen

PEAM adressiert drei kritische Fragen: Was zu internalisieren ist, Wann zu internalisieren ist und Wie zu internalisieren ist.

A. Wie: Konsolidierung von Erfolg und Fehler-Korrektur

PEAM behandelt Fehler als erstklassiges Trainingssignal. Der episodische Speicher enthält:

Erfolgreiche Trajektorien ( $D_{succ}$ ): Verifizierte erfolgreiche Ausführungen.
Fehler-Korrektur-Paare ( $D_{cpair}$ ): Paare aus einer fehlgeschlagenen Trajektorie ( $\tau_f$ ) und einer nachfolgenden korrigierten Erfolgstrajektorie ( $\tau_c$ ) unter demselben Kontext.

Das schnelle Modul aktualisiert spezifische kategorienisolierte Adapter ( $\theta_c$ ) unter Verwendung eines gemeinsamen Ziels:
$\mathcal{L}_{PEAM}(\theta_c) = \mathcal{L}_{BC}(\theta_c; D^{(c)}_{succ}) + \lambda \mathcal{L}_{PEAM-DPO}(\theta_c; D^{(c)}_{cpair})$

Behavioral Cloning (BC): Stellt sicher, dass der Adapter die absolute syntaktische Gerüststruktur (z. B. Code-Wrapper) erlernt, die für die Funktionsweise des Aktionsparsers erforderlich ist.
PEAM-DPO (Direct Preference Optimization): Ein kontrastiver Verlust, bei dem die korrigierte Trajektorie gegenüber der fehlgeschlagenen bevorzugt wird. Dies lehrt den Agenten, wie Aktionen zu korrigieren sind, nicht nur, was erfolgreich ist.
Isolation: Updates beschränken sich auf den spezifischen Kategorien-Adapter (z. B. Crafting, Combat) und verhindern so Interferenzen mit anderen Fähigkeiten.

B. Was: Parameterisierungswürdigkeit (PV) Score

Nicht alle Erfahrungen sollten internalisiert werden. PEAM verwendet eine Bewertungsfunktion, um Kandidaten basierend auf folgenden Kriterien zu rangieren:

Kosteneinsparungen ( $U_{cost}$ ): Geschätzte eingesparte Abrufkosten (Häufigkeit $\times$ Code-Länge).
Stabilität ( $U_{stab}$ ): Konsistenz des Erfolgs über verschiedene Kontexte hinweg.
Redundanz ( $P_{redun}$ ): Bestraft Ähnlichkeit mit bereits internalisierten Fähigkeiten.
Vergessensrisiko ( $R_{forget}$ ): Ein struktureller Proxy; wenn eine Fähigkeit eine Kategorie mit bestehenden Parametern teilt, besteht ein Risiko der Interferenz (obwohl die Isolation dies mildert, berücksichtigt der Score die Kategorien-Identität).

Nur Kandidaten im oberen $q$ -Quantil der PV-Werte werden für die Konsolidierung in Betracht gezogen.

C. Wann: Selbstgetriggerte Konsolidierung (STC)

Anstatt eines festen Zeitplans verwendet PEAM einen skalenfreien, selbstgetriggerten Mechanismus. Die Konsolidierung wird ausgelöst, wenn die aktuelle Fehlerrate einer Fähigkeit signifikant ihre historische Basislinie überschreitet, bestimmt durch einen statistischen Test (Z-Score) anstelle eines aufgaben spezifischen absoluten Schwellenwerts. Dies ermöglicht es dem Trigger, über verschiedene Aufgabenverteilungen hinweg zu transferieren, ohne neu justiert werden zu müssen.

3. Hauptbeiträge

Parametrisches Gedächtnis-Framework: PEAM verlagert das Gedächtnis von Embodied Agents vom Abruf zum Inferenzzeitpunkt hin zu in Parametern residierenden Fähigkeiten, was Latenz und Token-Verbrauch reduziert und gleichzeitig die Leistung über lange Zeithorizonte verbessert.
Fehler als Trainingssignal: Im Gegensatz zu Systemen, die Fehler in textuelle Reflexionen für Prompts umwandeln, trainiert PEAM direkt auf Fehler-Korrektur-Trajektorien-Paaren unter Verwendung eines gemeinsamen BC- und DPO-Ziels. Dies ermöglicht dem Agenten, die spezifischen Verhaltensunterschiede zwischen Fehler und Erfolg zu erlernen.
Architektonische Vergessensresistenz: Durch die Verwendung physisch isolierter kategorienbezogener LoRA-Adapter erreicht PEAM parameterebenen-basiertes kontinuierliches Lernen. Die Internalisierung einer Kampffähigkeit überschreibt nicht die Parameter, die für das Crafting verwendet werden; katastrophales Vergessen wird somit durch Design eliminiert und nicht durch Regularisierung.
Skalenfreie Konsolidierungs-Trigger: Die Einführung eines selbstgetriggerten Konsolidierungsmechanismus, der auf relativen Fehlerstatistiken basiert, ermöglicht es dem Agenten, sich selbst weiterzuentwickeln, ohne manuelle, aufgaben spezifische Schwellenwert-Anpassungen.

4. Experimentelle Ergebnisse

Experimente wurden in Minecraft (1.19) unter Verwendung des VOYAGER-Frameworks durchgeführt, wobei PEAM mit agents auf Abrufbasis (VOYAGER, Optimus-1), Varianten mit nicht-parametrischem Gedächtnis (Reflexion) und parametrischen Baselines (Full Fine-Tuning, Shared LoRA, EWC) verglichen wurde.

Aufgabenerfolg: PEAM erreichte bei Aufgaben über lange Zeithorizonte einen Erfolg von 69,7 % und übertraf die stärkste Abruf-Baseline (VOYAGER mit 54,5 %) um +15,2 Prozentpunkte (McNemar $p=0,018$ ).
Effizienz: PEAM reduzierte die mediane Latenz pro Aufruf um 42 % (5,5 s $\to$ 3,2 s) und den Token-Verbrauch pro Aufgabe um 85 % (31,2 K $\to$ 4,6 K), indem die Notwendigkeit eliminiert wurde, Fähigkeitsbibliotheken zum Inferenzzeitpunkt erneut einzuspeisen.
Vergessensresistenz: In sequenziellen Konsolidierungsexperimenten (Craft $\to$ Gather $\to$ Combat) zeigte PEAM 0 % Vergessen bei zuvor gelernten Fähigkeiten. Im Gegensatz dazu verloren Shared-LoRA-Baselines 32,4 % der Leistung, und Full Fine-Tuning verlor 78,5 %.
Ablations-Erkenntnisse:
- BC + DPO: Ein reiner DPO-Adapter konnte keinen parser-kompatiblen Code generieren (0/12 Fälle), wohingegen das gemeinsame Ziel erfolgreich war (12/12). Der BC-Term ist essenziell, um ein einsetzbares Syntaxgerüst zu erhalten.
- Isolation: Das Entfernen der kategorienbezogenen Isolation führte zu signifikantem Vergessen, was bestätigt, dass strukturelle Isolation der Haupttreiber für die Speicherung ist.
- Robustheit des Triggers: Der selbstgetriggerte Mechanismus hielt die Leistung über verschiedene Aufgabenverteilungen hinweg (craft-lastig vs. combat-lastig) ohne Neujustierung konstant, im Gegensatz zu Baselines mit festen Schwellenwerten.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass PEAM einen gangbaren Weg für Embodied Agents demonstriert, vom Anhäufen externer Historien hin zur Internalisierung ausgewählter Erfahrungen als Teil ihrer Kern-Policy überzugehen.

Effizienz vs. Abruf: Die Ergebnisse deuten darauf hin, dass zwar reichhaltigerer Abruf (z. B. multimodaler Kontext) hilft, die operationellen Vorteile der Internalisierung von Fähigkeiten in Parametern (Latenz, Token-Reduktion und direkte Ausführung) jedoch Gewinne bieten, die allein durch Abruf nicht erfasst werden können.
Strukturelles kontinuierliches Lernen: Die Arbeit argumentiert, dass die Vergessensresistenz bei Embodied Agents durch die Architektur (Parameter-Isolation) und nicht ausschließlich durch Regularisierungstechniken unterstützt werden sollte.
Methodische Erkenntnisse: Die Arbeit hebt hervor, dass Vorwärtsdurchlauf-Präferenzmargen (DPO-Werte) die Einsetzbarkeit generierten Codes nicht immer vorhersagen, was die Notwendigkeit gemeinsamer Ziele unterstreicht, die syntaktische Einschränkungen bewahren. Sie stellt zudem fest, dass das Neu-Schneiden von Trajektorien als handhabbarer Ersatz für die Evaluierung über Verteilungen hinweg dienen kann, wenn reale gepaarte Daten knapp sind.

Die Autoren kommen zu dem Schluss, dass Embodied Agents nicht lediglich als feste Policies mit externem Gedächtnis agieren sollten; sie benötigen einen Konsolidierungspfad, bei dem ausgewählte Erfahrung Teil der Policy selbst wird, was Selbstentwicklung und effiziente Ausführung ermöglicht.