🤖 KI

MemCtrl: Using MLLMs as Active Memory Controllers on Embodied Agents

Das Paper schlägt MemCtrl vor, ein neuartiges Framework, das Multimodale Large Language Models (MLLMs) mit einem trainierbaren Memory-Head einsetzt, um den Speicher aktiv und online zu beschneiden sowie zu verwalten, wodurch die Leistung von Embodied Agents bei der Aufgabenerfüllung unter strengen Ressourcenbeschränkungen signifikant gesteigert wird.

Ursprüngliche Autoren: Vishnu Sashank Dorbala, Dinesh Manocha

Veröffentlicht 2026-01-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Vishnu Sashank Dorbala, Dinesh Manocha

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Ihr Haus zu putzen. Sie geben ihm eine Liste von Anweisungen, wie zum Beispiel: „Finde den roten Becher und stelle ihn auf den Tisch.“

Früher versuchten Wissenschaftler, diesen Robotern zu helfen, indem sie ihnen ein riesiges, endloses Notizbuch gaben. Jedes Mal, wenn der Roboter sich umsah, schrieb er alles auf, was er sah: die Farbe der Wände, den Staub auf dem Boden, die Katze, die vorbeilief, das Licht, das in das Fenster fiel. Wenn der Roboter entscheiden musste, was als Nächstes zu tun war, blätterte er in diesem massiven Notizbuch, um den richtigen Hinweis zu finden.

Das Problem:
Dieser Ansatz hat zwei große Probleme:

Das Notizbuch ist zu schwer: Roboter (besonders die kleinen, günstigen, die wir in echten Haushalten verwenden wollen) haben sehr begrenzte Gehirnleistung und Speicherplatz. Der Versuch, ein riesiges Notizbuch zu lesen, verlangsamt sie oder bringt sie zum Absturz.
Zu viel Rauschen: Wenn das Notizbuch mit 1.000 Seiten voller „Ich habe eine blaue Wand gesehen“ und „Ich habe wieder eine blaue Wand gesehen“ gefüllt ist, wird der Roboter verwirrt. Er kann den wichtigen Hinweis (den roten Becher) nicht finden, weil er unter unnötigem Müll vergraben ist.

Die Lösung: MemCtrl
Das Paper stellt ein neues System namens MemCtrl vor. Stellen Sie sich MemCtrl als einen intelligenten, persönlichen Editor vor, der direkt neben dem Gehirn des Roboters sitzt.

Anstatt den Roboter alles aufschreiben zu lassen, fungiert dieser Editor wie ein Türsteher im Club oder ein Kurator in einem Museum.

Der Roboter schaut auf die Welt.
Der Editor (MemCtrl) fragt: „Ist das neu und wichtig? Oder ist das nur eine Wiederholung von dem, was wir bereits wissen?“
Die Entscheidung:
- Wenn es wichtig ist (z. B. „Ich habe den roten Becher gefunden!“), sagt der Editor: „Behalten!“ und fügt es dem Kurzzeitgedächtnis des Roboters hinzu.
- Wenn es langweilig oder redundant ist (z. B. „Ich sehe immer noch dieselbe blaue Wand“), sagt der Editor: „Wegwerfen!“ und wirft die Beobachtung sofort weg.

Wie sie den Editor trainiert haben
Die Forscher haben diesen „Editor“ auf zwei Arten trainiert:

Die „Nachahmer-Methode“ (Offline): Sie zeigten dem Editor Beispiele von einem superintelligenten, teuren Roboter (wie einem Geniestudenten). Sie sagten: „Siehst du, wie der Genie-Roboter nur diese spezifischen Dinge aufgeschrieben hat, um erfolgreich zu sein? Mach es genauso.“
Die „Versuch und Irrtum-Methode“ (Online): Sie ließen den Editor durch das Spielen des Spiels selbst lernen. Wenn der Roboter eine Aufgabe erfolgreich absolvierte, erhielt der Editor eine Belohnung („Gut gemacht“). Wenn der Roboter scheiterte oder stecken blieb, lernte der Editor, dass er zu viel Müll behalten oder etwas Wichtiges übersehen hatte.

Was passierte?
Sie testeten dies an zwei kleineren, weniger leistungsstarken Roboter-Gehirnen (genannt Qwen und Gemma).

Ohne den Editor: Diese kleinen Roboter hatten Schwierigkeiten, besonders bei langen, komplizierten Anweisungen. Sie wurden von zu vielen Informationen überwältigt.
Mit dem Editor: Diese kleinen Roboter wurden viel klüger. Im Durchschnitt verbesserte sich ihre Erfolgsquote um etwa 16 %.
Die besten Ergebnisse: Die Verbesserung war sogar noch größer (über 20 %) bei Aufgaben, die eine langfristige Planung erforderten, wie zum Beispiel: „Gehe in die Küche, finde einen Hammer, dann gehe ins Wohnzimmer und schlage den Nagel ein.“ Der Editor half dem Roboter, sich an den Hammer zu erinnern, ohne durch jedes Bild des Küchenbodens abgelenkt zu werden, das er unterwegs aufnahm.

Warum das wichtig ist
Dies ist eine große Sache, denn es bedeutet, dass wir nicht für jeden Roboter riesige, teure Supercomputer bauen müssen. Stattdessen können wir kleinen, erschwinglichen Robotern einen „intelligenten Filter“ geben, der ihnen hilft, das Rauschen zu ignorieren und sich auf das Wesentliche zu konzentrieren. Es ist, als würde man einem kleinen Auto ein GPS geben, das nur die Abbiegungen anzeigt, die man wirklich braucht, anstatt eine Karte der gesamten Welt.

Zusammenfassend:
MemCtrl ist ein Werkzeug, das Roboter lehrt, selektiv zu sein. Anstatt jedes Detail hortend zu sammeln, lernen sie, nur die lebenswichtigen Informationen zu behalten, was es ihnen ermöglicht, schneller zu denken und effektiver zu handeln – selbst mit begrenzter Gehirnleistung.

Technisches Resümee: MemCtrl

Problemstellung

Foundation Models, insbesondere Multimodale Large Language Models (MLLMs), verlassen sich für personalisierte Entscheidungsfindungen auf In-Context-Learning. Die begrenzte Größe der Kontextfenster erfordert jedoch Kompressions- und Abrufsysteme wie Retrieval-Augmented Generation (RAG). Bestehende Ansätze behandeln den Speicher oft als große Offline-Speicherbereiche, was das Offline-Parsing riesiger Datenmengen erfordert. Dieses Paradigma ist für verkörperte Agenten (embodied agents), die unter strengen Speicher- und Rechenbeschränkungen in Echtzeitumgebungen operieren, ungünstig.

Aktuelle verkörperte Agenten nutzen oft kleine Modelle (<20B Parameter), die lokal auf dem Gerät laufen. Diese Agenten stehen vor zwei primären Herausforderungen:

Ineffizienter Abruf: Wenn die Anzahl der Beobachtungen ( $n$ ) steigt (oft mit einer Frequenz von >1 Beobachtung/Sekunde), wird der Abruf relevanter Kontexte aus einer großen Historie ( $n \gg h$ , wobei $h$ das Kontextfenster ist) zunehmend ineffizient und rechenintensiv.
Passives Gedächtnismanagement: Vorherige Methoden verlassen sich oft auf externe Module, um den Speicher zu füllen, wodurch das Foundation Model eine passive Rolle einnimmt. Dies versäumt es, die Fähigkeit des Modells zu nutzen, redundante Informationen aktiv zu filtern – eine Fähigkeit, die Menschen besitzen, um effizient mit begrenztem Speicherplatz zu agieren.

Methodik: MemCtrl-Framework

Die Autoren schlagen MemCtrl vor, ein neuartiges Framework, das MLLMs dazu befähigt, als aktive Gedächtniskontrolleure (active memory controllers) zu fungieren. Anstatt alle Beobachtungen zu speichern oder sich auf den Offline-Abruf zu verlassen, führt MemCtrl einen trainierbaren Gedächtniskopf ( $\mu$ ) ein, der als Gate fungiert, um zu bestimmen, welche Beobachtungen oder Reflexionen während der Exploration beibehalten, aktualisiert oder verworfen werden sollen.

Kernarchitektur

Trainierbarer Gedächtniskopf ( $\mu$ ): Ein leichtgewichtiges, modellagnostisches Modul (implementiert als ein 3-lagiger Linear MLP), das an ein eingefrorenes (frozen) MLLM-Backbone angehängt ist. Es nimmt die Embeddings des MLLM (aktuelle Beobachtung $O_c$ , Instruktion $I$ und Kontext $C$ ) als Input entgegen und gibt eine binäre Entscheidung ( $b \in \{0, 1\}$ ) aus, ob die aktuelle Beobachtung gespeichert oder verworfen werden soll.
Aktive Filterung: Der Kontext $C'$ wird dynamisch aktualisiert:
$C' = \begin{cases} C \cup \{(O_c, a)\} & \text{falls } b = 1 \\ C & \text{andernfalls} \end{cases}$
wobei $a$ die vom Modell vorhergesagte Aktion ist. Dies stellt sicher, dass der Kontext des Agenten durch seine eigenen Entscheidungen gesteuert wird, was das selektive Gedächtnis des Menschen nachahmt.

Trainingsvarianten

Das Paper evaluiert zwei Methoden zur Trainierung des Gedächtniskopfs $\mu$ :

Offline Supervised Learning: $\mu$ wird als binärer Klassifikator unter Verwendung von Daten eines leistungsstarken "Experten"-MLLM (z. B. GPT-4o) vortrainiert. Der Kopf lernt, zwischen Beobachtungen, die zu Aufgabenerfolg versus Misserfolg führten, mittels eines Binary Cross-Entropy-Loss zu unterscheiden.
Online Reinforcement Learning (RL): $\mu$ $μ$ wird online als Policy-Netzwerk parallel zum Action-Head trainiert. Das Training nutzt:
- Eine sparse Reward (dünnbesetzte Belohnung) für den Erfolg der Episode.
- Eine dense Reward (dichte Belohnung) für die Auswahl gültiger Aktionen.
  Dies ermutigt den Kopf, hilfreiche Beobachtungen auszuwählen, die zur Aufgabenerfüllung beitragen.

Zentrale Beiträge

Aktive Gedächtnisfilterung: Im Gegensatz zu bisherigen retrieval-basierten Arbeiten, die große Datensätze offline filtern, ermöglicht MemCtrl eine Echtzeit-Filterung "on-the-go". Dies ist besonders kritisch für speicherbeschränkte Settings mit kleinen Modellen.
Transferierbare Köpfe: Der Gedächtniskopf $\mu$ ist modellagnostisch. Er kann an jedes handelsübliche MLLM angehängt werden, ohne das Backbone feinjustieren zu müssen, was einen modularen Transfer über verschiedene verkörperte Setups und Vision-Language-Backbones hinweg ermöglicht.
Leistungssteigerung bei kleinen Modellen: Das Framework verbessert die Aufgabenleistung kleinerer Modelle (z. B. Qwen2.5-VL-7B-Ins und Gemma-3-12B-IT) auf dem EmbodiedBench-Benchmark signifikant und zeigt, dass aktive Gedächtniskontrolle die begrenzte Kapazität des Modells kompensieren kann.

Experimentelle Ergebnisse

Die Autoren evaluierten MemCtrl auf dem EmbodiedBench Benchmark, spezifisch auf den ALFRED (manipulationsfokussiert) und Habitat (navigationsfokussiert) Splits.

Gesamtleistung: Die Erweiterung von leistungsschwächeren MLLMs durch MemCtrl führte zu einer durchschnittlichen Verbesserung der Aufgabenerfüllung um ~16% über mehrere Subsets hinweg. Spezifische Instruktions-Subsets zeigten Verbesserungen von über 20%.
Langfristige (Long-Horizon) und komplexe Instruktionen: Die signifikantesten Gewinne wurden in den Kategorien "Long" und "Complex" beobachtet.
- Für Gemma-3-12B-IT verbesserte sich die Leistung bei langen Instruktionen von 12% (Baseline) auf 26% (mit $\mu_{RL}$ ).
- Für Qwen2.5-VL-7B-Ins verbesserte sich die Leistung bei komplexen Instruktionen von 6% auf 21% (eine 3-fache Steigerung).
Navigation vs. Manipulation: Die Leistungssteigerungen waren generell höher beim Habitat-Datensatz (navigationslastig) im Vergleich zu ALFRED. Die Autoren schließen daraus, dass die Gedächtnisfilterung für langwierige Navigationsaufgaben, bei denen die Reduzierung redundanter Frames entscheidend ist, wirkungsvoller ist.
Effizienz des Gedächtnisses: Der selektive Gedächtnisansatz speicherte signifikant weniger Beobachtungen als eine "Complete Memory"-Baseline (bei der alle Beobachtungen gespeichert werden), während er gleichzeitig höhere Erfolgsraten erzielte. Die quantitative Analyse zeigte eine Reduktion ungültiger Aktionen und verbesserte Scores für die Gedächtniseffizienz.

Bedeutung und Ansprüche

Das Paper behauptet, dass MemCtrl eine skalierbare Lösung für selbstverbessernde verkörperte Agenten unter engen Rechen- und Speicherbudgets bietet. Durch den Wechsel von passivem Speichern zu aktiver Filterung ermöglicht das Framework:

Die Verringerung von Retrieval-Ineffizienzen, die mit großen Kontextfenstern einhergehen.
Skalierbarkeit, indem es abnehmbare, leichtgewichtige Köpfe nutzt, anstatt ein teures Fine-Tuning großer Foundation Models zu erfordern.
Den Nachweis, dass kleine Modelle eine vergleichbare Leistung wie größere Modelle (z. B. Qwen2.5 + $\mu_{RL}$ nähert sich der Leistung größerer Baselines an) erzielen können, wenn sie mit effektiver Gedächtniskontrolle ausgestattet sind.

Die Autoren merken Einschränkungen an, einschließlich der Abhängigkeit von Experten-Demonstrationen für das Supervised Learning sowie der Ineffizienz von Sparse Rewards in RL. Sie schlagen vor, dass zukünftige Arbeiten bessere Reward-Funktionen, Audio-Beobachtungen und Sim-to-Real-Transfer untersuchen könnten, halten jedoch fest, dass die vorliegende Arbeit einen grundlegenden Schritt in Richtung effizientem, aktivem Gedächtnismanagement in der verkörperten KI darstellt.