Stellen Sie sich vor, Sie bringen einem brillanten, aber vergesslichen Roboter bei, ein komplexes Videospiel zu spielen. Der Roboter besitzt ein riesiges Gehirn (ein Large Language Model), das weiß, wie man spricht und denkt, aber er kann gleichzeitig nur eine winzige Menge an Informationen in seinem „Arbeitsgedächtnis“ halten – wie beim Versuch, ein Puzzle zu lösen, während man nur die letzten drei Teile sieht. Um über einen langen Zeitraum gut spielen zu können, benötigt der Roboter eine Bibliothek vergangener Erfahrungen, um darin nachzuschlagen. Hier kommt Retrieval-Augmented Generation (RAG) ins Spiel: Es ist, als würde der Roboter den Bibliothekar fragen: „Hey, haben wir so ein Rätsel schon einmal gesehen?“

Aber der knifflige Teil ist: Der Robote braucht zwei Dinge, um perfekt zu funktionieren. Erstens braucht er einen Bibliothekar (die Retrieval-Policy), der wirklich gut darin ist, die richtigen alten Notizen für die aktuelle Frage zu finden. Zweitens braucht er einen Notizenschreiber (die Memory Bank), der gut darin ist, seine Notizen zu organisieren, zu entscheiden, welche davon tatsächlich nützlich sind, und diese zu aktualisieren, wenn das Spiel schwieriger wird. Lange Zeit versuchten Wissenschaftler, den Bibliothekar intelligenter zu machen, während sie den Notizenschreiber statisch ließen, oder sie machten den Notizenschreiber besser, während der Bibliothekar gleich blieb. Aber was, wenn der Bibliothekar wissen muss, wie die Notizen organisiert sind, um sie zu finden, und der Notizenschreiber wissen muss, wonach der Bibliothekar sucht, um seine Notizen besser zu organisieren? Sie müssen gemeinsam lernen, in einer Schleife.

Genau das untersucht die Arbeit CoEvo-Mem. Die Autoren schlagen ein System vor, in dem der „Bibliothekar“ und der „Notizenschreiber“ gemeinsam evolvieren und sich ständig gegenseitig lehren, ihre Aufgaben besser zu erfüllen. Sie testeten diese Idee bei sieben verschiedenen Arten anspruchsvoller Aufgaben, die von der Schreiben von Computercode über das Lösen wissenschaftlicher Fragen bis hin zur Steuerung eines Computer-Betriebssystems reichen. Die Ergebnisse legen nahe, dass der Roboter, wenn diese beiden Teile synchron lernen, signifikant besser darin ist, lange, komplexe Probleme zu lösen, als wenn sie separat lernen.

Das Problem: Die kaputte Feedbackschleife

Stellen Sie sich vor, Sie lernen für eine riesige Geschichtsprüfung. Sie haben einen Stapel Karteikarten (Ihr Gedächtnis) und einen Lernleitfaden (Ihre Retrieval-Policy). Wenn Ihr Lernleitfaden schlecht ist, wählen Sie vielleicht die falschen Karteikarten zum Wiederholen aus. Aber wenn Ihre Karteikarten unordentlich und desorganisiert sind, wird selbst ein guter Lernleitfaden Schwierigkeiten haben, die richtige zu finden.

In der Welt der KI-Agenten versuchen bestehende Methoden meist, nur eine Seite des Problems zu lösen, während sie die andere ignorieren. Einige Methoden versuchen, die KI besser darin zu machen, nach Erinnerungen zu fragen (Retrieval), während andere versuchen, die KI besser darin zu machen, Erinnerungen zu speichern und zu organisieren (Evolution). Die Autoren dieser Arbeit argumentieren, dass diese Trennung ein Fehler ist. Sie weisen auf eine „fundamentale Feedbackschleife“ hin, die ignoriert wurde:

1. Retrieval entscheidet, was genutzt wird: Wenn die KI die falschen Erinnerungen auswählt, erhalten diese Erinnerungen keine „Anrechnung“ dafür, ob sie geholfen haben (oder geschadet haben).
2. Memory-Updates verändern die Zukunft: Wenn die KI ihre Erinnerungen basierend auf dem Geschehenen aktualisiert, ändert sich die Art und Weise, wie diese Erinnerungen organisiert sind, was es beim nächsten Mal schwieriger oder einfacher macht, sie zu finden.

Wenn man nur die Retrieval-Methode verbessert, ohne das Gedächtnis zu verändern, oder umgekehrt, verpasst man die Chance, dass beide gemeinsam besser werden. Es ist, als würde man eine Gitarre stimmen, während sich die Saiten ständig in ihrer Dicke verändern; man kann keinen perfekten Klang erzielen, wenn man nicht beide gleichzeitig anpasst.

Die Lösung: CoEvo-Mem

Die Autoren entwickelten ein Framework namens CoEvo-Mem (Co-Evolving Memory). Betrachten Sie es als einen Tanz zwischen zwei Partnern: dem Router (dem Bibliothekar) und der Memory Bank (dem Notizenschreiber).

So funktioniert der Tanz:

1. Das eingefrorene Gehirn und der smarte Router
Das Hauptgehirn der KI (das Large Language Model) bleibt eingefroren – es lernt nichts Neues dazu. Stattdessen nutzt das System einen winzigen, leichtgewichtigen „Router“, um zu entscheiden, wie nach Hilfe gefragt wird.

• Wenn eine Frage eingeht, schlägt das eingefrorene Gehirn einige Wege vor, die Frage umzuformulieren (einige konzentrieren sich auf die Bedeutung, andere auf spezifische Schlüsselwörter).
• Der Router lernt dann, diese Vorschläge anzupassen, basierend darauf, ob die KI die Antwort richtig oder falsch bekommen hat. Es ist wie ein Coach, der flüstert: „Versuch es beim nächsten Mal auf diese Weise“, basierend auf dem Ausgang des Spiels.

2. Die Memory Bank als lebendiger Plan
Die Erinnerungen sind nicht nur eine Liste von Notizen; sie sind ein Relationaler Graph. Stellen Sie sich eine Landkarte vor, auf der jede Erinnerung eine Stadt ist und die Straßen zwischen ihnen zeigen, wie sie miteinander verwandt sind.

• Dichte Straßen verbinden Erinnerungen, die das Gleiche bedeuten (semantisch).
• Spärliche Straßen verbinden Erinnerungen, die dieselben Wörter oder Namen teilen (lexikalisch).
• Zeit-Straßen verbinden Erinnerungen, die in einer Sequenz aufeinanderfolgten (temporal).

Wenn die KI eine Aufgabe löst, speichert sie nicht nur die Antwort. Sie aktualisiert den „Wert“ der Städte, die sie besucht hat. Wenn eine Erinnerung der KI geholfen hat zu gewinnen, bekommt diese Stadt einen höheren Score. Wenn sie nur ein wenig geholfen hat, steigt der Score ein Stück. Entscheidend ist, dass dieser Credit nicht nur bei dieser einen Erinnerung bleibt; er wandert entlang der Straßen zu benachbarten Städten und hilft dem gesamten Viertel, intelligenter zu werden.

3. Der abwechselnde Tanz (Das Geheimrezept)
Sie denken vielleicht: „Warum aktualisiert man den Router und das Gedächtnis nicht exakt gleichzeitig?“ Die Autoren fanden heraus, dass dies Chaos verursacht. Wenn sich beide gleichzeitig ändern, ist es, als würde man versuchen, Fahrrad zu fahren, während sich das Fahrrad gleichzeitig in seiner Form verändert. Das System wird verwirrt und instabil.

Stattdessen nutzt CoEvo-Mem einen abwechselnden Zeitplan:

• Phase 1: Die Memory Bank ist eingefroren (festgeschrieben). Der Router übt, die besten Erinnerungen unter Verwendung dieser festen Karte zu finden.
• Phase 2: Der Router ist eingefroren (festgeschrieben). Die Memory Bank aktualisiert ihre Organisation und Werte basierend auf dem, was der Router gerade gefunden hat.
• Sie wechseln sich ständig ab. Dies ermöglicht es jedem Partner, aus dem aktuellen Zustand des anderen zu lernen, ohne die Verwirrung, die entsteht, wenn beide gleichzeitig Änderungen vornehmen.

Was sie herausgefunden haben

Das Team testete CoEvo-Mem bei sieben sehr unterschiedlichen Herausforderungen:

• Interaktion mit Betriebssystemen: Einen Computer steuern, um Aufgaben zu erledigen.
• Code-Generierung: Funktionierende Computerprogramme schreiben.
• Multimodales Denken: Rätsel lösen, die sowohl Text als auch Bilder beinhalten.
• Wissenschaftliche Fragen: Schwierige Fragen zu Physik, Chemie und Biologie beantworten.
• Function Calling: Die KI lehren, Werkzeuge und APIs korrekt zu nutzen.
• Langfristiges Gespräch: Details aus langen Chats behalten.

In jedem dieser Tests schnitt CoEvo-Mem besser ab als die besten bestehenden Methoden.

• Bei GPQA Diamond (schwierige wissenschaftliche Fragen) verbesserte es das Ergebnis um 7,50 Prozentpunkte gegenüber der stärksten Baseline.
• Bei LiveCodeBench (Coding) verbesserte es sich um 3,81 Prozentpunkte.
• Bei Langfristigem Gesprächsgedächtnis (LoCoMo) erreichte es einen Wert von 81,71 und schlug damit die nächstbeste Methode um fast 5 Punkte.

Die Autoren führten auch „Ablationsstudien“ durch (Experimente, bei denen Teile des Systems entfernt wurden), um zu beweisen, warum es funktionierte.

• Wenn sie das Query Rewriting entfernten (den Teil, der ändert, wie die Frage gestellt wird), sank die Leistung signifikant.
• Wenn sie die Memory Evolution entfernten (den Teil, der den Graphen und die Werte aktualisiert), sank die Leistung ebenfalls, insbesondere bei komplexen Aufgaben wie Coding und Wissenschaft.
• Wenn sie versuchten, sowohl den Router als auch das Gedächtnis gleichzeitig zu aktualisieren (statt abwechselnd), schnitt das System schlechter ab als die abwechselnde Methode.

Das Fazleit

Die Arbeit legt nahe, dass wir für KI-Agenten, die wirklich langfristige Aufgaben meistern sollen, nicht nur eine bessere Suchmaschine oder eine bessere Datenbank bauen können. Wir müssen ein System bauen, in dem die Suchmaschine und die Datenbank lernen, sich aneinander anzupassen. Indem sie den „Bibliothekar“ und den „Notizenschreiber“ abwechselnd lernen lassen, während der andere stillsteht, schafft CoE

CoEvo-Mem eine stabile, sich verbessernde Schleife, die KI-Agenten hilft, besser zu erinnern, klarer zu denken und schwierigere Probleme zu lösen.

Die Autoren weisen vorsichtig darauf hin, dass die Ergebnisse zwar bei diesen sieben Benchmarks stark sind, dies jedoch ein spezifisches Framework für Ko-Evolution ist. Sie behaupten nicht, dass es jedes Problem der KI löst, aber sie zeigen, dass diese spezifische Art, Retrieval und Gedächtnis zu verknüpfen, ein mächtiger Schritt nach vorn ist, um Agenten zu bauen, die lernen und sich über die Zeit anpassen können.