Künstliche Intelligenz hat einen Punkt erreicht, an dem große Sprachmodelle als Agenten agieren können, die in der Lage sind, zu planen, Werkzeuge zu nutzen und das Web zu navigieren, um komplexe Probleme zu lösen. Um dies effektiv zu tun, benötigen diese Agenten eine Möglichkeit, sich Dinge zu merken, ganz so wie ein Mensch sich auf das Langzeitgedächtnis verlässt, um vergangene Lektionen, Fakten und Strategien abzurufen. Der Aufbau dieses Gedächtnisses für eine Maschine ist jedoch nicht so einfach wie das Hinzufügen eines einzelnen Notizbuches. Es beinhaltet eine Reihe von Entscheidungen: Welche Informationen sollten aufgeschrieben werden, wie sollten sie gespeichert werden, wie findet der Agent sie, wenn er sie benötigt, und wie werden alte oder nutzlose Einträge entfernt. Jahrelang haben Forscher diese Gedächtnissysteme von Hand aufgebaut, indem sie ein spezifisches Design wählten und dieses für jede Aufgabe beibehielten. Doch so wie ein Zimmermann nicht dasselbe Werkzeug für jeden Job verwenden würde, scheitert ein Einheitsgedächtnissystem oft, wenn sich die Aufgabe ändert.

Ein Team von Forschern der East China Normal University und des Shanghai AI Laboratory hat dieses Problem angegangen, indem sie das Gedächtnis nicht als eine feste Erfindung betrachteten, sondern als ein Rätsel, das für jeden spezifischen Job gelöst werden muss. Sie entwickelten ein System namens AUTOMEM, das automatisch nach dem bestmöglichen Gedächtnisdesign für eine gegebene Aufgabe sucht. Anstatt dass ein menschlicher Ingenieur errät, welche Kombination aus Speicher- und Abrufmethoden am besten funktioniert, testet dieses System Tausende von verschiedenen Konfigurationen, lernt aus seinen Fehlern und verfeinert seine Entscheidungen, bis es eine Einrichtung findet, die selbst die geschicktesten von Menschen entworfenen Systeme übertrifft. Das Ergebnis ist eine Gedächtnisarchitektur, die sich an die spezifischen Bedürfnisse der Aufgabe anpasst, sei es beim Navigieren auf einer Website, beim Lösen einer mehrstufigen Denkaufgabe oder beim tiefen Eintauchen in Suchergebnisse.

Die Forscher begannen damit, das Konzept des Agentengedächtnisses in vier verschiedene Teile zu zerlegen, ähnlich wie eine Bibliothek organisiert ist. Erstens gibt es den Encoder, der entscheidet, welche Informationen es wert sind, gespeichert zu werden. Zweitens ist der Store, der bestimmt, wie diese Informationen aufbewahrt werden, etwa in einer einfachen Liste, einem komplexen Geflecht von Verbindungen oder einer strukturierten Datenbank. Drittens ist der Retriever, der Mechanismus, der die richtige Information findet, wenn der Agent sie benötigt. Schließlich gibt es den Manager, der den Lebenszyklus des Gedächtnisses verwaltet, indem er alte oder widersprüchliche Daten löscht, um das System effizient zu halten. Durch das Mischen und Kombinieren verschiedener Optionen für jeden dieser vier Teile schufen die Forscher einen riesigen Raum möglicher Gedächtnisdesigns. Ihre ersten Experimente offenbarten eine entscheidende Wahrheit: Kein einzelnes Design funktioniert am besten für alles. Ein Gedächtnissystem, das bei der Lösung von Mathematikproblemen hervorragend abschneidet, könnte beim Navigieren auf einer Website kläglich versagen, und die beste Kombination für ein bestimmtes Computermodell könnte für ein anderes schlecht sein.

Um diesen riesigen Raum an Möglichkeiten zu navigieren, ohne Zeit und Rechenleistung zu verschwenden, entwickelte das Team eine Methode, die aus Fehlern lernt. Wenn das System ein Gedächtnisdesign ausprobiert und der Agent eine Aufgabe nicht löst, verwirft das System den Versuch nicht einfach. Stattdessen agiert es wie ein sorgfältiger Ermittler und analysiert genau, wo der Zusammenbruch erfolgte. Hat der Agent versagt, weil er nie den richtigen Hinweis aufgeschrieben hat? Wurden die Informationen in einem Format gespeichert, das unmöglich zu finden war? Hat er die falsche Erinnerung abgerufen? Oder hat er zu viele veraltete Informationen festgehalten? Das System identifiziert den spezifischen Teil des Gedächtnisprozesses, der den Fehler verursacht hat, und übersetzt diesen technischen Fehler in Anweisungen in klarer Sprache. Es sagt dem Suchprozess: „Das Problem lag in der Art und Weise, wie wir die Daten gespeichert haben; versuchen Sie beim nächsten Mal ein anderes Format.“

Dieser Prozess der Diagnose und Anpassung findet in einer Schleife statt. Das System schlägt ein neues Gedächtnisdesign basierend auf dem vor, was es aus früheren Fehlern gelernt hat, testet es und analysiert dann die Ergebnisse erneut. In nur wenigen Runden dieser Selbstverbesserung konvergiert das System zu einer hocheffektiven Architektur. In ihren Tests verwendeten die Forscher drei verschiedene anspruchsvolle Benchmarks: eine Reihe komplexer Denkfragen, eine Serie von tiefgehenden Web-Navigationsaufgaben und eine Sammlung schwieriger Suchanfragen. Sie führten diese Tests mit zwei verschiedenen leistungsstarken Computermodellen als Agenten durch. In jedem Fall war die vom System entdeckte Gedächtnisarchitektur den besten von Menschen entworfenen Alternativen überlegen. Beim Reasoning-Benchmark verbesserte das System die Genauigkeit um fast vier Prozentpunkte im Vergleich zum stärksten festen Gedächtnissystem. Bei der Web-Navigationsaufgabe verbesserte es die Genauigkeit ebenfalls um fast vier Punkte, und beim Deep-Search-Challenge gewann es einen vollen Prozentpunkt.

Über die bloße Genauigkeit hinaus erwies sich das System auch als effizienter. Die vom System gefundenen Gedächtnisdesigns erforderten oft weniger Rechenressourcen beim Betrieb. Beispielsweise erreichte das System beim Reasoning-Benchmark seine höhere Genauigkeit unter Verwendung signifikant weniger Tokens, was ein Maß für die Rechenkosten der Textverarbeitung ist. Dies deutet darauf hin, dass das System nicht nur einen Weg fand, härter zu arbeiten, sondern einen Weg, smarter zu arbeiten. Es entdeckte, dass für einige Aufgaben der beste Ansatz darin bestand, Informationen in einer graphähnlichen Struktur zu speichern, die verwandte Fakten miteinander verknüpft, während für andere eine einfache strukturierte Liste effektiver war. Für die Web-Navigation fand es heraus, dass eine Mischung aus Text und strukturierten Daten am besten funktionierte, während es für die tiefe Suche ein System bevorzugte, das in der Lage war, vergangene Lösungen leicht neu zu bewerten, um die relevantesten zu finden.

Die Forscher testeten auch, ob ihre Methode wirklich lernte oder nur Glück hatte. Sie verglichen ihre geführte Suche mit einer Methode, die einfach per Zufall Gedächtnisdesigns auswählte. Die Zufallsmethode fand gelegentlich ein gutes Design, war aber inkonsistent und verschwendete oft Ressourcen beim Testen von Designs, die offensichtlich minderwertig waren. Das geführte System hingegen verbesserte sich stetig mit jeder Testrunde und fand eine bessere Lösung in der Hälfte der Zeit und mit der Hälfte der Rechenkosten des Zufallsansatzes. Dies bestätigte, dass die Fähigkeit des Systems, Fehler zu diagnostizieren und sie in spezifische Anweisungen zu übersetzen, der Schlüssel zu seinem Erfolg war. Ohlich diesen Feedback-Loop fehlte, hatte das System Schwierigkeiten, sich zu verbessern, und blieb oft bei Designs stecken, die kostspielig, aber ineffektiv waren.

Die Studie kommt zu dem Schluss, dass die Zukunft der künstlichen Intelligenz-Agenten nicht im Bau eines einzelnen, perfekten Gedächtnissystems liegt, sondern in der Schaffung von Systemen, die ihr Gedächtnis an die jeweilige Aufgabe anpassen können. Die Forscher fanden heraus, dass das beste Gedächtnisdesign stark von der spezifischen Art der Arbeit abhängt, die der Agent leistet, und von dem Computermodell, auf dem er läuft. Ein Design, das für einen Agenten bei einem bestimmten Problem funktioniert, kann für einen anderen ein Hindernis sein. Durch die Automatisierung der Suche nach diesen Designs hat das Team gezeigt, dass es möglich ist, Agenten zu bauen, die nicht nur intelligenter, sondern auch effizienter sind. Die Arbeit legt nahe, dass, wenn künstliche Intelligenz immer stärker in komplexe reale Aufgaben integriert wird, die Fähigkeit, die Art und Weise, wie ein Agent Informationen erinnert und nutzt, dynamisch abzustimmen, genauso wichtig sein wird wie die Intelligenz des Agenten selbst. Das System ersetzt nicht die menschliche Genialität, sondern erweitert sie, indem es Computern ermöglicht, die richtigen Werkzeuge für den Job zu finden – auf eine Weise, die zu komplex ist, um sie von einem Menschen manuell zu entwerfen.