💬 NLP

Metis: Bridging Text and Code Memory for Self-Evolving Agents

Das Paper stellt Metis vor, ein selbstentwickelndes Agentensystem, das ein hierarchisches Dual-Repräsentations-Gedächtnis einsetzt, um natürliches Textsprache und ausführbaren Code dynamisch zu kombinieren, wodurch durch die Nutzung der komplementären Stärken beider Gedächtnistypen eine überlegene Aufgabengenauigkeit und Ausführungseffizienz im Vergleich zu bestehenden Ansätzen erreicht wird.

Ursprüngliche Autoren: Zijie Dai, Siuhin He, Hui Li, Qihui Zhou, Jiajun Li, Mingcong Song, Guoping Long, Hongjie Si, Xin Yao, Lin Zhang, James Cheng, Xiao Yan

Veröffentlicht 2026-06-24

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zijie Dai, Siuhin He, Hui Li, Qihui Zhou, Jiajun Li, Mingcong Song, Guoping Long, Hongjie Si, Xin Yao, Lin Zhang, James Cheng, Xiao Yan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem sehr intelligenten, aber vergesslichen Roboter-Assistenten bei, wie man komplexe Aufgaben erledigt, wie zum Beispiel das Verwalten Ihres digitalen Lebens oder das Führen eines kleinen Unternehmens. Jedes Mal, wenn der Roboter eine Aufgabe ausprobiert, lernt er etwas dazu. Die große Frage ist: Wie sollten wir dieses Wissen speichern, damit der Roboter es später nutzen kann?

Das Paper „METIS“ argumentiert, dass es zwei Hauptwege gibt, dieses Wissen zu speichern, und die meisten Systeme sich standardmäßig für nur einen dieser Wege entscheiden. Die Autoren haben entdeckt, dass keiner dieser Wege allein perfekt ist, also haben sie ein neues System entwickelt, das beide auf eine intelligente, hierarchische Weise nutzt.

Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien:

1. Die zwei Arten des Erinnerns

Das Paper vergleicht zwei Methoden zur Speicherung von Erfahrungen:

Text-Gedächtnis (Das „Notizbuch“):
- Was es ist: Der Roboter schreibt auf, was passiert ist, in Form von einfachem Englisch, wie einen Tagebucheintrag oder eine Reihe von Anweisungen.
- Vorteile: Es ist günstig und schnell zu schreiben. Es ist zudem sehr flexibel. Wenn der Roboter später auf eine leicht andere Situation stößt, kann er die Notiz lesen und herausfinden, wie er sich anpassen kann.
- Nachteile: Es ist langsam in der Anwendung. Jedes Mal, wenn der Roboter die Aufgabe ausführen muss, muss er die Notiz lesen, darüber nachdenken und dann die Schritte einzeln durchgehen. Es ist, als müsste man jedes Mal ein Rezept lesen, nur um Toast zu machen.
Code-Gedächtnis (Der „Roboterarm“):
- Was es ist: Der Roboter verwandelt eine Routine in ein fertiges Werkzeug oder ein Skript, das er einfach per Klick ausführen kann.
- Vorteile: Es ist unglaublich schnell. Sobald das Werkzeug gebaut ist, drückt der Roboter nur noch auf „Start“ und die Aufgabe ist sofort erledet.
- Nachteile: Es ist teuer und riskant in der Erstellung. Man muss es perfekt testen, um sicherzustellen, dass es funktioniert. Zudem ist es starr. Wenn sich die Situation auch nur ein wenig ändert, kann das Werkzeug kaputtgehen oder etwas Falsches tun, weil es für ein sehr spezifisches Szenario gebaut wurde.

2. Das Problem mit aktuellen Systemen

Die meisten aktuellen KI-Systeme entscheiden sich für einen Stil und bleiben dabei.

Einige nutzen nur das Notizbuch. Sie sind flexibel, aber langsam und repetitiv.
Einige nutzen nur den Roboterarm. Sie sind schnell, aber spröde; wenn sich die Welt ändert, scheitern sie.

Die Autoren fanden heraus, dass weder das eine noch das andere allein ausreicht. Man braucht die Flexibilität des Notizbuchs für neue Situationen und die Geschwindigkeit des Roboterarms für häufige Aufgaben.

3. Die Lösung: METIS (Der „Schlaue Bibliothekar“)

Die Autoren haben ein System namens METIS entwickelt, das wie ein schlauer Bibliothekar fungiert, der genau weiß, wann er eine Notiz schreiben und wann er ein Werkzeug bauen sollte.

So funktioniert es:

Das Fundament (Das Notizbuch): METIS beginnt damit, alles als Text zu speichern. Es organisiert diese Notizen in drei spezifischen Typen:
- Pläne (Plans): Allgemeine Schritte dafür, wie man Dinge erledigt.
- Fakten (Facts): Regeln über die Umgebung (z. B. „Die Datenbank ist montags langsam“).
- Fallstricke (Pitfalls): Warnungen vor Fehlern, die zu vermeiden sind (z. B. „Klicke diesen Button nicht zweimal“).
- Warum? Dies ist kostengünstig und hilft dem Roboter, neue, seltsame Situationen zu bewältigen.
Das Upgrade (Der Roboterarm): METIS verwandelt nicht jede Notiz in ein Werkzeug. Es beobachtet das Verhalten des Roboters.
- Wenn der Roboter immer wieder denselben „Plan“ für verschiedene Aufgaben verwendet, sagt METIS: „Okay, das ist ein Muster! Lassen Sie uns ein dauerhaftes Werkzeug daraus bauen.“
- Es baut dann sorgfältig ein Werkzeug, testet es, um sicherzustellen, dass es sicher ist, und fügt es der Bibliothek hinzu.
- Wenn eine Notiz nur eine einmalige Warnung oder ein spezifischer Fakt ist, bleibt sie als Text bestehen.

Das Ergebnis:

Für neue oder seltsame Aufgaben: Der Roboter liest die flexiblen Notizen (Text-Gedächtnis), um Lösungen zu finden.
Für häufige, wiederkehrende Aufgaben: Der Roboter überspringt das Nachdenken und nutzt einfach die vorgefertigten Werkzeuge (Code-Gedächtnis).

4. Warum das wichtig ist (Die Ergebnisse)

Die Autoren haben dies an einem schwierigen Benchmark namens AppWorld (eine simulierte Umgebung mit vielen Apps) getestet.

Bessere Genauigkeit: METIS löste mehr Aufgaben korrekt als Systeme, die entweder nur Notizen oder nur Werkzeuge verwendeten.
Schnellere Ausführung: Da es Werkzeuge für häufige Aufgaben nutzte, erledigte es Jobs schneller und verbrauchte weniger Computerressourcen.
Günstiger in der Erstellung: Überraschenderweise hat METIS insgesamt weniger Aufwand betrieben, um sein Gedächtnis aufzubauen, als andere fortgeschrittene Systeme, obwohl der Bau von Werkzeugen teuer ist. Das liegt daran, dass METIS nur dann Werkzeuge baute, wenn sie wirklich nötig waren (wenn sich ein Muster wiederholte), und so die Verschwendung vermeidete, Werkzeuge für einmalige Aufgaben zu bauen.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie lernen zu kochen.

Text-Gedächtnis ist wie das Lesen eines Kochbuchs. Es ist großartig, um neue Rezepte zu lernen, aber man muss die Schritte jedes Mal lesen und befolgen.
Code-Gedächtnis ist wie ein Sous-Chef, der Zwiebeln sofort hacken oder Wasser aufsetzen kann. Er ist super schnell, aber man muss ihn erst trainieren, und er kann kein Rezept bewältigen, das man ihm noch nicht beigebracht hat.

METIS ist der Chefkoch, der das Kochbuch liest, um neue Gerichte zu lernen, aber sobald er merkt: „Ich mache jeden Dienstag Nudelsauce“, trainiert er den Sous-Chef, dies automatisch zu erledigen. Auf diese Weise erhält man das Beste aus beiden Welten: die Fähigkeit, neue Dinge zu lernen, und die Geschwindigkeit, routinemäßige Aufgaben sofort zu erledigen.

Technische Zusammenfassung: METIS: Brückenschlag zwischen Text- und Code-Gedächtnis für selbstentwickelnde Agenten

Problemstellung

Selbstentwickelnde Agenten zielen darauf ab, ihre Leistung im Laufe der Zeit zu verbessern, indem sie Erfahrungen aus vergangenen Ausführungen destillieren und diese in zukünftigen Aufgaben wiederverwenden. Aktuelle Systeme stehen jedoch vor einer fundamentalen Einschränkung: Die Wahl der Gedächtnisrepräsentation (natürlichsprachlicher Text vs. ausführbarer Code) wird typischerweise zur Designzeit festgelegt, anstatt aus den Charakteristika der Erfahrung selbst abgeleitet zu werden.

Bestehende Ansätze lassen sich im Allgemeinen in zwei Kategorien unterteilen:

Text-Gedächtnis: Erfahrungen werden als natürliche Sprache gespeichert und in den Kontext des Agenten injiziert, was den Agenten dazu zwingt, diese zu lesen und darüber zu schlussfolgern.
Code-Gedächtnis: Vergangene Routinen werden als aufrufbare Werkzeuge oder Dienste gekapselt, die der Agent direkt aufruft.

Dem Fachgebiet fehlt ein systematisches Verständnis der Trade-offs zwischen diesen Repräsentationen. Insbesondere ist unklar, welche Arten von Erfahrungen am besten durch welche Form erfasst werden, welche Kosten sie verursachen und wie sie kooperieren sollten, wenn eine Form allein nicht ausreicht. Aktuelle Systeme wenden oft eine Repräsentation wahllos an und versäumen es, die Konstruktionskosten, die Ausführungseffizienz und die Transferzuverlässigkeit auszubalancieren.

Methodik

1. Kontrollierte Profilierungsstudie

Die Autoren führten zunächst eine kontrollierte Studie auf dem AppWorld-Benchmark durch, um die Auswirkungen von Text- und Code-Gedächtnis über denselben Satz von Erfahrungen zu isolieren. Diese Studie offenbarte drei komplementäre Trade-offs:

Konstruktionskosten: Text-Gedächtnis ist signifikant günstiger in der Konstruktion. Das Erstellen eines wiederverwendbaren Werkzeugs erfordert zusätzliche Exploration, Validierung und Debugging, was etwa 2,5-mal mehr ReAct-Schritte und ~1 Mio. zusätzliche Token im Vergleich zum Text-Gedächtnis verursacht.
Ausführungseffizienz: Code-Gedächtnis bietet eine deutlich höhere Laufzeiteffizienz. Es kompiliert Routinen in einzelne Aktionsaufrufe und eliminiert so redundante Zwischenschlüsse, die bei textbasierter Anleitung erforderlich wären.
Transferzuverlässigkeit: Text-Gedächtnis generalisiert zuverlässiger auf ungesehene Aufgaben. Code-Gedächtnis ist starr und unflexibel; es degradiert in Streaming-Settings, in denen Aufgaben variieren, signifikant (22,3 Punkte), während das Text-Gedächtnis nur leicht degradiert (5,6 Punkte).

Zentrale Erkenntnis: Keine der Repräsentationen ist allein ausreichend. Text ist kostengünstig und robust für eine breite Erfassung, während Code effizient, aber starr und teuer ist. Daher sollte die Kodifizierung nur für Erfahrungen reserviert werden, die häufig vorkommen und stabile prozedurale Muster aufweisen.

2. Das Metis-System

Geleitet von diesen Erkenntnissen schlagen die Autoren Metis vor, ein hierarchisches duales Repräsentations-Gedächtnissystem.

Hierarchische Struktur: Metis pflegt ein Gedächtnis $M = (M_{text}, M_{code})$ .
- Text-Gedächtnis ( $M_{text}$ ): Dient als Fundament und erfasst Erfahrungen in natürlicher Sprache. Es ist in drei distinkte Kategorien unterteilt:
  - Pläne (Plans): Wiederverwendbare prozedurale Templates für wiederkehrende Sub-Routinen.
  - Fakten (Facts): Umgebungsbeschränkungen und Eigenschaften.
  - Fallstricke (Pitfalls): Strukturierte Fehlermuster (Trigger, Fehler, Konsequenz).
- Code-Gedächtnis ( $M_{code}$ ): Eine Bibliothek validierter, aufrufbare Werkzeuge.
Differenzierte Text-Reflektion: Ein Reflexions-Agent destilliert abgeschlossene Trajektorien in die drei Text-Kategorien. Er führt redundante Einträge zusammen und aktualisiert veraltete Einträge, um sicherzustellen, dass das Text-Gedächtnis allgemein und präzise bleibt. Entscheidend ist, dass dieser Agent als gebundener Reasoning-Loop mit Zugriff auf die Umgebung operiert, nicht nur auf den Text der Trajektorie.
Musterbewusste Code-Generierung: Diese Komponente implementiert einen selektiven Promotionsmechanismus.
- Sie konvertiert nicht wahllos alle Erfahrungen in Code.
- Sie überwacht die Wiederverwendung von Ausführungsplänen im Text-Gedächtnis.
- Wenn ein Plan häufig genug ausgewählt wird (Überschreiten eines Rekurrenz-Schwellenwerts $\theta$ ), wird er befördert (promoted).
- Der Kodifizierer nutzt den Plan-Körper und verwandte Aufgabenabfragen (bewusst unter Ausschluss der Roh-Trajektorien, um das Kodieren aufgabenspezifischer Rauschdaten zu vermeiden), um Werkzeuge zu synthetisieren.
- Generierte Werkzeuge durchlaufen Abhängigkeitsprüfung, Kompilierung und Funktionstests in einer Sandbox, bevor sie zugelassen werden.
Memory Manager & Reflection Harness:
- Der Manager führt eine gemeinsame Abfrage durch, wobei er relevante Texteinträge und Werkzeuge basierend auf der aktuellen Aufgabenabfrage auswählt.
- Der Harness ermöglicht eine „progressive Offenlegung“ von Ausführungsbelegen an den Reflektor (Zusammenfassung langer Trajektorien) und erzwingt strikte Abhängigkeitsprüfungen für neue Werkzeuge.
Workflow: Das System operiert in einem Execute–Reflect–Reuse-Zyklus. Die Reflektion findet abseits des kritischen Ausführungspfads (asynchron) statt, um sicherzustellen, dass die Konstruktion des Gedächtnisses die Latenz der Aufgabenbedienung nicht aufbläht.

Zentrale Beiträge

Erste kontrollierte Studie: Die Arbeit präsentiert die erste Studie, die Text- und Code-Gedächtnisformen über denselben Satz von Erfahrungen und ein gemeinsames Agenten-Backbone isoliert und somit Repräsentationseffekte von Systemeffekten des Agenten trennt.
Metis-System: Die Einführung eines hierarchischen dualen Repräsentationssystems, das das Text-Gedächtnis als eine Bindung auf niedriger Ebene betrachtend behandelt und wiederkehrende strategische Pläne selektiv in validierte, aufrufbare Werkzeuge befördert, während Fakten und Fallstricke als Text erhalten bleiben.
Empirische Validierung: Umfangreiche Experimente auf dem AppWorld-Benchmark zeigen, dass Metis im Vergleich zu bestehenden selbstentwickelnden Agenten ein überlegenes Gleichgewicht zwischen Genauigkeit, Ausführungseffizienz und Gedächtniskonstruktionskosten erreicht.

Experimentelle Ergebnisse

Auf dem AppWorld-Benchmark (9 Anwendungen, 457 APIs) wurde Metis mit No Memory (Basis-ReAct), ACE (textbasierte Kontextentwicklung) und SkillX (fähigkeitsbasierte Wiederverwendung) verglichen.

Genauigkeit: Metis erreichte die höchste Aufgabengenauigkeit und verbesserte die Task Goal Completion (TGC) gegenüber der No-Memory-Baseline um 8,3 % im Official-Split und um 11,3 % im Resampled-Split. Es übertraf sowohl ACE als auch SkillX.
Ausführungseffizienz: Metis reduzierte die Executor-Token um 13,5 % (Official) bzw. 22,8 % (Resampled) im Vergleich zur Baseline. Es benötigte weniger ReAct-Schritte (11,25 gegenüber 14,55 für die Baseline im Official-Split).
Konstruktionskosten: Trotz der Synthese von Werkzeugen verursachte Metis geringere Reflexionskosten (7,9 Mio. Token) als SkillX (9,4 Mio. Token) im Official-Split.
Robustheit: Unter Verteilungswandel (Official-Split) behielt Metis den Großteil seines Gedächtnisnutzens bei, während SkillX den Großteil seiner Gewinne verlor, was die überlegene Transferierbarkeit des selektiven Ansatzes von Metis unterstreicht.
Ablationsstudien:
- Hybrid vs. Einzeln: Das vollständige Hybridsystem übertraf sowohl die „Text-only“- als auch die „Code-only“-Varianten, was bestätigt, dass die Interaktion zwischen den beiden Formen nicht additiv, sondern synergetisch ist.
- Rekurrenz-Gate: Das Entfernen des Rekurrenz-Gates (Eager Codification) erhöhte die Konstruktionskosten um 47 % und verschlechterte die Genauigkeit um 3,5 Punkte, was beweist, dass eine wahllose Kodifizierung zu Overfitting und Ressourcenverschwendung führt.

Bedeutung

Das Paper behauptet, dass Metis eine kritische Designlücke bei selbstentwickelnden Agenten schließt, indem es sich von festen, Ad-hoc-Repräsentationsentscheidungen entfernt. Durch den Nachweis, dass Text- und Code-Gedächtnis komplementär und nicht austauschbar sind, motiviert die Arbeit eine selektive Promotionsstrategie. Metis beweist, dass es möglich ist, die Ausführungseffizienz des Code-Gedächtnisses zu erreichen und gleichzeitig die niedrigen Konstruktionskosten und die hohe Transferzuverlässigkeit des Text-Gedächtnisses beizubehalten, sofern die Kodifizierung durch Rekurrenzbelege gesteuert wird. Dieser Ansatz ermöglicht es Agenten, sich im Laufe der Zeit zu verbessern, ohne die prohibitiven Kosten einer wahllosen Werkzeugsynthese oder die Ineffizienz einer rein textbasierten Argumentation zu tragen.