🤖 AI

ConMem: Structured Memory-Guided Adaptation in Training-Free Multi-Agent Systems

ConMem ist ein trainingsfreies, relationsbewusstes Framework, das die Anpassungsfähigkeit von Multi-Agenten-Systemen durch die Destillation historischer Interaktionen in strukturierte Memory Cards verbessert, die in einem Graphen organisiert sind, wodurch eine effiziente koordinierte Nutzung über Erfahrungen hinweg ermöglicht wird, die die Leistung und Inferenz-Effizienz ohne zusätzliches Training signifikant steigert.

Ursprüngliche Autoren: Zhixun Tan, Qiang Chen, Tairan Huang, Xiu Su, Yi Chen

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhixun Tan, Qiang Chen, Tairan Huang, Xiu Su, Yi Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein Team aus Experten-KI-Assistenten (ein „Multi-Agent-System“), die versuchen, komplexe Probleme zu lösen, wie zum Beispiel das Schreiben von Code, die Planung einer Reise oder das Beantworten kniffliger Quizfragen. Diese Assistenten sind klug, aber sie haben einen großen Makel: Sie haben ein Kurzzeitgedächtnis. Wenn sie heute einen Fehler machen oder einen cleveren Trick entdecken, könnten sie ihn morgen schon wieder vergessen haben.

Um dies zu beheben, versuchen Forscher normalerweise, der KI neue Dinge beizubringen (was viel Zeit und Geld kostet) oder man wirft einfach einen riesigen Haufen vergangener Konversationen in ihr Gehirn. Aber das Auskippen eines riesigen Haufens vergangener Konversationen ist chaotisch. Es ist, als würde man versuchen, eine bestimmte Nadel in einem Heuhaufen zu finden, der brennt, voller Rauch ist und in alten, nutzlosen Lumpen verheddert ist. Die KI wird durch den Lärm verwirrt.

Hier kommt ConMem: Das „Lernkarten“-System für KI-Teams.

Das Paper stellt ConMem vor, eine clevere, kostenlose Methode, um diesen KI-Teams zu helfen, aus ihrer Vergangenheit zu lernen, ohne sie neu trainieren zu müssen. Denken Sie daran, dem KI-Team einen Satz strukturierter, beschriftter Lernkarten zu geben, anstatt ein chaotisches Tagebuch.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Der unordentliche Rucksack

Stellen Sie sich vor, ein KI-Team geht auf eine lange Wanderung (eine komplexe Aufgabe). Unterwegs stößt es auf Hindernisse, findet Abkürzungen und stolpert manchmal über Steine.

Alte Methoden versuchen, die gesamte Wanderung in einem riesigen, schweren Rucksack zu speichern. Wenn sie eine neue Wanderung beginnen, müssen sie den ganzen Rucksack durchwühlen, um einen nützlichen Tipp zu finden. Das ist langsam, und sie lassen sich oft von irrelevanten Details ablenken (wie der Farbe einer Blume, die sie 10 Meilen zuvor gesehen haben).
Der ConMem-Ansatz sagt: „Hör auf, den ganzen Rucksack zu tragen.“ Stattdessen nehmen wir nach der Wanderung die wichtigsten Momente und verwandeln sie in Lernkarten.

2. Die Lernkarten (Beschriftete Strategiekarten)

ConMem destilliert die chaotische Historie in winzige, saubere Karten.

Der Inhalt: Jede Karte hat vier Teile: Wo wir waren (Zustand), Was wir geplant haben (Plan), Was wir getan haben (Ausführung) und Hat es funktioniert? (Bewertung).
Das „Zeichen“: Dies ist der magische Teil. Jede Karte hat ein Plus (+) oder Minus (-) Zeichen.
- Plus-Karten: „Hey, dieser Trick hat funktioniert! Mach es wieder.“ (z. B. „Überprüfe den Bestand, bevor du versendest.“)
- Minus-Karten: „Hey, das ist fehlgeschlagen! Mach das nicht.“ (z. B. „Vertraue diesem speziellen Versanddienstleister nicht; er ist unzuverlässig.“)
Warum es hilft: Anstatt eine 50-seitige Geschichte über eine gescheiterte Lieferung zu lesen, sieht die KI einfach eine rote Karte, auf der steht: „Vermeide Versender X“. Das ist sofort klar und deutlich.

3. Die Karte (Der Relationsgraph)

Wenn man nur einen Haufen Lernkarten hat, könnte man zwei auswählen, die sich widersprechen (z. B. eine sagt „Gehe nach links“ und eine andere „Gehe nach rechts“).
ConMem speichert nicht nur Karten; es zeichnet eine Karte, die sie miteinander verbindet.

Einige Karten stützen einander (wie eine Brücke).
Einige Karten konfliktieren (wie eine Straßensperre).
Einige Karten erfüllen eine Bedingung (wie ein Schlüssel, der in ein Schloss passt).

Wenn das KI-Team vor einer neuen Aufgabe steht, greift ConMem nicht einfach wahllos nach Karten. Es betrachtet die Karte, findet den richtigen Pfad und stellt sicher, dass sich die gewählten Karten nicht bekämpfen. Es ist wie ein Reiseleiter, der den Plan prüft, um sicherzustellen, dass die Gruppe nicht gleichzeitig in zwei entgegengesetzte Richtungen geschickt wird.

4. Das Budget (Die „Aktenkoffer“-Grenze)

KI-Modelle haben eine Grenze für die Menge an Text, den sie gleichzeitig lesen können (wie ein Aktenkoffer, der nur so viele Papiere fassen kann).
ConMem ist klug mit dem Platz um. Es agiert wie ein strenger Editor:

Es schnappt sich die relevantesten Karten.
Es prüft die Karte, um Konflikte zu lösen.
Es beschneidet (schneidet heraus) alles, was redundant ist oder nicht passt.
Es packt nur die essenziellen, konfliktfreien Anweisungen in den Aktenkoffer.

Das Paper behauptet, dass dieses System mehr als 50 % des zusätzlichen Rauschens eliminiert und die Zeit für die Planung um 80 % reduziert, während es die KI gleichzeitig intelligenter macht.

Das Ergebnis: Ein klügeres Team, kein zusätzliches Training

Das Beste daran? Sie müssen die KI nicht etwas Neues lehren. Das Gehirn der KI (die Modellgewichte) bleibt exakt gleich. ConMem fungt lediglich als super organisierter Bibliothekar, der der KI die perfekten, vorgefilterten Notizen direkt vor der Arbeit überreicht.

Zusammenfassend:

Der alte Weg: Man gibt der KI ein chaotisches, endloses Tagebuch vergangener Ereignisse.
Der ConMem-Weg: Man gibt der KI einen Satz beschriftter Lernkarten (Gute Tipps vs. Warnungen), die durch eine Karte verbunden sind, die sicherstellt, dass sie zusammen Sinn ergeben, und alles wird in einen kleinen Aktenkoffer gepackt, der perfekt passt.

Dies ermöglicht es dem KI-Team, sich schnell anzupassen, vergangene Fehler zu vermeiden und erfolgreiche Strategien wiederzuverwenden, ohne dass ein teures Retraining erforderlich ist oder die KI durch Rauschen verwirrt wird.

Technisches Resümee: ConMem – Strukturierte, gedächtnisgestützte Adaption in trainingsfreien Multi-Agenten-Systemen

1. Problemstellung

Auf Large Language Models (LLM) basierende Multi-Agenten-Systeme (MAS) zeichnen sich durch komplexe kontinuierliche Aufgaben aus, stehen jedoch vor erheblichen Herausforderungen bei der Multi-Agenten-Adaption (MAA). Bestehende Ansätze zur MAA lassen sich im Wesentlichen in drei Kategorien unterteilen, die jeweils spezifische Einschränkungen aufweisen:

Gedächtnisgestützte Methoden: Bewahren rohe Interaktionsverläufe. Während sie den Kontext erhalten, sind die Trajektorien oft lang, verrauscht und mit lokalen Werkzeugresultaten oder zwischenzeitlichen Unstimmigkeiten verstrickt, was zu verzerrten Entscheidungssignalen und geringer Retrieval-Präzision führt.
Strukturierte Gedächtnis-/Skill-gestützte Methoden: Abstrahieren Interaktionen zu wiederverwendbaren Prozeduren oder Skills. Obwohl sie Redundanzen reduzieren, mangelt es ihnen bei der Inferenz oft an relationsbewusster Koordination, wodurch Konflikte, Abhängigkeiten und Redundanzen bei der Komposition ungelöst bleiben.
Trainingsgestützte Methoden: Nutzen Reinforcement Learning oder Fine-Tuning zur Verwaltung des Gedächtnisses. Obwohl diese effektiv sind, erfordern sie zusätzliches Training, hochwertige Supervision und Modifikationen an Agentenrollen oder der Orchestrierung, was die Rechenkosten und die Komplexität der Implementierung erhöht.

Die zentrale Herausforderung, die mit dieser Arbeit adressiert wird, lautet: Wie kann ein LLM-basiertes MAS eine effiziente, trainingsfreie Adaption erreichen, indem fragmentierte Erfahrungen in ein strukturiertes, koordiniertes und wiederverwendbares kollektives Gedächtnis transformiert werden, ohne die Gewichte des Host-Modells zu verändern?

2. Methodik: Das ConMem-Framework

ConMem ist ein relationsbewusstes, trainingsfreies Framework, das eine effiziente Adaption durch Cross-Experience-Koordination ermöglicht. Es operiert in einem „Frozen-Host“-Setting, wobei es lediglich das in den Prompt injizierte Gedächtnis-Präfix steuert, ohne das zugrunde liegende LLM oder die Agenten-Orchestrierung zu verändern.

2.1 Kerneinheit: Die Signierte Strategie-Karte (Signed Strategy Card)

Anstatt roher Trajektorien destilliert ConMem historische Interaktionen in atomare Strategie-Karten. Eine Karte $c$ ist ein strukturierter Tupel, der Folgendes enthält:

Aufgabenbeschreibung ( $z$ ): Der Kontext der Interaktion.
Trigger-Semantik ( $\chi$ ): Bedingungen, unter denen die Karte relevant ist.
Vier strukturierte Slots ( $\kappa$ ): Kodierung von Zustand (State), Plan, Ausführung (Execution) und Evaluierung (Evaluation).
Vorzeichen (Sign): Ein binärer Indikator, der positive Karten (wiederverwendbare Strategien) von negativen Karten (aus Fehlern abgeleitete Warnungen) unterscheidet.

Diese Abstraktion ermöglicht es dem System, das Gedächtnis als kompaktes, inspizierbares und wiederverwendbares prozedurales Signal statt als rohes Protokoll zu behandeln.

2.2 Die Pipeline

ConMem operiert über zwei unterschiedliche Pfade: einen Write Path (Gedächtniskonstruktion) und einen Read Path (Inferenzzeit-Adaption).

A. Write Path: Aufbau der Kartenbank

Nachdem eine Aufgabe bewertet wurde, extrahiert das System Kandidaten-Karten aus der Trajektorie:

Reflektion & Aggregation: Informative Fehler werden zu negativen Karten reflektiert; Erfolge werden zu positiven Karten.
Admission (Zulassung): Karten werden nur zugelassen, wenn sie kohärent sind (interne Konsistenz von Zustand/Plan/Ausführung) und Qualitätsschwellenwerte erfüllen (Zuverlässigkeit, Neuartigkeit, Aktualität, Nutzen).
Merging (Zusammenführung): Zugelassene Karten werden in einer persistenten Bank ( $B$ $B$ ) gespeichert und in einen Typisierten Relationsgraphen ( $G$ ) eingebunden.
- Graph-Kanten: Kanten tragen Typen wie supports (unterstützt), satisfies (erfüllt), constrains (beschränkt) und conflicts (konfliktierend), welche Abhängigkeiten und Inkompatibilitäten zwischen Karten kodieren.

B. Read Path: Bedarfsorientiertes Retrieval & Koordination

Zur Laufzeit führt ConMem für eine neue Aufgabe $t$ einen vierstufigen Prozess aus, um ein begrenztes Gedächtnis-Präfix $\tilde{m}_t$ zu generieren:

Bedarfsorientiertes Retrieval: Karten werden basierend auf einer Scoring-Funktion gerankt, die semantische Ähnlichkeit, Trigger-Matching, Abstimmung mit den Aufgabenbedürfnissen (geschätzt aus dem aktuellen Kontext) und die Glaubwürdigkeit der Karte kombiniert. Ein Diversitätsfilter (MMR) unterdrückt nahezu identische Duplikate.
Typisierte Graph-Expansion: Abgerufene „Seed“-Karten werden durch Traversierung des Relationsgraphen erweitert. Das System folgt supports- und satisfies-Kanten, um Abhängigkeiten wiederherzustellen, während conflicts-Kanten vermieden werden. Dies stellt sicher, dass der abgerufene Kontext ein kohärenter, abhängigkeitsvollständiger Satz ist und keine flache Liste.
Koordinierte Budgetierte Komposition: Der erweiterte Satz wird abgeglichen, um lokale Konflikte zu lösen (Beibehaltung höherwertiger Repräsentanten) und Redundanzen zu entfernen.
Serialisierung: Der finale Satz wird in ein Prompt-Präfix serialisiert, das strikt einem Token-Budget ( $B$ ) entspricht. Falls das Budget überschritten wird, versucht das System eine kompakte Serialisierung oder überspringt Karten mit niedrigerer Priorität.

2.3 Theoretische Grundlage

Das Framework basiert auf einer Sichtweise der Budgetierten Kontextkontrolle (Budgeted Context-Control). Das Ziel ist nicht maximale Erinnerung, sondern die Maximierung des Nutzens unter einem festen Token-Budget. Die Autoren postulieren, dass, sofern die Kartenauszug ausreichend ist (d. h. die Karte enthält alle notwendigen Informationen für das nachfolgende Ergebnis), die Konditionierung auf die Karte Bayes-optimal und aufgrund der Token-Kompression wesentlich effizienter ist als die Konditionierung auf rohe Trajektorien.

3. Kernbeiträge

Trainingsfreie Adaptions-Formulierung: Die Autoren schlagen einen kontextgesteuerten Ansatz für die kontinuierliche MAS-Adaption vor, indem sie das Problem als budgetierte Kontrolle über wiederverwendbare prozedurale Signale formulieren und so zusätzliches Training oder Modifikationen am Host vermeiden.
Atomare prozedurale Gedächtniseinheiten: Einführung von typisierten und signierten Karten, die Zustand, Plan, Ausführung und Evaluierung kodieren und somit kompakte, wiederverwendbare und inspizierbare Kenntnisse bereitstellen.
Relationsbewusste Koordination: Entwicklung eines Mechanismus, der Gedächtniskonflikte und Abhängigkeiten unter einem Kontext-Budget mithilfe eines typisierten Graphen löst, was eine leichtgewichtige Adaption ohne Änderung der Modellgewichte ermöglicht.
Empirische Validierung: Umfangreiche Experimente zeigen konsistente Gewinne über verschiedene Benchmarks und MAS-Architekturen hinweg.

4. Experimentelle Ergebnisse

Die Autoren evaluierten ConMem auf vier Benchmarks (TriviaQA, PopQA, KodCode, PDDL) über drei MAS-Hosts (AutoGen, CAMEL, MacNet) unter Verwendung des Qwen/Qwen3-4B-Instruct-2507 Backbones.

Leistungssteigerungen: ConMem erzielte konsistente Verbesserungen gegenüber „No-memory“-Baselines, mit durchschnittlichen Gewinnen zwischen 10,9 und 12,9 absoluten Punkten.
Vergleich mit SOTA: ConMem übertraf starke Gedächtnis-Baselines (einschließlich Generative Agents, Voyager, G-Memory) und erreichte Werte, die den trainingsbasierten Methoden wie LatentMem und ReMe (dynamisch) ebenbürtig waren oder diese sogar leicht übertrafen.
- Auf dem AutoGen-Host erreichte ConMem einen Durchschnittswert von 58,33 und übertraf damit LatentMem (57,38) und ReMe (57,46).
- Es belegte den ersten Platz in 8 von 15 Host-Metrik-Vergleichen und den zweiten Platz in den verbleibenden 7.
Effizienz: Der Koordinationsmechanismus hat den Kandidatensatz aggressiv bereinigt und entfernte >50 % der erweiterten Kandidaten in allgemeinen Settings und >80 % in Planungsaufgaben (PDDL), was den Planungsaufwand erheblich reduzierte.
Ablationsstudien: Das Entfernen einer Komponente (Graph-Expansion, Koordination, Failure-Reflektion oder Admission) führte zu Leistungsabfällen, was bestätigt, dass die Gewinne aus der integrierten Pipeline und nicht aus einem einzelnen Modul stammen. Bemerkenswerterweise verursachte das Entfernen der Koordination den größten Abfall bei QA-Aufgaben, was die Notwendigkeit der Konfliktlösung vor der Prompt-Injektion unterstreicht.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass ConMem zeigt, dass langfristige Adaption in Frozen-Host-Settings durch Prompt-Level-Kontextkontrolle erreicht werden kann, anstatt durch Modell-Retraining.

Struktureller Vorteil: Im Gegensatz zu Methoden, die flache Listen der Historie abrufen, löst die relationsbewusste Koordination von ConMem Widersprüche und Abhängigkeiten auf, bevor die Informationen das Host-LLM erreichen. Dies ist besonders kritisch für Aufgaben mit hoher Inter-Card-Abhängigkeit (z. B. Code-Generierung und Planung), bei denen die Lücke zwischen ConMem und flachen Retrieval-Baselines am größten ist.
Leichtgewichtige Adaption: Durch die Transformation historischer Erfahrung in kompakte, signierte Karten ermöglicht ConMem stabile Leistungssteigerungen über diverse Frameworks hinweg, ohne den Rechenaufwand für Training oder die Komplexität der Modifikation von Agentenrollen.
Nutzung von Fehlern: Das Framework nutzt in einzigartiger Weise negative Karten (aus Fehlern abgeleitete Warnungen) als handlungsrelevante Signale, um vergangene Fehler zu vermeiden, und behandelt Fehler als gleichrangige Bestandteile des Gedächtnissystems.

Zusammenfassend postuliert ConMem, dass die Zukunft der effizienten Multi-Agenten-Adaption nicht darin liegt, mehr Historie abzurufen, sondern darin, wiederverwendbare Strategien unter strengen Kontext-Budgets zu kuratieren und zu koordinieren.